Impact-Site-Verification: 578d421e-1081-463d-918b-ec5e29c5b9db
<戻る

社内向けチャットシステム開発

欧州系コンサルティングファーム | 社内プロジェクト

概要

社内の問い合わせに答えるチャットを,RAG(検索拡張生成)として開発・実装した.

RAGは,質問に関係する文書を先に検索し,その内容をもとにLLMが回答を書く仕組みである.

担当した範囲

次の作業を担当した.検索精度の改善とCI/CDは,あとの節で述べる.

  1. Azure環境: Azure環境を立ち上げた.
  2. RAGの環境: RAGとして動く環境を構築した.
  3. 日本語対応: チャットを日本語に対応させた.

構成

社内文書を検索対象にし,Azure AI Searchで検索してAzure OpenAI Serviceで回答を生成する構成にした.ほかのAzureのサービスとも組み合わせた.

検索精度の改善

検索の精度を上げるため,次のことを試して実装した.

  1. 検索方式の比較: キーワード検索,ベクトル検索,ハイブリッド検索,セマンティックランカーを比較した.一般に,キーワード検索は語の一致で,ベクトル検索は意味の近さで文書を探し,ハイブリッド検索はその両方を使う.セマンティックランカーは,検索で得た結果を質問との意味の近さで並べ直す機能である.
  2. 文書の件数と分割の大きさ: 回答に使う文書の件数と,文書を分割する大きさを調整した.一般に,件数を増やしたり分割の単位を大きくしたりするとLLMに渡す情報は増えるが,質問と関係の薄い内容も混ざりやすくなる.
  3. Document Intelligence: Azure AI Document Intelligenceを導入した.Document Intelligenceは,PDFなどの文書から文字や表の構造を読み取るサービスである.
  4. 新しいモデルへの切り替え: 埋め込みモデルとLLMを,新しい版に切り替えた.

開発の進め方と結果

Azure DevOpsでチケットとブランチを管理した.CI/CDを提案して実装し,テストを通過した変更をデプロイする流れにした.

システムは社内全体で利用され,2024年度コーポレートアワードを受賞した.

使用技術

Azure AI SearchAzure OpenAI ServiceAzure DevOpsCI/CDRAGAzure AI Document IntelligenceHybrid Search