社内向けチャットシステム開発
欧州系コンサルティングファーム | 社内プロジェクト
概要
社内の問い合わせに答えるチャットを,RAG(検索拡張生成)として開発・実装した.
RAGは,質問に関係する文書を先に検索し,その内容をもとにLLMが回答を書く仕組みである.
担当した範囲
次の作業を担当した.検索精度の改善とCI/CDは,あとの節で述べる.
- Azure環境: Azure環境を立ち上げた.
- RAGの環境: RAGとして動く環境を構築した.
- 日本語対応: チャットを日本語に対応させた.
構成
社内文書を検索対象にし,Azure AI Searchで検索してAzure OpenAI Serviceで回答を生成する構成にした.ほかのAzureのサービスとも組み合わせた.
検索精度の改善
検索の精度を上げるため,次のことを試して実装した.
- 検索方式の比較: キーワード検索,ベクトル検索,ハイブリッド検索,セマンティックランカーを比較した.一般に,キーワード検索は語の一致で,ベクトル検索は意味の近さで文書を探し,ハイブリッド検索はその両方を使う.セマンティックランカーは,検索で得た結果を質問との意味の近さで並べ直す機能である.
- 文書の件数と分割の大きさ: 回答に使う文書の件数と,文書を分割する大きさを調整した.一般に,件数を増やしたり分割の単位を大きくしたりするとLLMに渡す情報は増えるが,質問と関係の薄い内容も混ざりやすくなる.
- Document Intelligence: Azure AI Document Intelligenceを導入した.Document Intelligenceは,PDFなどの文書から文字や表の構造を読み取るサービスである.
- 新しいモデルへの切り替え: 埋め込みモデルとLLMを,新しい版に切り替えた.
開発の進め方と結果
Azure DevOpsでチケットとブランチを管理した.CI/CDを提案して実装し,テストを通過した変更をデプロイする流れにした.
システムは社内全体で利用され,2024年度コーポレートアワードを受賞した.
使用技術
Azure AI SearchAzure OpenAI ServiceAzure DevOpsCI/CDRAGAzure AI Document IntelligenceHybrid Search