Impact-Site-Verification: 578d421e-1081-463d-918b-ec5e29c5b9db
<戻る

中央省庁:事業の類似性構造分析調査研究

欧州系コンサルティングファーム

背景と課題

政策テーマに関わる行政事業をAIで探す調査研究で,検証を担当した.

前年度の手法には実用上の課題が残っていたため,この調査研究では生成AIとLLMを活用できるかを検証した.

試作から検索手法へ

まずAzureの公開サンプル(Azure-Samples/azure-search-openai-demo)を改修して,RAGを試作した.事業ごとの説明文をまとめた表データをテキストとして読み込み,文単位で分割して索引に入れる処理を足し,日本語向けに検索の設定を調整した(日本語アナライザーja.microsoft,クエリ言語ja-JP,スペル補正の無効化,問い合わせ文を日本語に直すプロンプト).

この試作では,一度の回答で出せる事業が数件に限られ,存在しない事業が出力されることもあった.一般に,LLMが一度に扱える文字数には限りがあり,検索した文書にない内容を書いてしまうこともある.

そこで検索の方式を切り替え,事業内容を詳細にベクトル化し,政策テーマとのベクトルの類似度が高い順に事業を並べる検索手法を考案・実装した.LLMは,事業ごとに政策テーマと似ている理由を書くことだけに使った.

ベクトル化は文章を数値の並びに変える処理で,意味の近い文章ほど近い値になる.

担当と設計

  1. 分析環境: JupyterLabを使う検証環境をAzure上に構築した.この環境はhttps通信に対応させた.
  2. セキュリティ: 調達で参照する文書をもとにセキュリティ要件を検討し,実装した.対策は,利用者の管理,通信の暗号化,外部から受け付ける接続の制限などである.

評価の方法

評価指標: クライアント様が正解とした事業をもとに,類似度の上位100件の再現率(Recall)と適合率(Precision)を算出して,検索手法を評価した.

再現率は,正解の事業のうち上位に含まれた割合で,抜け漏れの少なさを表す.適合率は,上位に挙げた事業のうち正解だった割合で,ノイズの少なさを表す.

方針として数値は公開していない.

使用技術

AzureAzure AI SearchAzure OpenAI ServiceJupyterLabEmbeddingsVector SearchRAG