大手生命保険グループのIT子会社:RAGアプリ内製化のための技術指導と開発
グローバルコンサルティングファーム
背景と課題
クライアント様は大手生命保険グループのIT子会社だった.目標は,技術社員が自らRAGアプリを開発・改修できる状態をつくること(RAGアプリの内製化)だった.対象はクライアント様の技術者約10名だった.
講義だけで終えず,クライアント様の技術者と一緒に作りながら進めた.PythonとJavaScriptでRAGアプリを一から作る段階から始め,Azureのベストプラクティスを基盤としたRAGアプリの内製化へ進めた.
講義と教材
Python・Azure・Web技術を体系的に講義し,アジャイル開発を導入した.第1段階の教材として,自分でRAGアプリ一式と4章構成の教科書を作成した.教科書のコードは穴埋め形式にして,受講者が自分の手で書く形にした(穴埋め箇所は350か所,教科書のMarkdownから計数).
第1段階の教材アプリの構成(自作)
- 環境構築: リソースグループ・Azure OpenAIとモデルのデプロイ・ストレージ・Azure AI Search・App Service・Document Intelligenceを,番号付きのAzure CLIスクリプト10本で順に作る..envの値をApp Serviceの設定へ流し込むスクリプトも用意した.
- 取り込み: Blobに置いたPDFからpypdfでテキストを抜き出し,1,000文字・重なり200文字で分割して埋め込みを作り,ファイル名と番号から決まるIDで検索インデックスに登録する.分割幅が重なり以下なら例外にして,設定の誤りで無限に分割しないようにした.
- インデックス: タイトル・本文とベクトル項目を持ち,ベクトルはHNSWで検索する.タイトルと本文を優先するセマンティック設定も定義した.
- 検索と回答: キーワード検索とベクトル検索を組み合わせて上位3件を取り,インデックスにセマンティック設定があるときだけセマンティックランキングに切り替える.回答は渡した文脈だけに基づくようシステムプロンプトで制約した.
- アプリ: FlaskのJSON API(/api/chat)と,Jinja2のテンプレートと素のJavaScriptの画面を作り,gunicornでApp Serviceに載せた.
- 追加の実験: Document Intelligenceのprebuilt-readで手書きのPDFをMarkdownに変換する実験と,その解説資料を作成した.
クライアント様環境のシステム
AzureのRAGサンプル(Azure-Samples/azure-search-openai-demo)を拡張した新システムを構築し,セキュリティ要件を満たす閉域構成でクライアント様環境にデプロイした.土台にしたサンプルは,ReactのフロントエンドとPython(Quart)のバックエンド,キーワード・ベクトル・セマンティックランキングを組み合わせた検索,Document Intelligenceによる文書の取り込みを備える.
運用改善を進めたいというクライアント様の要望に応え,OpenTelemetryとLog Analyticsでログ基盤を整備した.
結果
RAGアプリの内製化を実現した.構築したシステムはクライアント様の全技術社員が利用した.
使用技術
PythonJavaScriptFlaskgunicornpypdfAzure CLIAzure App ServiceAzure AI SearchAzure OpenAI ServiceAzure AI Document IntelligenceAzure Blob StorageAzure Cosmos DBLog AnalyticsOpenTelemetryRAGAgile