Impact-Site-Verification: 578d421e-1081-463d-918b-ec5e29c5b9db
<戻る

大手生命保険会社:業務マニュアルからの業務分析テーブル自動生成

グローバルコンサルティングファーム

背景と課題

マニュアルから業務を洗い出し,AI化の可否を判定する作業を自動化するパイプラインを2名で開発した.マニュアルはPDF・Word・Excel・PowerPointと形式がばらばらだった.

パイプラインとデータの流れ(チームの成果物)

変換 → 抽出 → 分類 → グルーピングの4段階で,各段の結果を番号付きのフォルダ(受領ファイル → PDF → Markdown → 抽出タスク → 分類タスク → グループ → 業務概要)に書き出す.抽出・分類・グルーピングの論理(プロンプト,分類の定義,CSVの列)はもう1名が主に担当した.

  1. 変換: Office文書はLibreOffice経由でPDFにし,GeminiでMarkdownに変換する.
  2. 抽出: 業務分類・プロセス・タスクの3階層を抽出する.
  3. 分類: 各タスクを置き換え技術(API連携・OCR・AI化できない作業など)で分類する.
  4. グルーピング: ユーザー視点のアクショングループを付けてCSVに出力する.

担当と設計

自分の担当は,パイプラインを人が使える形にするところだった.リポジトリ構成とリファクタリング,実行画面,非同期の変換処理,Docker,利用者マニュアルを担当した.

  1. 実行画面: FastAPIとJinja2で作り,画面側はhtmx・Alpine.js・Tailwind CSS・Mermaidで組んだ.ファイルのアップロードと一覧,主マニュアルの指定(抽出の入力で主資料・補足資料の順に並べる),段ごとの実行と中断,結果の表示とダウンロード(UTF-8とCP932を選べ,日本語のExcelでそのまま開ける)を1つの画面で行えるようにした.
  2. 進み具合の配信と実行の制御: sse-starletteでServer-Sent Events(progress・complete・ping)を送り,ブラウザのEventSourceで受けるようにした.各段は順に実行し,時間のかかる処理は別スレッドに逃がしてイベントループを空けた.業務概要は抽出と同時にバックグラウンドで生成した.
  3. 変換の並列化: 複数のファイルを同時に変換し,Geminiへの同時呼び出しはasyncio.Semaphoreで50本までに抑えた.20ページを超えるPDFはPyMuPDFで15ページずつに分け,順に変換して結合した.分割したPDFはGeminiのFiles APIに上げ,処理が終われば必ず削除した.
  4. 構造化出力: Geminiの構造化出力にPydanticモデルのJSONスキーマを渡し,応答を型で検証する仕組みを入れた.
  5. 実行環境と手順書: DockerfileとDocker Composeを整備し,イメージに日本語フォント(Noto CJK・IPA)とLibreOfficeを入れた.開発時はソースをマウントしてホットリロードし,バッチ実行用のプロファイルも分けた.分類の見方を説明する利用者マニュアルも作成した.

技術的な判断

  1. LangGraphを採らない: 想定した会話の流れはFastAPIで足り,学習コストと依存を増やさずに済み,必要になれば後から入れられるため,段ごとの単純なパイプラインにした.複数セッションの会話,5つ以上の分岐,同時利用者が出てきたら見直す,という条件も計画に書いた.
  2. 速度のための変更(効果は未計測): 同時呼び出しの上限を5から20,50へ上げ,全段をより軽いGeminiモデルに切り替えた.JSONスキーマを渡す構造化出力なら1回で成功するはずなので,再試行の回数も減らした.
  3. 業務概要の図: LLMが生成したMermaidの図は描画できないことがあるため,正規表現での自動修正,文法の検証,最大3回のLLMによる修正を順に試し,それでも直らなければ正規表現で直した図を残すようにした.

検証

  1. テスト: 変換の補助処理,結果表示の出典列の整形,ファイルAPIの結合テストを自分で書いた.
  2. 実行記録: 受領した資料でパイプラインを最後まで実行できた(出力の精度は未評価).

使用技術

Python 3.12uvGemini APIFastAPIJinja2htmxAlpine.jsTailwind CSSMermaidServer-Sent EventsPydanticPyMuPDFpandasLibreOfficeDockerDocker Composepytest