教育事業者:24時間AIチューターのPoC開発
業務委託 | Forward Deployed Engineer
背景と課題
生徒が撮った問題の写真に,24時間いつでも答えるAIチューターのPoCを開発した.回答は塾の指導方針(指導案などのPDF)に沿っている必要があった.
PoCは設計から実装まで1人で開発した(リポジトリのコミットはすべて自分とAIコーディングエージェントによるもの).
処理の流れ
LangGraphで17ノードの状態グラフを組んだ.1つの質問は次の順に流れる.
- 読み取りと単元の判定: 写真を読み取り,分類モデルJevで質問の単元を判定する.
- 指導方針の選択: 判定した単元とタグが一致する指導方針の節を選ぶ.この選択はLLMを呼ばない決定的な処理にした.
- 解答: 回答を書くモデル(writer)が,手順・式・小問ごとの最終解答からなる骨組みを書き,骨組みの一貫性を検査する.
- 照合: 別の会社のモデル(checker)が写真を直接読み,最終解答だけを返す.writerとcheckerが同じ会社のモデルだと,起動時にエラーで止まる.
- 判定: 2社の答えが一致し,writerの計算を再計算で確かめられ,骨組みの検査が通り,写真に問題全体が写っているときだけ回答する.通らなければ一度だけ聞き直し,それでも通らなければ答えずに先生への質問を促す.
- 表示: 画面の答えと式は,検証済みの骨組みからコードで写す.解説を書くモデルは文章だけを書くので,検証していない数値が画面に出ない.
- 難問レーン: より強いモデルの解き手をすべての質問で別スレッドで並走させ,3社目のモデルとの一致を条件に答えを出す.速い組の邪魔はしない.
検証
- 計測: 受領資料から保留した問題と自作の問題の計82問で計測し,誤った回答の提示は0件だった(0/82のWilson法による95%信頼区間は0〜4.5%).暫定の基準で,チューニング前の枠組みを確かめるための計測だった.値は合っているが表記が異なり自動で採点できなかった5問は,人の確認が必要として扱った.
- テスト(計数): テストファイル148本・テスト関数3,953件を書いた(リポジトリを静的に数えた値で,実行結果ではない).比べる2者に何を見せるかを固定するテストもある.レビューで想定した2つの誤り(checkerに読み取り結果を見せる,一貫性の検査にcheckerの答えを見せる)を,既存のテストがほとんど検出できなかったため追加した.
指導方針の扱い
- OKF: 指導方針をGoogle Cloudの知識記述形式OKF(Open Knowledge Format)で1節1ファイルに起こした.
- 失敗時の扱い: Jevの呼び出しは例外を投げない.待つのは既定で0.6秒までで,間に合わなければ大きなカテゴリの指導方針に戻す.失敗しても回答が失われることはなく,指導方針が大まかになるだけにした.
- 独立性: 指導方針はwriterと解説には渡すが,checkerと一貫性の検査には渡さない.比べる2者が同じ出発点を共有しないようにするため.
技術的な判断と採らなかった案
- RAGを使わない: 待ち時間を抑えるため,指導方針をベクトル検索で探すRAGは範囲外にした.モデルにファイルを読ませるツール呼び出しも採らず,Pythonで読む.同じ資料と単元なら必ず同じ節が選ばれるので,実行どうしを比べられる.
- 難易度予測は不採用: 難問を事前に見分けて強いモデルに回す案を試した.事前に決めた採用基準を満たす予測器はなく,実行のたびに「難問」の判定も安定しなかったため,難問レーンをすべての質問で並走させる形にした.
- 分類の確信度: 確信度の段階で判定する方式をやめ,一定のスコアを超えたタグをすべて使う方式にした.2つの単元にスコアが割れたとき,大きなカテゴリに戻ってしまったため.
- 2回の抽選のどちらかで一致すれば通す規則は削除した.checkerを引き直すことは,答えないはずの質問を通すことにしかならないため.
見つかった問題と対処
- 写真の一部が切れていても2つのモデルの答えが一致することがある → 問題全体が写っているかを直接確かめ,写っていなければ撮り直しを促す専用の結果で返す.
- 1ページに複数の問題がある → 処理を止め,操作者が問題の枠を選ぶ.
- 図を描くノードが遅いと解説全体が待たされた → 図は別スレッドで作り,答えを組み立てた後に回収する形にした.
- checkerの推論の深さを低くすると推論をほとんどせずに答え,誤答が出た → 推論の深さを中程度に上げた.
使用技術
Python 3.12uvLangGraphFastAPIPydanticJevOpen Knowledge Format (OKF)OpenRouterMulti-vendor LLMpytest