ローカル文字起こしと議事メモ
個人プロジェクト
概要
録音をMac上でローカルに文字起こしし,指定した時間帯の会議をLLMで議事メモにするClaude Code Skillを開発した.文字起こしはMac上でローカルに実行し,議事メモを書く段階で文字起こしの結果をLLMに渡す.
文字起こしの流れ
- 録音の選択: macOSのボイスメモの保存場所を走査して録音を一覧にし,利用者が選ぶ.録音は移動せずコピーするので,ボイスメモのデータベースとiCloudの同期を壊さない.
- 前処理: ffmpegで2パスのラウドネス正規化(EBU R128,-16 LUFS)をかけ,16kHzのモノラルにし,Silero VADで無音を詰める(無音500ミリ秒以上,前後400ミリ秒を残す).
- 文字起こし: mlx-whisper(whisper-large-v3)でMacのGPU上で実行し,詰めた無音の分を戻して元の時刻にそろえる.
- 幻聴の抑制: 前の文脈を引き継がない設定でループの連鎖を防ぎ,無音区間の判定を加え,無音らしさが高く確信度の低い区間は捨てる.
- 時間帯の切り出し: 長時間の録音から,指定した時間帯にかかる30分単位の区間を切り出して結合し,欠けている部分があれば報告する.10分未満の間隔で続く発話は1つの会議の候補にまとめる.
- 話者分離(任意,既定はオフ): DGX Spark上のNemotron-3-DiarizationをSSHとDockerで動かし,ローカルの文字起こしと同時に実行する.音声をFLACで送り,話者の区間を受け取って単語ごとに話者を割り当てる.失敗したときは話者なしの文字起こしに戻す.
議事メモの生成
- 既定ではClaudeのワーカーが議事メモをMarkdownで書き,オプションでGeminiに切り替えられる.話者と名前の対応は,生成の前に利用者が確かめる.
- 過去の議事録を文脈に入れる: 最新の3件から会議名と参加者の節だけを抜き出し(最大4,000文字),参加者名・敬称・会議の種類をそろえる.過去の議論の中身は渡さない.
- モデルの選び方: 自分で行ったブラインドの採点では,推論の深さを高にしたときの平均88.8点に対し,中では86.5点で,基準を下回ることもあったため,高を既定にした(記録上の評価).
見つかった問題と対処
- DGX Sparkのメモリ(vLLMと共有)が足りずに話者分離が失敗することがある → 30秒待って1回だけ再試行する.
- Nemotronは日本語で学習されていないため,話者の数を誤ることがある → 話者と名前の対応を人が確認する手順にした.
- PyPIのNeMoではこのモデルを読み込めなかった → 読み込めるコミットにNeMoを固定したDockerイメージを作った.
- SSHは対話なしで実行し,接続のタイムアウトを短くし,リモートの作業ディレクトリとコンテナは必ず片付ける.
開発
Python 3.12とuvで管理し,設定はPydanticのSettingsで読む.文字起こしとLLMはProtocolで抽象化し,テストではモックに差し替える.pytestの収集で357件のテストがある(収集時の件数で,実行結果ではない)(話者の割り当て51件,長時間録音の処理45件など).
使用技術
Python 3.12uvClaude Codemlx-whisperSilero VADffmpegGemini APINemotron-3-DiarizationNeMoDockerDGX SparkPydanticpytest