日本語文字起こし精度の測り方――自社音声で比較する再現可能なテスト

文字起こしAIの「精度○%」は、自社の会議で同じ結果になる保証ではない。マイク、雑音、話者の重なり、固有名詞、数字によって難易度が変わるからだ。候補を同じ音声・同じ採点表で比較すれば、宣伝文句ではなく実務の修正量で選べる。

まず用途別に3本の音声を作る

  • 静かな環境で1人が話す基準音声
  • 実際に近い2〜4人のオンライン会議
  • 固有名詞、数字、英語略語を含む難しい音声

各3〜10分で十分である。機密情報、顧客の個人情報、採用評価などを含めず、参加者の許可を得た検証用音声を使う。全候補へ同じ元ファイルを入力し、途中で音量や形式を変えない。

採点は「単語」だけにしない

単語誤り率を見るなら、正解文を人が作り、置換・削除・挿入を数える。ただし議事録の価値は全文一致だけでは決まらない。次の5項目も各0〜2点で採点する。

項目0点1点2点
話者区別不能一部修正実用範囲
固有名詞多数誤り登録後改善初回から良好
数字・日時重要な誤り要確認正確
決定事項欠落一部抽出正しく抽出
担当・期限欠落片方のみ両方抽出

最後に修正へ要した分数を測る。「10分の音声を直すのに何分か」が、導入後の労務費と直結する。AI要約は原文の誤認識をもっともらしく整える場合があるため、重要事項は音声と文字起こしへ戻って確認する。

音質条件を記録する

Google Cloudの音声認識ドキュメントは、サンプリングレートやエンコーディング情報を正しく指定すること、可能なら可逆圧縮を用いることを案内している。Microsoftも入力音声の品質、マイク距離、背景雑音が認識へ影響することを技術資料で説明している。同じ製品でも収録条件が違えば結果は変わる。

テストシートには端末、マイク、会議サービス、ファイル形式、話者数、雑音、言語設定を残す。製品更新後も同じセットを再実行すれば、改善や劣化を追跡できる。

合格基準を先に決める

営業商談なら商品名と次のアクション、社内定例なら担当と期限、インタビューなら引用箇所の再確認性が重要になる。「全部で一番高精度」ではなく、用途ごとの重大な誤りが許容範囲かで選ぶ。

候補の比較軸はAI議事録ツールの選び方にまとめた。小規模な検証から始める場合は個人事業主・小規模チーム向け文字起こしAIも参照できる。認識が不安定な場合は、関連するAI議事録の失敗原因と対策で入力条件を切り分ける。

Sources

編集方針: VYDNはベンダー公称精度を自社環境の結果として扱いません。この記事は測定方法を示すもので、特定製品の精度を保証するものではありません。