スパイス犬

こんにちは。スパイス犬です。

生成AIの進化によりテキスト理解の精度は大きく向上しましたが、そのアウトプットは「入力データの質」に強く依存しています。特に音声認識は、話し方や環境ノイズ、収録機材といった要因によって、他の“自然文入力”と比較しても、品質に大きなばらつきが生じる領域です。入力の揺らぎは、後段のタスクにどのような影響を与えるのでしょうか。

そんな背景の中、「生成AI時代の音声認識」を題材にした興味深い論文を見つけました。まずは内容をご紹介しつつ、その手法を参考にしながら、こちらでも軽く検証してみたいと思います。

論文のタイトルは

Measuring the Effect of Transcription Noise on Downstream
Language Understanding Tasks

意訳させて頂くと

音声誤認識が、生成AIの言語理解に与える影響を測定してみた！

といった感じです。論文リンクはこちらです。

この論文では非常に多くの実験をされています。かなりカジュアルにまとめると

• 音声認識の”間違い”は生成AIが関わる下流タスクに影響を与えることは間違いない。
• その影響の大小はタスクの種類とLLMモデルで異なる
• 一方で、下流タスクへの影響は音声認識のWER（エラー率）だけで判断できないことがある
• 音声認識の間違いの質によって影響は変わる
• つまり、音声認識の品質評価の指標は、WER値の一辺倒ではないんだ
• LLMが修正出来ちゃう間違いなら、アウトプット品質に問題がない場合もあるんだよ

さてここから論文の内容を説明していきますが、この先細かい数字が出てきたりして長くなりますで、ここでブログの全体像を述べさせていただきます。

今回のブログの全体像
論文では、単語レベルで多少のエラーがあっても、そのエラーの種類によっては生成AIがうまく修正してくれるため、最終的な成果物の品質が許容範囲内になることが示されています。英語の音声を対象にした研究ですが、日本語の会話音声でも同様に評価したところ、似たような結果が得られました。特に、固有名詞がある程度正確に文字起こしされ、解釈を大きく変えない忠実な音声認識エンジンであれば、生成AIによる修正との相性が良さそうです。

１ 論文の解釈

1.1 エラー率(WER)が与える影響

「出典：ACL 2025, Measuring the Effect of Transcription Noise on Downstream Language Understanding Tasks」

まず、音声認識のエラー率（WER）が生成AIに与える影響を明らかにします。
複数のLLMを用いてタスクを実行し、出力結果の品質を比較します。以下論文より。

要約タスク(QMSum)、質問応答タスク(QAConv)、対話分類タスク(MRDA)を各LLMに実施させて、その内容を評価（スコアリング）する。　その評価値とタスク前に実施した音声認識のWER（単語エラー率）の相関を考察する
評価に使用したLLMたち

Mistral
Llama3
Llama3.1
Gpt4oMini;

会議要約タスク（QMSum）とは
QMSumタスクの評価では、実際の会議トランスクリプトと人間が作成した参照要約のペアをデータセットとして使用する。LLMが生成した要約を、ROUGE指標およびGPT-4o-miniを判定者としたペアワイズ評価により判定する。
　ROUGE指標（-1/2/L）：参照要約同士の重なり度をスコアリング
　ペアワイズ評価：GPT-4o-miniに参照要約と共に読ませ「どちらの要約が良いか？」を聞く。
　観点は、（内容の正確性） （重要情報の網羅性） （不要な情報の有無） （簡潔さ）

質問応答タスク(QAConv)とは
QAConvタスクの評価では、人間のアノテーターが実際の会話トランスクリプトを基に作成した質問と参照回答のペアをデータセットとして使用する。LLMはトランスクリプトと質問を入力として受け取り、該当する短いテキストスパンを抽出して回答を生成する。生成された回答は参照回答との照合で行い、モデルの情報抽出能力を定量的に評価する設計となっている。

対話行為分類タスク(MRDA)とは
人間のアノテーターが付与した対話行為ラベルを選択肢としてLLMに与え、LLMが音声認識結果の各発話を入力として理解した対話行為をラベルに分類する。分類対象のラベルは、Yes/No疑問文・疑問詞疑問文・選択疑問文・同意承認・陳述などの12種類である。

結果と考察

• 会議要約タスク（QMSum）： LLMへの依存は比較的少ない。エラー率（WER）が低値（ここでは 0.2 以下）であればLLMを問わず要約への影響は少ない傾向。
• Q＆A解答タスク（QAConv）：LLMにより許容できるWER は大きく異なる。間違いへの挙動はGPT-4o-miniがエラー率が低い場合には明確に優位である一方、ノイズ増加とともにLlama3.1に追い越される傾向が確認された。
• 対話行為分類タスク（MRDA）：WER に比較的鈍感。全モデルにおいて結果が低水準（正解率が低い）。タスクが難しすぎるのか、間違い率の影響を正確に評価することが困難であった。

1.2　どのような音声認識の”書き起こし誤り”を正せばスコアが良くなるのか。

エラー率は、すべての単語を同じ重みで評価します。そのため、「モグラ」と「メキシコ」の誤りも、「わたし」と「できます」の誤りも、同じエラー率として扱われます。しかし生成AIの後処理では、誤る単語によって影響は大きく異なる可能性があります。
ここでは、どの単語を修正するかを変え、生成AIの出力品質への影響を比較しました。以下論文より。

方針と手法
音声認識によって生じた書き起こし誤りのうち、特定の種類の単語を正しい内容に修正することで下流タスクへの影響を分析する

誤りを含む書き起こしテキストと正解テキストを照合し、不一致箇所のうち対象とする単語種に該当する部分を正解テキストの内容で修正（クリーニング）する。対象とする単語種は以下であり、それぞれ独立して補正を適用する

名詞・動詞・形容詞・副詞・内容語（名詞・動詞・形容詞・副詞）・非内容語（助詞・接続詞）・固有名詞

クリーニングの貢献度は CES（Cleaning-Effectiveness Score、CES = タスクスコアの改善 / √(WERの減少)）で算出した
クリーニング貢献度（CES）トップ3 and ワースト1　は

会議要約タスク（QMSum）：
固有名詞 (0.499) ＞内容語(0.479) ＞ 名詞(0.305) ＞＞＞＞＞ ＞＞ ＞＞ 形容詞（-0.023）
質問応答タスク(QAConv)：
固有名詞 (0.311) ＞名詞(0.211) ＞ 内容語(0.202) ＞＞＞＞＞ ＞＞ ＞＞＞ 形容詞（0.071）
対話行為分類タスク(MRDA)：
固有名詞 (0.735) ＞＞形容詞（0.290）＞非内容語(0.285) ＞＞＞＞＞ ＞ 副詞（0.107）
※内容語：事物、動作、性質、状態などの実質的な意味を持つ単語の総称

結果と考察

• 固有名詞を修正する効果はとても大きい
• 同じWER削減でも修正対象によって最終的な品質の効果が違う
• 同じWERの改善（WER 0.6 → 0.4 (20%削減)）であっても、固有名詞の修正効果は絶大

1.3　音声認識の評価を考え直すパラダイムシフト

ここまでの検証で、

LLMを併用する機会が多くなった今日、単語や文字のエラー率だけで音声認識の品質は実用ではない

ことがわかってきました。では音声認識に携わる私たちは、どのような観点で品質を上げていけばよいのでしょうか。以下論文より。

ASR開発者は
全体的なWER削減より、固有表現の精度向上に注力すべき
従来のゴール：全体WER 10% → 5%に改善しよう。
新しいゴール設定例（複合）:　固有名詞表現のWER: 5% → 2%

ASRシステム評価者やタスク設計者は
固有表現と名詞を優先的に修正したうえで、利用するタスク実行後の品質を意識しよう。
全体WERは下がらなくてもタスク性能向上します

２ AmiVoiceAPIでの分析

さあここからは実証のコーナーです。
論文と類似の手法でAmiVoiceAPIのエンジンで日本語の音声を評価していきます。

2.1　エラー率（CER^※）の把握

※CERは論文中のWERに相当します。日本語はアルファベットの言語と異なり、文字毎のエラー率評価の方が有効な場合が多いため、この検証ではCER（Character Error Rate）を用います

音声の種類としては専門用語の多いと思われる医療会話のCERを測定しました。対象のエンジンはAmiが誇る汎用エンジン(ハイブリッド)、E2Eエンジン（EndToEnd）、そして医療エンジン（ハイブリッド）です。
CER値は6診療科、各300文字前後の会話100個以上の平均の結果です。
エラー率なので値が小さい方が間違いが少ないです。

結果と考察

CER 0.15くらいを境に各エンジンに特徴があるようです。
何より興味深いのが診療科による傾向。医療用語に強いはずの医療エンジンが内科とリハビリテーション科ではE2Eエンジンに対してビハインド。なんということでしょう。

おそらく内科とリハビリテーション科の会話には一般会話が多いため、その文脈理解に耳の良い”E2Eエンジン”が実力を発揮したのでしょう。一方で、用語が多いであろう”歯科”での会話音声においては、医療エンジンの”知識”が差を見せつけています。

※エラー率の値は使用する音声の特徴、品質に大きく依存します。今回の結果あくまで使用した音声に帰する傾向になります

2.2　論文に習った客観的評価

今日の評価の目的はエラー率測定ではありません。論文にならって要約品質の客観的評価をしてみます。ここからは、単語登録機能で医療用語を武装したエンジン、そしてAmi外からのゲストとして4つのエンジンにも参加して頂きます。
なおゲストのエンジン提供元の略称は弊社が発行している（お役立ち資料 主要7社の価格・機能比較表ー失敗しないサービス選びのポイントー – AmiVoice Cloud Platform）と同じとしております。

評価したエンジンの一覧

• AmiVoice (汎用)

• AmiVoice（汎用）+500医療単語

• AmiVoice（E2E）

• AmiVoice（医療）

• A社

• B社

• E社

• F社

客観的評価の方法

１　歯科のテストセットから選んだ2つの会話に対して音声認識のCERを測定
２　音声認識結果のテキストをリファレンスと共に生成AIに入力し、評価させる：AI評価(raw)
３　音声認識結果のテキストを生成AI（ClaudeSonnet4.6）に要約させた後、リファレンスと共に生成AIに入力し、評価させる：AI評価(要約)

生成AIの評価のポイントは、論文掲載の方法同じく、（内容の正確性） （重要情報の網羅性） （不要な情報の有無） （簡潔さ）を明示的に生成AIにプロンプトで指示します

いよいよ結果です

• 2つの音声に対する音声認識結果に基づく文章を比較したランキング表です。AI評価(要約)ランキングの昇順で並べています。

• ranking (AI評価(要約ranking (AI評価(raw))は生成AIに評価させた順位です。

• ranking(エラー率)は正解と比較した文字毎の間違った数の割合を順位にしたものです。CER列の数字が小さいほど順位が上です。

• ranking(AI評価(要約))、ranking(AI評価(raw))のカッコ内の矢印と数字は、エラー率（CER）のランキングからの変動順位を示しています。変動がない場合はハイフンです。

結果と考察

• エラー率が最も低いエンジンは、AI評価でもランキングが変わることはなかった
• AI評価は、エラー率の低さに関連性はあるが逆転は起きる
• 逆転は、固有名詞に間違いがない場合に起きる傾向ではあるが、要約時の「文章の構成」にも影響している。E2Eエンジンが要約で順位をあげるケースがその特徴的な例

なお、AI評価には考察を出力させるようにしていました。
参考になると思いますのでこちらも一部掲載します。

AmiVoice（医療）
認識率・AI評価（raw）・AI評価（要約）すべてで１位
音声認識精度とAIの質評価が完全に一致しており最も信頼性が高いシステム

AmiVoice（E2E）
WERは中位だが要約品質は上位
誤認識があっても医療的に重要な情報を拾えている可能性
LLMが補正しやすい誤り方をしていると解釈できる
実運用では過小評価されるリスクがある

E社
要約段階での回復力が高いシステムと評価できる
（Dental_f6について）認識率8位（最下位）だが要約5位
誤認識は多くても文脈や構造が保たれている可能性

３ 終わりに

ご紹介した論文は2025年に発表されたもので、生成AI時代における音声認識の実態を示す検証結果として、弊社でもすぐに注目しました。使用された音声や評価ツールは同じにできないものの、論文に倣って自身で評価したことで、生成AIを用いる多くの開発者・評価者がこれから感じるであろう感覚を適切に示している論文であることを実証できた気がしています。

そして、音声認識屋として再認識したことは「忠実に音を再現することの大切さ」です。
後工程の能力を信じて忠実な仕事をすることで全体がまとまる。
なんだか自分の業務のチームワークのように思えてきました。

AI時代においても、私たちは音声認識に真摯に向き合い続けていきます。
生成AIとAmiVoiceを組み合わせ、より高い価値を生み出すお客様の取り組みに、本実証をご活用いただければ幸いです。