■Whisper（large-v2）

考察

AmiVoiceが最も良い結果になりました。エラー率（CER）にすると、AmiVoiceは100%-96.68%＝3.32%、同様にWhisper(large)は11.71%、Whisper(large-v2)は11.20%となり、3倍以上の非常に大きな差となりました。

AmiVoiceの音声認識率96.68%という値は我々の社内実験の中でも比較的高い水準のものだと言えます。 きちんとマイクがセッティングされ、話者も参加者に向けて明瞭に発話していて、人間にとっても聞きやすい音声であることが高い精度が出た理由だと言えます。

気になるのはWhisperがそれなりに誤認識をしている点です。 誤認識箇所をチェックしていると、目立つ誤認識パターンとして２種類くらいに分類できそうです。

• Whisperの誤認識パターン１：発音が似た単語に文脈を無視して間違っている
  
  • 競合→今日後
  • 好調に推移→好調に注意
  • どこも投資をしている→ドグも投資している
  • ◯◯か何かで→◯◯内科で

• Whisperの誤認識パターン２：あまり見たことのない漢字変換をしている
  • 加重平均→過充平均
  • 四半期報告→市販機報告
  • 余資運用→吉運用
  • 残存期間→暫存期間
  • 外貨建て→外科だて
  • 一過性→一家性

パターン１は人間が聞くと若干「そう聞こえなくもないかな？」と感じる箇所もありますが、文脈などを含めて総合的に考えるとおかしな誤認識のように感じます（このパターンはAmiVoiceでも発生しますが、その頻度が今回の音声ではWhisper方が多かったです）

パターン２はあまりWeb検索でも出てこない漢字変換をしていて、どうしてこのような出力をしたのか謎です。

また、Whisperは削除誤りが突出して多いです。これは原因を調べて驚いたのですが、Whisperは不要と思われる文章を賢く削除する傾向があります。例えば下記のような発話に対してWhisperはこのように出力することがあります。*1

• 発話者「１月、いや２月の１日、あれ２月１日じゃなかったでしたっけすいません、え、いいんでしたっけ、その日の件ですが」
• Whisper「２月１日の件ですが」*2

この処理があることで音声認識結果の可読性は上がると思いますが、この結果を正解とするわけにはいかないため計算上は省略された箇所は削除誤りという扱いになります。この挙動による削除誤りは用途によっては問題がないのである程度差し引いて評価してもいいかもしれません。

まとめ

今回は会議の音声を使ってAmiVoiceとWhisperの比較をしました。

結果はAmiVoiceの方がエラー率（CER）が1/3以下という大きな差になりました。

Whisperは発音が似た単語に文脈を無視して出力しやすかったり、あまり日本語として使われない漢字変換をしてしまうことによる誤認識が多かったようです。

また、Whisperは不要な文章を賢く削除する傾向があり、そのため削除誤りが多くなりやすいようです。この誤りは用途によっては問題ない場合もあるので、比較評価する際はある程度差し引いて考えもいいでしょう。

この記事を書いた人

• 

  安藤章悟

  音声認識の研究をしていたら、近所に音声認識屋を見つけてしまい入社。今に至る。

  趣味は海外旅行と美味しいものを食べることとサウナ。

  : @anpyan