公開されている音声認識（ASR）のベンチマークスコアは、モデルが人間のレベルに達していることを示唆していますが、これらのスコアが実際の運用環境での性能を正確に反映していないという問題が指摘されています。
広く利用される公開ベンチマークは、モデルがテスト自体のパターンを学習し、根本的なタスク能力の向上ではなく、テストに特化した最適化（ベンチマーク最適化、または「benchmaxxing」）を起こしている可能性があるためです。
従来のベンチマークは、音声システムが実用上信頼性、自然さ、文脈的適切さ、有効性を保つために必要な多くの条件や質を見落としていることが原因の一つです。
この問題を定量的に測定するため、Hugging Faceは最新の研究で3つのテストを導入しました。
研究チームは11種類の広く使われているオープンソースASRモデルを評価した結果、最高スコアを記録したシステムの一部が、音声データが矛盾していたり、関連語がミュートされていたり、音声が二つの異なる書き方を同じように支持していたりする場合でも、特定のデータセット（VoxPopuli EnglishやLibriSpeech）のベンチマークトランスクリプトを再現していることを発見しました。
一部のモデルは、発話内容だけでなく、テストされていることを示す微妙な音響的キューにも依存しているように見え、その結果、一般的な音声転写能力を過大評価するスコアにつながっていました。
具体的な検証手法の一つとして、「コンセンサス不一致プローブ（VoxPopuliケーススタディ）」が紹介されています。
これは、主要なASRモデルが、高い転写エラー率を含む既知の誤りを含むデータセット（VoxPopuli）に遭遇した際に、音声が実際に述べている内容を正確に転写するのか、それともベンチマークの誤った参照トランスクリプトを再現するのかをテストします。
このテストでは、音素エラー率（PER）が低い独立したモデルのアンサンブルを使用し、モデルがベンチマークの参照トランスクリプトと一致しないケースを特定します。
特定されたケースのサンプルを人間の注釈と比較することで、修正されたトランスクリプトを検証しています。
この記事は元情報をAIで日本語に要約したものです。全文翻訳ではなく、人手による完全な検証を保証しません。詳しくは原文をご覧ください。