録音向けとリアルタイム向けの2種を公開

音声AIの米ElevenLabsは11月10日（日本時間同日）、音声を文字にする音声認識（Speech to Text）の新モデル「Scribe v3」と「Scribe v3 Live」を公式ブログで発表した。Scribe v3は録音した音声の書き起こし向け、Scribe v3 Liveは通話や会議を話しながら文字にするリアルタイム向けで、同社はいずれも自社で最も正確な音声認識のモデルと位置づける。

公式ドキュメントのモデル一覧にも、Scribe v3（scribe_v3）は前の版「Scribe v2」の後継、Scribe v3 Live（scribe_v3_live）は「Scribe v2 Realtime」の後継として載った。対応する言語はどちらも90以上。

Scribe v3 Liveは音声を文字にするモデルで、10月に公開した音声エージェント向けのモデル「Eleven Realtime」とは別の製品だ。Eleven Realtimeは、聞き取りから応答の音声を出すまでを1つにまとめた音声対話（Speech to Speech）のモデルで、ドキュメントも両者を別のものと明記している。

誤りの減り方は同社の測定、方法が違う数字とは比べられず

ElevenLabsによると、録音向けのScribe v3は、102言語の音声を集めた評価用データ「FLEURS」で、前の版のScribe v2より語の誤りが27%少ない。語の誤り率（WER）は16.94%から12.38%に下がり、試したすべての言語で改善したという。ドイツ語は42%、英語は23%、スワヒリ語は34%、誤りが減ったとブログは説明している。

リアルタイム向けのScribe v3 Liveについて、ブログは102言語で、意味の取り違えを数える誤り率（semantic WER）を43%、語の誤り率を31%、Scribe v2 Realtimeより下げたとする。ドキュメントは別の条件として、FLEURSの73言語でsemantic WERが44%低いと書いている。英語のなまりのある決算説明会の音声（Earnings-22）では語の誤り率が5.99%から3.91%に、欧州議会の音声（VoxPopuli）では2.13%から1.71%に下がった。

ElevenLabsが公式ブログで示した、Scribe v3とScribe v2の言語別の誤り率（WERとsemantic WER）の比較
ElevenLabsが公式ブログで示した、Scribe v3とScribe v2の言語別の誤り率（WERとsemantic WER）の比較（出典：ElevenLabs「Scribe v3 and v3 Live, our most accurate speech to text models」）

数字はいずれもElevenLabsが自社で測ったもので、第三者による検証は見当たらない。同社はFLEURSの誤り率を音声1本ごとに計算し、言語ごとに平均している。多くの公表値のようにすべての音声をまとめて計算する方法より数字が高く出るため、ほかの方法で測った他社の数字とはそのまま比べられないと、ドキュメントで断っている。

語の誤り率（WER、%、低いほど良い）。前の版はScribe v3がScribe v2、Scribe v3 LiveがScribe v2 Realtime。ElevenLabsの公式ドキュメントの記載による
  • 前の版
  • 新モデル
  • FLEURS 102言語（Scribe v3）16.94 → 12.38
  • Earnings-22（Scribe v3 Live）5.99 → 3.91
  • VoxPopuli（Scribe v3 Live）2.13 → 1.71

話者の聞き分けと専門用語の登録を強化

録音で誰が話したかを聞き分ける機能（話者分離）では、Scribe v3の誤りはScribe v2より全体で12%、話し手が3人以上の録音では17%少ないという。聞き分けられる話し手は最大32人。

Scribe v3 Liveでは、リアルタイムの書き起こしで初めて話者分離を使えるようにした。同社が16言語の会議や通話の音声で作った評価データの英語部分で、Liveの話者分離の誤り率は3.1%と、同社が試したほかのリアルタイムのモデルの5.9〜7.3%を下回ったとしている。この評価は各モデルの書き起こしを正解の文にそろえてから測っており、誤り率が低く出るため、録音向けの話者分離の数字とは比べられないとブログは注記している。

社名や略語などを事前に伝えて聞き取りやすくする機能は、録音向けで最大1000語まで登録できる。Liveは通常の50語に加え、聞こえたときだけ参照する最大1万語の用語集（keyterm library）を使える。話し手が言い終えたかを会話の流れから判断して区切る機能や、文の途中で言語が切り替わる会話の書き起こしにも対応した。

オランダのエネルギー会社Enecoは、発表前に自社の音声エージェントでLiveを試した。実際の通話で、郵便番号を最初の1回で正しく聞き取れた回数が40%、家屋番号は15%増えたと、ElevenLabsは説明している。

API料金は前の版と同じ欄に

開発者向けのAPIでは、既存のプログラムのモデル名を scribe_v3 か scribe_v3_live に変えれば移れる。前の版も引き続き使える。Liveで新しく加わった区切りの判断、多言語の書き起こし、用語集は、公式の開発キット（SDK）がまだ対応しておらず、使うには通信の口（WebSocket）に直接つなぐ必要がある。区切り方の初期設定は従来の「manual」のままで、設定を変えるまで既存の連携の動きは変わらない。

ElevenLabsのアプリでは2つのモデルが標準になり、Liveは同社の音声エージェント作成サービス「ElevenAgents」でも同日から使える。医療の会話向けに調整したLiveもElevenAgentsで提供するという。

API料金表では、Scribe v3がScribe v2と同じ欄で1時間あたり0.20ドル、Scribe v3 LiveがScribe v2 Realtimeと同じ欄で1時間あたり0.22ドル。用語を伝える機能は、録音向けで1時間0.05ドル、Liveで0.08ドルが加わる。Liveの用語集は1時間0.08ドル、録音向けの書き起こしの編集は1時間0.07ドルかかる。

企業向けには、データを米国で処理するのを標準とし、データの保管場所に条件がある顧客には欧州連合（EU）、インド、シンガポールの分離した環境でも提供する。処理が終わると音声と文字をすぐ消す設定を選べ、米国の医療情報の保護規則（HIPAA）の対象業務にも契約を結べば使える。自社の環境に置く形での導入にも応じる。