llama.cppに2つの音声認識モデルへの対応が追加され、音声をテキストに変換する開発者の選択肢が増えた。ファイルのアップロードやリアルタイムの音声送信経路で利用でき、一方のモデルは発言時刻と話者情報も出力する。

1. モデル変換からサーバーリクエストまで対応する

2026年11月15日に公開されたb12426は、正式公開前の試験版であるプレリリースで、音声や画像などを処理するmtmdに2つのモデルを追加した。今回の変更は、モデルを実行可能な形式に変換する段階から、サーバーが音声を受け取って処理する段階までに及ぶ。

対応対象はbosonaiのHiggs Audio v3とmicrosoftのVibeVoice-ASRだ。前者は音声の文字起こしを、後者は誰がいつ何を話したかを含む文字起こしを扱う選択肢となる。

レビュアーのServeurpersoComは、テキストモデルの重みを8ビットで保存する形式のQ8_0と、小数を16ビットで表す16ビット浮動小数点形式のオーディオ接続モデルを組み合わせて試験したと述べた。英語とフランス語のクリップを使い、音声文字起こしAPIとチャット補完API、リアルタイム文字起こしセッションを確認した。

2. Higgs Audio v3は音声を4秒ずつ分割する

Higgs Audio v3は音声を4秒単位に分け、各区間で独立して音の特性を数値で表す音響特徴を生成する。レビュアーは、先述の試験条件で英語とフランス語のクリップを正確に文字起こしでき、34秒の英語クリップも9区間に分かれた状態で結果が正確だったと報告した。

リアルタイム入力では、1区間が埋まると処理し、入力を終了する際に残った短い区間も個別に処理する。長い録音をひとまとまりで受け取るだけでなく、届いた音声を分割して順次扱う方式だ。

3. VibeVoice-ASRは時刻と話者情報を出力する

VibeVoice-ASRは、24 kHzの1チャンネルの音の時間変化を表す単一チャンネル波形を直接読み込む。ファイル入力は標準で30秒の区間に分けるが、前の区間の文脈も併せて読み込む。区間を独立して処理する前述のモデルとは異なり、先に聞いた音とつなげて次の部分を読み込む方式だ。

出力は、開始・終了時刻、話者ID、内容を含むJSON形式だ。文字起こし文から発言区間を探したり、話者別に内容を扱ったりする開発者にとって活用の余地が生まれる。

プロンプトには音声の長さが必要だ。音声ファイルを受け取るサーバーは、ファイルの付加情報を含むメタデータから長さを取得してリクエストに含める。名前や特定の単語を追加の文脈として渡すこともできる。以下は、長さと追加情報をリクエスト文に組み込む原文コードの一部だ。

        } else if (is_vibevoice_asr_template(src)) {
            // without the audio length the model does not know where the audio ends and loops
            const char * keys = "transcribe it with these keys: Start time, End time, Speaker ID, Content";
            if (context.empty()) {
                asr_preset.user = string_format("\nThis is a %.2f seconds audio, please %s", audio_length, keys);
            } else {
                asr_preset.user = string_format("\nThis is a %.2f seconds audio, with extra info: %s\n\nPlease %s", audio_length, context.c_str(), keys);
                asr_preset.has_context = true;
            }
            asr_preset.media_first        = true;

レビュアーは、36秒のクリップが30秒の境界で分割され、発言時点を示すタイムスタンプと話者情報が正確だったと報告した。同じプロンプトで比較したクリップでは、transformers実装と単語ごとの結果が一致し、プロンプトに入れた追加情報も反映された。

4. 同じサーバー経路を使いつつ音声処理はモデルに合わせる

両モデルを導入する開発者は、モデル変換のサポートとサーバーの音声入力経路を活用できる。レビューで使用した経路は、/v1/audio/transcriptionsと/v1/chat/completions、リアルタイム文字起こしセッションだ。

同じサーバー内で音声認識の選択肢を増やせる利点がある一方、機能ごとのソフトウェア処理段階を担う処理層はモデルによって異なる。特にVibeVoice-ASRのリアルタイム処理は、前の区間の情報を状態として保持する役割を担う。

入力音量に応じて音の大きさを調整するVibeVoice-ASRのストリーミング音量正規化は、クリップ全体ではなく、それまでに届いた音声を基準とする。両モデルのストリーミング文字起こし実装は入力プロンプトを受け付けない。ファイルリクエストで追加の文脈を渡す機能は、このストリーミングの制約とは別に利用できる。

b12426の要点は、音声認識モデルの数を増やすだけでなく、複数の種類のデータを一緒に扱う既存のマルチモーダルサーバー経路で、文字起こしと時刻・話者情報を活用する選択肢を追加した点にある。