llama.cppが音声合成モデルDrama 3で参照音声を使った音声クローンに対応する。音声合成を実装する開発者は、参照クリップとその内容を書いた書き起こしで声を指定でき、既存の音声処理用補助モデルファイルを再変換して機能を利用できる。

1. 参照クリップをもとに声を指定する

b12590は2026年11月20日にプレリリース、つまり正式公開前の試験版として公開された。従来のDrama 3実装は音声クローン用の参照ファイルを警告とともに無視していたが、今回の変更ではクリップの音声情報を生成入力に加え、参照する声の特徴を反映する。

書き起こしには参照クリップで話された内容を記す。書き起こしに話者表記がなければ話者0として扱い、生成する文に話者表記がない場合は参照用の書き起こしの話者表記を引き継ぐ。

2. 出力用コーデックに入力経路を追加する

接続の要点は、音声の出力に使っていたコーデックを入力側にも活用することだ。Drama 3のマルチモーダル、つまり複数種類の情報を扱うファイルは、音声生成部とコーデックを収める補助モデルファイルだ。従来は音を出力するデコーダーだけを収めていたが、今後は参照音声をモデルが読み取るコードに変えるエンコーダーも含む。

エンコーダーの変換コードはFish S2と共有する。PR作成者によると、Fish S2の変換結果は従来と同じで、複数の軸に沿って並べた数値データであるテンソル511個と、ファイルの構造や属性を説明するメタデータ20項目を維持する。Drama 3に入力経路を加えつつ、既存のFish S2の変換結果は維持した形だ。

3. コマンドラインでの使い方

以下はPR作成者が示した実行例だ。モデルとマルチモーダルファイル、参照音声と書き起こし、新たに読み上げる文をまとめて指定する。

llama-tts -m drama3.gguf -mm mmproj-drama3.gguf \
--tts-speaker-file reference.wav \
--tts-speaker-text "<|speaker:0|> transcript of the clip" \
-p "text to speak" -o out.wav

参照音声はリクエストごとに1つで、冒頭の最大30秒までを使用する。エンコーダーのない既存の補助ファイルを使うと、警告とともに参照音声が無視されるため、音声クローンを使う前にマルチモーダルファイルを再変換する必要がある。

4. 提出者が公開した試験結果

PR作成者が明らかにした試験対象は、Drama 3のチェックポイント、つまり学習状態を保存したモデルファイル78e5ab79だ。中心となる生成モデルは重みあたり2ビットでエキスパート192個を使用し、マルチモーダルファイルにはQ8_0量子化という、数値の精度を下げて保存する手法を適用した。

作成者はCUDA環境で試験し、基準クリップと比較したWavLMの話者類似度は、参照音声ありで0.883、なしで0.563だったと述べた。同じ基準クリップに対し、参照音声を入れた方が高い類似度を示した結果だ。

別途取り分けた検証用データの単一参照音声プロンプト、つまりモデルに入力する指示文91個では、作成者の話者確認試験を通過したものが88個で、平均類似度は0.956だった。

内容は音声認識で確認した。作成者は138個のプロンプトのうち136個が、カテゴリ別の単語誤り率、つまり認識結果の単語の誤りの割合の基準を満たしたと述べた。声の類似度とともに発話内容も点検したということだ。

5. モデル追加の代わりにファイルと入力処理が増える

参照音声に対応する代わりに、マルチモーダルファイルにコーデックのエンコーダーが追加され、入力された音声フレーム、つまり短い時間単位に分けた音声データごとにプロンプト行が入る。そのため、新機能のためにファイルを作り直し、モデルが処理する入力も増える。一方、生成モデルを別途追加せず、1つの参照音声で話者の特徴を指定できる。

今回のリリースの実質的な変化は、Fish S2コーデックを再利用し、補助ファイルの再変換を経て、既存のDrama 3の生成フローに参照する声を取り込めるようにした点にある。