Fish Audioが、複数の人物が登場する台本を読み、話し方の指示に応じて録り直すように修正できる音声合成モデルを公開した。対話型コンテンツを作る開発者は、音声生成と演技の修正、既存音声の部分的な差し替えを1つのモデルで処理できる。

1. 全体の規模と実際の計算量が異なるモデル

2026年10月13日に公開されたFish Audio Drama 3は、正式版に先立つ先行公開版だ。

テキスト処理部は、計350億のパラメータのうちトークンごとに約30億を有効化するMoE構造だ。タスクごとに一部のエキスパートだけを選んで計算する方式である。モデル全体を格納するメモリと、毎回の計算規模は区別する必要がある。

音声生成部には、前世代のデコーダーに代わる13層のデコーダーを搭載した。

2. 演出の修正と区間の差し替えは異なる

演出は台本に指示を入れる方式だ。[laughs]は笑いを入れる位置を指定し、<whisper>...</whisper>はささやく区間を囲む。自然言語でスタイルや演出メモを書く方式にも対応する。

次の対話ターンで修正を指示すると、元の参照音声と直前の生成結果をコンテキストに保持したまま再生成する。リリースノートによると、Step-Audio-Edit評価で3回修正した後、感情の正確度は55.5%から58.2%に、スタイルの正確度は76.5%から81.8%に上がった。この結果は、同評価における反復修正の効果を示す。

既存の録音の単語や文を挿入・削除・置換する機能もある。この場合は指定した区間だけを再生成し、前後の音声は残す。演技全体をやり直す機能とは異なり、修正範囲を限定する編集だ。

3. 実行方法と必要な機材

GitHubのリリースタグはv3.0.0-betaだ。モデルカードは、実行方法としてSGLang-OmniとvLLM-Omniを挙げている。以下は、前者をインストールした後にサーバーを起動する、原文のコマンドだ。

sgl-omni serve --model-path fishaudio/drama-3 --port 8000

リリースノートに示された最低条件は、重みの数値表現の精度を下げるFP8形式で、メモリ48GB以上のNVIDIA GPUだ。

従来のS2-Proも、同じコマンドライン、サーバー、Web画面で引き続き利用できる。保存されたモデルの重みと設定であるチェックポイントから設定を読み取り、モデルの種類を判別する。

4. スループットと応答遅延は併せて見る必要がある

モデルカードの性能表は、H200を1枚使い、Seed-TTSの英語台本をストリーミングでリクエストした結果だ。各リクエストでは事前にエンコードした参照音声1つと書き起こしを使い、各値は4回実行した平均である。サンプリング設定はtemperature 1.0、top_p 0.9、top_k 30、max_new_tokens 500だ。

音響フレームは音を分割して生成する単位で、毎秒の生成量は同時リクエスト全体の合計スループットだ。同時リクエスト1件では毎秒166.7音響フレームを生成し、最初の音声が出るまでの時間の中央値は88.9ミリ秒だった。同時リクエスト16件では毎秒927.6フレームに増えるが、最初の音声の遅延中央値も210.1ミリ秒に延びる。同条件の比較でも、スループットの増加は応答遅延の減少を意味しない。

別のH200の配置比較では、同時リクエスト256件で、音声波形への変換部をモデルと同じGPUから2枚目のGPUへ移すと、スループットは毎秒2,422から4,160フレームに、最初の音声の遅延中央値は3,403から2,146ミリ秒に変わった。同時実行数が多いと変換部が飽和し、最初の音声がキューで待つというボトルネックを軽減した結果だ。

この比較では、変換部のデフォルトのGPU割り当てを使い、同時実行数ごとに1,088件のリクエストを送り、サーバー起動6回の平均を取った。終了フレームもスループットに含めており、先の測定とは機材配置や集計条件が異なるため、数値を混ぜて比較してはならない。

5. 制作の利便性には運用と利用条件の確認が伴う

1つのテキストに最大16人の話者を含められるが、長文はUTF-8でエンコードしたときに約300バイトずつに分割され、1つの断片には最大3人の話者しか入らない。生成前にすべての断片を検証する。台本全体の話者数の上限と、1度に処理する断片の上限は異なる。

リポジトリから学習スクリプトとファインチューニングツールが削除されており、提供される推論機能と自ら再学習する作業を同じサポート範囲と見なしてはならない。

公開モデルだからといって利用条件の確認を省くことはできない。リリースとモデルカードの本文はFish Audioコミュニティライセンスを示すが、カードのメタデータにはFish Audio研究ライセンスに相当する名前が残っている。2つの表記が異なるため、実際に適用される条件はライセンスファイルで確認する必要がある。

このモデルの核心は、複数話者の演技と修正範囲を制御することにあり、導入の判断にはスループットだけでなく、機材や学習ツール、ライセンス条件も含める必要がある。