Higurashi AIが11月13日、聞きながら話す音声対話モデルHaru-4Bの重み、モデルの学習に関する数値情報、実行コードを公開した。音声サービスを開発する人は、ウェブデモや自作プログラムで相づちや発話の重なりを伴う対話を試し、話し方と声を指定できる。

1. 順番を待つ代わりに聞きながら話す

一方が話し終えてから次の発話に移る順番制の対話とは異なり、このモデルは電話のように聞いている間も話せる設計だ。毎秒7.5回、約133ミリ秒ごとにユーザーの音声を受け取り、モデルの音声と文章を同時に生成する。

内部ではユーザー音声・モデル音声・モデル文章を1つの入力位置に統合する。同社によると、3つの流れをトークン単位で交互に並べる方式に比べ、モデルが一度に参照する情報量であるコンテキスト長を3分の1に減らす。音声は、文脈を計算する神経網構造である音声生成専用トランスフォーマーではなく、小さな神経網が出力する。一定時間で区切った音声の各フレームを1回の生成ステップで出力し、逐次計算が必要な段階を減らす。

2. 実際の録音で対話のリズムを学習

同社によると、本格的な学習の前に資料を学ぶ事前学習には、160を超える言語の実音声を4千万時間以上使い、韓国語を含む9言語を重視した。言語モデルが作った対話と、コンピューターが作る人工音声である合成音声を学習資料から除外し、実際の対話のためらい、相づち、発話の重なりを学ぶことに焦点を当てた。

学習は、1つの経路で記録された単一チャネルの音声に適応する段階と、同時音声対話の学習に分けた。同社によると、複数人の発話が混ざった録音を時間のそろった別々の音声ストリームに分離し、1,300万時間以上の対話資料を確保した。学習には最大60分の対話を使った。

自然な対話タイミングを学べる利点の代償は、学習前に資料を整理する大規模な前処理と計算資源だ。同社によると、事前学習にNVIDIA B200を256基、約8日間投入した。公開された重みを使えば、開発者はこの学習を最初から行わずに音声インタラクションの実験を始められる。

3. 公開された重みでウェブデモとローカルアプリを実行

重みとコードはApache License 2.0で公開された。リポジトリには、ウェブデモを含むPyTorch実装と、機器に合わせて直接動作するAppleシリコン向けネイティブアプリがある。GPUサーバーで複数の対話を処理するためのvLLM-Omni連携プラグインも提供する。

ウェブデモには約12GBのメモリを持つNVIDIA GPUが必要だ。ブラウザーからマイクにアクセスするため、ローカルアドレスかHTTPSで接続し、モデルが使う声は自分で用意する。参照音声には、1人の明瞭な発話を3秒から3分の長さで使う。

以下はリポジトリが案内するPythonの使用例だ。参照音声で声を決めて対話セッションを開始し、ユーザー音声をフレームごとに渡す。

from haru import DuplexSession, HaruModel
from haru.audio import load_audio, prepare_reference

model = HaruModel.from_pretrained("higurashi-ai/Haru-4B")
voice = prepare_reference(load_audio("voice.wav"))
session = DuplexSession(model, system_prompt=card, reference=voice)

frame = session.start()                  # the model's first 133 ms: frame.audio, frame.text
while not frame.done:
    frame = session.step(user_audio)     # 3200 samples at 24 kHz in, 3200 out

モデルカードは、研究用の基盤モデルには、事実に関する回答の信頼性と一般的なアシスタント水準の指示遂行に限界があると説明している。参照音声には、使用する権利のある声を用意する必要がある。

4. MacBookの遅延は音声入出力を含めて約65ミリ秒

同社によると、Apple M1 Max搭載MacBookで独自のMetalカーネルを適用したネイティブアプリの、入力から出力までのエンドツーエンド遅延の中央値は65.2ミリ秒だった。int8の重みと有線マイク・ヘッドホンを使い、音をフレームにまとめる時間は除いて測定した。

表:Apple M1 Maxで測定したエンドツーエンド遅延

条件:Apple M1 Max搭載MacBook、独自のMetalカーネルを使うネイティブSwiftアプリ、int8の重み、有線マイク・ヘッドホン、音声のフレーム化を除外(同社発表による)

単位:ms

MacBookの遅延は音声入出力を含めて約65ミリ秒
項目遅延時間
入力(マイク→アプリ)5.3 ± 0.0
モデル1ステップ34.2 ± 0.5
ソケットとハンドオフ4.1 ± 0.3
出力待機(15 msの余裕と残り時間)13.3 ± 1.5
出力(アプリ→ヘッドホン)8.1 ± 0.2
合計(p50)65.2 ± 1.5

モデル計算は個々の段階の中で最も遅延が大きいが、入出力と待機時間も全体の遅延を構成する。同社によると、音をフレームにまとめるために最大133ミリ秒が加わるため、実際の対話応答を設計する際にはこの時間も考慮する必要がある。

GPUサーバーの公開値は、エンドツーエンド遅延ではなく計算区間を対象とする。同社によると、NVIDIA B300では音声のエンコード・デコードと言語モデルの1ステップに約15ミリ秒かかった。MacBookの測定がローカルでの音声入出力を示すのに対し、この値はサーバーで1フレームを処理する計算時間を示す。

Haru-4Bの要点は、公開コードと実際の対話タイミングを併せて示し、開発者が音声インタラクションを自ら試せる基盤を整えたことにある。