Higurashi AI 于 11月13日发布了可同时听与说的语音对话模型 Haru-4B 的权重、模型训练相关数据信息及运行代码。语音服务开发者可在网页演示或自建程序中测试附和、重叠发言等对话方式,并指定语气和声音。
1. 不必等待轮次,而是同时听与说
不同于一方说完后另一方才接着发言的轮流对话,该模型被设计为像打电话一样,可在倾听时说话。它每秒接收用户语音 7.5 次,即约每 133 毫秒一次,并同时生成模型语音和文本。
模型内部将用户语音、模型语音和模型文本合并到同一输入位置。据公司介绍,相比将三路流按 token 交替排列的方式,这能将上下文长度,即模型一次可参考的信息量,缩减至三分之一。语音输出不使用单独的语音生成 Transformer(一种计算上下文的神经网络结构),而是由小型神经网络对每帧按固定时长划分的语音片段执行一次生成,从而减少必须依次计算的步骤。
2. 通过真实录音学习对话节奏
据公司介绍,预训练,即正式训练前学习资料的过程,使用了涵盖超过 160 种语言的 4000万小时以上真实语音,重点关注包括韩语在内的 9 种语言。训练资料排除了语言模型生成的对话及合成语音,即计算机生成的人工语音,重点学习真实对话中的犹豫、附和与重叠发言。
训练分为适应单声道,即通过单一路径记录的语音,以及学习同步语音对话两个阶段。据公司介绍,团队将多人声音混合的录音分离为时间对齐的独立语音流,获得了超过 1,300万小时的对话资料,并使用最长 60 分钟的对话进行训练。
学习自然对话时机的代价是大规模数据预处理,即训练前整理资料的工作,以及计算资源。据公司介绍,预训练使用了 256 张 NVIDIA B200,耗时约 8 天。利用公开权重,开发者无需从头完成这项训练,即可开始语音交互实验。
3. 使用公开权重运行网页演示和本地应用
权重和代码以 Apache License 2.0 发布。仓库提供包含网页演示的 PyTorch 实现,以及面向 Apple 芯片的原生应用,即针对设备直接运行的应用。另有 vLLM-Omni 集成插件,用于在 GPU 服务器上处理多路对话。
网页演示需要显存约 12GB 的 NVIDIA GPU。为让浏览器访问麦克风,需通过本地地址或 HTTPS 连接,并自行准备模型使用的声音。参考语音应为单人清晰发言,时长在 3 秒至 3 分钟之间。
以下示例是仓库提供的 Python 用法。先通过参考语音设定声音并启动对话会话,再逐帧传入用户语音。
from haru import DuplexSession, HaruModel
from haru.audio import load_audio, prepare_reference
model = HaruModel.from_pretrained("higurashi-ai/Haru-4B")
voice = prepare_reference(load_audio("voice.wav"))
session = DuplexSession(model, system_prompt=card, reference=voice)
frame = session.start() # the model's first 133 ms: frame.audio, frame.text
while not frame.done:
frame = session.step(user_audio) # 3200 samples at 24 kHz in, 3200 out模型卡指出,作为研究用基础模型,其事实回答的可靠性及达到一般助手水平的指令遵循能力存在局限。参考语音必须使用有权使用的声音。
4. MacBook 延迟含语音输入输出约为 65 毫秒
据公司介绍,在 Apple M1 Max MacBook 上,使用自定义 Metal 内核的原生应用,其端到端延迟,即从输入到输出所需时间的中位数为 65.2 毫秒。测量使用 int8 权重和有线麦克风、耳机,不包含将声音汇集成帧的时间。
表:Apple M1 Max 上测得的端到端延迟
条件:Apple M1 Max MacBook、使用自定义 Metal 内核的原生 Swift 应用、int8 权重、有线麦克风及耳机、不含音频分帧时间(据公司公布)
单位:ms
| 项目 | 延迟时间 |
|---|---|
| 输入(麦克风→应用) | 5.3 ± 0.0 |
| 模型 1 步 | 34.2 ± 0.5 |
| 套接字及交接 | 4.1 ± 0.3 |
| 输出等待(15 ms 余量及剩余时间) | 13.3 ± 1.5 |
| 输出(应用→耳机) | 8.1 ± 0.2 |
| 合计(p50) | 65.2 ± 1.5 |
模型计算是各单独环节中延迟最大的部分,但输入输出及等待时间也构成整体延迟。据公司介绍,将声音汇集成帧最多会额外增加 133 毫秒,因此设计实际对话响应时也需考虑这段时间。
GPU 服务器的公开数据针对的是计算阶段,而非端到端延迟。据公司介绍,在 NVIDIA B300 上,语音编码、解码及语言模型的一个步骤耗时约 15 毫秒。MacBook 测量展示的是本地语音输入输出,而该数据展示的是服务器处理一帧的计算时间。
Haru-4B 的核心在于同时提供公开代码和真实的交互式对话时机设计,为开发者亲自测试语音交互奠定基础。
