Zyphra于11月9日发布了实时语音克隆模型ZONOS3-Mini。开发者可以根据简短的语音样本克隆声音，并选择在浏览器、个人设备或服务器上部署以生成语音。

1. 仅计算所需部分，面向设备端运行

模型共有8亿参数，生成词元时仅激活约1亿参数。它采用混合专家架构，只选择所需部分进行计算，即调用大模型的一部分来生成语音。

根据模型卡，该模型支持包括韩语在内的43种语言，权重采用Apache 2.0许可证。

公司表示，上一代ZONOS2使用80亿参数和每秒86帧的编解码器，部署受到限制。新版本通过自主开发的声音压缩表示编解码器ZAC-1，每秒生成15帧，并将其转换为44.1kHz音频。

据公司公布，在相近数据条件下，采用ZAC-1的模型的词错误率，即语音识别中错误词的比例，为采用DAC的模型的十分之一；声学相似度，即两段声音的相似程度，也更高。公司提出的改进方向是减少需要处理的声音表示，同时提高发音准确度。

2. 浏览器的响应速度与服务器的处理能力

据公司公布，在通过WebGPU运行的浏览器中，首次输出语音的等待时间在Pixel 9上低于570毫秒，在M3 MacBook Air上低于150毫秒。其目标是在手机和笔记本电脑上也能以较短等待时间开始生成语音。

服务器结果来自模型卡中的公司公布数据，使用一张NVIDIA H100 80GB，输入概括说话人声音特征的表示进行测量。并发请求为8个时，首次输出语音的等待时间中位数，即测量值按大小排列后的中间值，为80毫秒。在各模型的最佳并发数，即同时处理的任务数下测得的峰值吞吐量，即最高音频处理量，为每秒457秒音频，体现了响应启动速度之外处理多个请求的能力。

公司还公开了评估体系。ZTTS2-Eval涵盖35种语言的朗读语音和20种语言的真实环境录音，并据此构建了包含420个项目的指标。按该公司的评估标准，ZONOS3-Mini在开放模型中排名第1。

据公司公布，随后依次为Fish S2 Pro、MOSS TTS v1.5。评估不仅考虑各语言的准确度，还纳入声音相似度、节奏和音高等因素。

3. 从浏览器体验到服务器集成的路径选择

在支持WebGPU的浏览器中，模型在用户设备上运行，无需额外安装或服务器。下载的模型保存在浏览器缓存中，供下次访问时使用。

还提供了用于语音制作的Zonos Voice Studio，以及用于快速语音克隆的Lite。

在服务器端，SGLang-Omni支持兼容OpenAI的语音API和流式输出，即使参考语音没有字幕，也能进行克隆。

公司的自有运行时提供面向NVIDIA显卡的CUDA和面向苹果芯片的MLX支持。

还提供基于C++/ggml的服务器和命令行工具，自有运行时共享统一的HTTP API。即使运行环境变化，开发者仍可采用统一的集成方式。

浏览器路径减少了单独准备服务器的负担，但首次访问时需要下载模型，并由用户设备的图形处理器承担计算。

以下示例通过Python库加载参考语音，创建说话人信息并生成语音。

import torchaudio
from zonos.model import Zonos
from zonos.conditioning import make_cond_dict
model = Zonos.from_pretrained("Zyphra/ZONOS3-Mini", device="cuda")
wav, sr = torchaudio.load("speaker.wav")           # 5-10s reference clip
speaker = model.make_speaker_embedding(wav, sr)
cond  = make_cond_dict(text="Hello, world!", speaker=speaker, language="en-us")
codes = model.generate(model.prepare_conditioning(cond))
audio = model.autoencoder.decode(codes)[0].cpu()
torchaudio.save("sample.wav", audio, model.autoencoder.sampling_rate)

4. 同时调整声音与逐词表达方式

用户可以调整年龄、性别、口音、音质等声音特征，以及语速、情绪和活力。也能改变声音传递的力度，例如近距离说话的感觉或隔着房间喊话的感觉。

生成过程中可以逐词控制表达方式，生成结束后则可通过编辑模型修改句子。对于游戏角色或旁白，可以先选定声音，再打磨特定语句的表演。

据公司说明，调节值是生成目标，而非实际年龄或情绪的测量值；改变语速或活力时，音量、音高和时长也可能随之变化。带气息的质感并非通过专用调节功能实现，而是以柔和音质来近似。

ZONOS3-Mini的核心在于通过较小的激活模型和多种运行路径，让实时语音克隆更贴近开发者的部署环境。