ServiceNow 发布了一个开放模型,可理解语音请求,并根据对话上下文生成回答和工具调用。开发语音助手或客户支持服务时,无须将语音识别结果交给独立的语言模型,而可用一个模型连接聆听与后续判断。

1. 将语音与屏幕内容纳入同一对话上下文

Apriel Voice 27B Preview 基于经过后训练的 Gemma 4 26B-A4B 模型。语音编码器将音频转为数值表示,经过训练的连接模块再将其适配并传递给现有推理模型。

训练分两阶段进行:先固定推理主体,训练连接模块,再共同调整连接模块与推理主体。

模型权重采用 MIT 许可证。

除语音外,文本、图像和工具执行结果也进入同一对话上下文。例如,用户口头说明账户锁定问题并共享屏幕后,模型会综合这些信息决定下一步行动。实际执行工具调用并将结果送回对话的工作由应用负责。

2. 自由更换合成器,也需承担应用实现负担

将回答文本转为实际声音的工作由外部语音合成服务承担。Apriel Live 应用使用 Cartesia Sonic 3.6,并负责采集语音、判断发言是否结束及控制对话中的打断。无需重新训练推理模型即可更换合成器或音色,但集成这些配套功能的负担也随之转移给部署方。

模型卡提供了基于 vLLM 0.32.0 的标准镜像说明,使用 4 张 GPU 启动服务器,并在端口 8000 开放兼容 OpenAI 的 API。以下原样摘录了原文服务启动命令中的配置部分。

  --max-num-batched-tokens 16384 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.95 \
  --speculative-config '{"model":"google/gemma-4-26B-A4B-it-assistant","num_speculative_tokens":3}' \
  --default-chat-template-kwargs '{"enable_thinking":true}' \
  --enable-auto-tool-choice \
  --tool-call-parser gemma4 \
  --reasoning-parser gemma4

3. 分别评估准确率与对话体验

据公司公布的数据,英语 EVA-A 准确率为 51.27%,对话体验得分 EVA-X 为 74.13%。前者评估忠于发言内容与事实并完成任务的能力,后者考察简洁性、对话推进和轮次交替。

据公司公布的数据,在测试航空、零售和电信业务的 τ-Voice 中,任务成功率为 65.51%,平均响应延迟为 1.91秒。

EVA 和 τ-Voice 评估均开启了在回答前进行推理的思考模式,并按各领域等权重的方式计算平均值。

评估使用了优化后的服务配置和 Cartesia Sonic 3.5 合成。延迟为包含回答生成与语音合成的整个系统数值。

表:Apriel Voice 与 Flux + Gemma 4-26B 的英语语音评估(据公司公布的数据)

条件:EVA·τ-Voice 按领域等权重平均,Apriel 开启思考模式。两个系统均使用 Cartesia Sonic 3.5 合成。延迟为包含回答生成与合成的整个系统数值

单位:EVA·成功率 %(越高越好),延迟秒(越低越好)

英语 EVA 准确率与对话体验比较(据公司公布的数据)Flux + Gemma 4-26B: EVA-A (%) 36.07, EVA-X (%) 29.22; Apriel Voice 27B Preview: EVA-A (%) 51.27, EVA-X (%) 74.13EVA-A (%)EVA-X (%)Flux + Gemma 4-26B36.0729.22Apriel Voice 27B Preview51.2774.13
英语 EVA 准确率与对话体验比较(据公司公布的数据)
分别评估准确率与对话体验
系统EVA-A (%)EVA-X (%)τ-Voice 成功率 (%)延迟(秒)
Flux + Gemma 4-26B36.0729.2265.922.92
Apriel Voice 27B Preview51.2774.1365.511.91

与 Flux + Gemma 4-26B 相比,Apriel 的 EVA-A 高 15.20 个百分点,EVA-X 高 44.91 个百分点。τ-Voice 成功率则低 0.41 个百分点,平均延迟缩短 1.01秒。相对此基线,τ-Voice 的优势在于缩短响应时间,而非提高成功率。这是公司公布的完整系统比较,不能将差异归因于模型中的单个组件。

据公司公布的数据,音频推理得分为 85.84,是开启思考模式、以语音输入的 8 个基准测试的等权重平均值。

在 4 张 H100 80GB 上,优化配置的输出 token 吞吐量,即每秒生成 token 数所反映的处理速度,在并发请求为 1 个和 50 个时,分别为原有 Apriel vLLM 配置的 1.96倍和 1.83倍。这是输出 token 吞吐量的提升,与对话延迟属于不同指标。

4. 添加语音能力后,也检查文本推理表现

模型卡还展示了添加语音功能前后的文本评估。以下是公司公布的部分结果,两个模型均使用文本输入并开启思考模式。

表:语音适配前后的文本评估

条件:Gemma 4 26B-A4B 与 Apriel Voice,文本输入,思考模式

单位:分数(0–100,越高越好)

添加语音能力后,也检查文本推理表现
项目Gemma 4 26B-A4BApriel Voice
MMLU-Pro85.2784.42
GPQA Diamond77.8080.40
MATH-50092.7692.88

相较基础模型,MMLU-Pro 下降 0.85分,GPQA Diamond 上升 2.60分,MATH-500 上升 0.12分。这三项中,GPQA Diamond 升幅最大,MATH-500 变化较小,说明语音适配后的变化因评估而异。这表明,衡量添加语音功能的价值时,既要考察聆听表现,也要看原有文本任务能力保留了多少。

5. 长录音分段处理,重要操作需要核验

输入为 16kHz 单声道音频,处理器这一为模型准备输入音频的组件会将长录音按 30秒分段。据模型卡介绍,连续录音长达约30分钟时仍观察到良好表现。音频与其余对话共享整体上下文预算,长录音建议开启思考模式。

更长录音的表现可能下降,多语言、噪声、远距离麦克风语音及复杂工具任务的可靠性也存在限制。模型卡建议,对重要任务核验工具参数,即传给工具执行的输入值,以及执行结果和最终完成情况,并实施人工监督。

Apriel Voice 将语音理解与推理整合进一个模型,但实际对话产品的完善程度,取决于同时负责语音合成和轮次处理的应用。