Ollama 新增了在本地计算机上生成语音,以及对输入进行分类或为选项评分的功能。希望添加语音回复的应用开发者可接收并播放正在生成的音频,需要判别输入的开发者则可选择专用模型。

1. 在生成过程中朗读文本和聊天回复

10月24日发布的 Ollama 0.40.11 支持在 macOS 上生成语音。在命令行中,不仅可以朗读输入的文本,也可以朗读聊天模型给出的回复。原本以文字接收的模型回复,如今也能通过聆听来获取。

语音会在音频生成过程中播放。不同于接收完整语音文件后再播放的流程,这种方式让生成与播放同步进行。

2. d3 侧重于判别输入,而非撰写回复

d3 是将 vLLM Semantic Router 的决策模型引入 Ollama 的模型系列。这里的决策模型是指根据输入判断其所属类别、以是或否回答问题,或为各个选项分配概率的模型。它用于对既定问题作出判定,而非生成冗长的自由回复。

输入可以是文本、结构化状态和图像。开发者在提供输入资料的同时,指定需要判断的内容。例如,输入客户表示银行卡被扣款两次的句子,再询问这是否属于账单问题。这是发布说明给出的使用案例。

该模型系列包含 2B、4B、9B、27B 等规模。这些数字代表模型规模。在选择用于分类或评分的模型时,开发者可按规模进行选择。

3. 应用通过语音 API 接收并播放音频

应用可通过兼容 OpenAI 的 /v1/audio/speech 端点,即发送请求的访问地址,生成语音并流式接收音频。这意味着,应用向该地址发送语音生成请求后,就能接收并播放正在生成的音频。除了在命令行中直接聆听,也提供了将语音输出接入应用的接口。

对应用开发者而言,其优势在于可以在生成结束前接收并播放音频。从实现角度看,应用端仍需完成发送请求、接收传入音频并衔接播放的工作。新增语音生成功能与构建让用户听到语音的应用,需要一并考虑。

4. 可以用简短问题试运行决策模型

以下是发布说明中的决策模型运行示例。在描述客户银行卡被扣款两次的句子后,附上了询问这是否属于账单问题的提问。这条命令同时包含了供模型查看的资料和需要回答的问题。

ollama run d3 "A customer says their card was charged twice." --ask "Is this a billing issue?"

原文中直接试听语音的示例向 phonon 模型传入了一句简短问候语。也就是说,在命令行中尝试语音播放,以及在应用中接收并使用音频,分别都有对应的入口。

发布说明明确列出 macOS 为语音支持平台,但未介绍韩语语句校正功能或韩语处理性能。

Ollama 0.40.11 的核心在于,为本地开发新增了在生成过程中播放语音回复的途径,以及用于判别输入的模型选项。