Ollama 扩大了支持范围,让 LFM3 模型也能在 Linux 和 Windows 上运行。希望在自己电脑上运行智能体或特定领域 AI 的开发者,如今也能在 Apple 芯片以外的环境中将该模型接入工作流程。

1. LFM3 模型系列扩大操作系统支持范围

根据 Ollama v0.40.13 的发行说明,Liquid AI 的 LFM3 模型除了原有的 Apple 芯片环境,也能在 Linux 和 Windows 上运行。

支持范围不仅包括文本模型,也包括 lfm3-audio 和 lfm3-omni 的语音合成,即将文字转为声音的功能。因此,新增支持不仅覆盖文本交互任务,也涵盖模型生成语音的用途。

2. 面向本地智能体的 1.7B 文本模型

Ollama 模型库将 LFM3-1.7B 介绍为面向本地智能体和专业领域应用的文本模型。其架构共 24 层,结合了 13 层门控短卷积、5 层滑动窗口注意力和 6 层全局注意力,并在基础训练后针对智能体用途进行了额外训练。

主要用途包括让模型使用其他程序功能的外部工具调用、按指定格式输出,以及针对特定领域继续训练模型的微调。相比单纯面向通用对话,它更侧重适配用户的工具和工作格式。

表:LFM3-1.7B 的上下文上限、大小及内存标注值

条件:Ollama 模型库及模型卡标注值。内存以 4 位精度为准,原文未提供硬件及运行环境条件

单位:上下文上限为 token,大小及内存为 GB

面向本地智能体的 1.7B 文本模型
指标数值条件
上下文上限256K token输入 + 输出合计
模型库标示的模型大小1.1GB - 1.7GBlfm3:latest, lfm3:1.7b 标签标示值
模型卡内存用量约 1 GB4 位精度

256K 并非仅针对输入的上限,因此即使输入长文档,也需要在上下文预算中为生成的输出分配空间。模型库标示的大小与模型卡中的内存用量是不同指标,并非同一标准下的性能对比值。

3. 运行与应用接入

要从命令行启动模型,运行 ollama run lfm3 即可。模型库页面提供了以下使用本地聊天 API 的示例。

curl http://localhost:11434/api/chat \
  -d '{
    "model": "lfm3",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

这个示例向本地聊天 API 发送模型名称和对话内容。模型库也介绍了 Python 和 JavaScript 的接入方法,因此可以同时了解命令行对话和在应用代码中使用模型这两种途径。

此外,还提供了连接智能体运行工具的命令。例如,Hermes Agent 可以通过 ollama launch hermes --model lfm3 启动。模型卡也将该工具明确列为额外训练的对象,同时展示了运行示例与模型的定位。

4. 不同用途下的优势与限制

本地运行的优势在于能在用户自己的电脑上运行智能体模型,但加载模型所需的内存也必须由该设备提供。在 4 位精度下,可以将公司给出的约 1GB 内存用量作为判断本地部署的参考。应将这一有条件的内存值,而非模型库标示的大小,与设备的内存预算对照。

据公司介绍,面向特定领域应用的微调可以在单个 GPU 上快速完成。可以直接运行所提供的模型;如果需要适配自己的领域、输出格式或工具,则可考虑单个 GPU 微调的路径。

模型卡指出,由于模型规模较小,不建议将其用于智能体编程或需要经过多个复杂步骤得出答案的多步推理。对于知识密集型任务,则建议检索所需信息并结合使用。

此次更新的核心是将 LFM3 模型系列加入 Linux 和 Windows 上的 Ollama 工作流程,扩大选择范围,并瞄准适合该小规模模型的智能体及专用场景。