本地模型运行工具 Ollama 支持 Recursive 的编程模型 Flint,让 Mac 用户无需远程 API 即可委派仓库任务的选择更多了。只需 ollama run flint 即可在本机启动交互式运行。10月21日发布的 v0.40.8-rc0 版本是正式发布前的测试版,Flint 支持仅限 macOS。其他 GPU 将在后续 RC 构建中获得支持。按文档配置,上下文为 262,144 个词元,许可证为 Apache 2.0。

一览

表:Ollama Flint 核心规格

条件:依据模型卡和 Ollama 模型库。

一览
项目值
模型总计 39.8B 参数,每个词元约激活 2.5B
上下文262,144 个词元,包含提示词与生成输出
Ollama 分发flint:latest·flint:40b,均为 23GB·256K 上下文

Flint 是面向编程智能体的模型,可理解仓库、追踪缺陷、实现功能与测试。它支持推理和多轮工具调用。

MoE 是每个词元仅选择部分专家参与计算的架构。Recursive 表示,将包括输出层在内的权重量化为 4 位,减少了内存占用和每个词元需读取的权重量,并以 16 位模型为教师进行蒸馏训练,恢复准确率。该公司还表示,通过融合单个解码步骤全部运算的内核,提高了 M4·M5 上的速度。

性能:降至 4 位后分数总体保持稳定

Terminal-Bench 2.1 评估终端任务,SWE-bench 评估仓库问题解决能力。

条件:依据 Recursive 基准图表和评测说明。temperature 1.0·top-p 0.95·top-k 20,智能体时限最长 5 小时,至少 5 次平均 pass@1(单次尝试是否正确)。Terminal-Bench 2.1 使用 Terminus 2 XML,允许联网,搜索所得答案计为失败;SWE-bench 使用 mini-swe-agent 离线测量。

表:BF16 与 NVFP4 检查点的基准分数

单位:%

性能:降至 4 位后分数总体保持稳定
基准Flint BF16Flint NVFP4
Terminal-Bench 2.154.953.7
SWE-bench Pro v289.788.5
SWE-bench Verified74.274.1
LiveCodeBench v680.380.8
IFBench89.288.1
IFEval95.194.6

4 位 NVFP4 相比 BF16,在 Terminal-Bench 上低 1.2 个百分点,SWE-bench Pro 上低 1.2 个百分点,Verified 上低 0.1 个百分点。在相同评测中,降低精度后分数总体保持稳定。

速度:rec 引擎在不同上下文长度下的差异

硬件要求:rec 需要 M4 Pro·M5 Pro·M5 Max Mac、至少 48GB 统一内存和约 30GB 可用磁盘空间。

条件:rec 仓库在 Apple M4 Pro 48GB 上的测量。4 位权重,输出 1,024 个词元,每个区间测量 5 次,不含提示词预处理。选取 1K~252K 中的代表区间。

表:M4 Pro 48GB 上 rec 引擎与 llama.cpp 的解码吞吐量,即生成词元的速度

单位:词元/秒

M4 Pro 48GB 上不同上下文长度下的解码吞吐量 (词元/秒)1K: rec 131.2, llama.cpp 88.0; 64K: rec 61.7, llama.cpp 42.9; 252K: rec 22.6, llama.cpp 8.6recllama.cpp1K131.288.064K61.742.9252K22.68.6
M4 Pro 48GB 上不同上下文长度下的解码吞吐量 (词元/秒)
速度:rec 引擎在不同上下文长度下的差异
提示词上下文recllama.cpp
1K131.288.0
64K61.742.9
252K22.68.6

上下文越长,吞吐量越低,但 rec 在相同区间内领先于 llama.cpp。这不是 Ollama 的速度测量结果。

价格与运行

条件:依据 Ollama 套餐页面与 Recursive 文档(2026年10月21日确认)。

Ollama 的 Free 套餐为 $0,包含本地模型运行。在自有硬件上运行模型不受套餐限制,次数不限;查阅的价目表中没有 Flint,官方版本说明提供的方式是本地运行。Recursive 也在博客中强调,可将数据保留在自己的电脑上,并避免 API 费用。Recursive 的直接 Flint API 仅向部分合作伙伴提供。

在 Ollama 中启动只需一行命令。

ollama run flint

连接编程工具使用 ollama launch claude --model flint。

Recursive 将上下文大小定义为容量上限,不保证准确率在不同序列长度下保持一致。模型卡也明确指出,Flint 可能生成错误或有害代码,以及不恰当的工具调用。

要体验 Mac 本地智能体,可先用 ollama run flint 启动,让它处理熟悉仓库中的一个问题,再选择适合部署环境的权重与运行引擎。