本地模型运行工具 Ollama 支持 Recursive 的编程模型 Flint,让 Mac 用户无需远程 API 即可委派仓库任务的选择更多了。只需 ollama run flint 即可在本机启动交互式运行。10月21日发布的 v0.40.8-rc0 版本是正式发布前的测试版,Flint 支持仅限 macOS。其他 GPU 将在后续 RC 构建中获得支持。按文档配置,上下文为 262,144 个词元,许可证为 Apache 2.0。
一览
表:Ollama Flint 核心规格
条件:依据模型卡和 Ollama 模型库。
| 项目 | 值 |
|---|---|
| 模型 | 总计 39.8B 参数,每个词元约激活 2.5B |
| 上下文 | 262,144 个词元,包含提示词与生成输出 |
| Ollama 分发 | flint:latest·flint:40b,均为 23GB·256K 上下文 |
Flint 是面向编程智能体的模型,可理解仓库、追踪缺陷、实现功能与测试。它支持推理和多轮工具调用。
MoE 是每个词元仅选择部分专家参与计算的架构。Recursive 表示,将包括输出层在内的权重量化为 4 位,减少了内存占用和每个词元需读取的权重量,并以 16 位模型为教师进行蒸馏训练,恢复准确率。该公司还表示,通过融合单个解码步骤全部运算的内核,提高了 M4·M5 上的速度。
性能:降至 4 位后分数总体保持稳定
Terminal-Bench 2.1 评估终端任务,SWE-bench 评估仓库问题解决能力。
条件:依据 Recursive 基准图表和评测说明。temperature 1.0·top-p 0.95·top-k 20,智能体时限最长 5 小时,至少 5 次平均 pass@1(单次尝试是否正确)。Terminal-Bench 2.1 使用 Terminus 2 XML,允许联网,搜索所得答案计为失败;SWE-bench 使用 mini-swe-agent 离线测量。
表:BF16 与 NVFP4 检查点的基准分数
单位:%
| 基准 | Flint BF16 | Flint NVFP4 |
|---|---|---|
| Terminal-Bench 2.1 | 54.9 | 53.7 |
| SWE-bench Pro v2 | 89.7 | 88.5 |
| SWE-bench Verified | 74.2 | 74.1 |
| LiveCodeBench v6 | 80.3 | 80.8 |
| IFBench | 89.2 | 88.1 |
| IFEval | 95.1 | 94.6 |
4 位 NVFP4 相比 BF16,在 Terminal-Bench 上低 1.2 个百分点,SWE-bench Pro 上低 1.2 个百分点,Verified 上低 0.1 个百分点。在相同评测中,降低精度后分数总体保持稳定。
速度:rec 引擎在不同上下文长度下的差异
硬件要求:rec 需要 M4 Pro·M5 Pro·M5 Max Mac、至少 48GB 统一内存和约 30GB 可用磁盘空间。
条件:rec 仓库在 Apple M4 Pro 48GB 上的测量。4 位权重,输出 1,024 个词元,每个区间测量 5 次,不含提示词预处理。选取 1K~252K 中的代表区间。
表:M4 Pro 48GB 上 rec 引擎与 llama.cpp 的解码吞吐量,即生成词元的速度
单位:词元/秒
| 提示词上下文 | rec | llama.cpp |
|---|---|---|
| 1K | 131.2 | 88.0 |
| 64K | 61.7 | 42.9 |
| 252K | 22.6 | 8.6 |
上下文越长,吞吐量越低,但 rec 在相同区间内领先于 llama.cpp。这不是 Ollama 的速度测量结果。
价格与运行
条件:依据 Ollama 套餐页面与 Recursive 文档(2026年10月21日确认)。
Ollama 的 Free 套餐为 $0,包含本地模型运行。在自有硬件上运行模型不受套餐限制,次数不限;查阅的价目表中没有 Flint,官方版本说明提供的方式是本地运行。Recursive 也在博客中强调,可将数据保留在自己的电脑上,并避免 API 费用。Recursive 的直接 Flint API 仅向部分合作伙伴提供。
在 Ollama 中启动只需一行命令。
ollama run flint连接编程工具使用 ollama launch claude --model flint。
Recursive 将上下文大小定义为容量上限,不保证准确率在不同序列长度下保持一致。模型卡也明确指出,Flint 可能生成错误或有害代码,以及不恰当的工具调用。
要体验 Mac 本地智能体,可先用 ollama run flint 启动,让它处理熟悉仓库中的一个问题,再选择适合部署环境的权重与运行引擎。
