Flint 是直接在 Mac 上运行的本地编程语言模型。Recursive 于 2026 年 10 月 21 日发布了专用推理引擎 rec 的首个正式版本 v0.1.0,让受支持的 Mac 能更快、更便捷地使用该模型。只需一条命令,即可下载模型、启动服务器,并连接用于接入编程工具的运行框架。公司自测显示,在同一 M4 Pro 48GB 环境下,使用 Flint 4 位权重和 1K~252K token 上下文时,解码吞吐量是 llama.cpp 的 1.4~2.6 倍。

3 项核心变化

公司表示,已用 Metal 巨型内核融合整个解码路径。根据公告,在 M4·M5 芯片上,生成一个 token 的全部计算过程会合并为一个 Metal 巨型内核。

公告介绍的量化旨在降低每个 token 读取权重的内存负担。公司解释,Flint 的全部 39.8B 参数中,每个 token 仅激活约 2.5B,因此输出层在每个 token 读取的权重中占比较大。将该层也缩减至 4 位后,以 16 位模型为教师进行离线蒸馏来恢复准确度,最终 NVFP4 模型的基准测试分数与 16 位模型相差不超过 0.7 分。公告把这一分数列为 NVFP4 检查点自身的结果,并未说明它同样适用于 rec 吞吐量测试中在苹果芯片上测量的 4 位权重。

首次发布命令行界面 CLI。它可自动管理模型、启动服务器并连接编程运行框架。

提供兼容 OpenAI 的 Chat Completions API。Cline 或 VS Code Chat 等其他客户端也可连接本地服务器。

模型规格

除速度外,公司还公布了模型性能指标。官方模型卡显示,使用工具执行任务的智能体评测各运行至少 5 次,并报告单次尝试通过率 pass@1 的平均值。Flint 在考察工具辅助编程能力的 Terminal-Bench 2.1 中得分为 54.9%,在考察编程智能体问题解决能力的 SWE-bench Pro v2 和 SWE-bench Verified 中分别为 89.7%、74.2%。

公司声称,在每个 token 仅激活部分参数、规模低于 50B 的 MoE 模型中,该模型在智能体编程评测中领先。

以下规格同样依据官方模型卡。

表:Flint 模型规格

条件:依据 Recursive 官方模型卡(规格及公司自测分数)

单位:参数为 B,上下文和词表为 token

模型规格
项目值
总参数量39.8B
激活参数量(每个 token)约 2.5B
上下文设置262,144

上下文设置为提示词与生成输出的合计值。

不同上下文的吞吐量

公司还公布了另一项对比:其得分与每次输入都使用全部参数的 25~40B 稠密模型相近,而速度超过其 5 倍。

下表依据官方仓库的测试条件及吞吐量 SVG整理。

表:不同上下文的解码吞吐量及 rec 相对 llama.cpp 的倍数

条件:Flint 4 位权重,Apple M4 Pro 48GB,1K~252K token 提示词,输出 1,024 token,每种上下文重复 5 次,统计排除提示词处理阶段的解码生成速度。中间值由仓库图表(throughput.svg)的坐标反推,倍数为两者吞吐量之商,两端值在图表说明中明确列出。

单位:token/秒,倍

不同上下文中 rec 相对 llama.cpp 的速度倍数 (倍)1K: 倍数 1.49; 2K: 倍数 1.49; 4K: 倍数 1.47; 8K: 倍数 1.43; 16K: 倍数 1.39; 32K: 倍数 1.4; 64K: 倍数 1.44; 128K: 倍数 1.61; 252K: 倍数 2.631K1.492K1.494K1.478K1.4316K1.3932K1.464K1.44128K1.61252K2.63
不同上下文中 rec 相对 llama.cpp 的速度倍数 (倍)
不同上下文的吞吐量
上下文rec (token/秒)llama.cpp (token/秒)倍数
1K131.288.01.49
2K128.385.91.49
4K123.083.71.47
8K113.779.51.43
16K99.071.41.39
32K82.458.91.4
64K61.742.91.44
128K39.124.21.61
252K22.68.62.63

两款引擎的绝对吞吐量差距从 1K 时的 43.2 token/秒缩小至 252K 时的 14.0 token/秒,但相对倍数从 1K 时的 1.49 倍降至 16K 时的 1.39 倍,再增至 252K 时的 2.63 倍。表中 9 个测量点的 rec 吞吐量均更高。因此,输入长代码或对话历史时,选择 rec 会比 llama.cpp 生成得更快,但上下文本身越长,等待相同输出量的时间也越长。

升级方法

运行条件为搭载 M4 Pro·M5 Pro·M5 Max 的 Mac、至少 48GB 统一内存,以及约 30GB 可用磁盘空间。运行 pi 和 OpenCode 还需要 Node.js 22 与 npm。

安装只需一行脚本。

curl -fsSL https://raw.githubusercontent.com/recursive-oss/rec/main/install.sh | bash

安装脚本会验证二进制文件的校验和及大小,若不是 Apple Silicon 则会中止。

安装后,在项目目录运行 rec launch pi,首次运行时会下载模型与运行框架,随后自动启动服务器并完成连接。OpenCode 可通过 rec launch opencode 以相同方式连接。公司推荐使用 pi 运行框架,称其能发挥最佳模型性能。公司文档中关于 pi 比 OpenCode 快约 1.5 倍的非正式报告,是对整个编程工作流的估算,会因任务、硬件和设置而异。

管理方面,可用 rec doctor 检查硬件、rec pull 预下载模型、rec stop 停止服务器、rec update 更新至新版本。

连接方法:其他客户端可先用 rec serve 启动服务器,再接入兼容 OpenAI 的 API。默认地址为 http://127.0.0.1:11500/v1,模型 ID 为 flint,密钥为 rec auth token 的输出值。

这是首个版本,没有此前的正式版本。不过,有些限制需提前了解。

若不满足支持的芯片及内存要求,则不会下载模型;引擎一次只能处理一个生成任务,可能对并发请求返回 HTTP 429;NVIDIA RTX Spark 支持仍在准备中。

对谁重要

对于在受支持的 Mac 上使用本地编程模型的开发者,rec 可一次性完成模型管理、服务器启动及运行框架配置。pi 和 OpenCode 使用随附的运行配置,无需单独安装运行框架。若要连接编辑器扩展或自有应用,可使用兼容 OpenAI 的本地 API。

在长上下文中,rec 的相对优势会扩大,但两款引擎的绝对生成速度都会下降。