美团发布了 LongCat-2.5,旨在用同一个模型同时处理图像与文本,并执行多步骤编程任务。开发者可通过在线体验或 API 试用模型,此次发布的核心是尝试用一个模型涵盖从屏幕理解到使用工具执行长期任务的能力。

1. 以相同输入结构处理图像与文本

LongCat-2.5 的总参数量为 1.6 万亿,每个 token 激活约 480 亿参数。参数是在训练过程中调整的数值。公司表示,该模型基于 LongCat-2.0,强化了视觉理解以及利用工具完成任务的智能体编程能力。

模型将图像转换为多层编码形式的视觉 token,并以与文本相同的输入格式进行处理。这一设计不仅面向屏幕与图像理解,也面向涉及视觉元素的编程、创意设计和三维任务。

公司解释称,将图像压缩为多层 token,并预先计算和存储,可减少每次训练时重新计算视觉信息的负担。联合学习图像与文本表征的方法,已先在平均激活参数量约 30 亿的小规模模型上验证。

2. 将长期编程任务纳入训练

公司在训练中加入了更多从任务开始到结束的执行记录,并大规模应用根据结果给予奖励的试错式强化学习。公司称,这提高了模型端到端完成复杂代码仓库开发和项目构建的能力。

任务数据来自公开仓库和内部真实场景。基于相关变更请求与问题,构建包含程序运行所需条件与工具的执行环境及验证测试,并在训练期间根据实际执行记录和通过率重新筛选任务、完善测试。

未完成的任务记录会被保存,并在下一训练阶段继续执行。这种方式可减轻等待单个长期任务结束的负担。

此外,公司还将失败的真实智能体任务转化为可复现、可验证的新训练任务,以弥补能力短板。

训练混合了多种任务与工作环境,并对重复思考和重复工具调用施加额外惩罚。公司在训练持续执行任务能力的同时,也训练模型减少不必要的重复行为。

3. 编程与探索任务的代表性评测结果

以下依据公司发布的代表性评测结果,与上一代进行比较。Terminal Bench v2.1 和 PaperBench 属于编程智能体评测,BrowseComp 和 AutomationBench v1.0.6 属于通用智能体评测。

相比上一代,Terminal Bench v2.1 提升了 17.6 分,PaperBench 提升了 36.9 分。BrowseComp 和 AutomationBench v1.0.6 也分别提升了 12.0 分和 36.0 分。PaperBench 从 45.2 分升至 82.1 分,AutomationBench v1.0.6 从 15.8 分升至 51.8 分,大幅改善了上一代较低的得分。BrowseComp 则从上一代已有的 79.9 分进一步升至 91.9 分。各任务的评测方式不同,对比模型的分数也混合了公开资料与公司自行实测,因此难以将这些数字合并解读为统一排名。

4. 适应加速器限制的训练与推理基础设施

LongCat-2.5 优化了底层系统,以便在国产人工智能加速器上执行长上下文训练与推理。考虑到单卡显存不足 80GB 的条件,系统将主要通信安排在通过高速连接组成的卡组内。公司称,在使用长输入标准答案示例进一步训练模型的监督微调中,单卡吞吐量比多卡分摊数据进行训练的分布式数据并行基准高 86%。

推理时,模型将选择性启用的计算部分,即“专家”的权重,以及根据输入在计算中生成的激活值,均降至 4 比特。权重是表示模型所学连接强度的数值。公司称,在已评测的子任务上,模型保持了与量化前相近的性能,量化是一种降低数值表示精度的技术。以下数据来自公司公布的在线负载测试,与 8 比特权重及激活值基准进行比较。

表:4 比特推理的在线负载测试结果

条件:LongCat-2.5 的 4 比特推理与 W8A8 INT8 基准对比,在线负载测试

单位:%

适应加速器限制的训练与推理基础设施
项目变化率
输入吞吐量43.3
生成吞吐量42.77
首 token 延迟降低15.91
token 间延迟降低19.72

吞吐量提高,延迟降低。公司还表示,在作为单项计算操作的算子级矩阵乘法中,相比相同基准实现,平均速度达到 1.73 倍。

预先计算图像 token 并采用 4 比特运算,可减轻在线计算与显存负担。但要实现这些效果,还需要量化转换、专用运算,以及适配加速器架构的并行化。这一路径并非仅靠模型规模获取性能,而是同时完善训练与推理系统。

5. 通过在线体验与 API 使用

在线体验地址为 https://longcat.chat ,API 接入说明见 https://longcat.chat/platform/product 。原文还公布了限时优惠:向完成认证的新注册用户提供 1000 万 token,并向现有用户追加提供 500 万 token。

LongCat-2.5 的方向是将图像输入与长期任务整合到同一个模型中,并同步优化运行大规模模型的底层系统。