Ling-3.1-flash-1019：100万 token 输入，智能体性能提升

1. 智能体与科学评测得分提升

据介绍模型信息和用法的模型卡，新版本经过了后训练优化，即对已训练模型进行进一步调整。据公司公布的数据，智能体相关评测 AA-Briefcase 从约1400升至1524 Elo。Elo 是衡量相对评测得分的尺度。

表：上一版本与 Ling-3.1-flash-1019 的代表性评测结果

条件：以模型卡中公司公布的数据为准，各项评测的前后数值分别比较

单位：单项评测为 %，变化幅度为百分点 / 综合指数为分

在以比率表示的三项评测中，科学评测 CritPt 的提升幅度最大，为8个百分点，其次是自动化任务评测 AutomationBench-AA 的6个百分点和 SciCode 的3个百分点。即使同属科学问题求解，各项评测的提升幅度也不同。衡量综合性能的 Artificial Analysis Intelligence Index v4.3.2 上升3分，应与单项评测的比率变化区分看待。

模型页面中用于说明评测信息的附加信息，即评测元数据，还列出了 Terminal-Bench 4.0 得分32.8和 Terminal-Bench-Science 得分4.3。

数据来源为 Artificial Analysis 排行榜，两项结果均使用 mini-swe-agent 执行工具，评估每项任务首次尝试的成功情况，并取三次运行的平均值。

2. 主打100万 token 输入的混合架构

模型卡列出了5600亿总参数、每个 token 激活250亿参数，以及可一次处理长篇资料的100万 token 输入窗口。模型采用 MoE 架构，每次输入仅选择部分专家参与计算；用于关注输入重要部分的注意力机制，则结合了线性方式的 KDA 和门控方式的 Gated MLA。两种方式的层数分别为63层和9层，按7:1的比例配置。

对于希望在一次输入中同时处理多份长文档的开发者，大输入窗口可以减轻拆分文档的负担。结合评测得分的提升来看，该模型面向的是阅读大量资料后分多个步骤处理任务的用途。

3. 推理环境与请求示例

模型卡推荐使用 SGLang 作为计算模型回答的推理运行环境。卡中说明，发布当天提供的镜像包含提前预测多个后续 token 以加速响应生成的技术，以及针对 Hopper GPU 的优化。

指南列出的服务器配置为8块 H200 或4块 GB300。将模型计算和专家计算分配到多块 GPU 的并行化设置，分别与 GPU 数量匹配。据公司公布的数据，可选的 Hopper 优化可在一次处理一个请求、即批大小为1的条件下，将输出 token 生成速度提高约10%。

模型卡中的请求示例如下。模型名称和决定下一个 token 选择方式的采样设置值均按原文示例保留。

curl -s http://localhost:30000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Ling-3.1-flash",
       "messages": [{"role": "user", "content": "What is the capital of France?"}],
       "chat_template_kwargs": {"enable_thinking": true},
       "stream": true,
       "temperature": 1.0,
       "top_k": 20,
       "top_p": 0.95}'

4. 性能收益与运行成本

长输入和评测得分提升的收益体现在需要输入大量资料的多步骤任务中。另一方面，即使只计算部分参数，也仍需资源来容纳作为已训练模型计算依据的全部权重数值。仓库占用空间约574GB，权重分为54个文件，因此自行运维的团队不仅要考虑处理性能，还要衡量内存及多 GPU 部署的成本。

权重许可证标注为 MIT。

部署检查：模型卡所述的100万 token 与仓库中的最大位置设置值262144不同，运行示例也使用了旧模型的路径和名称，因此部署前需确认输入长度支持情况及模型指定是否正确。

评测标注：前文介绍的两项终端评测结果，在页面元数据中被标记为未经验证。

选择 Ling-3.1-flash-1019 的标准，在于利用长篇资料执行任务的改进收益，是否值得承担多块 GPU 的运行成本。