社区复现并公开了字节跳动研究人员等开发的科学推理模型。开发者可下载并测试这个利用搜索和代码执行的模型,也可通过配套公开资料了解数据组成和训练过程。
1. 开放的是基于 Qwen 的社区复现版
Hugging Face 上发布的 Axion 1.0-35B 是社区复现权重。研究团队的仓库说明,论文模型以 Qwen3.6-35B-A3B 为基础,并提供复现版指引。其方式是在已有基础模型上继续训练,以提升科学推理和工具使用能力。
模型卡显示,模型用于生成答案的内部数值,即总参数约为 350 亿个,处理时约激活 30 亿个。它采用混合专家架构,即从多个专家计算路径中选择部分进行计算。权重以 BF16 格式提供,并标注 Apache 2.0 许可证。
2. 从解题训练扩展到搜索与交互
论文的训练方法包括两个阶段的监督微调,即通过正确解题示例继续训练模型,以及使用工具并根据行为结果奖励进行学习的强化学习。模型先学习利用题内信息解答科学和数学问题,再学习通过搜索补足信息并计算。最后学习借助搜索、页面查阅、学术搜索和 Python 执行完成答案。
在数据构建中,团队将基础模型已能解答的问题改得更难,以训练推理能力。工具使用题则从公开数据中选取对象,计算出答案后再转化为问题。出题方先掌握答案,因此能核验经过搜索和计算得到的解答是否正确。
3. 同一评估下各训练阶段的变化
论文给出了同一基础模型在各训练阶段的结果。下表是跨领域高难度问题评估“人类最后的考试”中 130 道纯文本题的结果。按研究团队公布的口径,采用三次运行中最高的单次运行得分。
基于 Qwen3.6-35B-A3B,HLE-130 的 130 道纯文本题,环境支持搜索、页面查阅、学术搜索和 Python,并应用各评估的限制,取 3 次运行中最高的单次运行得分
| 训练阶段 | 得分 |
|---|---|
| 基础模型 | 47.7 |
| 第 1 阶段监督微调后 | 59.2 |
| 第 2 阶段监督微调后 | 66.2 |
| 强化学习后 | 70.0 |
在这项评估中,两阶段监督微调带来了较大提升,强化学习进一步提高了分数。但在解答研究型科学问题的 FrontierScience 评估中,强化学习前后得分从 58.3% 降至 56.7%,表明训练效果也因任务而异。
在完整的“人类最后的考试”中,研究团队公布的得分在限制部分网站访问时为 52.2%,取消限制时为 59.1%。模型卡给出的复现版完整考试得分为 52.8%,信息检索评估 SEAL-0 的得分为 60.4%。
复现版模型卡未注明单独的测量条件,因此难以与论文结果直接比较优劣。评估说明也指出,本次发布未重新验证 GPU 服务部署及论文基准测试结果。
4. 分别准备模型运行与工具连接
模型卡提供了 vLLM 服务部署,即让模型接收请求并返回响应的运行方式,以及兼容 OpenAI 的请求示例。
以下命令是模型卡原文中的运行示例,使用 8 张 GPU、BF16 和最大长度 131,072 的设置。
vllm serve Axion1-0/Axion-1.0-35B \
--served-model-name axion-35b \
--host 127.0.0.1 --port 8000 \
--tensor-parallel-size 8 --dtype bfloat16 \
--max-model-len 131072 \
--reasoning-parser qwen3 \
--enable-auto-tool-choice --tool-call-parser qwen3_coder模型卡建议根据 GPU 显存调整并行规模,即分摊计算并同时处理的设备数量,以及上下文容量,即模型一次可参考的输入范围。开发者启动模型后,可通过兼容 OpenAI 的 API 发送请求。
利用搜索的评估需要外部执行器,也就是将模型的工具调用连接到实际任务并执行的衔接程序。它负责连接搜索服务、页面查阅和隔离的代码执行环境,并将工具执行结果传回下一次模型请求。仓库中的评估代码则对外部执行器收集的解答进行评分。
5. 公开资料助力实验,硬件负担仍在
数据生成、筛选、验证及提示词、训练代码和评估准备资料均已公开,开发者可追踪模型学过的问题和答案核验方式。这让开发者不只能够测试成品权重,也更容易修改训练流程并复用评估流程。
相应地,重新训练的硬件和工具服务运营负担仍由使用者承担。论文报告,35B 模型的两阶段监督微调使用了 128K 上下文和 32 张 GPU,总计约 90 GPU 小时,每张 GPU 的峰值显存用量为 101GiB。公开代码提供了实验起点,但实际执行仍需相当多的计算资源。
Axion 1.0-35B 的价值,与其说在于分数榜上的排名,不如说在于能够修改公开的训练方法,并利用复现权重进行测试。
