NVIDIA 公布了一种利用实验记录自动评估模型答案、将得分作为奖励,并针对科学任务进行后训练的方法。研究团队可以将已有实验数据与验证工具连接起来,构建适合特定领域的模型。在药物代谢预测案例中,团队依次应用了监督微调和强化学习。
1. 将实验结果转化为自动评分标准
这套方案的输入是记录了测量结果的实验数据。示例将分子结构、反应条件和实验结果存入 CSV,并将每一行整理成供模型使用的问题与标准答案。标准答案并非来自人工偏好标注,而是取自实验记录,用作奖励信号。
案例任务是根据输入的母体分子和代谢酶,预测将生成的代谢产物。所用数据集为 MetxBioDB,其中收录了实验确认的生物转化,即生物体内发生的化学变化反应。评分器比较以数值表示分子结构特征的“分子指纹”,并通过 Tanimoto 相似度计算预测与标准答案的相似程度。该指标表示两种结构的重叠程度,得分介于 0 和 1 之间,越高表示两种结构的指纹越相似。
验证器可根据任务配置,从简单的相似度计算,到用于计算和分析化学信息的化学信息学工具、分子模拟器,乃至自主实验室。关键设计选择是奖励函数,即定义何为成功、将结果计算为分数的规则。奖励必须准确反映科学结果,才能让模型朝预期方向学习。
2. 强化学习利用自动评分结果改进答案
构建环境后,NVIDIA 展示了通过强化学习调整 Nemotron 3.5 Super VL 的流程。模型根据输入推理答案并调用工具,验证器评估提交结果并返回奖励。在本案例中,Morgan 分子指纹的半径设为 2,长度设为 2048 比特,且仅对首次提交评分。
据公司公布的数据,在药物代谢预测环境中,将输出预算,即模型回答允许使用的令牌上限设为 16,384 个令牌时,通过正确案例学习的监督微调(SFT)使准确率提高了 12%,利用评分奖励调整回答方式的强化学习(RL)又使准确率提高了 17%。博客图中还展示了后训练各阶段的平均 Tanimoto 相似度。
表:药物代谢预测的平均分子相似度
条件:依据公司公布的图表,药物代谢预测环境,Morgan 指纹的 Tanimoto 相似度
单位:Tanimoto 相似度
| 模型与训练阶段 | 平均相似度 |
|---|---|
| Nemotron 3.0 Super | 0.33 |
| Nemotron 3.5 Super VL | 0.69 |
| Nemotron 3.5 Super VL,SFT 后 | 0.78 |
| Nemotron 3.5 Super VL,从 SFT 检查点进行 RL 后训练 | 0.90 |
该图在 0.69 和 0.90 之间标注了 31% 的提升。这是公司在特定药物代谢任务中报告的结果,与 16,384 个令牌条件下的准确率提升数据属于不同指标。
3. 实验数据和基础设施是性能改进的基础
公开的运行示例是一项多节点 GRPO 作业,在 4 个节点上各部署 4 个 GPU,通过回答组之间的奖励差异进行学习。环境构建使用 NeMo Gym,后训练使用 NeMo RL,需要完成从数据准备到奖励服务器与训练工具连接等步骤。同样的结构也可用于其他能够返回数值奖励的任务,但各领域的实验资料和评分工具必须按任务准备。
# Multi-node GRPO run (16 GPUs)
python examples/nemo_gym/run_grpo_nemo_gym.py \
--config configs/grpo_metxbiodb_super_vl.yaml \
cluster.num_nodes=4 cluster.gpus_per_node=4 \
grpo.max_num_steps=100为提升性能,研究团队需要整理实验数据并设计验证器,示例运行配置还需要 16 个 GPU 规模的多节点资源。采用教师模型的可选路径还需要调用模型进行推理。因此,任务是否具有明确的奖励标准、能否通过数据验证,是实际引入该方案的起点。使用未参与训练的数据与初始模型进行比较,可以评估后训练是否带来改进。
4. 教师模型蒸馏是 RL 的可选准备阶段
当基础模型能力不足或 RL 收敛较慢时,可以在强化学习前加入蒸馏,即将教师答案用作训练资料。更强的教师模型负责提供答案和训练资料,在同一环境中生成推理案例;学生模型则是利用教师案例学习的模型,先用高分案例进行微调。公司表示,这种热启动,即辅助初始学习的预备阶段,可以加快收敛,使训练结果更早趋于稳定,并提高后续 RL 的效率。
在药物代谢案例中,教师模型是 Anthropic 的 Claude Sonnet 5.5。团队从 1,934 个训练提示中选出 Tanimoto 得分不低于 0.7 的 1,123 个推理案例,作为 SFT 资料。提高阈值,即决定是否纳入的分数标准,会只保留匹配更严格的答案;降低阈值则可能纳入与标准答案不同的变体。
这套方案的核心并非模型本身,而是将实验结果转化为可用于训练的奖励的验证设计。
