NVIDIA 公布了一种利用实验记录自动评估模型答案、将得分作为奖励,并针对科学任务进行后训练的方法。研究团队可以将已有实验数据与验证工具连接起来,构建适合特定领域的模型。在药物代谢预测案例中,团队依次应用了监督微调和强化学习。

1. 将实验结果转化为自动评分标准

这套方案的输入是记录了测量结果的实验数据。示例将分子结构、反应条件和实验结果存入 CSV,并将每一行整理成供模型使用的问题与标准答案。标准答案并非来自人工偏好标注,而是取自实验记录,用作奖励信号。

案例任务是根据输入的母体分子和代谢酶,预测将生成的代谢产物。所用数据集为 MetxBioDB,其中收录了实验确认的生物转化,即生物体内发生的化学变化反应。评分器比较以数值表示分子结构特征的“分子指纹”,并通过 Tanimoto 相似度计算预测与标准答案的相似程度。该指标表示两种结构的重叠程度,得分介于 0 和 1 之间,越高表示两种结构的指纹越相似。

验证器可根据任务配置,从简单的相似度计算,到用于计算和分析化学信息的化学信息学工具、分子模拟器,乃至自主实验室。关键设计选择是奖励函数,即定义何为成功、将结果计算为分数的规则。奖励必须准确反映科学结果,才能让模型朝预期方向学习。

2. 强化学习利用自动评分结果改进答案

构建环境后,NVIDIA 展示了通过强化学习调整 Nemotron 3.5 Super VL 的流程。模型根据输入推理答案并调用工具,验证器评估提交结果并返回奖励。在本案例中,Morgan 分子指纹的半径设为 2,长度设为 2048 比特,且仅对首次提交评分。

据公司公布的数据,在药物代谢预测环境中,将输出预算,即模型回答允许使用的令牌上限设为 16,384 个令牌时,通过正确案例学习的监督微调(SFT)使准确率提高了 12%,利用评分奖励调整回答方式的强化学习(RL)又使准确率提高了 17%。博客图中还展示了后训练各阶段的平均 Tanimoto 相似度。

表:药物代谢预测的平均分子相似度

条件:依据公司公布的图表,药物代谢预测环境,Morgan 指纹的 Tanimoto 相似度

单位:Tanimoto 相似度

药物代谢预测各阶段的平均 Tanimoto 相似度Nemotron 3.0 Super: 平均相似度 0.33; Nemotron 3.5 Super VL: 平均相似度 0.69; Nemotron 3.5 Super VL,SFT 后: 平均相似度 0.78; Nemotron 3.5 Super VL,从 SFT 检查点进行 RL 后训练: 平均相似度 0.90Nemotron 3.0 Super0.33Nemotron 3.5 Super VL0.69Nemotron 3.5 Super VL,SFT 后0.78Nemotron 3.5 Super VL,从 SFT 检查点进行 RL 后训练0.90
药物代谢预测各阶段的平均 Tanimoto 相似度
强化学习利用自动评分结果改进答案
模型与训练阶段平均相似度
Nemotron 3.0 Super0.33
Nemotron 3.5 Super VL0.69
Nemotron 3.5 Super VL,SFT 后0.78
Nemotron 3.5 Super VL,从 SFT 检查点进行 RL 后训练0.90

该图在 0.69 和 0.90 之间标注了 31% 的提升。这是公司在特定药物代谢任务中报告的结果,与 16,384 个令牌条件下的准确率提升数据属于不同指标。

3. 实验数据和基础设施是性能改进的基础

公开的运行示例是一项多节点 GRPO 作业,在 4 个节点上各部署 4 个 GPU,通过回答组之间的奖励差异进行学习。环境构建使用 NeMo Gym,后训练使用 NeMo RL,需要完成从数据准备到奖励服务器与训练工具连接等步骤。同样的结构也可用于其他能够返回数值奖励的任务,但各领域的实验资料和评分工具必须按任务准备。

# Multi-node GRPO run (16 GPUs)
python examples/nemo_gym/run_grpo_nemo_gym.py \
    --config configs/grpo_metxbiodb_super_vl.yaml \
    cluster.num_nodes=4 cluster.gpus_per_node=4 \
    grpo.max_num_steps=100

为提升性能,研究团队需要整理实验数据并设计验证器,示例运行配置还需要 16 个 GPU 规模的多节点资源。采用教师模型的可选路径还需要调用模型进行推理。因此,任务是否具有明确的奖励标准、能否通过数据验证,是实际引入该方案的起点。使用未参与训练的数据与初始模型进行比较,可以评估后训练是否带来改进。

4. 教师模型蒸馏是 RL 的可选准备阶段

当基础模型能力不足或 RL 收敛较慢时,可以在强化学习前加入蒸馏,即将教师答案用作训练资料。更强的教师模型负责提供答案和训练资料,在同一环境中生成推理案例;学生模型则是利用教师案例学习的模型,先用高分案例进行微调。公司表示,这种热启动,即辅助初始学习的预备阶段,可以加快收敛,使训练结果更早趋于稳定,并提高后续 RL 的效率。

在药物代谢案例中,教师模型是 Anthropic 的 Claude Sonnet 5.5。团队从 1,934 个训练提示中选出 Tanimoto 得分不低于 0.7 的 1,123 个推理案例,作为 SFT 资料。提高阈值,即决定是否纳入的分数标准,会只保留匹配更严格的答案;降低阈值则可能纳入与标准答案不同的变体。

这套方案的核心并非模型本身,而是将实验结果转化为可用于训练的奖励的验证设计。