NVIDIAは実験記録でモデルの回答を自動採点し、その得点を報酬として科学課題に合わせて事後学習する方法を公開した。研究チームは保有する実験データと検証ツールを結び付け、特定分野に適したモデルを作れる。薬物代謝予測の事例では、教師あり微調整と強化学習を順に適用した。
1. 実験結果を自動採点の基準に変える
このレシピの入力は、測定結果が併記された実験データだ。例では分子構造、反応条件、実験結果をCSVに収め、各行をモデルに渡す質問と正解にする。正解を人による選好のラベルから作るのではなく、実験記録から取り出して報酬信号に使う。
事例の課題は、親分子と代謝酵素を入力し、生成される代謝物を予測することだ。資料には、実験で確認された生体変換、つまり生物体内で起きる化学変化の反応を収録したMetxBioDBを使った。採点器は分子の構造的特徴を数値化した「分子フィンガープリント」を照合する。予測と正解の近さは、2つの構造の重なりを示すTanimoto類似度で計算する。得点は0から1で、高いほど両構造のフィンガープリントが似ている。
検証器は単純な類似度計算から、化学情報を計算・分析するケモインフォマティクスのツール、分子シミュレーター、自律実験室まで、課題に合わせて構成できる。重要な設計上の選択は、何を成功とみなすかを定める報酬関数、すなわち結果を得点にする規則だ。報酬が科学的結果を適切に反映してこそ、モデルは望む方向へ学習する。
2. 強化学習が自動採点の結果で回答を改善する
環境の構築後、NVIDIAはNemotron 3.5 Super VLを強化学習で調整する手順を示す。モデルは入力に基づいて回答を推論し、ツールを呼び出す。検証器は提出結果を評価して報酬を返す。この事例ではMorgan分子フィンガープリントの半径を2、長さを2048ビットに設定し、最初の提出だけを採点する。
同社の発表によると、薬物代謝予測環境で出力予算、つまりモデルの回答に許容するトークン上限を16,384トークンとした場合、正解例を学ぶ教師あり微調整(SFT)が精度を12%高めた。採点報酬で回答の仕方を調整する強化学習(RL)は、さらに17%高めた。また、ブログの図には事後学習の段階別の平均Tanimoto類似度が示されている。
表:薬物代謝予測の平均分子類似度
条件:同社発表の図に基づく、薬物代謝予測環境、MorganフィンガープリントのTanimoto類似度
単位:Tanimoto類似度
| モデル・学習段階 | 平均類似度 |
|---|---|
| Nemotron 3.0 Super | 0.33 |
| Nemotron 3.5 Super VL | 0.69 |
| Nemotron 3.5 Super VL、SFT後 | 0.78 |
| Nemotron 3.5 Super VL、SFTチェックポイントからRLで事後学習 | 0.90 |
この図の0.69と0.90の間には31%向上との表記がある。これは特定の薬物代謝課題で同社が報告した結果であり、16,384トークン条件での精度向上の数値とは指標が異なる。
3. 実験データとインフラが性能改善の基盤となる
公開された実行例は、4ノードに各ノードGPU 4基を配置するマルチノードGRPO、つまり回答グループの報酬差で学習する方式のジョブだ。環境構築にはNeMo Gymを、事後学習にはNeMo RLを使い、データ準備から報酬サーバーと学習ツールの接続までの段階が必要になる。同じ構造は数値報酬を返せる別の課題にも適用できるが、各分野の実験資料と採点ツールは課題に合わせて用意しなければならない。
# Multi-node GRPO run (16 GPUs)
python examples/nemo_gym/run_grpo_nemo_gym.py \
--config configs/grpo_metxbiodb_super_vl.yaml \
cluster.num_nodes=4 cluster.gpus_per_node=4 \
grpo.max_num_steps=100性能向上の代わりに、研究チームは実験データを整理し、検証器を設計する必要がある。提示された実行設定にはGPU 16基規模のマルチノード資源が含まれる。教師モデルを使う任意の経路では、モデル推論の呼び出しも必要だ。そのため、報酬基準が明確でデータで確認できる課題かどうかが、導入の実質的な出発点となる。学習に使っていないデータで出発点のモデルと比較すれば、事後学習による改善の有無を評価できる。
4. 教師モデル蒸留はRLの任意の準備段階だ
基本モデルの能力が不足する場合やRLの収束が遅い場合は、強化学習前に蒸留、つまり教師の回答を学習資料にする方法を追加できる。回答と学習資料を提供する、より強力な教師モデルが同じ環境で推論例を作る。教師の事例で学ぶ学生モデルは、高得点の事例で先に微調整する。同社は、このウォームスタートという初期学習を助ける準備段階が、学習結果の安定を意味する収束を早め、その後のRLの効率を高め得ると説明する。
薬物代謝の事例では、AnthropicのClaude Sonnet 5.5が教師モデルだ。学習プロンプト1,934件からTanimoto得点が0.7以上の推論例1,123件を選び、SFT資料とした。採否を分ける基準点である閾値を上げると、より厳密に一致する回答だけが残り、下げると正解と異なる変形も含まれ得る。
このレシピの核心はモデルそのものよりも、実験結果を学習に使える報酬へ変える検証設計にある。
