NVIDIAが、強化学習の学習用回答生成と推論ワーカーの運用を支援するDynamoの構成を紹介した。Dynamoは、モデルへのリクエストを処理するソフトウェア層であるサービング層だ。複数の生成リクエストをワーカーに振り分け、入力の反復計算と重み更新の負担を減らし、ワーカー障害時にはリクエストを移す。強化学習システムを作る開発チームは、既存の学習フレームワークを維持しながら生成インフラを分離して運用できる。

1. 回答生成の速度が学習の進行を左右する

強化学習は報酬に基づいてモデルを改善する。推論ワーカーは、モデル出力と行動、環境との相互作用をつなげたデータを作る。この生成結果をrolloutと呼び、学習フレームワークはそれを評価して重みを更新し、ワーカーに渡す。そのため、必要なデータが集まる速度と新しい重みの配布が、次の学習ステップに影響する。

作業ごとにワーカーの実際の負担は異なる。推論問題は回答一つで終わることもあるが、コーディングエージェントはリポジトリの探索から編集、ツール呼び出し、テストまで行う。リクエスト数を均等に分けても完了時間は異なり得るため、一群のサンプルを待つ学習では、最後の作業が次のステップの開始を遅らせる。

同じ課題の複数の試行では、指示文やリポジトリ情報など、入力の前半が重なることもある。この入力を繰り返し計算すると、新しい回答を作る前にGPUリソースを消費する。

学習中に作られる新しい重みは、アルゴリズムが要求するタイミングでワーカーに届く必要がある。NVIDIAが示した三つの課題は、必要なサンプルの完了時間を短縮すること、共通する前半部分の再計算を減らすこと、新しい重みを適時に届けることだ。

2. 学習フレームワークと推論運用を分離する

Dynamoは、rolloutを調整する学習フレームワークと推論ワーカーの間で、リクエストを適切な処理能力へ振り向ける。実際のモデル生成は推論エンジンが担う。この構成で学習フレームワークは、最適化、報酬、環境、学習状態を保存したチェックポイント、学習に採用するサンプルを管理する。

Dynamoはルーティングとワーカー管理、サービング制御を担い、ワーカーの状態を観測する。ModelExpressは対応する連携を通じてモデルの重みと成果物を配布する。生成リクエストの経路と重み更新の経路は分離される。フレームワークが更新対象を決め、適用タイミングとサンプルの採用を制御するため、サービング運用を切り離しても学習ルールはフレームワークに残る。

3. キャッシュとワーカー負荷を併せて考慮する

同じ入力を複数回処理する際、すでにその入力を保持するワーカーに送れば、前半部分の再計算を減らせる。しかし、キャッシュのあるワーカーばかり選ぶと待ち行列が長くなり、全体の完了が遅れる。Dynamoのルーターは、計算済みのキーと値を保存するKVキャッシュの再利用の利点と、ワーカーごとの負荷を併せて考慮し、重複計算と待ち時間を減らす設計となっている。

重みの配布では、ModelExpressがクラスター内にすでにある重みを再利用し、リモートストレージから再度読み込む負担を減らす。互換性のあるワーカー間では、NIXLを使ってGPUメモリ間で重みをコピーできる。GPU間のコピーは、クラスター内の重みと通信リソースを使う。

モデル全体ではなく更新された部分を圧縮して送る差分転送にも対応する。転送量を減らせるが、ワーカーが新しい状態を構成するには、変更分に対応する基準の重みを持つ必要がある。学習フレームワークは、更新の適用タイミングとサンプルの有効性を引き続き管理する。

4. ワーカー障害に対応し、実際の適用範囲を広げる

Dynamoはワーカーの喪失を検知すると、新しいリクエストを処理可能な別のワーカーへ送り、代替ワーカーの準備が整うとルーティングに加える。代替ワーカーはチェックポイントを読み込んだ後、その後の変更分を適用して学習の進行状態に追いつける。対応する構成では、進行中のリクエストの移動や、ワーカーから処理を正常に退避させる機能も提供する。

NVIDIAが紹介した適用事例には、Microsoft AIの事後学習のrollout推論、CognitionのSWE-1.7の事後学習ワーカー管理とルーティング、Prime Intellectの分散推論作業の調整が含まれる。CoreWeaveは、DynamoとModelExpressで重み更新を最大15倍に高速化したと述べた。H Companyは、両ツールで平均学習ステップ時間を最大20%、GPU使用時間を最大5%削減したと述べた。各社が発表した15倍は重み更新速度、20%は学習1ステップの所要時間、5%はGPUリソース使用量という異なる改善点を指す。必要なサンプルの完了が遅いのか、入力の反復計算が多いのか、重み配布が遅いのかによって、負荷分散・キャッシュ再利用・配布最適化の優先順位は変わる。

オープンソースの連携対象としては、verl、NeMo RL、Slime、prime-rlが示された。既存の強化学習フレームワークを置き換えるよりも、これらのシステムと推論サービング層を接続して活用する方向だ。

Dynamoの核心は、学習の判断権をフレームワークに残し、反復生成と重み配布、ワーカー復旧をサービング層で調整することにある。