Axolotlが大規模言語モデルを調整する開発者向けに、サーバー1台用の学習設定を提供した。拡散型の言語モデルを個別のプラグインなしで学習でき、画像を含むデータでも応答の選好や報酬を学習できるようになった。

1. 8基搭載サーバーで調整する超大規模モデル

ReflectionのBeamは、総パラメーター数が5010億で、トークンごとに230億を活性化する混合エキスパートモデルだ。入力に応じて一部のエキスパートだけが計算に参加する構造で、ソフトウェア開発や長期間にわたり複数の段階を実行するエージェントの作業を狙う。

今回のリリースは、H200を8基備えた単一ノードでのQLoRAファインチューニングをサポートする。元の重みを低精度で保存し、小さな補正用の重みを学習する方式だ。モデル全体を再学習したり、低スペックの機器で実行したりするという意味ではない。

設定は、学習状態を分散するFSDP2方式と、モデルの層をデバイスに分けるdevice_map方式で提供される。分散方式と補正対象は別々に区別する必要がある。

アテンションは、入力のどの部分同士を相互に参照させるかを決める計算だ。両分散方式とも、アテンションとエキスパートの重みを補正する設定を提供する。device_mapにはアテンションだけを補正する設定もある。

device_map設定は単一プロセスで実行する。補正用の重みが複数のデバイスにまたがると、重みの更新を担うadamw_torch_4bitオプティマイザーが失敗するため、ドキュメントで指定されたadamw_torchを使う必要がある。

経路を選ぶルーターは補正学習の対象から除外しなければならない。これを学習すると、エキスパートの選択が不安定になるとの警告がある。

2. 拡散モデルを標準の学習経路に組み込み

拡散言語モデルは、マスクされたトークンやノイズが混じったトークンを復元するよう学習する。新しいトップレベル設定のdiffusion_lmと既存の対話データセットを使うと、モデル別のプロファイルがノイズ過程、アテンションの配置、損失を定める。

拡散モデルの案内によると、対応対象にはNemotron-Labs-Diffusionの30億・80億パラメーターモデルとDream v0が含まれる。

DiffusionGemmaもサポートするが、これらの標準学習は小さな補正用の重みを学習するLoRA方式に限られる。

Nemotronがサポートする可変長アテンションは、長さの異なる文書の実際のトークンだけを集めて計算する方式だ。この経路にはTorch 2.14以上が必要になる。ドキュメントのインストール項目では、この経路向けの環境構築例を次のように示している。

python -m venv .venv-diffusion
source .venv-diffusion/bin/activate
python -m pip install --upgrade pip
python -m pip install torch==2.14.0  # 또는 가속기에 맞는 휠
python -m pip install -e .

30億パラメーターの入門例は、合成対話32件でオプティマイザーの更新を2回行う。データ準備と学習・保存を確認するためのもので、品質評価ではない。

複数の文書を1行にまとめるパッキングは、主にメモリーを節約する。ドキュメントは、スループットが文書の長さとアテンションの実装によって変わるため、パッキングを有効にした場合と無効にした場合を直接測定するよう勧めている。

3. 画像への応答にも選好と報酬を適用

リリースノートによると、画像データセットでDPOとKTOを実行できるようになった。画像を含む入力でも、応答を選好に合わせて調整する学習経路ができたことになる。

GRPOのように生成応答の報酬を活用する強化学習もサポートする。ただし、画像学習の品質向上を示す数値は提示されていない。

画像の強化学習用の生成サーバーを併用するには、vLLMも0.30.0以上にそろえる必要がある。

拡散モデルの画像入力は別の経路だ。Nemotron-Labs-Diffusion-VLM-8Bでは、所定の回答欄にラベルやスコアなどを埋めるよう学習する専用プラグインでのみ画像を受け付ける。通常の教師ありファインチューニングはテキストだけを受け付け、マルチモーダルデータセットは拒否する。

4. 利点は統合、コストは実行環境の点検

標準の拡散学習は、従来のプラグイン指定の代わりにトップレベル設定と普段使う対話データセットを利用するため、個別のプラグイン設定の負担を減らす。既存の拡散設定は警告とともに変換されるので、移行時に警告とモデル別の対応範囲を確認する作業は引き続き必要だ。

B200向けの性能案内は別の比較だ。デバイス間でデータをやり取りする際、DeepEPの代わりに追加インストールが不要な標準通信を使った経路は、内部の小規模テストで約25%遅かった。

入力間の参照を計算する実装にも違いがある。同じ案内では、FlashAttention 2はこのモデル規模でFlashAttention 4より約2倍遅い代替手段と説明されている。両数値はそのデバイスでの実装選択に関する比較であり、先に紹介したサーバー構成の速度やコストの推定値ではない。

今回のバージョンの価値は、大規模モデルの補正学習と拡散・画像学習へ対象を広げ、標準の拡散学習で個別のプラグイン設定の負担を減らした点にある。