言語モデルのサービングツールであるvLLMは、0.33.0でGPU向けの標準配布基盤を変更し、回答候補を先に生成してから検証して出力する投機的デコーディングを拡充した。言語モデルをサービスとして提供する開発者は、更新時にインストール基盤を刷新し、ドラフト生成と検証方式をより幅広く選択できる。

1. CUDA向け配布物を13.0に統一

開発陣のリリースノートによると、CUDA向けのホイール、つまりPythonのインストール用パッケージファイルとイメージは、CUDA 13.0向けのみ提供する。CUDA 12.9向けの配布物は今後公開されないため、利用していた開発者は今回のバージョンへの更新時に新しい標準配布物へ移行する必要がある。

基盤構成もPyTorch 2.14.0とTriton 3.8.0に引き上げられた。新たな実行基盤とともに、関連コンポーネントのバージョンも変わる更新だ。

CUDA向けの標準インストールコマンドは次のとおり。リリースノートに掲載されたコマンドをそのまま転載した。

pip install vllm

AMD向けの配布ではROCm 10.0が標準となった。ROCm 7.2も別のイメージとホイールで引き続き提供し、従来の基盤を選択できる。CUDA向け配布物を一本化したのとは異なり、AMD側は2つの配布経路を維持する。

2. ドラフトを調整・検証する経路を拡充

投機的デコーディングは、ドラフトモデルが次のトークン候補を先に提案し、本体モデルがそれを検証する方式だ。今回追加されたXPressは、こうして生成したドラフトを調整する役割を担う。対象にはDFlashやDSparkのようなブロック拡散、つまり複数のトークンをまとめて生成する方式のドラフトモデルが含まれる。

モデルの実行を担う基盤であるTransformersモデリングバックエンドでも、MTPという複数トークン予測方式のドラフトモデルに対応する。このモデル実行経路でも、複数のトークンを予測するドラフト方式が使えるようになった。

EAGLEとMTPでは、先頭部分が同じリクエストの計算結果を再利用する際に、最後のブロックを保持する改善が標準で有効になった。ドラフト生成方式だけでなく、既存の計算を再利用する経路も併せて見直した形だ。

3. ドラフト用の予算予約を廃止しスループットを向上

DFlashとDSparkは、トークン予算からドラフトスロット、つまり事前に割り当てる生成領域をあらかじめ取り分けないように変更された。リクエスト処理に使う予算をドラフト用に先に予約していた動作を廃止した変更だ。

リリースノートが引用した当該変更のベンチマークでは、GB300でDeepSeek-V4.1-FlashとDSparkを併用した際の出力スループット、つまり単位時間当たりの処理量が毎秒1373トークンから3390トークンに増えた。ドラフトモデル自体の追加だけでなく、予算配分の変更も性能改善の手段となることを示している。

ドラフトモデルの出力層を量子化し、数値を少ないビット数で表す機能も追加された。開発陣は、数値をより低い精度で扱うこの機能により、同時リクエスト1件でデコーディング性能が18%向上したとリリースノートに示した。同じドラフト生成経路の中でも、予算管理と計算方式という異なる改善点を用意した。

4. 特定のGPUとモデル向けのデコーディング最適化も追加

GB300では、応答遅延の短縮に特化したデコーディングを選択できる。開発陣が示したKimi-K3の結果は、モデルの計算をGPU 8台または16台に分割する構成で1.5~2倍だった。DeepSeek-V4.1-Flashは、バッチサイズ1でデコーディング段階が18.3%高速化したと報告した。

Hummingは、DeepSeek-V4/V4.1の低精度数値形式MXFP4のエキスパート、つまり入力に応じて選ばれるモデル構成要素を、ブロック単位のFP8、8ビット浮動小数点形式で実行する。リリースノートによると、H200を4枚使った構成でデコーディング性能が9~21%向上した。モデル内部のエキスパート計算を別の数値形式で実行する手法だ。

これらの性能値はそれぞれのハードウェアとモデル・設定に基づく結果のため、異なる構成の改善幅をそのまま比較するのは難しい。

5. 速度を選ぶ代償と削除された構成を併せて確認

FLyは、速度を得る代わりに検証の厳密性を一部譲る選択型のポリシーだ。開発陣がリリースノートで示したデコーディングスループットは、MI355XとB300で1.04~1.31倍だった。スループットを増やす利点と検証方式を変える代償を併せて判断できるよう、選択肢として提供される。

従来のドラフト生成方式であるMedusaとMLP speculatorは削除された。新しいドラフト経路が増える一方、これらの方式を使っていたサービスでは代替構成の選択と適用が必要になる。

従来のRayコンパイル済みグラフ実行エンジン、つまり演算を事前にまとめて実行するツールも削除された。この実行エンジンを使っていた環境は残る実行経路へ移行する必要があるため、更新計画には配布基盤の変更とともに既存の実行構成の置き換えも含める必要がある。

vLLM 0.33.0は配布基盤をCUDA 13に統一し、投機的デコーディングの改善点を広げたため、既存ユーザーにはインストール・実行構成の移行と性能向上の経路選択を併せて準備すべき更新だ。