Ascendアクセラレーターで大規模言語モデルを動かす開発者向けに、vLLM Ascendの新しい正式版が公開された。主要モデルに合わせた実行方式とキャッシュ・並列処理のサポートが拡大した。既存環境を移行する際は、モデル別の実行エンジンの選択と次期バージョンの移行計画を併せて確認する必要がある。

1. 主要モデルに合わせた実行経路が増えた

プロジェクトが10月29日に公開したvLLM Ascend 0.30.0は、上流のvLLM 0.30.0に合わせてビルドされた。リリース候補版の後に見つかったアテンション、入力情報の重要度を反映する計算、キャッシュ転送、新しい実行エンジンの安定性に関する問題の修正も含まれる。

DeepSeek V4.1には、新しい実行エンジンで4ビットの潜在KVキャッシュを使うTurboQuantのサポートが追加された。推論中に保持する中間データを低精度で保存する方式で、既存の実行エンジンでもまとめた形式のKVキャッシュを利用できる。

Kimi K3は、回答候補を先に生成してから検証する投機的デコーディングや、複数の演算をまとめる最適化などを含む全面的な実行サポートを得た。Ascend 950では、位置情報を反映する回転演算を使わないアテンション経路にも対応する。

GLM-5.3-Flashには、必要な部分を選んで計算するスパースアテンションと、8ビットのまとめた形式のKVキャッシュのサポートが追加された。小さなスロットでキャッシュページが過剰に割り当てられる問題も修正した。

Qwen3.8-27Bは、離れた場所に保存されたKVキャッシュを処理できるよう強化された。310Pで量子化モデルをデプロイする際の性能と、デバイス演算を実行する低レベルコードであるカーネルの互換性の問題も修正され、このハードウェアを使う開発者の確認事項となった。

2. キャッシュを先読みし、不要な処理を削減した

キャッシュデータをまとめて管理する領域であるキャッシュプールには、モデルのレイヤー別データを読み込む際、今後使う範囲を先読みする機能が追加された。キャッシュ検索とページ管理の負担を減らし、並列実行中の不要なCPU同期を省く変更も加わった。

投機的デコーディングと並列実行を組み合わせるサポートも拡大した。入力を分割して処理するPCPでは、投機的デコーディングのリクエスト分割を強化した。

プロジェクトは、これらの変更を性能改善項目として紹介した。デプロイを検討する開発者にとっては、使用するモデルでどのキャッシュ・並列実行の組み合わせを活用できるかが、今回の変更を確認する基準となる。

3. デフォルトの実行エンジンを維持し、次の移行に備える

今回のバージョンのデフォルトの実行エンジンはV1で、新しい実行エンジンの名称はV2だ。実行エンジンはモデルの計算を実際に進める構成要素で、今回のリリースは2世代が併用される時期に当たる。

インストールの基準も示された。CANNは9.2.1で、リリースイメージのPythonは3.12だ。

PyTorchは2.10.0、torch_npuは2.10.0.post7に合わせてある。既存環境を更新する開発者は、モデルのサポートだけでなく、これらの基盤構成も併せて照合できる。

モデル別のデプロイ方法は、リリースノートからリンクされた公式チュートリアルで確認するよう案内された。新機能を試す際は、使用するモデルの実行経路と現在の環境を先に整合させることが出発点となる。

4. 選択肢拡大の代償は既存構成の点検だ

キャッシュ管理の無駄を減らし、量子化・並列実行の組み合わせを増やした点は、モデル運用の選択肢を広げる。一方、プロジェクトは利用が減った旧型モデルについて、保守コストに応じて順次サポートを終了する予定で、レイヤー分割やFlashComm2などの廃止対象機能はすでに削除した。

プロジェクトは、次期バージョンで既存の実行エンジンを削除し、新しい実行エンジンへ完全に移行する計画を明らかにした。新規デプロイを行うチームは追加されたモデルサポートを活用できる一方、既存環境を維持するチームには、廃止される機能や実行エンジンに依存する構成を洗い出し、移行日程を立てる作業も生じる。

5. モデル別の実行条件とキャッシュの制約は残る

リリースノートによると、一部モデルのサポートには新しい実行エンジンの有効化が必要だ。Gemma-4-E4B-itはアテンション演算子の問題で実行に失敗し、GLM-5.3の構造化出力は上流プロジェクトの同じバージョンと結果が一致しない。

Mooncakeベースのキャッシュプーリングは、イーサネットベースの低遅延通信を使うRoCEネットワークでは、キャッシュデータをSSDへ移して処理するSSDオフロードに対応しない。レイヤー別プーリングでSSDオフロードと、計算を段階に分けて順次処理するパイプライン並列を併用すると、SSDキャッシュが見つからない問題も残る。

今回のリリースの要点は、モデル別の実行の選択肢を広げる一方、既存環境では次世代の実行エンジンへの移行準備を前倒しする点にある。