インテルが自社のグラフィックスカードで言語モデルを実行する推論パッケージを更新した。ローカル推論を評価する開発者は、拡大したモデル対応と低精度でモデルを実行する機能を併せて検討できる。回答生成を早める機能も含まれるが、公開イメージは本番運用向けではなくデモ用だ。

1. 基盤エンジンとイメージの関係

2026年10月16日に公開された今回のリリースは、基盤エンジンをvLLM 0.14.0からvLLM 0.26.0に引き上げた。インテルGPU向けのパッチを適用した構成だ。

配布イメージはintel/llm-scaler-vllm:1.5で、リリースノートはintel/llm-scaler-vllm:0.26.0-b2と機能的に同等だと説明している。したがって、両タグを異なる機能世代とみなす根拠はない。

2. 対応モデルと量子化の方式

リリースノートはQwen3.6-27BとQwen3.8-27Bを対応対象として明記した。両モデルは、ブロック単位で重みを低精度に格納したファイルにも対応する。

Qwen3.6-35B-A3Bも同じ対応範囲に含まれる。3モデルとも事前に量子化したFP8の重みを使用できる。

Gemma系列ではgemma-4-26B-A4B-itとgemma-4-31B-itを明記した。参照文書も両モデルの実行時量子化への対応を明記している。

オンライン量子化は、別途加工した重みファイルの代わりに、実行時に数値の表現精度を下げる方式だ。今回のリリースは8ビット浮動小数点のFP8と対称4ビット整数のINT4に対応する。事前に量子化したモデルは、量子化オプションを再指定せずにモデルのパスを渡すよう案内している。

3. 回答生成とカスタムモデルの配信

MTPは複数のトークン、つまり文章を構成する断片を先に予測する投機的デコーディング方式だ。Qwen系列はモデル自体の予測機能を使う。

DFlashも複数のトークンを先に提案して検証する投機的デコーディングを提供する。リリースノートは前述のQwenの3モデルとMuse-Glimmer-30Bを対応対象に挙げた。参照文書は、使用の有無を比較する際、ほかのサーバー・測定設定を同じに保つよう案内している。

LoRAは、1つの基本モデルに微調整した派生モデルを付けて配信する機能だ。学習した差分を格納した複数のアダプターを一緒に提供し、実行中にロードやアンロードができる。リリースノートは前述のQwen・Gemmaの5モデルでの対応を明記した。

FP8 KV cacheは、回答生成で再利用する中間計算のキーと値を低精度で保存する。重みの量子化とは独立して設定するため、両方を併用できる。ただし、実行中にキャッシュのスケールを計算する機能は、モデルと実行環境の組み合わせによっては対応していない。

事前に量子化したファイルなしで実行したり、1つの基本モデルで複数の派生モデルを提供したりできる点は利点だ。一方、Gemmaの複数トークン予測とDFlashでは、対象に合った補助モデルのファイルを別途用意する必要がある。

リリースノートが対応対象に挙げたQwen 3.8は、参照文書の複数トークン予測・アダプター・補助モデルによる高速化の検証一覧にはない。対応の表明と具体的な実行案内を区別する必要がある。

4. 改善の主張と確認範囲

インテルは、QwenとGemmaモデルで最初の応答トークンが出るまでの時間を改善したと発表した。複数トークン予測、アダプター配信、低精度キャッシュの性能も改善項目に挙げた。ただし、各項目の測定条件と改善幅を示す数値は提示されていない。

修正事項には、複数トークン予測とプレフィックスキャッシュの組み合わせによるエラーが含まれる。プレフィックスキャッシュは、共通する入力の先頭部分の計算を再利用する機能だ。対称4ビット整数量子化モデルの誤った出力も修正した。ブロック量子化モデルで並行デコーディング中に出力が破損する問題も修正した。この一覧を、あらゆる組み合わせの精度保証と解釈してはならない。

5. インストール前に確認する条件

参照文書はArc B60向けのイメージ案内で、固定されていない最新タグではなく、特定のバージョンを取得するよう勧めている。以下は原文のダウンロード例だ。プレースホルダーは使用するリリースバージョンに置き換える必要がある。

# Replace <VERSION> with the latest beta release version from the link above
docker pull intel/llm-scaler-vllm:<VERSION>

本番環境では、公開されたDockerfileを参考に独自のイメージを作成するよう案内している。

起動時に設定した最大コンテキスト長が利用可能なキャッシュ容量を超えると、サーバーは起動しない。起動ログを確認し、長さを短くするかメモリ使用設定を調整する必要がある。

Muse-Glimmerで画像・動画も処理する推論にはTransformers 5.15.0が必要だが、イメージにはTransformers 5.8.0が入っている。

今回のバージョンはローカル推論の選択肢を広げたが、導入判断では機能一覧よりも、モデル別の実行条件と同一条件での検証を重視するのが妥当だ。