Intel LLM-Scaler vLLM 1.5：更新底层推理引擎，扩展模型与量化支持

1. 底层引擎与镜像的关系

此次发布于2026年10月16日的版本将底层引擎从vLLM 0.14.0升级至vLLM 0.26.0，并应用了针对英特尔GPU的补丁。

发布镜像为intel/llm-scaler-vllm:1.5，发布说明称其与intel/llm-scaler-vllm:0.26.0-b2功能相同。因此，没有依据将这两个标签视为功能上不同的代际。

2. 支持的模型与量化路径

发布说明明确列出支持Qwen3.6-27B和Qwen3.8-27B。这两个模型也支持以块为单位将权重存储为低精度的文件。

Qwen3.6-35B-A3B也在同一支持范围内。这三个模型均可使用预先量化的FP8权重。

Gemma系列中明确列出了gemma-4-26B-A4B-it和gemma-4-31B-it。参考文档也明确说明这两个模型支持运行时量化。

在线量化是在运行时降低数值表示精度，而非使用另行处理的权重文件。此次发布支持8位浮点数FP8和对称4位整数INT4。对于预先量化的模型，文档建议直接传入模型路径，不再指定量化选项。

3. 回答生成与定制模型服务

MTP是一种预先预测多个token（即构成语句的片段）的推测解码方式。Qwen系列使用模型自身的预测功能。

DFlash也提供先提出多个token再进行验证的推测解码功能。发布说明列出的支持对象包括前述三个Qwen模型和Muse-Glimmer-30B。参考文档建议，在比较启用与否的效果时，保持其余服务器及测量设置一致。

LoRA是在一个基础模型上附加微调变体来提供服务的功能。它可以同时提供多个承载已训练变体的适配器，并在运行时加载或卸载。发布说明明确表示，前述五个Qwen和Gemma模型支持此功能。

FP8 KV cache以低精度存储回答生成中重复使用的中间计算的键和值。其设置独立于权重量化，因此两者可以同时使用。不过，运行时计算缓存缩放因子的功能，在某些模型与运行环境组合中不受支持。

无需预先量化的文件即可运行，或用一个基础模型提供多个变体，是这些功能的好处。但Gemma的多token预测和DFlash需要另行准备与目标匹配的辅助模型文件。

发布说明列为支持对象的Qwen 3.8，并未出现在参考文档的多token预测、适配器和辅助模型加速验证列表中。需要区分支持声明与具体运行指南。

4. 改进声明与确认范围

英特尔表示，已缩短Qwen和Gemma模型生成首个响应token所需的时间。多token预测、适配器服务和低精度缓存性能也在改进之列。但未提供这些项目的测量条件或显示改进幅度的数据。

修复内容包括多token预测与前缀缓存组合使用时的错误。前缀缓存可重复利用共同输入前部的计算结果。此外，还修复了对称4位整数量化模型输出错误，以及块量化模型并发解码时输出损坏的问题。不能将这份清单解读为对所有组合的准确性保证。

5. 安装前需确认的条件

参考文档在Arc B60镜像指南中建议下载确切版本，而非使用未固定版本的最新标签。以下是原文中的下载示例。占位符需替换为要使用的发布版本。

# Replace <VERSION> with the latest beta release version from the link above
docker pull intel/llm-scaler-vllm:<VERSION>

文档建议在生产环境中参考公开的Dockerfile构建自己的镜像。

如果启动时设置的最大上下文长度超过可用缓存容量，服务器将无法启动。需要查看启动日志，缩短长度或调整内存使用设置。

Muse-Glimmer处理图像、视频的推理需要Transformers 5.15.0，但镜像中包含的是Transformers 5.8.0。

此次版本扩展了本地推理的选择，但是否采用，应更多依据各模型的运行条件和相同条件下的验证，而非功能清单。