NVIDIA TensorRT-LLM 1.4.0rc0：支持 GLM-5.3-Flash，移除 KVCacheManagerV2 的 Python 实现
新增对新模型文本、图像和视频输入的支持。缓存管理器的 Python 实现已移除，升级前需检查现有配置和事件采集路径。
devotd.
大语言模型
了解各主题的新进展及其来源。
最新文章
57 篇文章Hugging Face Transformers v5.20.0：支持 Muse Spark Open，原生加载 Ling 3.0 Flash
Transformers 新增对 Meta 多模态模型的支持，以及 InclusionAI 模型的内置加载路径。输入处理和加载流程得到整合，但实际部署时，仍需分别核查大型模型的内存需求和专家并行推理的性能下降警告。
NVIDIA Nemotron 3.5 Super VL 120B-A12B：100万 token 混合 MoE，内置 MTP 推测解码
英伟达发布了可处理长文档、图像和视频的模型，提供用于训练与评估的版本，以及降低内存需求的部署版本。内置预测功能可用于尝试加速生成，但实际速度和量化带来的质量变化，仍需结合部署条件和具体任务判断。
Boole-1.7B：1位存储 GGUF 292.1MB，较 BF16 平均下降8.28分
一款以1位存储权重符号的小型语言模型已发布，可在 CPU 上运行的分发文件大小为292.1MB。发布方评测的十项任务平均分比原模型低8.28分，未提供运行内存和生成速度的测量数据。
FlashInfer v0.7.1：扩大 Rubin 量化专家并行支持，工作站集成责任
在 Rubin 和 Blackwell 工作站上，将模型专家运算分配到多个 GPU 执行的支持得到扩展。工作站路径由调用方负责输入传递和结果求和，公布的单层性能数据并不代表整个分布式服务的加速比。
AIBrix v0.8.0：引入实验性 ModelClaim，闲置模型共享 GPU 内存
AIBrix v0.8.0 的实验性功能 ModelClaim 将模型生命周期与 Pod 分离，并让闲置引擎休眠以共享 GPU 内存。不过，发往休眠模型的首个请求不会等待结果，而是收到 HTTP 503。如果休眠期间连预留空间也共享给其他模型，何时能够唤醒还取决于可用容量。
vLLM TPU Inference v0.31.0：可选分层 MoE 分发，JAX W4A16 支持
vLLM TPU Inference v0.31.0 新增了减少 MoE 芯片间通信的可选分发方式，以及 JAX 路径的 W4A16 线性运算。开发 PR 显示，特定 MoE 配置的完整解码步骤耗时缩短了 4.5%，Gemma 4 31B QAT 也能装入单颗 v6e 芯片。但两项结果解决的是不同瓶颈，不能证明普遍提速或质量保持不变。
Ling-3.1-flash：MIT 模型卡，100万与26万 token 的文档差异
Ling-3.1-flash模型卡标称100万Token上下文，但SGLang部署指南给出的限制为262,144 Token。激活参数数量也分别为25B和约17B。自托管应以实际检查点和服务器配置为依据，而非只看模型介绍。
Mistral Large 4：公开 API 预览，月底计划发布权重
Mistral Large 4于10月6日开放API预览，但模型权重计划月底才发布。10月14日Hugging Face页面仍标注即将推出。当前服务评估与未来自托管计划需要分别判断。
vLLM 0.31.0 preload：减少重启加载，检查点指纹冲突风险
vLLM 0.31.0 的 preload 将处理好的权重保留在 GPU 守护进程中，避免引擎重启时再次从磁盘加载。然而，它只检查 safetensors 头部，结构相同但权重不同的微调模型可能命中同一缓存。一名用户报告，在远程存储上重读 66 个头部大约耗时 32 秒。