AIBrix v0.8.0：引入实验性 ModelClaim，闲置模型共享 GPU 内存
AIBrix v0.8.0 的实验性功能 ModelClaim 将模型生命周期与 Pod 分离，并让闲置引擎休眠以共享 GPU 内存。不过，发往休眠模型的首个请求不会等待结果，而是收到 HTTP 503。如果休眠期间连预留空间也共享给其他模型，何时能够唤醒还取决于可用容量。
devotd.
大语言模型
了解各主题的新进展及其来源。
按专题日期排列
22 篇文章vLLM TPU Inference v0.31.0：可选分层 MoE 分发，JAX W4A16 支持
vLLM TPU Inference v0.31.0 新增了减少 MoE 芯片间通信的可选分发方式，以及 JAX 路径的 W4A16 线性运算。开发 PR 显示，特定 MoE 配置的完整解码步骤耗时缩短了 4.5%，Gemma 4 31B QAT 也能装入单颗 v6e 芯片。但两项结果解决的是不同瓶颈，不能证明普遍提速或质量保持不变。
Ling-3.1-flash：MIT 模型卡，100万与26万 token 的文档差异
Ling-3.1-flash模型卡标称100万Token上下文，但SGLang部署指南给出的限制为262,144 Token。激活参数数量也分别为25B和约17B。自托管应以实际检查点和服务器配置为依据，而非只看模型介绍。
Mistral Large 4：公开 API 预览，月底计划发布权重
Mistral Large 4于10月6日开放API预览，但模型权重计划月底才发布。10月14日Hugging Face页面仍标注即将推出。当前服务评估与未来自托管计划需要分别判断。
vLLM 0.31.0 preload：减少重启加载，检查点指纹冲突风险
vLLM 0.31.0 的 preload 将处理好的权重保留在 GPU 守护进程中，避免引擎重启时再次从磁盘加载。然而，它只检查 safetensors 头部，结构相同但权重不同的微调模型可能命中同一缓存。一名用户报告，在远程存储上重读 66 个头部大约耗时 32 秒。
QwenGyre arXiv v1：2.4T 训练缩短 59 小时，较 Colocate 快 16 小时
QwenGyre 根据任务进度，在智能体运行与强化学习更新之间重新分配 GPU。2.4T 模型的 NL2RepoBench 48 步实验中，它比 Async 提前 59.13 小时（43.9%）、比 Colocate 提前 16.05 小时（17.5%）完成。常见的 1.85 倍来自另一个 122B TerminalBench 实验；论文没有提供实现代码链接及重复实验的波动范围。
Parsimony 排行榜：已解决尝试的净增代码单元，需结合解决率解读
Parsimony 统计公开编码智能体基准中的补丁让代码增加了多少。网站排名依据可测量的成功尝试的平均净增代码单元，解决率和测量覆盖范围则另列显示。
TRL v1.15.0：默认启用融合 LM head，不再生成完整 logits 张量
TRL v1.15.0 在 SFT、DPO、KTO、GRPO、RLOO 和 Distillation 中计算 token 分数时不再生成完整的 logits 张量。项目测量中 DPO 的最大训练长度提高了 5.80 倍，但效果取决于原有的损失路径和词表大小。
Reflection Beam 测试版 API：262,144 token 上限，被忽略的 stop 参数
Reflection 于 10 月 5 日发布 501B 参数的 MoE 模型 Beam，并开始逐步开放测试版 API。迁移现有智能体时，关键在于服务的 token 上限、支持的端点，以及被接受却不起作用的参数。
AstaBrief 8B：单次生成引用报告，模型与数据许可分离
Ai2 的 AstaBrief 8B 是基于 Qwen3-8B 的模型，可根据问题和检索到的文献摘录一次性写出带引用的报告。证据检索属于输入路径；模型采用 Apache 2.0，而提示词与 SFT/DPO 数据为 CC BY-NC 4.0。