DSpine Qwen3-8B：公开并行草稿模型，提供推理代码
腾讯公开了并行生成回答候选内容的草稿模型及其推理代码。公开实验中，其草稿接受长度高于对比方法，但实际速度收益仍需结合额外资源开销加以验证。
devotd.
本地 AI
了解各主题的新进展及其来源。
按专题日期排列
20 篇文章NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB：基于2位训练的压缩，本地视觉语言智能体
英伟达发布了24GB视觉语言模型，旨在个人设备上处理屏幕理解与工具调用。该模型通过压缩大模型，并在训练中修正量化误差。在终端任务评测中，Bolt的得分高于Qwen3.6，但在部分知识准确性与幻觉抑制项目上落后。在另一项低精度速度实验中，它比两个小型混合专家模型更慢。
KTransformers v0.7.2：CPU 压缩专家 LoRA 训练，训练工具与推理适配器衔接
新增了一条训练路径，可将大语言模型的专家权重以压缩状态保留在 CPU 上，仅训练小规模修正权重。它还支持保存训练结果并衔接推理，但未提供完整模型的质量和吞吐量测量结果。
Intel LLM-Scaler vLLM 1.5：更新底层推理引擎，扩展模型与量化支持
英特尔更新了本地语言模型推理软件包的底层引擎，并扩展了支持的模型和低精度运行路径。该版本还提供回答生成加速和定制模型服务功能，但需留意公开镜像仅用于演示，以及各模型的运行条件。
llama.cpp b11709：支持 Kolibri-1，新增 GGUF 转换路径
本次新增了在本地推理工具中转换和运行德语、英语开放权重模型的支持。虽然每个 token 的计算只使用部分参数，但容纳完整权重所需的内存和实际使用环境的验证仍需单独考虑。
Hermes Agent 0.22.0：集成本地推理，稳定版本更新
Hermes Agent 0.22.0统一管理本地模型安装、服务运行和更新，源码安装也默认跟随稳定版本。不过外部应用仍通过Nous网关连接，因此本地推理不等于整个任务离线执行。
XeStrata xe0.1.43.1 热修复：Intel 预填充恢复 XMX 路径，修正 GPU 机器码目标错位
XeStrata xe0.1.43.1 修复了 xe0.1.43 中 Intel GPU 上 Qwen3.8-Flash-Next 预填充退回 DP4a 路径的回退问题。早一天发布的 xe0.1.42 则修复了软件包中 GPU 机器码被调换的另一个缺陷。
Project Maya 双 RTX 3090：解码 53.0 tok/s，同时开启了 MTP 草拟的对比
一位 Project Maya 贡献者报告，单块 RTX 3090 解码速度为 26.0 tok/s，两块为 53.0 tok/s。双卡配置同时改变了层切分、MTP 草拟和预填充分块大小，因此不能把它当作仅由 GPU 数量带来的扩展倍率。
llama.cpp 合并 Bonsai 2 27B 运行时：已核对 Q2_0 正确性，分支说明仍未变
llama.cpp 于 10 月 11 日合并了 Prism Bonsai 2 27B 的运行时支持。但 10 月 13 日核对的模型卡和后端文档仍要求使用 Prism 分支，因此需要分别确认文件打包格式、运行时版本和后端组合。
PXA 3.1：Overdrive 预设、PXA 量化包与学习型专家映射
PXA 3.1 为 Tesla P100、V100 等旧款 NVIDIA 显卡新增了 Overdrive 预设，但其速度优化以 PXA 量化包和随包附带的 PXQN 库为前提。要让使用中学到的专家映射保留在容器之外，还需要命名卷。