DSpine Qwen3-8B：公开并行草稿模型，提供推理代码
腾讯公开了并行生成回答候选内容的草稿模型及其推理代码。公开实验中，其草稿接受长度高于对比方法，但实际速度收益仍需结合额外资源开销加以验证。
devotd.
本地 AI
了解各主题的新进展及其来源。
最新文章
55 篇文章llama.cpp b11714：网页模型探索与辅助文件选择，下载暂停与恢复
现在可以在网页界面搜索 Hugging Face Hub 上的模型，并一并下载适配量化的推理辅助文件。暂停的下载在重启后也能恢复，但若文件已变更或续传被拒绝，则会从头下载。
NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB：基于2位训练的压缩，本地视觉语言智能体
英伟达发布了24GB视觉语言模型，旨在个人设备上处理屏幕理解与工具调用。该模型通过压缩大模型，并在训练中修正量化误差。在终端任务评测中，Bolt的得分高于Qwen3.6，但在部分知识准确性与幻觉抑制项目上落后。在另一项低精度速度实验中，它比两个小型混合专家模型更慢。
KTransformers v0.7.2：CPU 压缩专家 LoRA 训练，训练工具与推理适配器衔接
新增了一条训练路径，可将大语言模型的专家权重以压缩状态保留在 CPU 上，仅训练小规模修正权重。它还支持保存训练结果并衔接推理，但未提供完整模型的质量和吞吐量测量结果。
Intel LLM-Scaler vLLM 1.5：更新底层推理引擎，扩展模型与量化支持
英特尔更新了本地语言模型推理软件包的底层引擎，并扩展了支持的模型和低精度运行路径。该版本还提供回答生成加速和定制模型服务功能，但需留意公开镜像仅用于演示，以及各模型的运行条件。
llama.cpp b11709：支持 Kolibri-1，新增 GGUF 转换路径
本次新增了在本地推理工具中转换和运行德语、英语开放权重模型的支持。虽然每个 token 的计算只使用部分参数，但容纳完整权重所需的内存和实际使用环境的验证仍需单独考虑。
Strata 0.1.45：Qwen3.6-35B-A3B 图像输入，最多 8 个并发请求与生成加速
本地语言模型运行工具新增图像输入和最多 8 个请求的并发处理，并提升了回答生成速度。内存不足时，并发设置可能拖慢单个请求，因此需要根据设备和使用模式做出选择。
LFM2.5-24B-A2B：设备端推理与工具使用，部分激活以减少计算
Liquid AI 发布了一款面向设备端智能体的模型，仅使用部分参数参与计算，并在回答前进行推理。它在工具使用评测中表现突出，但仍需综合考虑知识与代码评测的局限、权重存储负担及商业使用条件。
MiniCPM-V 4.7 35B-A3B：系列首款 MoE，端侧专家预读取
OpenBMB 的新视觉语言模型通过提前加载所需的计算模块，减少手机读取权重的等待时间。开发团队公布了结合量化和推测生成的结果，但常规推理安装与端侧优化部署需要区别对待。
Unsloth v0.1.908-beta：本地运行 Nemotron 3.5 与 Muse Spark Open，改进编码智能体提示缓存
在本地运行新大型模型的选择增多，编码助手对历史对话的重复处理也有所减少。最低内存要求以短上下文为前提，不能将响应开始时间的改善理解为整体生成速度的提升。