Hermes Agent 0.22.0:集成本地推理,稳定版本更新
Hermes Agent 0.22.0统一管理本地模型安装、服务运行和更新,源码安装也默认跟随稳定版本。不过外部应用仍通过Nous网关连接,因此本地推理不等于整个任务离线执行。
devotd.
了解各主题的新进展及其来源。
Hermes Agent 0.22.0统一管理本地模型安装、服务运行和更新,源码安装也默认跟随稳定版本。不过外部应用仍通过Nous网关连接,因此本地推理不等于整个任务离线执行。
XeStrata xe0.1.43.1 修复了 xe0.1.43 中 Intel GPU 上 Qwen3.8-Flash-Next 预填充退回 DP4a 路径的回退问题。早一天发布的 xe0.1.42 则修复了软件包中 GPU 机器码被调换的另一个缺陷。
一位 Project Maya 贡献者报告,单块 RTX 3090 解码速度为 26.0 tok/s,两块为 53.0 tok/s。双卡配置同时改变了层切分、MTP 草拟和预填充分块大小,因此不能把它当作仅由 GPU 数量带来的扩展倍率。
llama.cpp 于 10 月 11 日合并了 Prism Bonsai 2 27B 的运行时支持。但 10 月 13 日核对的模型卡和后端文档仍要求使用 Prism 分支,因此需要分别确认文件打包格式、运行时版本和后端组合。
PXA 3.1 为 Tesla P100、V100 等旧款 NVIDIA 显卡新增了 Overdrive 预设,但其速度优化以 PXA 量化包和随包附带的 PXQN 库为前提。要让使用中学到的专家映射保留在容器之外,还需要命名卷。
Basalt 由 Strata 分叉而来,只面向 Linux 与 NVIDIA Blackwell(sm_120)上的 Qwen3.8-Flash-Next。开发者报告的 665 和 354 tok/s 来自特定模型包、工作负载和调优配置;内置默认值以及并发下的上下文划分同样左右结果。
strata-mlx 是一个读取 Strata 模型文件的独立 MLX 引擎。一位用户在真实的 32GB MacBook Air 上测得,把专家预算从 20.5GB 降到 16GB 后,生成速度接近翻倍,累计换出量也大幅减少。
audio.cpp v0.9.1 把 PocketTTS CPU Mimi 上采样器的 32 MiB 稠密对角权重换成 64 KiB 的 depthwise 模块。维护者测量显示,4 线程下每帧解码时间从 30.50 ms 降到 10.11 ms;但 GPU 路径不变,部分发布二进制可能要求 AVX-512。
MSI 于 10 月 8 日在香港开放基于 RTX Spark 的二合一笔记本 Prestige N16 Flip AI+ 的预订。最高 128GB 由 CPU 与 GPU 共用;对本地 AI 来说,关键是 Windows on Arm 上的实际软件组合能否在这个空间内运行。
WHIRL v0.1.4 把原生 Windows LLM 服务器的 CORS 默认值收窄到由回环地址提供的网页。推理代码和速度与 v0.1.3 相同,停止读取响应的流式客户端也不再阻塞其他用户。