Basalt 引擎：仅限 Blackwell 的 Qwen3.8-Flash-Next，依赖配置的吞吐量
Basalt 由 Strata 分叉而来，只面向 Linux 与 NVIDIA Blackwell（sm_120）上的 Qwen3.8-Flash-Next。开发者报告的 665 和 354 tok/s 来自特定模型包、工作负载和调优配置；内置默认值以及并发下的上下文划分同样左右结果。
devotd.
本地 AI
了解各主题的新进展及其来源。
按专题日期排列
20 篇文章strata-mlx 32GB Mac 报告：缩小专家缓存，交换量从 106GB 降到 1.7GB
strata-mlx 是一个读取 Strata 模型文件的独立 MLX 引擎。一位用户在真实的 32GB MacBook Air 上测得，把专家预算从 20.5GB 降到 16GB 后，生成速度接近翻倍，累计换出量也大幅减少。
audio.cpp 0.9.1：PocketTTS CPU depthwise 上采样器，AVX-512 二进制注意事项
audio.cpp v0.9.1 把 PocketTTS CPU Mimi 上采样器的 32 MiB 稠密对角权重换成 64 KiB 的 depthwise 模块。维护者测量显示，4 线程下每帧解码时间从 30.50 ms 降到 10.11 ms；但 GPU 路径不变，部分发布二进制可能要求 AVX-512。
MSI Prestige N16 Flip AI+ 香港预订：最高 128GB 统一内存，Windows on Arm
MSI 于 10 月 8 日在香港开放基于 RTX Spark 的二合一笔记本 Prestige N16 Flip AI+ 的预订。最高 128GB 由 CPU 与 GPU 共用；对本地 AI 来说，关键是 Windows on Arm 上的实际软件组合能否在这个空间内运行。
WHIRL v0.1.4：浏览器 CORS 仅限本地来源，停滞的流式客户端 30 秒后被清理
WHIRL v0.1.4 把原生 Windows LLM 服务器的 CORS 默认值收窄到由回环地址提供的网页。推理代码和速度与 v0.1.3 相同，停止读取响应的流式客户端也不再阻塞其他用户。
Strata v0.1.39：专家分布在 GPU、内存和 SSD 上，预填充与解码的瓶颈不同
Strata 把无法完全放进 GPU 显存的 MoE 模型拆分到 GPU、内存、CPU 和 SSD 上运行。每份权重放在哪里、在哪里计算，会分别影响提示处理速度、首次响应等待和生成速度。
Lemonade v2026.40.0：按 APU GTT 判定大小，移除两个 ROCm 后端
Lemonade 稳定版 v2026.40.0 在 AMD 集成 GPU 上按 GTT 池判定流式模型的可用大小。同一版本移除了 openmoss:rocm 以及 Windows 上的 sd-cpp:rocm，因此排查升级问题时需要把两者分开。
llama.cpp 与 Ollama 决策模型：/v1/systemone 类型化回答，按模型设定置信阈值
llama.cpp 和 Ollama 通过 /v1/systemone 返回类型化的决策，而不是生成的文本。解析变得更简单，但概率并不保证答案正确，置信阈值也因模型而异。
本地 LLM 自托管成本：每日利用率、比较模型决定回本时间
Bas Nijholt 使用两张 RTX 3090 运行 LLM，但计算发现电费和硬件成本可能让 API 更便宜。结论取决于每天使用多久，以及拿哪种 API 模型比较。
LocalAI 4.11.0：本地与远程故障转移，仅在响应开始前重试
LocalAI 4.11.0 允许将本地与远程模型按顺序放在同一名称下。只有响应开始前的部分故障会切换到下一个模型。