本地 AI

本地 AI2026-10-06 KST

Strata v0.1.39：专家分布在 GPU、内存和 SSD 上，预填充与解码的瓶颈不同

Strata 把无法完全放进 GPU 显存的 MoE 模型拆分到 GPU、内存、CPU 和 SSD 上运行。每份权重放在哪里、在哪里计算，会分别影响提示处理速度、首次响应等待和生成速度。

本地 AI2026-10-04 KST

Lemonade 稳定版 v2026.40.0 在 AMD 集成 GPU 上按 GTT 池判定流式模型的可用大小。同一版本移除了 openmoss:rocm 以及 Windows 上的 sd-cpp:rocm，因此排查升级问题时需要把两者分开。

本地 AI2026-10-04 KST

llama.cpp 和 Ollama 通过 /v1/systemone 返回类型化的决策，而不是生成的文本。解析变得更简单，但概率并不保证答案正确，置信阈值也因模型而异。

本地 AI2026-10-03 KST

Bas Nijholt 使用两张 RTX 3090 运行 LLM，但计算发现电费和硬件成本可能让 API 更便宜。结论取决于每天使用多久，以及拿哪种 API 模型比较。

本地 AI2026-10-03 KST

LocalAI 4.11.0 允许将本地与远程模型按顺序放在同一名称下。只有响应开始前的部分故障会切换到下一个模型。