10 月 2 日发布的 LocalAI 4.11.0 增加了模型故障转移。一个模型名称可以对应按优先级排列的本地和远程目标。
传输错误、服务器故障、内存不足和限流能在响应提交前切换到下一个目标;输入验证错误、普通客户端错误和取消请求不会触发切换。
GET /api/failover 可查看故障转移链和目标状态。管理员可以通过 API、MCP 工具或 React 界面固定和解除固定目标,X-LocalAI-Served-Model 响应头则指出实际作答的模型。
恢复探测和最短后备停留时间能减少目标之间反复切换。
流式响应开始后的失败与其他更新
响应流一旦开始,之后发生的错误无法通过故障转移恢复。应用仍需处理这类失败。
同一版本还增加了使用 Sigstore 验证的 OCI 模型库、单机运维界面,以及转写、说话人分离和声音检测功能。说话人名称仅保存在当前进程中,重启后消失;说话人档案属于敏感生物特征数据。
运行中需要区分的两条边界
远程后备模型有助于提高可用性,也可能让请求数据离开本地环境。目标的信任边界因此是配置的一部分。
分别检查响应开始前和流式传输中的失败,可以区分 LocalAI 的切换能力与应用自身的恢复逻辑。这是依据发布文档提出的检查方式,并非本文实际完成的测试。
LocalAI 4.11.0 只能在输出开始前切换目标,之后的恢复和数据路径仍需单独设计。