10月2日公開のLocalAI 4.11.0は、モデル間のフェイルオーバーを追加した。一つのモデル名に、ローカルとリモートの対象を優先順で登録できる。
通信エラー、サーバー障害、メモリ不足、レート制限では応答の確定前に次の対象へ移る。入力検証エラー、通常のクライアントエラー、リクエストのキャンセルでは切り替わらない。
GET /api/failoverでチェーンと対象の状態を確認できる。管理者はAPI、MCPツール、React画面で対象を固定・解除でき、X-LocalAI-Served-Modelヘッダーには実際に応答したモデルが示される。
復旧確認とフォールバック先の最小維持時間により、対象間の頻繁な切り替えを抑える。
ストリーム開始後の障害と同時追加機能
応答ストリームが始まった後のエラーは、この機能では復旧できない。その場合の処理はアプリケーション側に残る。
同じリリースにはSigstore検証付きのOCIモデルギャラリー、単一ホストの運用画面、文字起こし・話者分離・音の検出も含まれる。話者名は実行中のプロセス内にしか保存されず、再起動すると消える。話者プロフィールは機微な生体情報として扱われる。
運用時に分けて確認する二つの境界
リモートの代替モデルは可用性を高める一方、リクエストのデータがローカル環境の外へ出る可能性がある。代替先の信頼範囲も設定上の判断材料だ。
応答開始前の失敗とストリーム途中の失敗を別々に確認すると、LocalAIの切り替えとアプリケーションの復旧処理の境界が見える。これはリリース文書から導いた確認方法であり、この記事で行った試験結果ではない。
LocalAI 4.11.0が切り替えるのは出力開始前の障害までで、それ以降の復旧とデータ経路は別に設計する必要がある。