LocalAI가 10월 2일 공개한 4.11.0은 모델 하나가 실패하면 다른 모델로 요청을 넘기는 장애 전환 기능을 담았다. 로컬 모델과 원격 모델을 한 이름 아래 우선순위대로 둘 수 있다.
전송 오류, 서버 오류, 메모리 부족(OOM), 요청 제한은 응답 전송이 시작되기 전에만 다음 대상으로 넘어간다. 잘못된 입력, 일반적인 클라이언트 오류, 요청 취소는 전환 대상이 아니다.
GET /api/failover에서 체인과 대상 상태를 확인하고, 관리자는 API·MCP 도구·React 화면에서 대상을 고정하거나 해제할 수 있다. X-LocalAI-Served-Model 응답 헤더는 실제 사용된 모델을 알려 준다.
복구 확인과 최소 대체 유지 시간은 두 모델 사이를 계속 오가는 상황을 줄인다.
응답 이후의 오류와 함께 추가된 기능
응답 스트림이 시작된 뒤의 오류는 이 기능으로 복구되지 않는다. 애플리케이션이 이어받을 실패 처리 범위가 남는 셈이다.
같은 릴리스에는 Sigstore로 서명을 검증하는 OCI 모델 갤러리, 단일 호스트 운영 화면, 전사·화자 분리·소리 감지 기능도 포함됐다. 화자 이름은 실행 중인 프로세스에만 저장돼 재시작하면 사라지며, 화자 프로필은 민감한 생체 정보로 취급된다.
운영에서 확인할 두 가지 경계
원격 대체 모델을 설정하면 가용성을 높일 수 있지만 입력 데이터가 로컬 환경 밖으로 전달될 수 있다. 전환 대상의 신뢰 범위도 설정 기준에 포함된다.
응답 전에 실패한 요청과 스트리밍 도중 실패한 요청을 따로 시험하면 전환 기능과 애플리케이션 자체 복구의 경계가 드러난다. 이는 릴리스 문서에 근거한 확인 방법이지 수행한 시험 결과는 아니다.
LocalAI 4.11.0의 장애 전환은 응답 시작 전까지만 작동하며, 그 이후의 복구와 데이터 경로는 별도 설계 영역으로 남는다.