LocalAI가 11월 20일 서버와 AI 모델 실행부를 Windows에서 직접 구동할 수 있게 한 새 버전을 공개했다. Windows에서 서버를 운영하려는 개발자는 전용 실행 파일을 받을 수 있고, GPU 배포를 관리하는 사용자는 달라진 이미지 빌드, 배포용 실행 환경을 만드는 과정의 기본값을 확인할 필요가 있다.

LocalAI v5.0.1은 실행 환경 확대와 함께 모델 교체 과정도 손봤다. 새 모델 파일의 검증이 끝날 때까지 기존 파일을 보존하도록 바꿔, 새 파일을 받는 동안 이전 파일이 남아 있도록 했다.

1. Windows용 서버와 모델 실행부를 함께 지원한다

릴리스 노트는 서버와 windows/amd64용 llama.cpp 백엔드에 네이티브 Windows 지원을 추가했다고 밝혔다. 여기서 백엔드는 모델의 추론을 실제로 수행하는 실행부다. 서버뿐 아니라 모델 실행부까지 Windows를 직접 지원하는 것이 이번 변경의 핵심이다.

배포 자산에는 Windows용 서버 실행 파일이 포함돼 있다. 서버를 직접 실행하려는 개발자는 릴리스 페이지에서 local-ai-v5.0.1-windows-amd64.exe를 받을 수 있다.

같은 페이지에는 Windows용 런처, 서버 실행을 돕는 시작 프로그램 설치 파일과 압축 묶음도 별도로 올라와 있다. 서버 실행 파일과 런처가 각각 배포되므로, 다운로드할 때는 자신이 사용하려는 구성요소에 맞는 자산을 고르면 된다.

2. GPU 이미지의 기본 빌드 기준이 바뀐다

GPU 배포에서는 hipblas 이미지가 ROCm 10.1을 기본값으로 사용해 빌드되도록 바뀌었다. 이는 배포용 이미지를 만드는 기준의 변경이다. 해당 이미지를 직접 만드는 사용자는 빌드 설정에서 버전을 따로 지정하는지, 기본값을 따르는지부터 살펴보는 편이 좋다.

관련 경로 수정도 포함됐다. *_TENSILE_LIBPATH가 설치된 GPU에 해당하는 폴더를 가리키도록 고쳤다. GPU 이미지 제작 절차를 관리하는 쪽에서는 버전 설정과 함께 이 경로를 사용하는 부분도 점검 대상으로 삼을 수 있다.

개인정보 필터 애드온, 기능을 추가로 제공하는 확장 요소에는 ROCm 기반 hipblas 이미지 빌드가 추가됐다. 기본 이미지의 빌드 기준을 바꾼 것에 더해, 개인정보 필터를 GPU 이미지로 배포하는 선택지도 마련한 셈이다.

3. 모델과 애드온을 받는 과정도 보강했다

모델 다운로드 수정은 기존 파일을 새 파일로 바꾸는 시점을 검증 뒤로 미룬 변화다. 새 파일이 준비됐는지 확인하기 전에 이전 파일부터 치우는 대신, 확인이 끝날 때까지 남겨 두는 방식이다. 모델을 교체하는 사용자에게는 다운로드 과정에서 기존 파일을 보존한다는 점이 실질적인 이익이다.

애드온 색인, 항목을 찾아보도록 정리한 목록을 가져오는 동작도 고쳤다. GitHub 릴리스가 다른 주소로 연결해 주면 그 주소를 따라가도록 변경했다. 부가 기능 목록을 받아오는 과정에서 주소가 한 차례 바뀌는 경우를 처리하는 수정이다.

애드온 카탈로그는 수동으로 작업을 재실행하지 않아도 빌드 결과에 붙도록 수정됐다. 색인을 가져오는 사용자 쪽 변경과 별개로, 배포 결과물을 만드는 과정의 수동 작업을 줄인 항목이다.

4. 실행 선택지는 늘고 배포 점검 항목은 달라진다

이번 판의 이익은 Windows에서 직접 실행할 수 있는 구성요소와 GPU용 배포 이미지가 늘었다는 데 있다. 반면 ROCm 이미지 제작 절차를 유지하는 쪽에는 기본 버전과 GPU 경로 설정을 다시 살펴보는 작업이 생긴다. 이미지를 직접 만드는지, 배포된 실행 파일을 받는지에 따라 먼저 확인할 항목이 달라진다.

릴리스 노트가 명시한 Windows 지원 대상은 서버와 해당 64비트 백엔드다. ROCm 기본값 변경에 따른 성능 측정치는 제시하지 않았다.

LocalAI v5.0.1의 핵심은 실행·배포 선택지의 확대이며, 도입 판단은 Windows용 구성요소와 GPU 이미지의 새 빌드 기준을 중심으로 하면 된다.