로컬 언어 모델을 쓰는 개발자는 이제 웹 화면에서 모델을 검색하고 필요한 파일을 내려받을 수 있다. 추론을 돕는 보조 파일을 함께 고르고, 다운로드를 멈췄다가 이어받는 기능도 더해져 모델 탐색과 파일 관리를 한곳에서 처리한다.
1. 검색에서 다운로드까지 연결한다
2026년 10월 17일 공개된 llama.cpp b11714에는 모델 관리 창의 탐색 화면이 추가됐다. 허깅페이스 허브의 모델을 추천 목록이나 검색으로 찾고 파일 크기 범위로 거를 수 있다.
대상은 모델 가중치를 담는 GGUF 형식이다. 저장소를 고르면 설명 문서와 통계, 양자화별 다운로드 버튼이 나온다. 양자화는 가중치를 더 적은 비트로 표현하는 방식이며, 사용자는 원하는 파일을 고를 때 메모리에 맞는지에 관한 안내도 볼 수 있다.
탐색 기능은 기본으로 꺼져 있으며, 설정에서 켜야 사이드바 등에서 접근할 수 있다. 도움말상 여러 모델을 관리하는 라우터 모드에서만 제공된다. 켜면 허깅페이스 허브 연동도 켜지고 잠기며, 탐색을 끄면 연동도 꺼진다. 표시 정보만 필요하면 연동 설정을 따로 켤 수 있다.
2. 보조 파일은 같은 양자화를 우선한다
초안 생성용 보조 파일은 본 모델의 추론을 돕는 별도 파일이다. 다운로드 화면에는 이를 함께 받는 체크박스와 종류 선택 기능이 있다. 제공되는 종류 가운데 DFlash를 MTP보다 우선하며, 사용자가 선택을 바꾸거나 함께 받기를 해제할 수 있다.
짝을 고를 때는 본 모델과 같은 디렉터리에서 정확히 같은 양자화를 먼저 찾고, 없으면 비트 수가 가장 가까운 파일을 고른다. 원문이 든 예처럼 4비트 모델에 16비트 보조 파일이 붙을 수도 있다. 따라서 양자화에 맞춘다는 설명이 같은 비트 수만 허용한다는 뜻은 아니다.
보조 파일은 별도 모델 행이 아니라 본 모델 안의 짧은 하위 줄로 표시된다. 본 모델의 다운로드 조작으로 함께 관리하며, 이미 본 모델만 받은 경우에는 빠진 보조 파일을 추가하는 버튼이 나온다. 추론 속도가 얼마나 개선되는지에 대한 측정 결과는 제시되지 않았다.
3. 일시정지는 보존하고 취소는 지운다
이전에는 멈춘 다운로드의 부분 파일을 지웠지만, 이번에는 남겨 두고 재요청 때 이어받는다. 서버가 미완료 기록을 저장하므로 재시작이나 화면 새로고침 뒤에도 일시정지 상태를 복원한다. 재개 요청이 실패해도 화면의 일시정지 행은 남는다.
서버 문서가 제시한 미완료 상태 예시는 다음과 같다. 실행 중인 다운로드와 달리, 파일을 끝까지 받지 못했지만 현재 내려받고 있지는 않은 상태를 구분한다.
"status": {
"value": "incomplete",
"args": []
}일시정지는 받은 부분을 보존하지만 취소나 디스크 삭제는 부분 파일을 제거한다. 본 모델이 이미 있고 보조 파일만 받다가 멈춘 경우도 미완료 종류를 별도로 기록해, 새 화면에서 이어받을 수 있게 했다.
4. 편의성의 대가는 저장 공간과 공유 파일 관리다
모델과 보조 파일을 따로 찾는 수고를 줄이는 대신, 함께 받는 파일만큼 전송량과 저장 공간이 늘어난다. 일시정지 뒤에도 부분 파일이 디스크에 남는다. 탐색 편의뿐 아니라 필요 없는 다운로드를 취소해 공간을 회수하는 관리도 중요해진다.
이어받기는 파일이 그대로일 때 유효하다. 저장된 파일 버전 표식이 없거나 달라지면 처음부터 다시 받고, 서버가 이어받기 범위 요청에 정상 응답 대신 200 또는 416을 반환하면 부분 파일을 지워 다음 시도를 처음부터 시작하게 한다.
공유 파일도 주의 대상이다. 서버는 진행 중인 다운로드와 같은 부분 파일에 쓰려는 새 요청을 거부한다. 모델 삭제 시 다른 양자화가 사용하는 파일은 보존하지만, 공유 보조 파일을 단독으로 삭제하면 이를 함께 쓰는 양자화에도 영향을 준다.
확률값을 반환하는 판정 모델은 이 웹 화면에서 실행할 수 없어 추천과 검색에서 제외한다. 이번 탐색 기능의 범위는 허브 전체 모델의 실행 지원이 아니라 지원 대상 모델의 선택과 다운로드 관리다.
이번 변경의 핵심은 모델 탐색과 이어받기를 한 화면에 묶되, 보조 파일의 선택과 남은 파일의 관리는 사용자에게 남긴 데 있다.
