Unsloth Desktop v0.1.911: 예약 작업, MiniMax-M3.1-Flash 로컬 실행

1. 프롬프트를 일정에 맞춰 새 채팅으로 저장

사이드바의 More 메뉴에서 Scheduled를 열면 프롬프트를 한 번, 매일, 평일, 매주 또는 매달 실행하도록 등록할 수 있다. 결과는 실행마다 별도의 새 채팅으로 저장돼, 주기적으로 확인하는 작업을 이전 대화와 분리해 볼 수 있다.

작업마다 현재 적재한 모델, 기기에 있는 모델, 연결된 API 제공자의 모델 가운데 실행 대상을 선택한다. 지정한 모델이 적재되지 않았으면 불러오기 전에 확인을 요청하며, 자리를 비웠을 때 자동 전환하도록 설정하면 별도 확인 없이 불러온다. 실행 결과 알림도 매번, 실패 때만, 또는 사용하지 않음 중에서 정할 수 있다.

2. MiniMax-M3.1-Flash를 기기에서 실행

10월 26일 공개된 이번 릴리스는 코딩, 도구 사용, 에이전트 작업을 겨냥한 MiniMax-M3.1-Flash를 로컬 실행 대상으로 추가했다. 혼합 전문가 모델, 일부 전문가 경로를 골라 계산하는 구조로, 전체 파라미터 4280억 개 가운데 계산에 쓰는 활성 파라미터, 실제 계산에 참여하는 파라미터는 230억 개다. 지원 컨텍스트, 한 번에 처리하는 문맥은 최대 100만 토큰이며 GGUF 형식, 모델 파일을 저장하는 형식인 파일도 제공한다.

일부 Windows PC에서 GGUF 모델을 불러오지 못하던 문제도 수정했다. 새 모델 추가와 함께, 기존에 기기 내 모델을 실행하는 과정에서 막히던 부분을 손본 것이다.

직접 실행할 모델 선택지는 넓어졌지만, 회사 발표 기준 MiniMax-M3.1-Flash의 1비트 양자화, 수치를 낮은 정밀도로 표현한 모델도 시스템 메모리와 그래픽 메모리를 합쳐 최소 130GB가 필요하다. 예약 작업은 앱이 실행 중일 때만 작동하며 도구와 웹 검색을 사용할 수 없어, 반복 입력을 줄이는 대신 앱을 계속 켜 두는 운영 부담이 남는다.

3. 모델별 설정과 Mac 성능 변화

모델별 Run 설정에 이름을 붙여, 저장해 둔 설정을 불러쓰는 프리셋으로 저장하고 이름 변경·삭제·전환을 할 수 있다. 실행 설정을 묶어 두고 골라 쓰는 방식이다. 마지막으로 선택한 프리셋은 해당 모델을 다음에 불러올 때 적용되며, API로 불러올 때도 이어진다. 모델을 바꿨다가 돌아와도 실행 설정을 다시 맞추는 수고를 덜 수 있다.

채팅은 응답의 무작위성 등을 조절하는 샘플링 설정을 모델별로 기억하거나 모델 권장값으로 되돌릴 수 있다. 모델마다 응답 방식을 다르게 맞춰 쓰는 이용자를 위한 변화다.

긴 프롬프트를 처리하는 GGUF 채팅은 답변 생성 전 진행 상황과 남은 시간을 보여준다. 답변이 나오기 전에도 입력 처리의 진행 정도를 확인할 수 있다.

회사 발표 기준 Mac에서 MLX 엔진으로 실행하는 채팅은 답변 초안을 만드는 보조 모델을 사용할 때 응답이 최대 16% 빨라졌다. 이런 보조 모델을 내장한 모델은 별도 다운로드 없이 이를 자동 사용한다.

4. API로 제공하는 모델의 상태도 한곳에서 확인

API 페이지는 제공 중인 모델별 컨텍스트 사용량, 속도, 요청 수를 표시한다. 모델별 설정을 저장하는 기능과 함께, 기기에서 실행한 모델을 다른 프로그램에 연결해 쓰는 개발자가 운영 상태를 살피는 데 도움을 준다.

자체 역방향 프록시, 즉 앱 앞에서 요청을 전달하는 중간 서버를 두고 운영할 때는 접속자 주소의 신뢰 설정을 켤 수 있다. 전달된 주소를 기본적으로 신뢰하지 않는 방식으로 바뀌었기 때문이다. 아래 설정을 켜면 중간 서버가 전달한 주소를 이용해 접속자별 로그인 횟수 제한을 적용할 수 있다.

UNSLOTH_STUDIO_TRUST_FORWARDED=1

이번 업데이트의 핵심은 반복 질의의 실행 시점과 모델별 설정을 앱에 맡겨, 로컬 모델을 일상적인 작업 흐름에 넣기 쉬워졌다는 데 있다.