Unsloth Studio가 로컬 모델에 컴퓨터 화면을 보고 마우스와 키보드로 앱을 다루게 하는 기능을 베타로 추가했다. 데스크톱 작업을 맡기려는 개발자는 승인 절차를 거쳐 문서·이미지 작업을 시킬 수 있고, 이미지 생성 사용자는 기기에 맞는 실행 형식을 고를 수 있게 됐다.

1. 로컬 모델이 앱과 데스크톱을 조작

컴퓨터 사용 기능은 모델이 화면을 읽고 앱과 상호작용하게 한다. 로컬 모델과 연결된 제공자의 모델을 쓸 수 있지만, 어느 쪽이든 이미지 내용을 해석하고 도구를 호출해 동작을 요청할 수 있어야 한다.

2. 영수증 정리와 이미지 편집에서 나온 결과

Unsloth 문서의 영수증 예시는 Qwen3.8-27B가 영수증 사진 6장을 읽어 표와 합계, 차트, 세 장짜리 요약 자료를 만드는 작업이다. 회사 발표 기준으로 A100 한 대에서 초당 약 130토큰으로 진행한 6회 시험 중 정확히 끝낸 작업은 2회였고 각각 22분과 30분이 걸렸다. 해당 시연의 완주 비율은 약 33%다. 한 번은 중복 영수증이 합계를 585.08달러 부풀린다고 찾아냈다.

금액을 잘못 읽은 실행은 2회, 슬라이드 제작 전에 멈춘 실행과 날짜 열을 차트로 만든 실행은 각각 1회였다. 날짜 열을 선택한 사례는 이전 지시문으로 실행한 결과이며, 열 이름을 명시한 지시문을 쓴 3회에서는 차트가 모두 올바르게 만들어졌다.

같은 모델로 GIMP에서 사진에 글자를 넣고 내보내는 작업도 시험했다. 회사 발표 기준으로 RTX PRO 6000 한 대에서 두 번 모두 성공했으며, 1024×576 PNG를 만드는 데 7분과 11분이 걸렸다.

3. 설치 환경과 승인 절차

Unsloth Desktop은 macOS, Windows, Linux에서 사용할 수 있다. 사용할 컴퓨터에 데스크톱 앱을 설치하거나 직접 설치 명령을 실행한다. macOS와 Linux에서 쓰는 명령은 다음과 같다.

curl -fsSL https://unsloth.ai/install.sh | sh

기능은 Unsloth가 해당 컴퓨터에서 로컬로 실행될 때 제공되며, 원격 접속·호스팅 노트북·Docker·WSL에서는 대상 데스크톱을 제어할 수 없다. Linux에서는 X11, 화면과 입력을 관리하는 그래픽 체계가 필요하고 Wayland, 화면과 입력을 관리하는 그래픽 체계는 지원되지 않는다.

설정과 대화 입력창 옆 메뉴에서 컴퓨터 사용을 켠다. macOS에서는 화면 및 시스템 오디오 기록과 손쉬운 사용 권한을 허용한 뒤 앱을 다시 시작해야 한다.

기능은 기본으로 꺼져 있다. 전체 접근 모드를 제외하면 대화의 첫 동작 전에 승인받으며, 새 앱에서 처음 클릭하거나 입력할 때도 승인을 요청한다. 승인은 30분간 활동이 없으면 만료된다.

터미널·비밀번호 관리자·시스템 도구 사용과 닫기 또는 삭제 단축키 같은 위험 동작은 매번 확인한다. 차단 앱은 열거나 클릭하거나 입력할 수 없고, 사용자는 중단 버튼이나 화면 모서리로 포인터를 옮겨 언제든 멈출 수 있다.

한 답변의 도구 호출은 기본 25회에서 멈추지만, 문서는 실제 작업에 100~200번 동작이 필요할 수 있다며 설정에서 한도를 높이도록 안내한다.

작업 카드에는 모델이 요청한 동작과 돌려받은 화면이 표시돼 사용자가 진행 과정을 확인할 수 있다.

4. 앱과 완료 조건을 구체적으로 지정

문서에서 시험한 Qwen3.8-27B의 UD-Q4_K_XL 형식, 모델 용량을 줄여 저장하는 방식은 이미지 인식용 파일을 포함해 약 19GB다.

문서에서 Gemma 4 26B-A4B 모델은 모든 위치 지정 시험에서 버튼을 정확히 눌렀지만, 영수증 작업 두 번 모두 사진만 다시 열다가 표 작성에 도달하지 못했다. Qwen3.6-35B-A3B 모델도 영수증 작업 흐름을 놓쳤다. 버튼을 정확히 누르는 능력과 여러 단계를 이어 작업을 끝내는 능력은 다르다는 결과다.

작업 지시에는 앱 이름과 파일·열 이름, 저장 위치, 완료 조건을 구체적으로 적는다. 예를 들어 영수증 작업에서는 상점 이름과 금액 열을 차트 대상으로 지정하고, 요약 자료는 각 장의 글자가 넘치는지 확인하도록 요청하는 방식이다.

반복 입력과 앱 이동은 모델에 맡기되 화면 접근 권한은 사용자가 관리한다. 결과 검토는 동료의 작업을 보듯 금액과 슬라이드 글자 배치를 직접 확인하는 방식으로 하라고 문서는 안내한다.

5. MiniMax-H3-Image의 실행 기기와 정밀도 선택 확대

CPU, Mac, 소형 GPU, AMD에서 MiniMax-H3-Image를 실행하려면 새로 지원하는 GGUF 모델 파일을 stable-diffusion.cpp로 실행한다. NVIDIA GPU용으로는 모델의 학습된 수치를 8비트 부동소수점이나 정수로 담은 FP8·INT8 가중치를 제공한다.

수치를 얼마나 세밀하게 표현할지는 자동 정밀도 설정이 하드웨어에 맞춰 INT8·FP8 또는 16비트 부동소수점인 BF16 중에서 선택한다. 일부 매개변수만 조정해 사용자 작업에 맞추는 LoRA 학습과 불러오기도 지원한다.

회사 발표 기준으로 A100 80GB에서 2048픽셀 이미지의 디코딩 시간은 2.82초에서 0.28초로 줄었다. 디코딩은 생성 결과를 이미지로 바꾸는 처리다. 같은 조건에서 이 단계의 대기 시간이 약 10분의 1로 줄었다는 뜻이며, 전체 이미지 생성 시간의 비교는 아니다.

표: MiniMax-H3-Image 디코딩 시간 전후 비교

조건: A100 80GB, 2048픽셀 이미지, 회사 발표 기준

단위: 초

MiniMax-H3-Image의 실행 기기와 정밀도 선택 확대
구분디코딩 시간
개선 전2.82
개선 후0.28

차트: 디코딩 시간 비교(초, 짧을수록 빠름)

개선 전 | ████████████████████ 2.82
개선 후 | ██                   0.28

데스크톱 자동화에서는 정확한 클릭과 작업 완주를, 이미지 생성에서는 디코딩 단축과 전체 생성 속도 향상을 구분해야 한다.