마이크로소프트가 화면을 클릭하는 동작과 터미널에서 코드를 실행하는 동작을 한 모델 안에 결합한 Mage-VL-Cowork를 공개했다. 개발자는 가중치와 학습 레시피를 내려받아 격리된 환경에서 직접 실행할 수 있으며, 모델은 작업마다 두 통로 중 하나를 고른다.
1. 화면과 코드를 한 모델이 선택한다
Mage-VL-Cowork는 40억 파라미터 모델이다. 화면에서 확인해야 하는 작업은 마우스와 키보드로 처리하고, 문서나 스프레드시트처럼 구조화된 파일은 코드로 다룰 수 있다. 별도 조정 프로그램을 거치지 않고 모델이 매번 어느 도구를 쓸지 결정한다.
마이크로소프트는 가중치와 학습 코드를 공개했고, 모델에는 아파치 2.0 라이선스를 적용했다. 기술 보고서는 2026년 10월 29일 공개됐다.
2. 두 능력을 따로 키운 뒤 다섯 단계로 통합한다
학습은 이미지와 텍스트를 이해하는 중간 단계 모델에서 시작한다. 화면 위치 파악을 위한 중간 학습, 화면 조작 지도 학습, 코딩·터미널 지도 학습, 혼합 조작 지도 학습, 온라인 강화학습 순으로 진행한다.
화면과 터미널 능력을 각각 익힌 뒤 한 모델로 통합하는 구성이다. 시범을 따라 배우는 지도 학습을 거쳐, 마지막에는 작업 성공 여부를 보상으로 삼아 행동을 다듬는다.
시범을 만드는 교사 모델의 도구·지시문·실행 환경을 먼저 다듬고, 겹치는 도구는 덜어냈다.
데이터 생성 체계인 Mage-CUA-Forge는 재사용 가능한 작업 흐름으로 과제를 만들었다. 회사 발표 기준, 6,915개 기술을 바탕으로 데스크톱·웹 과제 293,806개와 검증된 작업 실행 기록 318,837개를 확보했다.
같은 생성 모델을 쓴 회사 비교에서 과제당 반복 생성 비용은 개별 도구를 활용해 과제를 수행하는 프로그램인 에이전트로 과제를 만드는 방식의 0.906달러에서 0.158달러로 낮아졌다.
3. 50단계 평가에서 66.0%를 기록했다
회사 발표 기준, 데스크톱 작업 수행을 평가하는 OSWorld-Verified에서 66.0%를 기록했다. 구글 드라이브 제외 과제 361개, 50단계 예산, 1920×1080 화면 조건이며, 두 차례 실행 결과인 65.33%와 66.75%의 평균을 반올림한 값이다.
아래는 회사가 같은 평가표에 50단계 예산으로 기재한 모델들의 결과다.
표: OSWorld-Verified 50단계 예산 결과
조건: OSWorld-Verified, 보고된 단계 예산 50. Mage-VL-Cowork는 구글 드라이브 제외 361개 과제, 1920×1080 화면, 2회 평균.
단위: %
| 모델 | 점수 |
|---|---|
| ScaleCUA-Qwen3.5-9B | 68.7 |
| Mage-VL-Cowork | 66.0 |
| ComputerRL-9B | 48.0 |
| OpenCUA-72B | 44.9 |
| Fara1.5-4B | 13.9 |
회사 발표 기준, 전체 점수에서는 ScaleCUA-Qwen3.5-9B가 앞섰다. Mage-VL-Cowork는 운영체제 과제에서 87.5%, 여러 애플리케이션을 잇는 작업에서 62.7%를 기록했다.
4. 강화학습 뒤 호출과 출력 토큰이 줄었다
회사 발표 기준, 강화학습은 혼합 지도 학습보다 작업 점수를 높이면서 평균 모델 호출과 출력 토큰을 줄였다. 아래 표는 같은 데스크톱 평가에서 학습 단계별 성능과 생성량을 보여 준다.
표: 학습 단계별 평가와 생성량
조건: OSWorld-Verified 구글 드라이브 제외 과제 361개, 50단계 예산, 각 학습 단계 종료 시점 모델
단위: 점수 %, 호출 횟수, 출력 토큰
| 단계 | 점수 | 평균 호출 | 평균 출력 토큰 |
|---|---|---|---|
| 화면 조작 지도 학습 | 45.56 | 25.36 | 6,401 |
| 혼합 조작 지도 학습 | 55.84 | 21.57 | 7,374 |
| 온라인 혼합 강화학습 | 66.0 | 18.77 | 5,499 |
회사 발표 기준, 강화학습은 혼합 지도 학습보다 점수를 10.16%포인트 높이고 호출 횟수를 13.0%, 출력 토큰을 25.4% 줄였다. 반면 혼합 지도 학습 단계에서는 작업 점수를 높이는 대가로 평균 출력 토큰이 늘었다. 생성량 절감은 두 도구를 결합하는 것에 더해 마지막 강화학습까지 거친 결과다.
5. 직접 실행은 격리 환경에서 시작한다
허깅페이스 모델 카드는 추론 서버를 띄우는 컨테이너 실행 명령을 제공한다. 자체 모델 구조를 사용하므로 트랜스포머스에서 불러올 때는 모델과 함께 제공된 실행 코드인 원격 코드를 허용해야 한다.
export MODEL_DIR=/path/to/Mage-VL-Cowork
docker pull xiaoyizhang/mage-vl-cowork:0.1.0
docker run --rm --name mage-vl-cowork \
--gpus 'device=0' --shm-size=8g \
-p 127.0.0.1:30001:30001 \
--mount "type=bind,src=${MODEL_DIR},dst=/models/Mage-VL-Cowork,readonly" \
xiaoyizhang/mage-vl-cowork:0.1.0이 모델은 임의 셸 명령을 실행할 수 있다. 회사는 프로그램을 격리해 실행하는 환경인 컨테이너나 스냅샷 복구가 가능한 가상머신 같은 폐기 가능한 격리 환경에서 실행하고, 외부 전송이나 로그인 등 되돌리기 어려운 동작에는 사람 승인을 두라고 권고한다.
Mage-VL-Cowork의 핵심은 단순히 도구를 늘리는 대신 화면 조작과 코드 실행을 따로 익히고 통합하는 학습 설계로 작은 모델의 활용 폭을 넓힌 데 있다.