マイクロソフトが、画面をクリックする動作とターミナルでコードを実行する動作を一つのモデルに組み込んだMage-VL-Coworkを公開した。開発者は重みと学習レシピをダウンロードし、隔離された環境で自ら実行できる。モデルは作業ごとに二つの経路のどちらかを選ぶ。

1. 画面とコードを一つのモデルが選択する

Mage-VL-Coworkは40億パラメーターのモデルだ。画面で確認する必要がある作業はマウスとキーボードで処理し、文書やスプレッドシートなどの構造化ファイルはコードで扱える。別の調整プログラムを介さず、モデルが毎回どのツールを使うかを決める。

マイクロソフトは重みと学習コードを公開し、モデルにはApache 2.0ライセンスを適用した。技術報告書は2026年10月29日に公開された。

2. 二つの能力を別々に育て、五つの段階で統合する

学習は画像とテキストを理解する中間段階のモデルから始まる。画面上の位置把握のための中間学習、画面操作の教師あり学習、コーディング・ターミナルの教師あり学習、混合操作の教師あり学習、オンライン強化学習の順に進める。

画面とターミナルの能力をそれぞれ身につけた後、一つのモデルに統合する構成だ。実演をまねて学ぶ教師あり学習を経て、最後は作業の成否を報酬として行動を磨く。

実演を作る教師モデルのツール・指示文・実行環境を先に整え、重複するツールは取り除いた。

データ生成システムのMage-CUA-Forgeは、再利用可能なワークフローで課題を作成した。同社の発表によると、6,915個のスキルを基に、デスクトップ・ウェブ課題293,806件と検証済みの作業実行記録318,837件を確保した。

同じ生成モデルを使った同社の比較では、課題ごとの反復生成コストは、個別のツールで課題を遂行するプログラムであるエージェントで課題を作る方式の0.906ドルから、0.158ドルに下がった。

3. 50ステップの評価で66.0%を記録した

同社の発表によると、デスクトップ作業の遂行を評価するOSWorld-Verifiedで66.0%を記録した。Googleドライブを除く課題361件、50ステップの予算、1920×1080の画面という条件で、2回の実行結果である65.33%と66.75%の平均を四捨五入した値だ。

以下は、同社が同じ評価表に50ステップの予算で記載したモデルの結果だ。

表：OSWorld-Verifiedの50ステップ予算での結果

条件：OSWorld-Verified、報告されたステップ予算は50。Mage-VL-CoworkはGoogleドライブを除く361件の課題、1920×1080の画面、2回の平均。

単位：%

50ステップの予算で報告されたモデル別スコアScaleCUA-Qwen3.5-9B: スコア 68.7; Mage-VL-Cowork: スコア 66.0; ComputerRL-9B: スコア 48.0; OpenCUA-72B: スコア 44.9; Fara1.5-4B: スコア 13.9ScaleCUA-Qwen3.5-9B68.7Mage-VL-Cowork66.0ComputerRL-9B48.0OpenCUA-72B44.9Fara1.5-4B13.9
50ステップの予算で報告されたモデル別スコア
50ステップの評価で66.0%を記録した
モデルスコア
ScaleCUA-Qwen3.5-9B68.7
Mage-VL-Cowork66.0
ComputerRL-9B48.0
OpenCUA-72B44.9
Fara1.5-4B13.9

同社の発表によると、総合スコアではScaleCUA-Qwen3.5-9Bが上回った。Mage-VL-CoworkはOSの課題で87.5%、複数のアプリケーションをまたぐ作業で62.7%を記録した。

4. 強化学習後に呼び出しと出力トークンが減少した

同社の発表によると、強化学習は混合教師あり学習よりも作業スコアを高めつつ、平均モデル呼び出し回数と出力トークン数を削減した。以下の表は、同じデスクトップ評価での学習段階別の性能と生成量を示す。

表：学習段階別の評価と生成量

条件：OSWorld-VerifiedのGoogleドライブを除く課題361件、50ステップの予算、各学習段階終了時のモデル

単位：スコア %、呼び出し回数、出力トークン数

学習段階別のデスクトップ作業スコア画面操作の教師あり学習: スコア 45.56; 混合操作の教師あり学習: スコア 55.84; オンライン混合強化学習: スコア 66.0画面操作の教師あり学習45.56混合操作の教師あり学習55.84オンライン混合強化学習66.0
学習段階別のデスクトップ作業スコア
強化学習後に呼び出しと出力トークンが減少した
段階スコア平均呼び出し回数平均出力トークン数
画面操作の教師あり学習45.5625.366,401
混合操作の教師あり学習55.8421.577,374
オンライン混合強化学習66.018.775,499

同社の発表によると、強化学習は混合教師あり学習よりスコアを10.16%ポイント高め、呼び出し回数を13.0%、出力トークン数を25.4%削減した。一方、混合教師あり学習の段階では作業スコアの向上と引き換えに平均出力トークン数が増えた。生成量の削減は、二つのツールの組み合わせに加え、最後の強化学習まで経た結果だ。

5. 自ら実行する際は隔離環境から始める

Hugging Faceのモデルカードは、推論サーバーを起動するコンテナの実行コマンドを提供している。独自のモデル構造を使うため、Transformersで読み込む際は、モデルに付属する実行コードであるリモートコードを許可する必要がある。

export MODEL_DIR=/path/to/Mage-VL-Cowork

docker pull xiaoyizhang/mage-vl-cowork:0.1.0

docker run --rm --name mage-vl-cowork \
  --gpus 'device=0' --shm-size=8g \
  -p 127.0.0.1:30001:30001 \
  --mount "type=bind,src=${MODEL_DIR},dst=/models/Mage-VL-Cowork,readonly" \
  xiaoyizhang/mage-vl-cowork:0.1.0

このモデルは任意のシェルコマンドを実行できる。同社は、プログラムを隔離して動かす環境であるコンテナや、スナップショットで復元できる仮想マシンなど、使い捨て可能な隔離環境で実行し、外部送信やログインなど元に戻しにくい動作には人の承認を設けるよう推奨する。

Mage-VL-Coworkの核心は、単にツールを増やすのではなく、画面操作とコード実行を別々に学んで統合する学習設計により、小型モデルの活用範囲を広げた点にある。