Mage-VL-Cowork 4B：屏幕与终端整合，分阶段训练方案

1. 同一模型选择屏幕操作或代码执行

Mage-VL-Cowork是一款拥有40亿参数的模型。需要查看屏幕的任务通过鼠标和键盘处理，文档或电子表格等结构化文件则可用代码处理。无需单独的协调程序，模型每次自行决定使用哪种工具。

微软公开了权重和训练代码，模型采用Apache 2.0许可证。技术报告于2026年10月29日发布。

2. 分别培养两种能力，再通过五个阶段整合

训练从能够理解图像和文本的中间阶段模型开始。依次进行屏幕定位中期训练、屏幕操作监督学习、编程与终端监督学习、混合操作监督学习以及在线强化学习。

这一方案先分别学习屏幕和终端能力，再将其整合到同一模型中。模型先通过监督学习模仿示范，最后以任务是否成功作为奖励来优化行为。

团队先优化生成示范的教师模型所用的工具、提示词和执行环境，并移除了功能重叠的工具。

数据生成体系Mage-CUA-Forge通过可复用的工作流创建任务。据公司公布，基于6,915项技能，团队获得了293,806个桌面及网页任务，以及318,837条经过验证的任务执行记录。

在公司使用同一生成模型的对比中，每项任务的重复生成成本从0.906美元降至0.158美元。前者采用智能体生成任务，即通过调用各类工具完成任务的程序。

3. 在50步评测中取得66.0%

据公司公布，模型在评估桌面任务执行能力的OSWorld-Verified上取得66.0%的成绩。评测条件为排除Google Drive后的361个任务、50步预算及1920×1080屏幕，成绩为两次运行结果65.33%和66.75%的平均值四舍五入所得。

以下是公司在同一评测表中列出的采用50步预算的模型结果。

表：OSWorld-Verified 50步预算结果

条件：OSWorld-Verified，报告的步数预算为50。Mage-VL-Cowork使用排除Google Drive后的361个任务、1920×1080屏幕，取2次运行平均值。

单位：%

据公司公布，ScaleCUA-Qwen3.5-9B的总分更高。Mage-VL-Cowork在操作系统任务中取得87.5%，在跨多个应用的任务中取得62.7%。

4. 强化学习后调用次数和输出词元减少

据公司公布，与混合监督学习相比，强化学习提高了任务得分，同时减少了平均模型调用次数和输出词元数。下表展示同一桌面评测中各训练阶段的表现和生成量。

表：各训练阶段的评测与生成量

条件：OSWorld-Verified，排除Google Drive后的361个任务，50步预算，各训练阶段结束时的模型

单位：得分%，调用次数，输出词元数

据公司公布，与混合监督学习相比，强化学习将得分提高了10.16个百分点，调用次数减少13.0%，输出词元减少25.4%。而在混合监督学习阶段，任务得分的提高伴随着平均输出词元数的增加。生成量的减少不仅源于两种工具的整合，也得益于最后的强化学习。

5. 自行运行应从隔离环境开始

Hugging Face模型卡提供了启动推理服务器的容器运行命令。由于采用自定义模型架构，通过Transformers加载时必须允许远程代码，即随模型提供的执行代码。

export MODEL_DIR=/path/to/Mage-VL-Cowork

docker pull xiaoyizhang/mage-vl-cowork:0.1.0

docker run --rm --name mage-vl-cowork \
  --gpus 'device=0' --shm-size=8g \
  -p 127.0.0.1:30001:30001 \
  --mount "type=bind,src=${MODEL_DIR},dst=/models/Mage-VL-Cowork,readonly" \
  xiaoyizhang/mage-vl-cowork:0.1.0

该模型能够执行任意Shell命令。公司建议在可丢弃的隔离环境中运行，例如隔离执行程序的容器，或支持快照恢复的虚拟机，并为对外传输、登录等难以撤销的操作设置人工审批。

Mage-VL-Cowork的核心并非单纯增加工具，而是通过先分别学习屏幕操作与代码执行、再进行整合的训练设计，拓宽小型模型的应用范围。