Unsloth Studio 在测试版中新增了让本地模型查看电脑屏幕、通过鼠标和键盘操作应用的功能。希望委托桌面任务的开发者可在授权后让模型处理文档和图像,图像生成用户也能选择适合设备的运行格式。
1. 本地模型操控应用和桌面
电脑使用功能让模型读取屏幕并与应用交互。既可使用本地模型,也可使用已连接服务商的模型,但两者都必须能理解图像内容,并调用工具请求执行操作。
2. 收据整理与图像编辑的测试结果
Unsloth 文档中的收据示例要求 Qwen3.8-27B 读取6张收据照片,制作表格、合计、图表和三页摘要材料。据公司公布,在一台 A100 上以每秒约130个 token 进行的6次测试中,2次准确完成,分别耗时22分钟和30分钟。该演示的完成率约33%。其中一次发现重复收据使合计金额虚增585.08美元。
2次运行读错金额,1次在制作幻灯片前停止,另1次把日期列制成了图表。选中日期列的案例使用的是旧版指令;在明确指定列名的3次运行中,图表均制作正确。
还使用同一模型测试了在 GIMP 中为照片添加文字并导出。据公司公布,在一台 RTX PRO 6000 上的两次测试均成功,生成1024×576 PNG 分别耗时7分钟和11分钟。
3. 安装环境与授权流程
Unsloth Desktop 可用于 macOS、Windows 和 Linux。在要使用的电脑上安装桌面应用,或直接执行安装命令。macOS 和 Linux 使用以下命令。
curl -fsSL https://unsloth.ai/install.sh | sh该功能仅在 Unsloth 于该电脑本地运行时提供,无法通过远程连接、托管笔记本环境、Docker 或 WSL 控制目标桌面。Linux 需要使用管理屏幕和输入的图形系统 X11,不支持同样管理屏幕和输入的图形系统 Wayland。
在设置和对话输入框旁的菜单中启用电脑使用功能。macOS 上需允许屏幕与系统音频录制以及辅助功能权限,然后重启应用。
该功能默认关闭。除完全访问模式外,对话中的首次操作前需获得授权,在新应用中首次点击或输入时也会请求授权。30分钟无活动后,授权失效。
使用终端、密码管理器、系统工具,以及关闭或删除快捷键等危险操作,每次都需确认。被阻止的应用无法打开、点击或输入,用户可通过停止按钮或将指针移至屏幕角落随时中止。
单次回复的工具调用默认达到25次即停止,但文档指出实际任务可能需要100~200次操作,建议在设置中提高上限。
任务卡会显示模型请求的操作和返回的屏幕画面,方便用户查看进度。
4. 明确指定应用和完成条件
文档测试的 Qwen3.8-27B 采用 UD-Q4_K_XL 格式,这是一种缩小模型存储体积的方式,包含图像识别文件在内约为19GB。
文档中的 Gemma 4 26B-A4B 模型在所有定位测试中都准确点击了按钮,但两次收据任务都只反复打开照片,未能进入表格制作阶段。Qwen3.6-35B-A3B 模型也未能跟上收据处理流程。这表明,准确点击按钮与衔接多个步骤完成任务是不同的能力。
任务指令应具体写明应用名称、文件名、列名、保存位置和完成条件。例如,收据任务可指定商店名称列和金额列作为图表数据,并要求检查摘要材料各页文字是否溢出。
重复输入和应用切换可交给模型,但屏幕访问权限由用户管理。文档建议像审核同事的工作一样检查结果,亲自核对金额和幻灯片文字排版。
5. MiniMax-H3-Image 扩大运行设备和精度选择范围
要在 CPU、Mac、小型 GPU 或 AMD 上运行 MiniMax-H3-Image,可通过 stable-diffusion.cpp 运行新增支持的 GGUF 模型文件。面向 NVIDIA GPU 则提供 FP8·INT8 权重,以8位浮点数或整数存储模型训练所得的数值。
自动精度设置会根据硬件,在 INT8·FP8 或16位浮点格式 BF16 中选择数值表示精度。还支持仅调整部分参数以适配用户任务的 LoRA 训练和加载。
据公司公布,在 A100 80GB 上,2048像素图像的解码时间从2.82秒降至0.28秒。解码是将生成结果转换为图像的处理过程。这意味着在相同条件下,该阶段的等待时间降至约十分之一,并非完整图像生成时间的比较。
表:MiniMax-H3-Image 解码时间前后对比
条件:A100 80GB,2048像素图像,据公司公布
单位:秒
| 类别 | 解码时间 |
|---|---|
| 改进前 | 2.82 |
| 改进后 | 0.28 |
图表:解码时间对比(秒,越短越快)
改进前 | ████████████████████ 2.82
改进后 | ██ 0.28桌面自动化中,准确点击不等于完成任务,正如解码变快不代表整体图像生成也变快。
