Unsloth Studioは、ローカルモデルがコンピューターの画面を見てマウスとキーボードでアプリを操作する機能をベータ版として追加した。デスクトップ作業を任せたい開発者は承認手続きを経て文書や画像の作業を依頼でき、画像生成の利用者は機器に合う実行形式を選べるようになった。
1. ローカルモデルがアプリとデスクトップを操作
コンピューター使用機能は、モデルが画面を読み取りアプリとやり取りできるようにする。ローカルモデルと接続先プロバイダーのモデルを使えるが、どちらも画像の内容を解釈し、ツールを呼び出して動作を要求できる必要がある。
2. レシート整理と画像編集での結果
Unslothの文書にあるレシートの例は、Qwen3.8-27Bがレシート写真6枚を読み、表と合計、グラフ、3枚の要約スライドを作る作業だ。同社発表によると、A100 1台で毎秒約130トークンで進めた6回の試験のうち、正確に完了したのは2回で、それぞれ22分と30分かかった。この実演の完遂率は約33%だ。1回は、重複したレシートが合計を585.08ドル水増ししていると見抜いた。
金額を読み間違えた実行は2回、スライド作成前に止まった実行と日付列をグラフにした実行は各1回だった。日付列を選んだ例は以前の指示文による結果で、列名を明示した指示文を使った3回では、すべて正しくグラフが作られた。
同じモデルで、GIMPで写真に文字を入れて書き出す作業も試験した。同社発表によると、RTX PRO 6000 1台で2回とも成功し、1024×576 PNGの作成に7分と11分かかった。
3. インストール環境と承認手続き
Unsloth DesktopはmacOS、Windows、Linuxで利用できる。使用するコンピューターにデスクトップアプリをインストールするか、インストールコマンドを直接実行する。macOSとLinuxで使うコマンドは次のとおり。
curl -fsSL https://unsloth.ai/install.sh | shこの機能はUnslothを対象のコンピューターでローカル実行している場合に提供され、リモート接続・ホスト型ノートブック・Docker・WSLでは対象デスクトップを制御できない。Linuxでは画面と入力を管理するグラフィックシステムのX11が必要で、同様に画面と入力を管理するWaylandはサポートされない。
設定とチャット入力欄の横のメニューでコンピューター使用を有効にする。macOSでは画面とシステムオーディオの収録、およびアクセシビリティの権限を許可してからアプリを再起動する必要がある。
機能は初期状態では無効だ。フルアクセスモードを除き、会話の最初の動作前に承認を受け、新しいアプリで初めてクリックや入力を行う際にも承認を求める。承認は30分間操作がないと失効する。
ターミナル・パスワードマネージャー・システムツールの使用や、閉じる・削除のショートカットなど危険な動作は毎回確認する。ブロックされたアプリは開くこともクリックや入力もできず、利用者は停止ボタンや画面の隅へのポインター移動でいつでも停止できる。
1回の回答でのツール呼び出しは初期設定では25回で止まるが、文書は実際の作業に100~200回の動作が必要な場合があるとして、設定で上限を引き上げるよう案内している。
作業カードにはモデルが要求した動作と返された画面が表示され、利用者が進行状況を確認できる。
4. アプリと完了条件を具体的に指定
文書で試験したQwen3.8-27BのUD-Q4_K_XL形式は、モデルの容量を減らして保存する方式で、画像認識用ファイルを含めて約19GBだ。
文書では、Gemma 4 26B-A4Bモデルはすべての位置指定試験でボタンを正確に押したが、レシート作業は2回とも写真を開き直すばかりで表作成に至らなかった。Qwen3.6-35B-A3Bモデルもレシート作業の流れを見失った。ボタンを正確に押す能力と、複数の手順をつないで作業を終える能力は異なるという結果だ。
作業指示にはアプリ名やファイル名・列名、保存先、完了条件を具体的に記す。例えばレシート作業では店名と金額の列をグラフの対象に指定し、要約スライドでは各ページの文字がはみ出していないか確認するよう求める。
繰り返し入力やアプリ間の移動はモデルに任せつつ、画面へのアクセス権限は利用者が管理する。結果の確認は同僚の仕事を見るように、金額やスライドの文字配置を自分で確認するよう文書は案内している。
5. MiniMax-H3-Imageの実行機器と精度の選択肢が拡大
CPU、Mac、小型GPU、AMDでMiniMax-H3-Imageを実行するには、新たに対応したGGUFモデルファイルをstable-diffusion.cppで実行する。NVIDIA GPU向けには、モデルの学習済み数値を8ビット浮動小数点または整数で格納したFP8・INT8の重みを提供する。
数値をどれだけ細かく表現するかは、自動精度設定がハードウェアに合わせてINT8・FP8、または16ビット浮動小数点のBF16から選択する。一部のパラメーターだけを調整して利用者の作業に適応させるLoRAの学習と読み込みにも対応する。
同社発表によると、A100 80GBで2048ピクセルの画像のデコード時間は2.82秒から0.28秒に短縮された。デコードは生成結果を画像に変換する処理だ。同じ条件でこの段階の待ち時間が約10分の1になったという意味で、画像生成全体の時間の比較ではない。
表:MiniMax-H3-Imageのデコード時間の改善前後の比較
条件:A100 80GB、2048ピクセルの画像、同社発表に基づく
単位:秒
| 区分 | デコード時間 |
|---|---|
| 改善前 | 2.82 |
| 改善後 | 0.28 |
グラフ:デコード時間の比較(秒、短いほど速い)
改善前 | ████████████████████ 2.82
改善後 | ██ 0.28デスクトップ自動化では正確なクリックが作業完遂を保証せず、デコードの短縮も画像生成全体の高速化を意味しない。
