Unsloth v0.1.915-beta：ブラウザーでのファイル操作、GGUFの会話コンテキスト維持

1. ブラウザーでページとファイルを扱う

ブラウザー利用機能を有効にすると、モデルが会話中に作成したHTML・Reactページでクリックや文字入力を行える。ページの内容を読むだけでなく、会話で作った画面を直接操作する作業へと範囲が広がった。

ブラウザーで開いたページや、書式を表す文書形式であるMarkdown、コード、テキストファイルを読み取り、編集できる。戻る操作で以前のバージョンを復元でき、修正前後を行き来する作業も可能だ。ブラウザーで開いたPDFやその他の文書は読み取りに対応する。

ダウンロードの許可要求は、サイトごと、またはすべてのサイトについて記憶するよう設定でき、プログラムファイルのダウンロードにも適用される。

保存したファイルは、チャットのその他メニューで保管庫のファイル添付を選び、現在の会話に添付できる。

2. GGUFモデルの切り替え後も会話を続ける

11月4日公開のv0.1.915-betaでは、モデルを格納して配布するファイル形式であるGGUFのモデルを使い、別のモデルに切り替えてから元のモデルに戻ると、会話コンテキストが保持される。別の作業を終えて戻っても、以前読んでいた会話の位置を保つことに近い。長い会話履歴を再び読み込ませずに済むことが直接の利点だ。

ツール呼び出しの合間の進行状況もチャットに表示される。GGUFモデルが会話コンテキストを圧縮している間も状態を確認でき、作業中の段階を把握しやすくなった。

ツールが個別の確認なしで実行される場合、GGUFモデルはウェブページを一度に最大4か所まで読み取る。

3. 起動時に準備する機能を選ぶ

Unslothは、起動時にPyTorchやその他の機械学習ライブラリを読み込まないように変更した。同社の発表によると、この変更で待機時のメモリ使用量が大幅に減る。起動時から機械学習機能を準備するのではなく、必要な機能を選んで準備する方向だ。

利用者は設定の一般項目で起動パフォーマンスのメニューを開き、準備する機能を調整できる。

4. モデルの読み込みと長い入力の処理を改善する

同社の発表によると、モデルの読み込みと再読み込みの速度が大幅に改善された。対象はMLXモデルで、読み込み済みモデルのコンテキスト長を短くする作業も、数秒で完了するようになった。

長いプロンプトの処理時にメモリ使用量を減らす改善も、対応するMLXモデルに適用されたと同社は説明する。起動時にライブラリを読み込まずに減らす待機時のメモリとは異なり、ここで減るのはモデル使用中の入力処理に使うメモリだ。リリースの説明には、これらの改善の具体的な比較数値や測定条件は示されていない。

5. 学習でもメモリ削減の設定を提供する

学習段階のリソース削減も含まれる。同社の発表によると、最近のNVIDIA GPUでは、16ビットのベースモデルの重みを固定する微調整方式であるLoRA学習を、より高速かつ少ないメモリで実行できる。変更一覧によると、重みを更新しない16ビットのベースモデルで、順伝播と入力勾配の計算をFP8で行う方式だ。この学習を選ぶ設定は次のとおりだ。

float8_training = "fp8_lora"

今回のバージョンの要点は、ブラウザーでの作業やモデルの切り替えをまたいで作業の流れを維持し、起動時とモデル使用中のリソース負担を減らしたことにある。