Unsloth 发布了新版本,让模型能够读取和修改浏览器中的文件,并在切换到其他模型后返回时延续对话上下文。需要切换模型工作的用户,可以减少让模型重新读取长对话的负担,并降低空闲内存占用。
1. 在浏览器中操作页面和文件
启用浏览器使用功能后,模型可以在对话中生成的 HTML、React 页面上点击或输入文字。其能力不再局限于读取页面内容,而是扩展到直接操作对话中创建的界面。
模型可以读取和编辑浏览器中打开的页面,以及用于呈现文档格式的 Markdown 文件、代码和文本文件。通过返回操作可以恢复先前版本,因而能够在修改前后切换。浏览器中打开的 PDF 和其他文档支持读取。
下载授权请求可设置为按网站记住,或对所有网站记住,也适用于程序文件下载。
已保存的文件可通过聊天的更多菜单,选择附加资料库文件,添加到当前对话中。
2. 切换 GGUF 模型后仍可延续对话
在 11 月 4 日发布的 v0.1.915-beta 中,使用 GGUF 模型时,切换到其他模型后再返回原模型,对话上下文会得到保留。GGUF 是一种用于封装和分发模型的文件格式。这类似于暂时完成其他任务后返回,仍能保留先前阅读对话的位置。直接好处是避免重新读取冗长的对话记录。
工具调用之间的进度也会显示在聊天中。GGUF 模型压缩对话上下文时也能查看状态,更容易了解任务当前所处的阶段。
当工具无需另行确认即可执行时,GGUF 模型一次最多可读取 4 个网页。
3. 选择启动时准备的功能
Unsloth 改为在启动时不加载 PyTorch 和其他机器学习库。据公司介绍,这一变化可大幅降低空闲内存占用。其方向是不再从启动时就准备机器学习功能,而是选择所需功能进行准备。
用户可在设置的常规选项中打开启动性能菜单,调整需要准备的功能。
4. 改进模型加载和长输入处理
据公司介绍,模型加载和重新加载的速度有了显著改善。改进适用于 MLX 模型,缩短已加载模型的上下文长度如今也只需几秒钟。
公司表示,降低长提示词处理时内存占用的改进,也已应用于受支持的 MLX 模型。与启动时不加载库所减少的空闲内存不同,这里减少的是模型使用过程中处理输入所需的内存。发布说明未提供这些改进的具体对比数据或测量条件。
5. 训练也提供节省内存的设置
此次更新也包括训练阶段的资源节省。据公司介绍,在较新的 NVIDIA GPU 上,LoRA 训练可以更快、占用更少内存;这是一种固定 16 位基础模型权重的微调方法。根据变更列表,其做法是在不更新权重的 16 位基础模型上,以 FP8 执行前向传播和输入梯度计算。选择这种训练方式的设置如下。
float8_training = "fp8_lora"本版本的核心在于让工作流程在浏览器操作和模型切换之间保持连贯,并降低启动和模型使用过程中的资源负担。
