Unsloth 桌面应用新增按预定时间提问的定时功能,并支持在设备上运行新的大型模型。处理重复提问的开发者可预先设定运行时间和所用模型,将结果每次存入新聊天。

1. 按计划运行提示词并保存到新聊天

在侧栏的 More 菜单中打开 Scheduled,即可设置提示词执行一次,或按每天、工作日、每周、每月的频率运行。每次运行结果都会单独保存为新聊天,便于将定期检查的任务与以往对话分开查看。

每项任务都可选择当前已加载的模型、设备上的模型或已连接 API 提供商的模型。若指定模型尚未加载,应用会在加载前请求确认;也可设置为离开时自动切换,无需另行确认即可加载。运行结果通知可设为每次通知、仅失败时通知或不通知。

2. 在设备上运行 MiniMax-M3.1-Flash

10月26日发布的本次版本新增了面向编程、工具使用和智能体任务的 MiniMax-M3.1-Flash 本地运行支持。它采用混合专家结构,即选择部分专家路径进行计算,总参数为4280亿,实际参与计算的激活参数为230亿。支持的上下文,即一次处理的文本范围,最多为100万词元,并提供用于存储模型的 GGUF 格式文件。

本次还修复了部分 Windows PC 无法加载 GGUF 模型的问题。在新增模型的同时,也解决了此前设备端模型运行过程中的障碍。

可直接运行的模型选择有所增加,但据公司公布的数据,MiniMax-M3.1-Flash 即使采用以低精度表示数值的1比特量化版本,也至少需要合计130GB的系统内存与显存。定时任务仅在应用运行时生效,且无法使用工具和网页搜索,因此虽能减少重复输入,仍需承担持续开启应用的运行负担。

3. 各模型设置与 Mac 性能变化

用户可为各模型的 Run 设置命名并保存为可调用的预设,也可重命名、删除或切换预设,从而将运行设置组合保存并按需选用。下次加载该模型时会应用上次选中的预设,通过 API 加载时也会沿用。切换到其他模型再返回时,无需重新调整运行设置。

聊天可按模型记住用于调节回答随机性等行为的采样设置,也可恢复模型推荐值。这一变化面向需要为不同模型分别调整回答方式的用户。

处理长提示词的 GGUF 聊天会在生成回答前显示进度和剩余时间。用户在回答出现前即可了解输入处理进展。

据公司公布的数据,在 Mac 上通过 MLX 引擎运行的聊天,使用生成回答草稿的辅助模型时,响应速度最多提升16%。内置此类辅助模型的模型会自动使用它,无需另行下载。

4. 集中查看通过 API 提供的模型状态

API 页面会显示各个对外提供服务的模型的上下文用量、速度和请求数。配合保存各模型设置的功能,可帮助将设备端模型接入其他程序的开发者查看运行状态。

若自行部署反向代理,即在应用前方转发请求的中间服务器,可开启对客户端地址的信任设置,因为应用已改为默认不信任转发地址。启用以下设置后,即可利用中间服务器转发的地址,对每个客户端实施登录次数限制。

UNSLOTH_STUDIO_TRUST_FORWARDED=1

本次更新的核心是将重复提问的运行时间和各模型设置交给应用管理,让本地模型更容易融入日常工作流程。