LocalAI 发布了关闭浏览器后仍能继续对话任务的功能和桌面应用。个人用户可以在应用中安装模型服务器或连接其他服务器,运营现有服务器的团队则需要准备对话与智能体集成调整及数据迁移。
1. 对话任务的中心从浏览器转向服务器
LocalAI 项目于 11 月 18 日发布的 v5.0.0 由服务器负责对话记录和执行。用户关闭浏览器标签页后,任务仍会继续。生成回复期间发送的消息会进入队列,在传入模型下一执行阶段之前,可以修改或丢弃。
模型可以将工作分配给子智能体,后台最多运行四个。长对话会经过压缩后继续。用于指定目标的 /goal 会分多轮推进任务,默认上限为 20 轮、400 步。
配备麦克风、语音识别及语音输出模型后,便可免手动操作进行语音对话。音频保留在用户的 LocalAI 服务器上。
2. 在桌面应用中选择安装或连接服务器
新应用支持 Apple 芯片 Mac,以及采用 x86-64、ARM64 处理器指令集架构的 Linux 环境。首次运行时,可选择在本机运行服务器或连接其他服务器。应用可处理服务器的安装、更新、启动和停止,也可添加并管理多台服务器。
从旧启动器切换到新应用,需要下载一次新文件。模型、后端及负责实际处理的内部组件配置仍保留在原有文件夹中。原文提供的直接安装服务器而非使用桌面应用的命令如下。
curl -sSL https://localai.io/install.sh | sh3. 将文件和项目接入对话
文件界面提供文件夹与文件上传、预览及文档全文搜索。用户和模型所做的修改会记录在同一份变更历史中,并可回退。这种方式允许在独立的工作界面中管理对话涉及的文件。
另行安装的 Simple Office 可以读取、编辑和创建 Word、Excel、PowerPoint 文档,也能使用用户现有的模板制作演示文稿。
Linux 沙箱是一种与其他系统隔离的运行环境,可在挂载文件的隔离空间内执行 Python 和 shell 命令,默认配置下禁用网络。
项目以一个文件夹为中心组织对话,并保存对话每轮都会读取的笔记。模型提出笔记修改建议后,经用户批准才会保存。
在设有账户的服务器上,可以向特定用户或所有用户共享文件夹、已保存的智能体等。
4. 现有对话与智能体集成需要迁移
升级对常规模型调用和服务器对话管理功能的影响不同。兼容 OpenAI 的 /v1/chat/completions 保持不变。但部分旧版对话与智能体管理 API 已被移除,需要迁移到新路径。
旧的 /api/agents 和 /api/conversations 请求会返回 404。
在新结构中,/api/chats 负责对话,/api/chats/agents 负责已保存的智能体。
首次运行时,服务器会将磁盘和数据库中的现有数据转换为新的对话与智能体结构,并保留原始数据。自动运行项及外部工具连接等在转换后处于关闭状态,需由管理员审核后重新启用。仅存于浏览器中的对话则需单独导入。
用于管理资料集合的集合管理 API,其旧路径仍可运行,但会附带弃用提示。配置项中,有些旧名称会在警告提示下保持兼容,有些则不再生效,因此需要查看迁移指南。
语音配置中的 liquid-audio 后端已被移除。发布说明将基于 llama-cpp 的新语音模型列为替代方案。
Studio 和 Talk 已转为独立的附加组件,即用于扩展功能的安装模块,由管理员安装并授予用户使用权限。
项目文件夹是组织对话的单位,并非限制文件访问的权限边界。现有 LFM2-Audio 和 LFM2.5-Audio 没有替代模型。
5. 功能扩展的收益与现有运维的成本同步增加
项目发布说明中的开发规模数据,比较的是 v4.12.1 与发布准备时点。下表整理了这一比较范围内的变更量和模型条目数量。
表:LocalAI v5.0.0 的开发规模与模型库变化
条件:比较 v4.12.1 与发布准备快照,以项目发布说明为准
单位:项(请求、提交),个(文件、模型条目)
| 项目 | 数值 |
|---|---|
| 已合并的变更请求 | 130 |
| 不含合并提交的提交数 | 1,432 |
| 变更文件数 | 7,310 |
| 新增功能的变更请求 | 41 |
| 面向用户的修复变更请求 | 35 |
| 旧模型库条目 | 2,212 |
| 新模型库条目 | 2,325 |
| 新增模型条目 | 134 |
| 移除模型条目 | 21 |
根据发布说明,后端超过 80 个。模型库既有新增,也有移除。此次转型不仅扩展了模型选择,更着重改变使用流程,让服务器同时承担对话执行和文件操作。
用户无需保持标签页开启即可继续任务,也能在应用中管理服务器,获得更多便利。作为代价,现有运维团队的迁移工作还包括调整集成、检查数据转换,以及安装附加组件和管理权限。
LocalAI v5.0.0 的采用价值在于对话的持续性与管理便利,而现有运维团队的迁移范围取决于所用集成及运维方式。
