LocalAI 于 11月20日发布新版本,让服务器和 AI 模型运行组件能够直接在 Windows 上运行。希望在 Windows 上运行服务器的开发者可下载专用可执行文件,管理 GPU 部署的用户则需要核查镜像构建流程中变更的默认值,即创建部署运行环境时采用的默认设置。

LocalAI v5.0.1 在扩展运行环境的同时,也调整了模型替换流程。新模型文件验证完成之前,现有文件会予以保留,因此在下载新文件期间,旧文件仍然存在。

1. 同时支持 Windows 服务器和模型运行组件

发布说明指出,服务器和面向 windows/amd64 的 llama.cpp 后端新增了原生 Windows 支持。这里的后端指实际执行模型推理的运行组件。本次改动的核心是,不仅服务器,模型运行组件也能直接支持 Windows。

发布资源包含 Windows 版服务器可执行文件。希望直接运行服务器的开发者可从发布页面下载 local-ai-v5.0.1-windows-amd64.exe。

同一页面还单独提供 Windows 版启动器的安装文件和压缩包,启动器用于帮助启动服务器。服务器可执行文件与启动器分别发布,下载时可按需要使用的组件选择对应资源。

2. GPU 镜像的默认构建标准发生变化

在 GPU 部署方面,hipblas 镜像改为默认使用 ROCm 10.1 构建。这是对部署镜像构建标准的调整。自行构建该镜像的用户,宜先查看构建配置是单独指定版本,还是采用默认值。

本次还修正了相关路径,使 *_TENSILE_LIBPATH 指向已安装 GPU 对应的文件夹。管理 GPU 镜像构建流程的人员,除了版本设置,也可将使用该路径的部分纳入检查范围。

隐私过滤附加组件新增了基于 ROCm 的 hipblas 镜像构建,附加组件是提供额外功能的扩展。除了调整基础镜像的构建标准,此次也提供了以 GPU 镜像部署隐私过滤器的选项。

3. 模型和附加组件的获取流程也得到完善

模型下载修复将新文件替换现有文件的时机推迟到验证之后。它不再于确认新文件是否就绪之前先清除旧文件,而是将旧文件保留至确认完成。对替换模型的用户而言,实际收益在于下载过程中能够保留现有文件。

获取附加组件索引的操作也得到修复,索引是便于查找条目的列表。如果 GitHub 发布页面重定向至其他地址,现在会跟随该地址。这项修复处理了获取附加功能列表过程中地址发生一次跳转的情况。

附加组件目录也经过修复,无需手动重新运行任务即可附加到构建产物中。与获取索引时面向用户的改动不同,这一项减少了制作发布产物过程中的手动操作。

4. 运行选项增多,部署检查项目随之变化

此版本的收益在于,能够直接在 Windows 上运行的组件和用于 GPU 的部署镜像增多了。另一方面,维护 ROCm 镜像构建流程的人员需要重新检查默认版本和 GPU 路径设置。自行构建镜像与下载已发布可执行文件的用户,需要优先确认的项目有所不同。

发布说明明确列出的 Windows 支持对象是服务器和相应的 64位后端。说明中未提供 ROCm 默认版本变更带来的性能测量数据。

LocalAI v5.0.1 的核心在于扩展运行与部署选项,是否采用可围绕 Windows 组件和 GPU 镜像的新构建标准来判断。