LocalAIは11月20日、サーバーとAIモデルの実行部をWindows上で直接動かせる新バージョンを公開した。Windowsでサーバーを運用する開発者は専用の実行ファイルを入手でき、GPUのデプロイを管理する利用者は、配布用の実行環境を作るイメージビルドのデフォルト値の変更を確認する必要がある。
LocalAI v5.0.1は実行環境の拡大とともに、モデルの置き換え処理も見直した。新しいモデルファイルの検証が完了するまで既存ファイルを保持し、新しいファイルの取得中は以前のファイルが残るようにした。
1. Windows向けサーバーとモデル実行部をともにサポートする
リリースノートでは、サーバーとwindows/amd64向けllama.cppバックエンドにネイティブWindows対応を追加したとしている。ここでいうバックエンドは、モデルの推論を実際に行う実行部だ。サーバーだけでなくモデル実行部までWindowsに直接対応することが、今回の変更の要点となる。
配布アセットにはWindows向けサーバー実行ファイルが含まれている。サーバーを直接起動する開発者は、リリースページからlocal-ai-v5.0.1-windows-amd64.exeを入手できる。
同じページには、サーバーの起動を支援するWindows向けランチャーのインストーラーと圧縮アーカイブも別途掲載されている。サーバー実行ファイルとランチャーはそれぞれ配布されるため、ダウンロード時には利用したいコンポーネントに合うアセットを選べばよい。
2. GPUイメージのデフォルトのビルド基準が変わる
GPUのデプロイでは、hipblasイメージがデフォルトでROCm 10.1を使ってビルドされるようになった。これは配布用イメージを作成する基準の変更だ。このイメージを自分で作成する利用者は、ビルド設定でバージョンを別途指定しているか、デフォルトに従っているかをまず確認するとよい。
関連するパスの修正も含まれる。*_TENSILE_LIBPATHが、搭載されたGPUに対応するフォルダーを指すよう修正された。GPUイメージの作成手順を管理する側では、バージョン設定とともに、このパスを使用する箇所も点検対象にできる。
機能を追加する拡張要素である個人情報フィルターアドオンには、ROCmベースのhipblasイメージビルドが追加された。基本イメージのビルド基準を変えるとともに、個人情報フィルターをGPUイメージとして配布する選択肢も設けた形だ。
3. モデルとアドオンの取得処理も強化した
モデルのダウンロードに関する修正は、既存ファイルを新しいファイルに置き換えるタイミングを検証後に遅らせるものだ。新しいファイルが準備できたか確認する前に以前のファイルを削除するのではなく、確認が完了するまで残す方式となる。モデルを置き換える利用者にとっては、ダウンロード中に既存ファイルが保持される点が実質的な利点だ。
項目を探せるよう整理した一覧であるアドオンインデックスの取得動作も修正した。GitHubリリースが別のアドレスに転送する場合、そのアドレスをたどるよう変更された。追加機能の一覧を取得する途中で、アドレスが一度変わるケースに対処する修正だ。
アドオンカタログは、手動で処理を再実行しなくてもビルド成果物に添付されるよう修正された。インデックスを取得する利用者側の変更とは別に、配布物を作る過程の手作業を減らした項目だ。
4. 実行の選択肢が増え、デプロイの点検項目が変わる
今回の版の利点は、Windowsで直接実行できるコンポーネントとGPU向け配布イメージが増えたことにある。一方、ROCmイメージの作成手順を維持する側には、デフォルトのバージョンとGPUのパス設定を再確認する作業が生じる。イメージを自分で作るか、配布済みの実行ファイルを取得するかによって、最初に確認する項目が異なる。
リリースノートが明示するWindows対応の対象は、サーバーと該当する64ビットのバックエンドだ。ROCmのデフォルト変更に伴う性能測定値は示されていない。
LocalAI v5.0.1の要点は実行・デプロイの選択肢の拡大であり、導入の判断はWindows向けコンポーネントとGPUイメージの新しいビルド基準を中心に行えばよい。
