Xinferenceは、新たな推論エンジンを接続し、サーバーのセキュリティを強化した4.1.0を公開した。モデルを提供する開発者は同じ統合APIでエンジンの選択肢を広げられ、サーバー運用者は管理者アカウントの不正な先取りや内部情報の漏えいなどを防ぐセキュリティパッチを適用できる。
1. 同じサービス窓口に新たな推論エンジンを接続
TensorRT-LLMが、モデルの推論実行を担う構成要素であるXinferenceの推論バックエンドに加わった。対応モデルのチャット・生成・ストリーミング、つまり結果を生成されるそばから届ける機能を既存の統合APIで処理するため、開発者はサービスの接続窓口を維持しながら実行エンジンを選べるようになった。
互換性のあるモデルは、異なる推論エンジン間で処理を引き継ぐこともできる。リリースノートは、NVIDIA GPUとAppleシリコンを併用するデプロイも、この機能の適用例に挙げた。
Xavierが提供する共通入力部分の中間計算結果の共有も、TRT-LLMに拡張された。
新エンジンでは、入力を先に処理する段階と、回答を順次生成する段階を分担できる。この機能は標準方式またはXavier方式で利用できる。
共有する計算結果の保存先も増えた。オプションのLMCacheストレージバックエンドを使えば、メモリだけでなくディスクにもキャッシュを置ける。新エンジンもこの保存方式に対応する。
2. 処理中のリクエストを完了してからプロセスを交換
ライブアップグレードは、対応モデルのエンジンを更新し、サーバーのワーカー・API・管理プロセスを入れ替える機能だ。処理中のリクエストとストリームは旧サービスプロセスの終了前に完了し、ウェブ画面から単一システムと分散デプロイのアップグレードを制御する。
この機能はPOSIX環境を対象としており、まだ実験段階にある。
モデルが一度に参照する入力範囲であるコンテキスト長を扱う設定も、推論エンジン間で統一した。ウェブ画面のスライダーで上限を調整し、実際に適用されるモデル設定に基づいて検証する。
複数の推論エンジンでモデルを起動する際に必要なメモリを見積もる機能も追加された。
3. モデル読み込みと管理者作成の信頼境界を強化
今回のバージョンは、公開されたセキュリティ勧告4件に対する最初のパッチリリースだ。プロジェクトは、影響を受けるバージョンの利用者に4.1.0以上への更新を勧告した。
深刻度が致命的と分類されたCosyVoiceのモデル読み込み問題には、運用者による明示的な信頼の承認を求める方式で対応した。カスタムソースや明示的なローカルパスを、承認なしにモデルファイルを読み込む構成要素であるローダーへ渡す経路を遮断する。
最初の管理者の作成には、運用者のセットアップトークンを要求する。未認証の呼び出し元が初期化前のサーバーを先取りする問題を防ぐ措置で、脆弱性の影響範囲は3.0.0以上4.1.0未満だ。
Cairn SecurityのPaul Whiteがこの問題を報告し、APIレベルの修正も検証した。
自動モデル登録では、設定ファイルを承認済みのパスからのみ読み込むよう制限する。追加のモデルランチャーには運用者の許可リストを要求し、一部設定の露出と、システム内のファイルやパスを探すファイルシステム探索、指定されていないコードを読み込む任意モジュールのインポートとして報告された問題に対応した。
チャットのエラー応答では、処理を担う別プロセスであるワーカーのアドレスやプロセス識別子など、内部の診断情報を隠す。
共有ストレージのAPIキーを現在の状態と照合して検証する改善も含まれる。
4. 信頼の承認と許可リストは運用者が設定
新しいインスタンスでは、APIサーバーの起動ログに表示されるセットアップトークンで最初の管理者を作成する。カスタムのCosyVoiceソースにはワーカー側の信頼設定が必要で、ソース自体も信頼できなければならない。
追加のモデル登録パスと、モデルの実行方式を指定するツールであるランチャーには、それぞれ許可対象だけを通す許可リストの設定が必要だ。以下のブロックは、リリースノートに登場する関連環境変数の表記をまとめたものだ。
XINFERENCE_TRUST_REMOTE_CODE=1
XINFERENCE_MODEL_REGISTER_ROOTS
XINFERENCE_FLEXIBLE_LAUNCHERS
XOSCAR_AUTH_KEYプロセス間通信を担うXoscarの認証は、運用者が選んで有効にする機能だ。利用するには、通信に参加する各プロセスに同じ空でない認証キーを設定する。
利点は、エンジンとキャッシュ保存先の選択肢が広がり、更新時に既存のリクエストを完了できることだ。一方、セキュリティ設定では、最初の管理者作成用トークン、信頼するソース、許可するパスとランチャーを運用者自身が管理することが重要になる。
5. ツール呼び出しストリームの反復チェックを削減
ツール呼び出しのストリーミングでは、新しい断片が届くたびに文字列を再走査していた動作をなくした。DeepSeekやGLM-5など、複数のモデル系列のツール呼び出しストリームを対象とした改善だ。
同社の発表によると、32KBのツール呼び出しの処理時間は12.5秒から11ミリ秒に短縮された。この数値は、ツール呼び出しストリームの反復チェックを減らした変更に関する結果で、今回のリリースが改善した具体的な処理経路を示している。
Xinference 4.1.0は、サービスの接続窓口を維持しながら推論エンジンの選択肢を広げ、サーバーの機微な動作を運用者の明示的な制御下に置くことに重点を置いたリリースだ。