AIモデルをサーバー上で実行するツールSGLangが、新モデルへの対応を拡大し、繰り返し入力を再利用するキャッシュとリクエスト処理のデフォルト動作を変更した。モデルのデプロイを検討する開発チームの選択肢は増えたが、既存サービスのアップグレードではインストール方法と互換性を併せて確認する必要がある。
1. 新モデルとサーバーの役割切り替え
リリースノートはDeepSeek-V4.1 FlashとGigaChat 3.5を新規モデルとして挙げている。既存のサーバーツール内で新モデルを検討できるよう、対応範囲を広げる変更だ。
拡散モデルのリストにはDiffusionGemmaやQwen-Image 2.1などが追加された。今回の対応拡大には、言語・視覚言語モデルだけでなく拡散モデルも含まれる。
サーバーの入力準備段階と回答生成段階の間で、再起動せずに役割を切り替える機能も加わった。両段階を分けて運用する環境で、稼働中にサーバーの役割を切り替えられる変更だ。
候補を1回のリクエストで採点するScore APIも追加された。これとは別に、Decisions APIは言語・視覚言語モデルを低遅延の分類器や採点器として活用する機能だ。応答生成以外の判定作業へとサーバーの用途を広げる変更となる。
2. 対応リストとインストール案内の違い
リリースノートが案内するアップグレードコマンドは次のとおりだ。
uv pip install --prerelease=allow sglang==0.5.21ただし、モデルのデプロイドキュメントには、当該モデルへの対応がまだリリースに含まれていないという説明が残り、NVIDIA向けのプレビューイメージlmsysorg/sglang:dev-dsv41を案内している。新規対応を明記したリリースノートと説明が一致しない。このコマンドだけでモデルのデプロイが保証されると断定する根拠は示されていない。
デプロイドキュメントは、ハードウェアや用途に合った検証済みの組み合わせを選ぶ構成になっている。単一ユーザー向けの高速応答構成と、複数ユーザーの総スループットを高める構成を区別しているため、モデル名だけでなく、選んだ構成のコンテナイメージも確認する必要がある。
3. 思考過程の分離とツール呼び出し
モデルが生成した思考過程を最終回答と分けるには、それを解析するパーサーを有効にする必要がある。パーサーは生成済みの内容を分離するもので、思考自体を有効にするスイッチではない。思考はデフォルトで無効で、リクエストのreasoning_effortにnone以外の値を送ると有効になる。
ツール呼び出しにも専用のパーサーが必要だ。このモデルのツール呼び出しタグには空白が含まれ、既存の検出器では解析できないためだ。構造化された呼び出しではなくタグが回答本文に表示される場合は、まずパーサーの設定を確認できる。
4. 高速応答とメモリ確保の代償
DSparkはモデルに組み込まれたドラフト生成機能だ。回答の断片を先に予測して検証する方式で対話型の作業を高速化するが、1回の実行コストが大きく、ドラフトの長さに比例して速くなるわけではない。ドキュメントは、数学・コードと自由対話では採用率が異なり、大きなバッチで処理する高スループット構成ではこの機能を無効にすると説明している。
オプションの記憶テーブル移動機能は、GPU上のテーブルをホストメモリへ移し、過去の計算結果を格納するKVキャッシュの領域を確保する。ドキュメントによると、この移動自体は出力ビットを変えない。その代わりホストメモリ使用量とロード時間が増え、データを効率よく集めるには大きなメモリページが必要になる。
接頭辞キャッシュのオプションの置換ポリシーにも、条件付きの改善値がある。エージェントの作業履歴を再生し、同時実行数を32にした試験で、DeepSeek-V4-Proの4ビット構成とB300 4基を使うと、トークン間遅延の99パーセンタイルが43.9%減った。応答間隔の遅い1%との境界を示す数値であり、新モデルの一般的な高速化率と読み替えることはできない。
5. 既存サービスで確認すべきデフォルト設定
繰り返される入力の先頭部分の計算を再利用する接頭辞キャッシュは、Rustコアがデフォルトになった。未対応の構成ではPythonに自動でフォールバックする。リクエストが先頭部分を共有する際に結果を取り出すキャッシュのデフォルト実装が変わったのであり、サーバー全体が置き換わるわけではない。
リクエストにチャットテンプレート自体を含めて送る動作も、デフォルトで拒否される。サーバー側で信頼オプションを有効にすると許可され、他のテンプレート引数は変わらない。既存クライアントがリクエストごとにテンプレートを渡していた場合は、アップグレード試験に含める項目だ。
FlashInferの混合エキスパート演算の後処理は、数値精度のためデフォルトで無効になった。その代償として、重みと活性値をそれぞれ4ビットで扱う演算の遅延が一部増える。精度に関わるデフォルト変更を、単なる性能退行とだけ判断してはならない。
今回のバージョンはモデルの選択肢を広げると同時に運用のデフォルト設定を変えるため、新モデルの試験と既存リクエストの互換性検証は分けて進めるのがよい。