AIBrix v0.8.0：実験的なModelClaimの導入、休止モデルのGPUメモリ共有
AIBrix v0.8.0の実験的なModelClaimは、モデルのライフサイクルをPodから切り離し、アイドル状態のエンジンを休止させてGPUメモリを共有する。ただし、休止中のモデルへの最初のリクエストには、結果を待たずにHTTP 503を返す。休止中の予約領域まで共有すると、復帰のタイミングも空き容量に左右される。
devotd.
LLM
テーマごとの動きと判断に必要な背景をまとめる。
対象日順の記事
22 件の記事vLLM TPU Inference v0.31.0：選択式の階層型MoE分配、JAXのW4A16対応
vLLM TPU Inference v0.31.0は、MoEのチップ間通信を減らす選択式の分配方式と、JAX経路のW4A16線形演算を追加した。開発PRでは、特定のMoE構成でデコードステップ全体の所要時間が4.5%短縮され、Gemma 4 31B QATがv6eの1チップに収まった。ただし、異なるボトルネックを解消した結果であり、一般的な高速化や品質維持を実証するものではない。
Ling-3.1-flash：MITモデルカード、100万と26万トークンの文書差
Ling-3.1-flashのモデルカードは100万トークンの文脈長を示すが、SGLangの導入文書は262,144トークンとする。アクティブ数も25Bと約17Bで異なる。セルフホスティングではモデル紹介より実際のチェックポイントとサーバー設定が重要だ。
Mistral Large 4：公開APIプレビュー、月末の重み公開予告
Mistral Large 4は10月6日に公開APIプレビューを始めたが、モデルの重みは月末公開の予告だ。10月14日時点のHugging Faceも公開予定と表示していた。現在のサービス評価と今後のセルフホスティングは分けて判断する必要がある。
vLLM 0.31.0 preload：再起動時の読み込み削減、チェックポイント指紋の衝突リスク
vLLM 0.31.0のpreloadは、処理済みの重みをGPUデーモンに保持し、エンジン再起動時のディスク読み込みを減らす。ただし、safetensorsヘッダーだけを確認するため、構造は同じでも値が異なる微調整モデルが同じキャッシュに一致する恐れがある。ある利用者はリモートストレージで66個のヘッダーを再読込するだけで約32秒かかったと報告した。
QwenGyre arXiv v1：2.4T学習を59時間短縮、Colocate比16時間の差
QwenGyreはエージェント実行と強化学習の間で、作業の進み具合に応じてGPUを再配分する。2.4TモデルのNL2RepoBench・48ステップ実験では、Asyncより59.13時間（43.9%）、Colocateより16.05時間（17.5%）早く終了した。よく引用される1.85倍は別の122B・TerminalBench実験の値で、論文には実装コードのリンクも反復実行時のばらつきもない。
Parsimonyリーダーボード：解決した試行の純増コード単位、解決率と併せて読む
Parsimonyは、公開コーディングエージェントベンチマークのパッチがコードをどれだけ増やしたかを数える。ウェブサイトの順位は測定可能な成功試行の平均純増コード単位が基準で、解決率と測定範囲は別の列に表示される。
TRL v1.15.0：融合LM headを既定で有効化、完全なlogitsテンソルをなくす
TRL v1.15.0は、SFT、DPO、KTO、GRPO、RLOO、Distillationで、完全なlogitsテンソルを作らずにトークンのスコアを計算する。プロジェクトの測定ではDPOの最大学習長が5.80倍に伸びたが、効果は従来の損失の経路と語彙の大きさによって異なる。
Reflection BeamベータAPI：262,144トークンの上限、無視されるstopパラメーター
Reflectionは10月5日、501BパラメーターのMoEモデルBeamを発表し、ベータAPIを段階的に開放し始めた。既存のエージェントを移すときの分かれ目は、サービスのトークン上限、対応エンドポイント、受け付けても効かないパラメーターだ。
AstaBrief 8B：単一パスの引用付きレポート、モデルとデータのライセンス分離
Ai2のAstaBrief 8Bは、質問と検索された文献抜粋から引用付きレポートを一度に書くQwen3-8Bベースのモデルだ。根拠の検索は入力経路の役割であり、モデルはApache 2.0だが、プロンプトとSFT/DPOデータはCC BY-NC 4.0である。