NVIDIA TensorRT-LLM 1.4.0rc0：GLM-5.3-Flash対応、KVCacheManagerV2のPython実装を削除
新モデルのテキスト・画像・動画入力への対応が追加された。キャッシュ管理のPython実装は削除されており、アップグレード前に既存の設定とイベント収集経路を確認する必要がある。
devotd.
LLM
テーマごとの動きと判断に必要な背景をまとめる。
最新記事
57 件の記事Hugging Face Transformers v5.20.0: Muse Spark Open対応, Ling 3.0 Flashのネイティブ読み込み
Transformersに、Metaの複数入力モデルへの対応とInclusionAIモデルの組み込み読み込み経路が追加された。入力と読み込み手順は統合されるが、実際の展開では大規模モデルのメモリ要件とエキスパート並列推論の速度低下の警告を別々に確認する必要がある。
NVIDIA Nemotron 3.5 Super VL 120B-A12B：100万トークンのハイブリッドMoE、内蔵MTPによる投機的デコーディング
NVIDIAは長い文書や画像・動画を処理するモデルを、学習・評価用とメモリ削減を図るデプロイ用として公開した。内蔵の予測機能で生成の高速化を試せるが、実際の速度と量子化による品質変化は、デプロイ条件やタスクごとに判断する必要がある。
Boole-1.7B：1ビット保存のGGUFは292.1MB、BF16比で平均8.28点低下
重みの符号を1ビットで保存する小型言語モデルが公開され、CPUでも実行できる配布ファイルは292.1MBだ。発表企業による評価では10課題の平均が元モデルより8.28点低く、実行時メモリと生成速度の測定値は示されていない。
FlashInfer v0.7.1：Rubinの量子化エキスパート並列化拡大、ワークステーションでの統合責任
モデルのエキスパート演算を複数のGPUに分けて実行する機能が、RubinとBlackwellワークステーションで拡充された。ワークステーション向け経路では入力の配布と結果の合算を呼び出し側が担い、公開された単一層の性能値は分散サービス全体の高速化率ではない。
AIBrix v0.8.0：実験的なModelClaimの導入、休止モデルのGPUメモリ共有
AIBrix v0.8.0の実験的なModelClaimは、モデルのライフサイクルをPodから切り離し、アイドル状態のエンジンを休止させてGPUメモリを共有する。ただし、休止中のモデルへの最初のリクエストには、結果を待たずにHTTP 503を返す。休止中の予約領域まで共有すると、復帰のタイミングも空き容量に左右される。
vLLM TPU Inference v0.31.0：選択式の階層型MoE分配、JAXのW4A16対応
vLLM TPU Inference v0.31.0は、MoEのチップ間通信を減らす選択式の分配方式と、JAX経路のW4A16線形演算を追加した。開発PRでは、特定のMoE構成でデコードステップ全体の所要時間が4.5%短縮され、Gemma 4 31B QATがv6eの1チップに収まった。ただし、異なるボトルネックを解消した結果であり、一般的な高速化や品質維持を実証するものではない。
Ling-3.1-flash：MITモデルカード、100万と26万トークンの文書差
Ling-3.1-flashのモデルカードは100万トークンの文脈長を示すが、SGLangの導入文書は262,144トークンとする。アクティブ数も25Bと約17Bで異なる。セルフホスティングではモデル紹介より実際のチェックポイントとサーバー設定が重要だ。
Mistral Large 4：公開APIプレビュー、月末の重み公開予告
Mistral Large 4は10月6日に公開APIプレビューを始めたが、モデルの重みは月末公開の予告だ。10月14日時点のHugging Faceも公開予定と表示していた。現在のサービス評価と今後のセルフホスティングは分けて判断する必要がある。
vLLM 0.31.0 preload：再起動時の読み込み削減、チェックポイント指紋の衝突リスク
vLLM 0.31.0のpreloadは、処理済みの重みをGPUデーモンに保持し、エンジン再起動時のディスク読み込みを減らす。ただし、safetensorsヘッダーだけを確認するため、構造は同じでも値が異なる微調整モデルが同じキャッシュに一致する恐れがある。ある利用者はリモートストレージで66個のヘッダーを再読込するだけで約32秒かかったと報告した。