Strata v0.1.39:GPU・RAM・SSDへのエキスパート配置、プリフィルとデコードで異なるボトルネック
Strataは、GPUメモリに収まりきらないMoEモデルをGPU、RAM、CPU、SSDに分けて動かす。どの重みをどこに置き、どこで計算するかが、プロンプト処理の速度、最初の応答までの待ち、生成速度をそれぞれ別々に左右する。
devotd.
韓国時間(KST)の対象日ごとに記事を掲載しています。後日執筆の記事は対象日と実際の公開日時を分けて表示します。
Strataは、GPUメモリに収まりきらないMoEモデルをGPU、RAM、CPU、SSDに分けて動かす。どの重みをどこに置き、どこで計算するかが、プロンプト処理の速度、最初の応答までの待ち、生成速度をそれぞれ別々に左右する。
Cloudflareが10月5日に発表したCASBのカスタム検出タイプは、Regoで組織固有のセキュリティ態勢ルールを定義する。評価はアセットの作成時か更新時にだけ行われ、ルール作成前から変わっていないアセットは遡って検査されない。
GitHubは10月5日、Lovable、Pydantic、Supabaseのシークレット5種をスキャン対象に加えた。対応表では5種すべてにプッシュ保護と有効性チェックがなく、パートナーアラートはリポジトリの画面に表示されない。
Cohereが9月30日に公開したEmbed 5のProとFastは埋め込み空間を共有する。出力次元が同じなら、Proで作ったインデックスをどちらのモデルでもクエリでき、クエリモデルを変えてもインデックスを作り直す必要はない。
Ai2のAstaBrief 8Bは、質問と検索された文献抜粋から引用付きレポートを一度に書くQwen3-8Bベースのモデルだ。根拠の検索は入力経路の役割であり、モデルはApache 2.0だが、プロンプトとSFT/DPOデータはCC BY-NC 4.0である。
Ubuntu 26.10ベータでは、既定のcoreutilsがGNUの例外なしにuutilsのRust実装へ切り替わった。GNU実装に戻すことはできるが、必須パッケージに触れるaptの操作が必要になる。
DuckDBが9月28日に出した1.5.6のメンテナンスリリースは、誤ったクエリ結果と復旧の失敗を直した。アップグレードの比較は、実行時間より戻り値と行数から始めるのが合っている。
Kubernetes 1.37でPVCのUnused条件がデフォルト有効のベータになった。終了していないPodがPVCを参照していない時点を示すが、データが不要だとか実際にアンマウントされたという意味ではない。
Cloudflareはログとトレースを一つの監視基盤にまとめつつあるが、一部はベータのままだ。12月からの新料金についても、発表と料金文書で含まれる保存量が異なる。
Gemini 3.8 TTSでは発話の指示を台本からspeech_metadataに移す。単一リクエストの既定出力がWAVになるため、生のPCMにヘッダーを付けていたコードは修正が必要になる。