devotd.

LLM

テーマごとの動きと判断に必要な背景をまとめる。

対象日順の記事

22 件の記事
  1. LLMニュース・分析公開日 KST

    Perplexity pplx-decider-v1.2:質問の一括処理、学習データの再構成

    Perplexityは、同じ状況に関する複数の質問を一度に判断するよう、リクエスト形式と学習データを変更した。関連する属性はまとめて問い、独立した候補は個別に評価する方が有利であり、長い入力や実行経路による結果の違いは確認が必要だ。

  2. LLMニュース・分析公開日 KST

    NVIDIA Nemotron 3.5 Super VL 120B-A12B:100万トークンのハイブリッドMoE、内蔵MTPによる投機的デコーディング

    NVIDIAは長い文書や画像・動画を処理するモデルを、学習・評価用とメモリ削減を図るデプロイ用として公開した。内蔵の予測機能で生成の高速化を試せるが、実際の速度と量子化による品質変化は、デプロイ条件やタスクごとに判断する必要がある。

  3. LLMニュース・分析公開日 KST

    Boole-1.7B:1ビット保存のGGUFは292.1MB、BF16比で平均8.28点低下

    重みの符号を1ビットで保存する小型言語モデルが公開され、CPUでも実行できる配布ファイルは292.1MBだ。発表企業による評価では10課題の平均が元モデルより8.28点低く、実行時メモリと生成速度の測定値は示されていない。

  4. LLMニュース・分析公開日 KST

    FlashInfer v0.7.1:Rubinの量子化エキスパート並列化拡大、ワークステーションでの統合責任

    モデルのエキスパート演算を複数のGPUに分けて実行する機能が、RubinとBlackwellワークステーションで拡充された。ワークステーション向け経路では入力の配布と結果の合算を呼び出し側が担い、公開された単一層の性能値は分散サービス全体の高速化率ではない。