Perplexity pplx-decider-v1.2:質問の一括処理、学習データの再構成
Perplexityは、同じ状況に関する複数の質問を一度に判断するよう、リクエスト形式と学習データを変更した。関連する属性はまとめて問い、独立した候補は個別に評価する方が有利であり、長い入力や実行経路による結果の違いは確認が必要だ。
devotd.
テーマごとの動きと判断に必要な背景をまとめる。
Perplexityは、同じ状況に関する複数の質問を一度に判断するよう、リクエスト形式と学習データを変更した。関連する属性はまとめて問い、独立した候補は個別に評価する方が有利であり、長い入力や実行経路による結果の違いは確認が必要だ。
NVIDIAが、インドの22言語向けに約2.8兆トークンの翻訳ベースの学習データと公開の生成手順を紹介した。公開予定のデータは現地で直接書かれたテキストを補完し、報告された性能向上は両方のデータを併用した学習段階の結果だ。
Reflectionが初の公開重みモデルを3つの精度で配布し、セルフホスティングと追加学習への道を開いた。配布の管理権を得る一方で、運用チームはハードウェア構成と業務ごとの品質・安全性を自ら確認する必要がある。
IBMの新たな公開ウェイトモデルは、対話と選択肢の判断、音声認識を同じエンドポイントで提供する。サーバー構成を簡素化できるが、応答ごとの処理方法と英語音声入力の制約を考慮する必要がある。
DeepSeekは、コーディング評価のスコアを高め、作業時間と出力の長さを削減したという新モデルを公開した。ウェブ検索とページ取得も公開APIとして提供し、指定ツールからのサーバー側呼び出しには期間限定で無料措置を適用する。
新モデルのテキスト・画像・動画入力への対応が追加された。キャッシュ管理のPython実装は削除されており、アップグレード前に既存の設定とイベント収集経路を確認する必要がある。
Transformersに、Metaの複数入力モデルへの対応とInclusionAIモデルの組み込み読み込み経路が追加された。入力と読み込み手順は統合されるが、実際の展開では大規模モデルのメモリ要件とエキスパート並列推論の速度低下の警告を別々に確認する必要がある。
NVIDIAは長い文書や画像・動画を処理するモデルを、学習・評価用とメモリ削減を図るデプロイ用として公開した。内蔵の予測機能で生成の高速化を試せるが、実際の速度と量子化による品質変化は、デプロイ条件やタスクごとに判断する必要がある。
重みの符号を1ビットで保存する小型言語モデルが公開され、CPUでも実行できる配布ファイルは292.1MBだ。発表企業による評価では10課題の平均が元モデルより8.28点低く、実行時メモリと生成速度の測定値は示されていない。
モデルのエキスパート演算を複数のGPUに分けて実行する機能が、RubinとBlackwellワークステーションで拡充された。ワークステーション向け経路では入力の配布と結果の合算を呼び出し側が担い、公開された単一層の性能値は分散サービス全体の高速化率ではない。