Nemotron-pretraining-Indic-v1:2.8兆トークンのコーパス、公開データ生成パイプライン
NVIDIAが、インドの22言語向けに約2.8兆トークンの翻訳ベースの学習データと公開の生成手順を紹介した。公開予定のデータは現地で直接書かれたテキストを補完し、報告された性能向上は両方のデータを併用した学習段階の結果だ。
devotd.
テーマごとの動きと判断に必要な背景をまとめる。
NVIDIAが、インドの22言語向けに約2.8兆トークンの翻訳ベースの学習データと公開の生成手順を紹介した。公開予定のデータは現地で直接書かれたテキストを補完し、報告された性能向上は両方のデータを併用した学習段階の結果だ。
NVIDIAが、再学習せずに内部の反復回数を変えて精度と計算量を調整する40億パラメータの言語モデルを公開した。最終反復だけを保存するキャッシュと複数の精度の配布版を提供するが、実際の応答時間とコストはタスクごとに評価する必要がある。
Reflectionが初の公開重みモデルを3つの精度で配布し、セルフホスティングと追加学習への道を開いた。配布の管理権を得る一方で、運用チームはハードウェア構成と業務ごとの品質・安全性を自ら確認する必要がある。
IBMの新たな公開ウェイトモデルは、対話と選択肢の判断、音声認識を同じエンドポイントで提供する。サーバー構成を簡素化できるが、応答ごとの処理方法と英語音声入力の制約を考慮する必要がある。
DeepSeekは、コーディング評価のスコアを高め、作業時間と出力の長さを削減したという新モデルを公開した。ウェブ検索とページ取得も公開APIとして提供し、指定ツールからのサーバー側呼び出しには期間限定で無料措置を適用する。
回答拒否を減らした3値圧縮モデルに、次のトークンを先読みする補助機構を付けたビルドが公開された。作成者の試験では同じ条件で生成速度が約20%向上したが、追加メモリと専用の実行版が必要だ。
Rayが言語モデル向けのデータ処理とサービス提供機能を正式リリースし、ローカルクラスタのトークン認証をデフォルトで有効にした。起動方法によって認証の適用条件は異なり、リモートクラスタの運用者は今後のデフォルト認証の拡大に備え、トークン配布を準備する必要がある。
新バージョンは対応モデルを増やし、繰り返し入力のキャッシュとリクエスト処理のデフォルト動作を変更した。新モデルのインストール案内には資料間で違いがあり、デプロイ構成の確認と既存サービスの互換性検証を分ける必要がある。
参加者のブラウザーでメッセージを暗号化し、サーバーには保存しない一時チャットが追加された。管理者は機能の有効化とユーザー権限を別々に設定し、通信環境も確認する必要がある。
テンセントの混元が、長期記憶システムで保存する情報を選び、更新する専用モデルを公開した。既存の記憶管理の仕組みで作成モデルを置き換える方式であり、評価では固定サンプルでの成果と検証範囲を併せて見る必要がある。