Xolotl:プロジェクト名変更、大型モデル実行エンジン統合
個人用PCで大型AIモデルを実行するプロジェクトが名称を変更し、複数モデルのエンジンを1つのリポジトリに統合した。グラフィックカード1枚で毎秒約27トークンを生成した結果は、大容量メモリと高速ストレージを備えた環境での記録であり、公式サービスとの品質の同等性を意味しない。
devotd.
韓国時間(KST)の対象日ごとに記事を掲載しています。後日執筆の記事は対象日と実際の公開日時を分けて表示します。
個人用PCで大型AIモデルを実行するプロジェクトが名称を変更し、複数モデルのエンジンを1つのリポジトリに統合した。グラフィックカード1枚で毎秒約27トークンを生成した結果は、大容量メモリと高速ストレージを備えた環境での記録であり、公式サービスとの品質の同等性を意味しない。
Snapdragonのニューラル処理装置に、超低ビット重みの行列積と行抽出・アダマール演算の対応が追加された。開発者はBonsai-2の1ビット・2ビット経路が利用可能になったと述べたが、メモリ使用量の削減をより生かすには追加の最適化が必要だと説明した。
Perplexityは、同じ状況に関する複数の質問を一度に判断するよう、リクエスト形式と学習データを変更した。関連する属性はまとめて問い、独立した候補は個別に評価する方が有利であり、長い入力や実行経路による結果の違いは確認が必要だ。
OpenMOSSが文字や物体の位置を座標で指定できる画像生成モデルのコードと重みを公開した。基本モデルと追加学習モデルを提供しており、導入時には配置入力を作成する負担と、メモリ・推論時間のトレードオフを併せて検討する必要がある。
クラウドフレアとOpenAIは、ネットワーク信号を活用した試験事業で、数億の新たなウェブページを発見し、検索インデックスに追加したと発表した。変更の有無や有害性の可能性を示す信号で不要な収集の削減を目指すが、負荷軽減の定量的な結果や実際の事業成果はまだ示されていない。
テンセントが回答候補を並列に生成するドラフトモデルと、それを実行する推論コードを公開した。公開実験ではドラフトの受理長が比較手法より長かったが、実際の速度向上は追加リソースの負担と併せて確認する必要がある。
NVIDIAが、インドの22言語向けに約2.8兆トークンの翻訳ベースの学習データと公開の生成手順を紹介した。公開予定のデータは現地で直接書かれたテキストを補完し、報告された性能向上は両方のデータを併用した学習段階の結果だ。
Cloudflareが、認証済みボットによる指示の順守と速度調整要求への反応を継続的に評価するシステムを紹介した。現在は内部で観察履歴を蓄積する段階で、スコア公開と顧客による信頼基準の選択機能は今後の計画だ。
Web画面でHugging Face Hubのモデルを検索し、量子化に合う推論補助ファイルを一緒にダウンロードできるようになった。一時停止したダウンロードは再起動後も復元されるが、ファイルが変わった場合や再開を拒否された場合は最初から取得し直す。
NVIDIAが、再学習せずに内部の反復回数を変えて精度と計算量を調整する40億パラメータの言語モデルを公開した。最終反復だけを保存するキャッシュと複数の精度の配布版を提供するが、実際の応答時間とコストはタスクごとに評価する必要がある。