LFM2.5-24B-A2B:デバイス内の推論・ツール活用、一部の活性化で計算削減
Liquid AIが、全パラメータの一部だけを計算に使い、回答前に推論するデバイス内エージェント向けモデルを公開した。ツール活用の評価で強みを示したが、知識・コード評価の限界や重みの保存負担、商用利用条件も併せて検討する必要がある。
devotd.
テーマごとの動きと判断に必要な背景をまとめる。
Liquid AIが、全パラメータの一部だけを計算に使い、回答前に推論するデバイス内エージェント向けモデルを公開した。ツール活用の評価で強みを示したが、知識・コード評価の限界や重みの保存負担、商用利用条件も併せて検討する必要がある。
OpenBMBの新しい視覚言語モデルは、必要な計算ユニットを先に読み込み、スマートフォンでの重みの読み込み待ちを減らす。開発チームは量子化と投機的生成を組み合わせた結果を公開したが、通常の推論用インストールと端末向け最適化の導入は分けて考える必要がある。
回答拒否を減らした3値圧縮モデルに、次のトークンを先読みする補助機構を付けたビルドが公開された。作成者の試験では同じ条件で生成速度が約20%向上したが、追加メモリと専用の実行版が必要だ。
新たな大規模モデルをローカルで実行する選択肢が増え、コーディング支援ツールによる会話の再処理が減った。最小メモリは短いコンテキストが前提であり、応答開始の改善を生成速度全体の向上と解釈してはならない。
Rayが言語モデル向けのデータ処理とサービス提供機能を正式リリースし、ローカルクラスタのトークン認証をデフォルトで有効にした。起動方法によって認証の適用条件は異なり、リモートクラスタの運用者は今後のデフォルト認証の拡大に備え、トークン配布を準備する必要がある。
入力欄だけに表示される装飾と、生成AIの作業記録用の標準属性が追加された。助言機能はユーザーが選択して初めて動作する。リクエストの再現に必要な情報が増えた共有記録は、内容を確認する必要がある。
新バージョンは対応モデルを増やし、繰り返し入力のキャッシュとリクエスト処理のデフォルト動作を変更した。新モデルのインストール案内には資料間で違いがあり、デプロイ構成の確認と既存サービスの互換性検証を分ける必要がある。
参加者のブラウザーでメッセージを暗号化し、サーバーには保存しない一時チャットが追加された。管理者は機能の有効化とユーザー権限を別々に設定し、通信環境も確認する必要がある。
テンセントの混元が、長期記憶システムで保存する情報を選び、更新する専用モデルを公開した。既存の記憶管理の仕組みで作成モデルを置き換える方式であり、評価では固定サンプルでの成果と検証範囲を併せて見る必要がある。
WebAssemblyや実行可能メモリをサポートしない環境で機能を使う際に、失敗原因を区別するエラー処理が改善された。WebSocketデータのマスクと解除を行う組み込み関数が追加され、ライブラリ開発者は別途拡張を使わずに処理を移せるようになった。