テンセントの混元が、対話や作業記録から長く記憶すべき情報を選んで保存する専用モデルを公開した。長期記憶機能を開発する開発者は、既存の記憶管理の仕組みを維持しつつ、記録を担っていた汎用言語モデルを置き換えられる。

1. 回答ではなく記憶の作成を担う

10月15日に公開されたHy-Memory-30B-A3Bは、総パラメータ数が300億で、1回の計算で約30億を有効化する混合専門家モデルだ。複数の専門家から一部を選んで使う構造で、重みにはApache-2.0ライセンスが適用される。

長期記憶システムは情報を記録し、必要な記録を検索した後、それを読んで回答する構造だ。今回のモデルは最初の段階で、何を残すか、どれほど具体的に書くか、新しい情報で既存の記録をどう変えるかを決める。記録から抜けた事実は、その後の検索だけでは取り戻せないという問題を狙う。

学習は、自ら作った記録に基づいて教師モデルの指導を受ける段階と、保存した情報で後から回答できるかを評価する強化学習の段階に分かれる。後者は回答に使われた根拠を元の入力区間に結び付けて報酬を与え、不要な保存や過度な記録の増加にはペナルティを科す。

2. 既存サービスの作成モデルを置き換える

Mem0とMemOSの汎用モデルを置き換えるよう学習されている。独自フレームワークでは対話、業務、コーディングを扱い、検索器や回答モデルまで一緒に置き換える方式ではない。

モデルカードはvLLM 0.31.0で確認したデプロイ方法を案内しており、OpenAI互換APIで呼び出す。フレームワークには言語モデルのエンドポイントと、テキストを検索用の数値ベクトルに変換する埋め込みのエンドポイントを設定する。

以下はリポジトリにある元の設定例だ。別のプロバイダーのモデルを指定する汎用的な例なので、公開モデルを直接接続するには、言語モデル側のアドレスとモデル名をデプロイ先のサービスに合わせて変更する必要がある。

export MEMORY_LLM_API_KEY="sk-your-key"
export MEMORY_LLM_BASE_URL="https://api.deepseek.com"
export MEMORY_LLM_MODEL="deepseek-chat"

export MEMORY_EMBEDDER_API_KEY="sk-your-key"
export MEMORY_EMBEDDER_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
export MEMORY_EMBEDDER_MODEL="text-embedding-v3"
export MEMORY_EMBEDDING_DIMS=1024

3. スコアは作成モデルだけを変えた結果

論文では4つの記憶フレームワークで、バージョンとプロンプト、検索設定、回答モデルと採点モデルを固定した。各作成モデルが空の保存領域から記録を蓄積し、評価資料にはベンチマークごとに固定した20%のサンプルを使用した。フレームワーク別のスコアは6指標の等加重平均で、総合スコアは4つのフレームワークのスコアの等加重平均だ。

この条件で公開モデルの総合スコアは55.49%となり、Claude Opus 5の54.62%を上回った。ただし、平均が高いからといって個別の評価項目ですべて上回ったわけではない。

学習から除外したEverMemOSでは56.89点で、DeepSeek V4.1 Flashの55.47点を上回った。学習した仕組みの外でも作成能力が発揮され得ることを示す結果だ。

4. 計算量の利点と運用負担を区別する必要がある

アクティブパラメータ数が少ない専用モデルに記録を任せられる点が、期待される利点だ。しかし検索と回答の段階は依然として必要で、自らデプロイすれば作成モデルのサービスも運用しなければならない。総パラメータ数は300億なので、アクティブな規模だけでストレージやメモリの要件を判断してはならない。実際の遅延時間や運用費の削減額は示されていない。

5. 小さな差より検証範囲を見る

論文は、学習に用いた2つのフレームワークでのClaude Opus 5との0.01~0.02点の差を、統計的に区別できる優位性ではなく同等の水準と解釈している。学習から外したフレームワークも1つだけで、学習を繰り返しての検証は今後の課題だ。

報酬は取得した根拠を入力区間に結び付けるが、特定の記録が回答改善の原因であることを証明するものではない。報酬の各要素を個別に除いて効果を確認する対照実験も示されておらず、どの学習上の仕組みが改善をもたらしたかは断定し難い。

今回の公開は、記憶システム全体の代替よりも作成段階の専門化に意義があり、導入判断は小さな平均差より実際の業務で残す記録の品質に基づくべきだ。