腾讯混元发布了一款专用模型,用于从对话或任务记录中挑选需要长期记住的信息并存储。开发长期记忆功能的开发者可以保留现有记忆管理体系,替换原先负责记录的通用语言模型。

1. 负责写入记忆,而非回答问题

10月15日发布的 Hy-Memory-30B-A3B 是混合专家模型,总参数量为300亿,每次计算约激活30亿参数。其结构是从多个专家中选择部分使用,权重采用 Apache-2.0 许可证。

长期记忆系统先记录信息,再检索所需记录,随后读取并作答。此次模型在第一步决定保留什么、记录多详细,以及如何用新信息修改已有记录。它针对的是记录中遗漏的事实无法仅靠后续检索找回的问题。

训练分为基于自身生成的记录接受教师模型指导的阶段,以及评估能否利用已存信息回答后续问题的强化学习阶段。后者将回答所用依据关联到原始输入片段并给予奖励,同时惩罚不必要的存储和记录过度增长。

2. 接入现有服务的写入模型位置

该模型经过训练,可替代 Mem0 和 MemOS 中的通用模型。在自有框架中,它处理对话、工作和编码任务,并非连同检索器或回答模型一起替换。

模型卡介绍了在 vLLM 0.31.0 上验证的部署方法,通过兼容 OpenAI 的 API 调用。框架中需配置语言模型端点,以及将文本转换为检索用数值向量的嵌入端点。

以下是仓库中的原始配置示例。这是指向其他提供商模型的通用示例,若要直接接入此次公开的模型,需根据所部署的服务修改语言模型的地址和模型名称。

export MEMORY_LLM_API_KEY="sk-your-key"
export MEMORY_LLM_BASE_URL="https://api.deepseek.com"
export MEMORY_LLM_MODEL="deepseek-chat"

export MEMORY_EMBEDDER_API_KEY="sk-your-key"
export MEMORY_EMBEDDER_BASE_URL="https://dashscope.aliyuncs.com/compatible-mode/v1"
export MEMORY_EMBEDDER_MODEL="text-embedding-v3"
export MEMORY_EMBEDDING_DIMS=1024

3. 分数来自仅替换写入模型的结果

论文在四种记忆框架中固定了版本、提示词、检索设置、回答模型和评分模型。各写入模型从空存储库开始积累记录,评估数据采用各基准固定的20%样本。各框架得分是六项指标的等权平均值,综合得分是四个框架得分的等权平均值。

在这些条件下,公开模型的综合得分为55.49%,高于 Claude Opus 5 的54.62%。但平均分更高并不意味着每个评估项目都领先。

在未用于训练的 EverMemOS 上,该模型取得56.89分,高于 DeepSeek V4.1 Flash 的55.47分。这一结果表明,其写入能力可能延伸至训练所用体系之外。

4. 应区分计算量优势与运维负担

预期收益在于可将记录工作交给活跃参数量较小的专用模型。但检索和回答阶段仍不可少,自行部署时还需运维写入模型服务。由于总参数量为300亿,不能仅根据活跃规模判断存储和内存需求。实际延迟或运营成本节省额并未公布。

5. 比起微小差距,更应关注验证范围

论文将训练所用两个框架中与 Claude Opus 5 的0.01~0.02分差距解释为水平相当,而非统计上可区分的优势。未用于训练的框架也只有一个,重复训练验证仍是后续课题。

奖励虽将检索到的依据关联到输入片段,却不能证明某条记录是回答改善的原因。论文也未提供逐项移除奖励要素以验证效果的对照实验,因此难以断定是哪种训练机制带来了改善。

此次发布的意义在于写入阶段的专业化,而非替代整个记忆系统;是否采用,应依据实际业务中所留记录的质量,而非微小的平均分差距。