LFM2.5-24B-A2B:设备端推理与工具使用,部分激活以减少计算
Liquid AI 发布了一款面向设备端智能体的模型,仅使用部分参数参与计算,并在回答前进行推理。它在工具使用评测中表现突出,但仍需综合考虑知识与代码评测的局限、权重存储负担及商业使用条件。
devotd.
了解各主题的新进展及其来源。
Liquid AI 发布了一款面向设备端智能体的模型,仅使用部分参数参与计算,并在回答前进行推理。它在工具使用评测中表现突出,但仍需综合考虑知识与代码评测的局限、权重存储负担及商业使用条件。
OpenBMB 的新视觉语言模型通过提前加载所需的计算模块,减少手机读取权重的等待时间。开发团队公布了结合量化和推测生成的结果,但常规推理安装与端侧优化部署需要区别对待。
一款为减少拒答的三值压缩模型加装了后续令牌预测辅助装置的构建版本已发布。制作者测试显示,在相同条件下,生成速度提升约20%,但需要额外内存和专用运行版本。
在本地运行新大型模型的选择增多,编码助手对历史对话的重复处理也有所减少。最低内存要求以短上下文为前提,不能将响应开始时间的改善理解为整体生成速度的提升。
Ray 正式发布面向语言模型的数据处理与服务功能,并默认开启本地集群的令牌认证。认证的启用条件因启动方式而异,远程集群运维人员需要为今后扩大默认认证范围做好令牌分发准备。
新增了仅在输入框显示的装饰,以及用于记录生成式人工智能任务的标准属性。顾问功能需由用户选择后才会运行,共享记录中用于复现请求的信息有所增加,分享前有必要检查内容。
新版本增加了支持的模型,并改变了重复输入缓存和请求处理的默认行为。新模型的安装说明在不同资料间存在差异,需要将部署配置确认与现有服务的兼容性检查分开进行。
新增临时聊天功能,在参与者的浏览器中加密消息,不在服务器上存储。管理员需分别设置功能启用状态和用户权限,并检查通信环境。
腾讯混元发布了专门为长期记忆系统筛选和更新存储信息的模型。它通过替换现有记忆管理体系中的写入模型来工作,评估时需同时关注固定样本上的表现与验证范围。
在不支持 WebAssembly 或可执行内存的环境中使用相关功能时,错误处理得到改进,可区分失败原因。新增了用于对 WebSocket 数据应用和移除掩码的内置函数,让库开发者无需额外扩展即可迁移相关运算。