SGLang v0.5.21:扩展新模型支持,调整缓存与请求处理默认行为
新版本增加了支持的模型,并改变了重复输入缓存和请求处理的默认行为。新模型的安装说明在不同资料间存在差异,需要将部署配置确认与现有服务的兼容性检查分开进行。
devotd.
按韩国时间(KST)浏览专题日期。后补撰写的文章分别标明所对应的日期和实际发布时间。
新版本增加了支持的模型,并改变了重复输入缓存和请求处理的默认行为。新模型的安装说明在不同资料间存在差异,需要将部署配置确认与现有服务的兼容性检查分开进行。
新增临时聊天功能,在参与者的浏览器中加密消息,不在服务器上存储。管理员需分别设置功能启用状态和用户权限,并检查通信环境。
腾讯混元发布了专门为长期记忆系统筛选和更新存储信息的模型。它通过替换现有记忆管理体系中的写入模型来工作,评估时需同时关注固定样本上的表现与验证范围。
新增对新模型文本、图像和视频输入的支持。缓存管理器的 Python 实现已移除,升级前需检查现有配置和事件采集路径。
这款终端编程工具新增了设置搜索面板,以及在响应过程中接收后续指令的功能。需要区分设置的保存与实际生效,并注意中断任务并不保证自动撤销更改。
在不支持 WebAssembly 或可执行内存的环境中使用相关功能时,错误处理得到改进,可区分失败原因。新增了用于对 WebSocket 数据应用和移除掩码的内置函数,让库开发者无需额外扩展即可迁移相关运算。
Visual Studio Code 1.142 逐步更改新智能体对话的默认运行框架,并新增供用户与智能体共同修改的工作面板预览功能。需要确认组织策略触发的对话自动迁移,以及沙箱的实际限制范围。
Transformers 新增对 Meta 多模态模型的支持,以及 InclusionAI 模型的内置加载路径。输入处理和加载流程得到整合,但实际部署时,仍需分别核查大型模型的内存需求和专家并行推理的性能下降警告。
GitHub Copilot 计划在 2026 年 10 月底前引入设备与云端之间的自动部署。开发者需分别判断模型执行位置和命令权限。设备测量与多模型研究评估的条件不同,应区分解读。
英伟达发布了可处理长文档、图像和视频的模型,提供用于训练与评估的版本,以及降低内存需求的部署版本。内置预测功能可用于尝试加速生成,但实际速度和量化带来的质量变化,仍需结合部署条件和具体任务判断。