Xolotl:项目更名,整合大型模型运行引擎
一个在个人电脑上运行大型 AI 模型的项目更名,并将多个模型的引擎整合到同一代码仓库。单张显卡每秒生成约 27 个 token 的成绩来自配备大容量内存和高速存储的环境,并不意味着其质量与官方服务相当。
devotd.
按韩国时间(KST)浏览专题日期。后补撰写的文章分别标明所对应的日期和实际发布时间。
一个在个人电脑上运行大型 AI 模型的项目更名,并将多个模型的引擎整合到同一代码仓库。单张显卡每秒生成约 27 个 token 的成绩来自配备大容量内存和高速存储的环境,并不意味着其质量与官方服务相当。
骁龙的神经网络处理单元新增了对超低位权重矩阵乘法、行提取及哈达玛运算的支持。开发者表示,Bonsai-2 的 1 位与 2 位路径已可用,但要更好地利用内存占用减少的优势,仍需进一步优化。
Perplexity 调整了请求格式和训练数据,让模型一次判断同一情境下的多个问题。相关属性适合一起询问,独立候选项则宜分别评估,同时需核查长输入和执行路径带来的结果差异。
OpenMOSS 公开了可用坐标指定文字和物体位置的图像生成模型代码与权重,提供基础模型和追加训练模型。引入时,应同时考量编写布局输入的负担,以及内存占用与推理时间之间的取舍。
Cloudflare和OpenAI表示,在利用网络信号的试点项目中,发现了数亿个新网页并将其加入搜索索引。双方尝试通过反映页面变化和潜在危害的信号减少不必要的抓取,但尚未公布减轻负载的量化结果及实际业务成效。
腾讯公开了并行生成回答候选内容的草稿模型及其推理代码。公开实验中,其草稿接受长度高于对比方法,但实际速度收益仍需结合额外资源开销加以验证。
NVIDIA 介绍了面向印度22种语言、约2.8万亿 token 的翻译型训练数据及公开生成流程。计划公开的数据用于补充本地原创文本,所报告的性能提升来自混合使用这两类数据的训练阶段。
Cloudflare 介绍了一套持续评估已验证机器人是否遵守指令、是否响应限速要求的系统。目前仍处于内部积累观测记录的阶段,公开评分和让客户选择信任标准的功能均为后续计划。
现在可以在网页界面搜索 Hugging Face Hub 上的模型,并一并下载适配量化的推理辅助文件。暂停的下载在重启后也能恢复,但若文件已变更或续传被拒绝,则会从头下载。
英伟达发布了一款拥有40亿参数的语言模型,无需重新训练即可通过改变内部循环次数来调整准确率与计算量。模型提供仅保存最后一轮的缓存方式及多种精度的发行版,但实际响应时间和成本仍需按任务评估。