Google Cloud 的开源项目 dgem 推出了首个公开版本。希望自动分类客户咨询或安全警报的开发者,可获取各答案的概率和不确定性分数,区分可直接处理与需进一步审核的任务。此次发布还包括大量选项问题的处理与请求认证强化。
1. 不生成句子,而是读取各选项的概率
dgem 将 DiffusionGemma 用作决策引擎,即从选项中选择答案的处理器,而非自由文本生成器。开发者通过包含判断规则的政策模板定义布尔、选项和评分型问题后,即可在一次模型计算中读取多个问题,获得各答案的概率。这减少了重新解析回答文本的步骤,更便于自动处理。
每个答案都附带基于熵的犹豫分数,表示概率在各选项间的分散程度。分数低时直接处理,分数高时交给更大的模型或人工。默认后续模型为 Gemini 3.8 Flash。
仓库说明,与需要针对新类别重新训练、将输入划分到既定类别的分类器不同,dgem 可通过修改政策模板改变判断内容。相比自由生成文本的模型,它侧重于直接读取允许答案的概率并用于后续处理。
2. 筛选大量候选项并结合先验信息
此版本新增了处理超过 26 个选项问题的路径。它在一次模型计算中读取排名靠前的候选项,以及将其余选项合并而成的一项。将概率映射回全部选项时,也会保留在候选集中计算、已校正选项数量差异的归一化不确定性分数。若没有先验概率,即判断前参考的可能性信息,则采用分组竞选的两阶段方式处理。
先验概率用于为模型判断补充其他信号。两类信息的结合时机和影响力均可设置。
实验功能还提供一次最多读取 52 个选项的标签集,即答案选项名称的集合,默认标签集仍为 26 个。
3. 加强请求认证与图像获取路径
运营者可为转发请求的网关设置 Google 访问控制服务 IAP 认证或 API 密钥认证。网关通过已验证的认证信息识别调用者,而非依赖客户端发送的身份标头,即包含请求者信息的请求字段。
运行模型的服务镜像,即包含运行环境、用于部署的文件,可配置可选服务密钥。启用后,POST 请求必须携带匹配的密钥标头,健康检查路径则无需密钥即可访问。
图像地址由网关处理,服务镜像默认拒绝来自网址的图像输入。这一变更旨在降低模型服务器可访问外部网络时,绕道请求内部地址的风险。
服务镜像和网关均拒绝音频与视频输入,并提示将视频转换为图像帧、音频转换为转录文本后再提交。
4. 区分请求拒绝与服务器故障
模型服务器拒绝请求时,网关会传递拒绝响应,而非笼统归为服务器错误。对于模型服务器拒绝的决策请求,返回 422 而非 502,且不重试;确实无法连接服务器时则仍返回 502。
用于转换请求格式、连接不同格式的适配器,现在也能将评分型问题与其他问题一起处理,每批最多 8 个。只有一个选项的问题无需调用模型即可回答。
用于比较现有部署与新部署的评估工具新增了服务器处理时间指标,即量化性能的数值。除总耗时外,还可查看分别完成 90·95·99% 请求所需的时间,以分析服务器内外的延迟。
网关默认关闭请求与响应正文记录。可指定调用者和结束时间后选择性开启,从而限定排查问题的范围与时段。
5. 进一步审核的比例与部署准备是引入关键
基于犹豫分数的两阶段转交方式新增了校正选项数量差异的归一化阈值。原默认阈值为 0.35,以底数为 e 的自然对数为单位,归一化阈值则为 0.16。按公司公布的 341 项测试配置结果,归一化方式将 31% 的决策转交下一阶段,原阈值则为 22%。两者并非相同的运行工作点,因此需根据实际流量调整阈值。
功能扩展带来的是划分自动处理与进一步审核的控制能力。将更多决策转交后续模型或人工的设置,会增加后者的处理负担。运营者需要用实际数据调整阈值,并根据选定的认证方式配置密钥和部署环境。
这些功能可通过命令行工具,即以文字输入命令的程序、HTTP 网关、用于对接外部工具的 MCP 服务器及浏览器界面使用。目前尚未提供预构建的服务镜像,需在自己的 Google Cloud 项目中自行构建。
以下是仓库提供的命令行工具构建示例。若要获得本次发布的版本标识,需在构建前检出 v0.4.0 标签。
# Clone the repository
git clone https://github.com/GoogleCloudPlatform/dgem.git
cd dgem
# Compile dgem binary into bin/
make builddgem v0.4.0 同时推出了将各答案概率接入实际运行流程的功能,以及保护该流程的认证与错误控制;要取得效果,需根据各自环境调整部署和判断阈值。
