谷歌发布了一款新 API,可针对文本、照片、音频、视频和文档同时提出多个分类问题。开发者无需再次解析生成的文本,而是获取各选项的概率和置信分数,决定自动处理还是转交人工。
1. 同一输入可合并最多 1,000 个问题
新 API 使用 Gemini Decision 1 模型,针对同一输入评估最多 1,000 个独立问题。它不逐个生成 token 来作答,而是通过一次计算为候选项评分,各问题不会查看彼此的结果。例如,可结合通话录音和账户信息对咨询分类,或结合 PDF 账单与损坏照片核验索赔内容。
谷歌表示,Gemini Notebook 使用该 API,为收到的问题选择合适的模型和推理级别。据公司公布的数据,这可将日常问题的处理延迟降低最多 40%,同时为复杂任务分配执行深度推理的模型。
2. 同时获取答案概率与自动处理依据
问题类型包括是非题、固定选项题和有序评分题。是非题返回答案为“是”的概率,选择题返回各候选项的概率和最可能的候选项。评分题将各级别编号乘以对应概率后求和,返回平均分,因此也可能得到介于级别之间的值。
置信分数是对最可能答案正确概率的估计。校准是指使模型给出的概率接近实际正确率。开发者可根据答案决定处理方向,再根据置信分数决定是否自动执行。
3. 合并问题以降低延迟和输出成本
据公司公布的数据,模型计算时间的中位数为 50~100 毫秒,完整往返延迟,即请求和响应往返所需时间,为 150~250 毫秒。谷歌称,测试涵盖多种媒体输入和最多 16K token 的上下文,其中包括输入与指令;每次请求的问题从 1 个增至 100 个时,延迟仍基本不变。
每 100 万输入 token 的价格为 0.10 美元,不收取输出 token 费用。无论问题数量多少,同一输入在每次请求中只计费一次,仅将各问题的指令和标准额外计入输入量。图像和视频可通过调整分辨率来平衡视觉信息量与 token 成本。
4. 在共同评测中校准误差最低
据谷歌公布的数据,在其公开的 7 项共同评测中,Gemini Decision 1 的校准误差在对比模型中最低。校准误差反映预测概率与实际正确率的偏离程度,越小越好。同一评测的总价格也一并公布。
表:7 项共同评测的校准误差与总价格
条件:以谷歌发布的图表中的 7 项共同评测为准。Gemini Decision 1 使用 Decisions API,GPT-6 Luna 使用 OpenAI Decisions API,Gemini 3.5 Flash-Lite 使用 Interactions API (minimal)。拒答、安全拦截和无法处理的请求均计为错误,并以全部评测为分母。
| 项目 | 校准误差(Top-1 ECE) | 总价格(美元) |
|---|---|---|
| Gemini Decision 1 | 0.0250 | 0.88 |
| TypeSafe Jev 1.14 | 0.0494 | 0.68 |
| GPT-6 Luna | 0.0721 | 0.93 |
| Gemini 3.5 Flash-Lite | 0.2104 | 4.14 |
谷歌表示,在该评测中,其成本约为自家 Flash-Lite 模型与现有 API 组合的 1/5。表中 TypeSafe 模型的总价格更低,因此可结合价格与校准误差作出选择。
据公司公布的数据,Gemini Decision 1 在 JevBench 公开评测中的准确率为 92.2%。该准确率以全部评测为基准,将拒答、安全拦截和无法处理的请求计为错误。
在 Mind2Web 的多模态评测中,该模型得分为 86.2%,低于 TypeSafe 模型的 86.8%。
在 When2Call 中,两款模型分别取得 79.9% 和 82.0%。有必要同时考察概率校准的优势与具体任务的准确率。
5. 定义问题并用实际输入设定标准
开发者可先在 Google AI Studio 获取 API 密钥,并安装 Python 或 JavaScript 的 SDK 3.2 及以上版本。文档示例在置信分数达到 0.7 时自动分类,否则转交人工。
answer = result.answers["department"]
if answer.confidence >= 0.7:
route_to(answer.choice)
else:
route_to("human_review")省去答案生成和文本解析可降低延迟与输出成本,但开发者仍须设计问题、选项和自动处理标准。文档建议使用标注了正确答案的实际输入样例设定标准,并权衡误放行与误拒绝的成本。
选择题即使没有正确候选项也会分配概率,因此可设置“其他”选项,或另设问题检查是否属于适用范围。文档提醒,用户输入可能诱导分类,应使用含攻击意图的输入进行测试,并对付款等重要操作加入人工或第二次确认。
Gemini Decisions API 带来的变化,是让多模态判定的概率直接接入代码,而自动化的质量取决于开发者设计的标准。
