Ollama 在 9 月 29 日表示自 0.35 起支持决策模型，ggml-org 于 10 月 2 日宣布 llama.cpp 服务器的支持。两者都在 /v1/systemone 端点接收 state 和带名称的问题。
决策模型（decision model）不生成文本，而是给提供的选项打分来作答。它的回答总是选项之一，并附带概率。
问题类型有三种。choice 返回每个选项的概率，score 返回 2 到 10 个等级中的期望等级，noul 返回是非题中“是”的概率。
在 llama.cpp 的列表中，撰文时只有 OpenJev 等部分模型能读取图像。图像输入不是决策模型的通用功能。
注意事项：许可证、各模型置信度与供应商数据
接口相同，许可证却不同。OpenJev 采用 CC BY-NC 4.0，Julia-1、Kev-4B 等其他条目采用 Apache 2.0。
llama.cpp 的文章建议按模型设定置信阈值。同一条含糊的工单在 Julia-1 上得分 0.25，在 Kev-4B 上得分 0.80。
选项描述也会改变结果。只给标签时，Julia-1 把重复扣款的工单分到 shipping，加上描述后分到 billing（0.99）。
速度数据来自供应商测量。llama.cpp 给出的是单张 RTX PRO 6000 上的中位数，Ollama 称 Nimble 9B 在 M5 Max 上每次决策平均 91 毫秒。本文没有运行模型，也没有测量延迟。
路由之前先定好标签与搁置路径
用于分类或路由时，应先于阈值确定标签定义和搁置判断的路径。评估输入不仅包括常见情况，也包括含糊或超出范围的情况。
概率集中在某个选项上，并不能证明准确性或校准良好。重要决策需要保留一条在预测难以信任时可转交的备用路径。
决策模型省去了解析，但在多高的概率上可以信任，仍需针对每个模型亲自设定。