决策模型：Jev、OpenAI Decisions 与本地替代
一篇文章已经有了摘要，接下来要决定它是否值得现在读；一张工单已经收进系统，接下来要决定交给哪个团队。这些问题需要理解语言，答案却只有几个选项。这类判断可以从大模型里拆出来，交给一个便宜、输出有类型、能单独测试的组件，这就是决策模型。
决策模型接收待判断的材料和事先定义的问题，返回选项、评分或概率，供程序继续处理。它不生成摘要、解释或代码。Jev 是 TypeSafe AI 在 2026 年 9 月推出的第一款；厂商把这一类叫作 System One，借用卡尼曼对快速直觉与缓慢推理的区分（发布说明）。到 10 月底，OpenAI、Vercel 的网关和几款本地运行时都提供了同类接口，下面的提问方式和读数方法对它们同样适用。
一次判断需要提供什么
请求分两部分：材料和问题，接口里叫 state 与 questions。前者放模型需要看到的信息，后者说明要判断什么、允许哪些答案。同一次请求可以包含多个问题，它们共享材料、独立评估（问题定义）。若后一个问题必须使用前一个答案，就由程序分步衔接。
以阅读推荐为例，材料是一段摘要加上读者当前关心的主题，问题是“这份内容现在值得读吗”，答案规定为：
- 现在读：直接帮助解决当前问题。
- 留着：有背景价值，但当前不急。
- 跳过：与当前关注点无关。
- 拿不准：信息不足，无法作出可靠判断。
这些选项需要写清楚。“留着”和“现在读”如果都只解释成“有用”，模型就难以区分；缺少“拿不准”，信息不足的材料也会被挤进其他分类。模型也只能根据收到的材料判断：送进去的是标题，结论就只针对标题。
三种输出，分别适合什么问题
Score 的数值是各等级编号按概率加权的平均，编号从 0 开始。比如自定义“无关、背景相关、直接相关”三个等级，编号是 0、1、2；模型给三者的概率是 0.2、0.5、0.3，得分就是 0×0.2 + 1×0.5 + 2×0.3 = 1.1，落在“背景相关”和“直接相关”之间，更靠近前者。它没有天然的百分制含义，换一套等级描述，数值也就换了意义。
Noul 的低概率同样有用。“材料是否缺少正文”得到 0.02，表达的是模型倾向认为正文并不缺少。把这个数读成“模型只有 2% 的把握”，就把命题的概率和判断的不确定性混在了一起。
概率、confidence 和正确率
一个 Choice 可以给“现在读”0.51、“留着”0.49；也可以给两者 0.97 和 0.03。两次的首选相同，但前一次几乎没有明显优势。只保留最终分类，就丢掉了这层区别。
TypeSafe 的 confidence 是根据 Choice 或 Score 的完整概率分布算出的 0–1 统计量，概括分布有多集中。它不是第二次独立判断，也不是最高选项的概率；Noul 不带这个字段。所以高概率加上高 confidence，只是同一个输出分布的两种描述，算不上两份证据。
概率准不准，要在一大批有已知结果的预测上看：一批预测都给某事件约八成概率，校准良好意味着这批事件最终发生的比例也接近八成。单次输出看不出这一点；怎样检验校准、怎样按错误代价定阈值，见概率校准、决策阈值与弃权。最高概率低于某个值时显示“拿不准”，是应用自己定的规则，阈值要用实际材料来调。
“零幻觉”应当怎样理解
预先规定答案空间，能消除一类麻烦：程序要求返回某个现成选项，模型不能另外编造一篇回答。这让接口更容易检查，也让错误更容易定位。
但类型正确的答案仍然可以选错。一个分类器完全可能按照合法格式，把一封投诉分给错误的团队。格式约束解决的是“结果是否符合接口”，结果合不合理仍要业务来判断，这也是工具契约与任务正确性的区别。
TypeSafe 为 Jev 1.13 列出了已知弱点，这一页 10 月 2 日最后复核，1.14 还没有单独的一页。弱点分九类：只按字面理解、数字与计数、日期与时间比较、间接指代、长材料里的无关细节、对抗文本、自相矛盾的指令和标准、选项顺序，以及生成类任务。
这直接影响使用方式。金额比较交给代码，正文相关性可以交给模型；读者提供的一句话不能变成模型改写分类规则的授权；需要解释一个结果时，应回到输入证据，不能让另一个模型随意补出一段貌似合理的原因。
TypeSafe 首页的“快 193.6 倍、便宜 444.6 倍”来自厂商自己设计的工作流评估，参考答案是两款旗舰大模型判断的平均，只能当作值得一试的理由。
现在能用的决策接口
核对于 2026-10-29：
Ollama 介绍 Clef 时转述了 Cloudflare 的数字。在 Jev Decision Index 的 10 项评测中，Clef 有 8 项胜过 Jev；它的中位延迟是 209 毫秒，Jev 是 524 毫秒。这是厂商自己的比较，换到自己的样本上要重测。标签固定、手上又有标注数据时，先训练一个小分类器做基线往往就够；向量模型和重排模型回答的是另一类问题，区别见 Embedding、Reranker 与分类器。
试一次：经 AI SDK 调用 Jev
Jev 单次请求默认最多 64k Token，state 加任意一个问题不超过 32k。加请求头 TypeSafe-Danger-Zone-Long-Context: true 可以把两项都放宽到 262k，但模型说明写明这样更慢、也更不准。英语是主要训练语言；中文可以输入，效果不与英语等同，要用自己的样本验证。
经 Vercel AI Gateway 调用时，ai 包 7.0.128 起用 experimental_decide；更早的 AI SDK 7 版本用 experimental_evaluate，它现在是同一接口的弃用别名。下面用一个虚构的阅读场景展示请求结构。密钥通过服务器环境中的 AI_GATEWAY_API_KEY 提供，示例开启禁止训练选项：
import { experimental_decide as decide } from 'ai';
const result = await decide({
model: 'typesafe-ai/jev',
state: {
interest: 'Local speech tools and privacy',
excerpt: 'A fictional offline speech tool caches audio locally.',
},
questions: {
reading: {
type: 'choice',
instructions: 'How relevant is this excerpt to the current interest?',
criteria: {
read: 'Directly useful now',
keep: 'Useful background for later',
skip: 'Unrelated',
unsure: 'Not enough information',
},
},
},
maxRetries: 0,
providerOptions: {
gateway: { disallowPromptTraining: true },
},
});
console.log(result.answers.reading);
不用 AI SDK 时，向 https://ai-gateway.vercel.sh/v1/evaluate 发送同样的 model、state 和 questions 字段。TypeSafe 的 confidence 在 providerMetadata.typesafe.confidence 里，按问题 ID 取，要和 answers 中的概率分布分开读。
成本可以先算一笔：一万次请求合计用掉两千万输入 Token，按 Jev 的价格约 0.84 美元，按 OpenAI Decisions 约 2.00 美元。这只是模型用量；更长的材料、额外请求和人工复核都会改变实际成本。
禁止训练与零数据保留是两回事
网关、模型供应商和应用自身都可能处理同一次请求。Vercel 的 disallowPromptTraining 面向所有用户、不另收费，只把请求路由到不拿数据训练的供应商，并不承诺内容完全不被保留；自带供应商密钥（BYOK）的请求不受它约束。zeroDataRetention 要求零数据保留，只对 Pro 和 Enterprise 开放，TypeSafe 在 Gateway 的 ZDR 供应商名单上。
对智能体分工的影响
“材料加有类型的问题，返回概率分布”这份接口约定，一个多月里就扩散到了 OpenAI、Vercel、Ollama、vLLM、SGLang 和 LM Studio。对搭建智能体的人来说，“要不要转给人处理”“下一步调用哪个工具”“这段上下文还留不留”这类高频小判断，可以从主模型里拆出来，交给一个便宜、可替换的组件。每个拆出来的判断有自己的测试集和阈值，换模型时能单独回归。代价是多了一个要校准和监控的组件，阈值也不能跨模型版本直接沿用。
什么情况下值得采用
一个合适的起点，是从已有系统里选出一项高频、边界清楚、出错后可纠正的判断。先看它能否稳定减少人工处理，再决定是否扩大使用。与其让模型一句话决定整个工作流，不如把可以精确计算的部分留在程序里，让语言理解只承担确实需要它的那一步。
这种分工可以与有界 Agent 循环结合，也能帮助选模型：输出要交给谁、错误会造成什么后果，往往比“它是不是最强模型”更能决定它是否适合这项工作。