策略

TypeSafe Jev 与智能体模型栈的第三层

作者：IdeaBosque最后更新：2026年9月20日

关键要点

TypeSafe AI 于 2026 年 9 月 18 日发布 Jev——首个基于 Transformer、输出校准概率而非文本的商业模型——由于用户预先定义输出空间，该模型在构造上不可能产生幻觉（TechCrunch）。
Vercel 将基于 OpenAI Luna 的安全分类器替换为 Jev，运行速度提升 5–18 倍且精度更高；Bryo AI 发现 Gemini 在邮件分类上略更准确，但成本高出 10–20 倍——同一模式下的两个独立采用数据点。
Gartner 现已将"AI Agents and Assistants"单列为一个市场：2025 年 165 亿美元、2026 年 292 亿美元、2027 年 655 亿美元——智能体软件支出到 2027 年接近翻倍，决策层模型正是这一预算的采购对象之一。
架构启示是一个三层模型栈——前沿推理层、开放权重通用层、校准决策层——它改变了智能体系统路由工作、执行护栏、观测行为以及验证 kill-switch 决策的方式。

用 LLM 对智能体的每个动作做安全分类，是一种与被保护对象同等昂贵的护栏。Vercel 一直运行 OpenAI 的 ChatGPT Luna 5.6 作为其智能体基础设施的安全分类器——在执行前审查命令——直到本周。在用 Jev 替换它之后，分类器运行速度提升 5–18 倍且精度更高。在 Bryo AI，Gemini 在邮件分类精度上略胜 Jev 一筹，但成本高出 10–20 倍。两家公司从不同方向得出了同一结论：一大类智能体决策根本不需要语言生成，为一个 LLM 产出的、随即被丢弃的散文式文本付费，是错误的成本结构。

Jev 由 TypeSafe AI 于 9 月 18 日发布，是为这一类工作构建的首个商业模型。它基于 Transformer 但不是大语言模型：它在用户预先定义的输出空间上输出校准概率——该公司称之为"校准决策"。TypeSafe 联合创始人 Diogo Almeida（前 OpenAI 研究员，曾参与 ChatGPT 与 RLHF）向 TechCrunch 阐述了这一论点："四年来我们极其擅长人类语言，但这对自动化没有用处，因为计算机说的是另一种语言。"本文描绘一个非语言决策模型如何改变智能体架构——模型路由、护栏、可观测性与 kill-switch 验证——以及它在生产级 B2B 系统实际运行的模型栈中的位置。

Jev 是什么，哪些仍然未知

先看可验证的事实。Jev 在用户定义的输出空间上产出概率，而非自由文本。其输出 token 免费，输入按十亿而非百万计量——这一定价颠覆了 LLM 的成本结构，因为生成是语言模型最昂贵的部分，而 Jev 不做生成。它完全使用合成数据训练，采用 Almeida 称为"校准决策强化学习"的技术；发布后需求一度压垮了 API——该公司在发布后一度丧失了服务用户的能力。

诚实性标记与宣传同样重要。Almeida 对架构讳莫如深，外部观察者怀疑其构建于某个开放权重 LLM 之上——"不可能幻觉"这一属性来自受约束的输出空间，而非任何已公开的架构细节。Vercel 与 Bryo 的对比是开发者自述，而非基准测试评估。Jev 仅限早期访问——它是三个受控发布的 9 月模型之一（与 Anthropic 的 Mythos 5.1 和 Google 的 Fairwind 专属 Gemini 3.8 Flash Cyber 并列）——因此采用数字建立在受控访问的群体之上。Earendil CTO、开源模型 harness Pi 的创造者 Armin Ronacher 预计，在实用性已经可见的当下，竞争者会跟进："大概因为 LLM 太便宜且有补贴，你常常还不必发挥创造力。"将 Jev 视为品类验证，而非确定的供应商选择。

智能体模型栈的第三层

生产级智能体系统已经在运行两个行为截然不同的模型层。前沿推理层负责规划、起草和处理歧义。开放权重通用层——DeepSeek、Qwen、GLM 的发布已将成本压低的模式——以远低于前沿的价格执行高流量工具调用与校验。缺失的是第三层，用于既非推理也非语言的工作：智能体系统每天数以百万计的小型分类决策。这条命令是否安全可执行。这条 trace 是否像一次越狱。这个工作负载是否需要昂贵的模型。这个价格偏差是否真实。

把语言模型放在这些决策上，一直只是因为不存在商业替代品。Gartner 九月的预测将智能体软件市场规模定为 2025 年 165 亿美元、2026 年 292 亿美元、2027 年 655 亿美元——到 2027 年接近翻倍——这笔建设的每一美元都让忽视决策层问题的代价更高，因为每个已部署的智能体都会成倍增加护栏检查、路由调用与验证流程的流量，而这些流量目前默认全部流经 LLM。

三层智能体模型栈——两个语言层，以及为其周边流量定价的非语言决策层：

它如何改变智能体架构

当校准决策层成为商业选项，四个架构决策的形态随之改变。每一项都对应生产级智能体系统已有的决策；变化的是成本结构，以及对"判断住在哪里"的诚实。

模型路由在高频场景下变得经济上合理。 据 Ronacher，最被期待的具体用法是预测某个工作负载是否需要特定模型——只有当路由调用本身近乎免费时，实时分拣才成为可能。DeepSeek 自动路由事件展示了当操作者无法控制时，供应商侧自动路由的代价：静默的模型替换，在约 45 小时后因用户施压而逆转。廉价的决策层把路由从供应商网关移到操作者自己的运行时——用你自己的分类器做路由，把备用模型藏在你自己的开关之后，替换风险就从"意外"变成"设计选择"。

护栏获得概率契约。 Ronacher 对 Jev 的概括："它把幻觉问题稍稍转嫁给用户"——由操作者声明阈值。如果一个决策返回 50%，把它当作掷硬币并转给人工处理；达到 95%，就执行。这比询问 LLM"这安全吗"并从从未校准过的散文式回答中解析置信度，是一份实质性更好的契约。治理检查清单中显式审批门控的模式保留下来；变化在于门控检查本身运行在一个无法虚构"是"的模型上。

可观测性获得廉价的监视器。 Almeida 自己的说法：用智能体监控智能体很昂贵，但用 Jev 来做并不贵——追踪 LLM 智能体 trace 并防范越狱，恰恰是决策层定价所针对的高流量、低歧义分类工作。多数团队想要却因"监控 LLM 的成本直逼生产 LLM"而放弃的可观测性架构，当监视器成本低一个数量级时就变得可行。

Kill-switch 验证获得独立评估器。 依赖 LLM 判断触发的 kill switch，会继承 LLM 的失败模式。用一个决策层模型评估"这条 trace 是否符合中止标准"，为 kill-switch 层提供了一个足够便宜、可在每个动作上运行的检查——经过校准而非凭感觉，且在架构上独立于被评估的智能体。kill-switch-by-design 模式一直要求中止决策独立于被中止的智能体；非语言评估器是这种独立性的第一个商业基底。

成本算术，直说

这些对比数据点是自述的，因此要谨慎看待——但方向在两个独立采用者之间保持一致。Vercel：比基于 Luna 的分类器快 5–18 倍，精度更高。Bryo：Gemini 在商务邮件分类上略更准确，但价格是 10–20 倍。两个数字背后的结构相同：LLM 把大部分算力花在生成语言上，而分类流水线随即丢弃这些语言；决策模型则把算力花在判别本身——输出免费，输入按十亿计量。在生产级智能体的流量画像下——每天数千次护栏检查、每个请求一次路由调用、每步一次 trace 评估——决策层是唯一以"单次调用近乎免费"为设计目标的层，而如今智能体恰恰从市场上最昂贵的模型那里租用这一层。

这一切都不会让决策层变成推理器。它无法起草报价、谈判例外或撰写客户邮件——前两层仍然拥有这些工作。主张更为狭窄：围绕智能体语言工作的决策流量，已经超出语言模型作为基底的承载能力，而首个为这一流量构建的商业模型已于 2026 年 9 月 18 日发布。

一个代表性的构建

一家中型分销商在 NetSuite 与 BigCommerce 上运行 24 小时报价智能体，此前为每个报价决策向前沿模型付费分类：这个折扣是否在政策内、供应商回复是否完整、这条 trace 是否需要人工复核。模型路由决策（五决策架构中的第三项）拆分了工作：前沿模型负责起草与谈判，执行级的开放权重模型处理目录与价格查询，校准决策层分类器运行护栏——命令安全检查、trace 分类，以及决定每一步由哪一层处理的路由调用。分类器的概率输出让升级策略显式化：高于 0.95 的决策自动解决，低于 0.50 的转人工，中间带附带概率排队复核。每个报价的护栏成本从 LLM 费率降到可以忽略不计，审计轨迹也改善了——每次升级决策现在携带一个校准后的数字，而非散文式裁决。

在前沿推理层、开放权重通用层与决策层构成的统一运行时背后，用显式升级阈值构建三层栈，是一次范围明确的构建，而非研究项目。

申请一次范围明确的构建。 为期一周的探索。你将获得系统清单、工作流地图与固定范围——无论你是否与我们合作。

更新 — 2026-10-02：论点如今是三家厂商——Cloudflare Clef 与 AWS Strands Decider 2B 交付决策层

在本文把智能体模型栈的第三层记录为只有一家商业厂商的模式十一天之后，该类别翻倍了。2026 年 10 月 2 日，Cloudflare 发布了 Clef 与 Clef-flash——开源、Apache-2.0 决策模型，以低于调用完整 LLM 的延迟与成本返回结构化选择——AWS Strands Labs 则发布了 Strands Decider 2B，一个 2B 参数的开源决策模型（TREND-02 §3.1）。本文架构决策所依赖的第三层模式，如今拥有三家独立厂商（TypeSafe、Cloudflare、AWS），横跨两家超大规模基础设施公司——这是该论点所能获得的、发表后最强的验证。这对上述决策改变的东西：每个选项都变得更便宜、更可移植，但结构上没有任何变化——校准契约、廉价监视器、以及独立的 kill-switch 评估器，全都仍依赖一个返回结构化、校准后选项的决策层；如今这个契约的供给侧有了竞争。

更新 — 2026-10-04：llama.cpp 开始服务决策模型——第三层走向本地

本文追踪的决策模型层不再需要 API：llama.cpp 现在能够服务决策模型——Julia-1、Laya、Kev-4B、lev 与 OpenJev 以 GGUF 形式发布，经由 /v1/systemone 风格的端点暴露——沿着开源权重 LLM 走过的同一采纳轨迹。对三层堆栈（确定性模式 → 开源权重 LLM → 决策模型）而言，本地选项把 API 依赖从那个经济论证全部在于廉价、快速、确定性路由的层中移除：判断层如今可以自托管在它所治理的开源权重层旁边，验证姿态不变（校准、漂移、通往前沿模型的逃生舱）。

更新 — 2026-10-07：池中最便宜且近前沿的入选者——GLM-5.3-Flash 以 0.15/0.50 定价

三层架构路由进入的可交换池刚获得其最激进的价格点。Z.ai 的 GLM-5.3-Flash（2026 年 10 月 7 日）是 320B 总参数/18B 激活的原生多模态 MoE，定价 0.15/0.50 美元每百万 token——仅为自家 744B 旗舰费率卡的十分之一——Terminal Bench 2.1 得 84.3（与 Claude Opus 4.8 相差不到 1 分），AutomationBench 得 48.8，超越 Claude Opus 4.8 的 41.0 与 GPT-5.6 Terra 的 37.2（Z.AI 博客）。对本文论述的模型堆栈决策而言，Flash 变体是前沿/开放权重层代理工具使用通道新的成本优化默认——校准契约与升级阈值不变，只有决策层背后的端点偏移。池的三地区结构（美国：Beam；欧洲：ML4、Kolibri-1；中国：DeepSeek、Qwen、GLM）的开放权重一侧如今承载最强的每美元能力数据点，且权重在 Hugging Face 上，因此自托管路线对 Anthropic 前沿红队独立验证的防御安全通道可用——Flash 变体将两个 CVE 串联成可用的 ARM64 利用链，成本 20.40 美元。升级策略应把这一能力视为受治理通道资产，而非未经审核的默认。

更新 — 2026-10-16：OpenRouter 的决策模型目录——13 家厂商的 21 个决策模型共用一个 Decisions API

本文追踪过的厂商阶梯（一 → 三 → 四）一夜之间变成了一张市场目录：2026 年 10 月 16 日，OpenRouter 在单一 Decisions API 下列出来自 13 家厂商的 21 个决策模型（目录）——支持类型化决策的 Jev-1.14、GPT-6 Luna Decisions、Microsoft-Decision-1、Perplexity Decider、Cloudflare Clef、Inception Mercury Decide、Liquid d1、Upstage Solar Decide 等。同一窗口内，LangChain 发布了 ModelRouterMiddleware——第三层以主流编排 SDK 内置中间件的方式落位，分工很简单：决策模型负责选择，前沿 LLM 负责书写。对三层论题而言，结论落在供给侧：这些架构决策赖以成立的校验契约——廉价、结构化、经校准的选择——如今是可以在 13 家厂商之间比价采购的商品。路由、监视与 kill-switch 都可以竞争性采购。