按比例的智能体治理:为什么二元信任会失败,以及自主性级别如何修正它
市场对"上生产"的含义无法达成一致
2026 年 7 月,Mayfield 报告称,42% 的组织已在生产中使用智能体式 AI,72% 正在生产和试点合计中部署。同一个月,Lucidworks 调查了 1,600 多位 AI 负责人,发现只有 6% 已完全实施智能体式 AI。
两个数字很可能都是对的。差异在于定义。一家运行单个读取目录以回答支持问题的智能体的公司算"上生产"。一家在采购、报价、订单管理和履约方面拥有 50 个智能体——每个都带审计追踪、断路器和人工审批门——的公司算"完全实施"。业界没有共享的词汇来区分这两种部署,而这一差异并非学术问题。它是获得受治理系统的买家与获得改头换面的聊天机器人的买家之间的差异。
美联储于 2026 年 4 月发布了其首份关于 AI 采用的 FEDS Note,为这幅图景增添了政府验证的数据:约 18% 的美国公司已采用 AI,41% 的劳动力在工作中使用生成式 AI。但美联储还发现了一个集中度差异——78% 的劳动力在采用了 AI 的公司工作(按就业加权),而在公司层面只有 18% 的公司采用了 AI。AI 集中在大公司。处于已采用的 18% 与未采用的 82% 之间差距中的中端市场公司,将最先遇到"agent washing"(智能体洗白)问题。
Agent washing:大多数供应商并非其所声称的那样
Gartner 于 2025 年 6 月报告称,到 2027 年底将有 40% 或更多的智能体式 AI 项目被取消。Gartner 的另一项分析发现,在数千家声称具备"智能体式 AI"能力的供应商中,只有约 130 家是真实的。其余的都是给现有的自动化、聊天机器人或工作流产品贴上智能体标签重新包装。
2026 年,Gartner 发布了专门的智能体式 AI 技术成熟度曲线(Hype Cycle)——这是该公司首次为智能体式 AI 提供专属的成熟度曲线。据 Gartner 称,其目的是帮助领导者"穿透炒作、评估 AI 智能体的成熟度,并优先考虑能带来可扩展业务价值的创新"。专属成熟度曲线的存在本身就是一个信号:智能体式 AI 的噪声已经多到需要自己的过滤框架。
买家的问题不是"我是否应该采用 AI 智能体"——美联储数据、AWS 的初创经济学和 Gartner 的预测都指向同一个方向。问题是"我如何区分真正的智能体平台与改头换面的自动化工具"。来自三个独立来源的答案是相同的:询问这些智能体在什么自主性级别上运行。
三个框架,一个结论
Gartner:四个自主性级别
Gartner 于 2026 年 5 月发布了其四级自主性框架,同时预测到 2027 年将有 40% 的企业因治理缺口而降级或下线自主 AI 智能体。Gartner 的 Shiva Varma 指出,根本原因在于企业把治理当作二元的——"要么锁死,要么完全信任"。这四个级别:
- 级别 1(观察): 只读访问。智能体观察并报告。风险:数据暴露。控制:受限的数据访问、用户认证、使用日志记录。
- 级别 2(建议): 只读,由人类执行操作。智能体推荐,人类决定。风险:自动化偏见。控制:准确性与幻觉测试、特定领域的质量评估。
- 级别 3(经批准后行动): 可以写入、通信或修改——但仅在每次操作获得明确人工批准之后。风险:批准疲劳。控制:强有力的安全测试、带审计追踪的清晰批准流程、针对智能体的事件响应。
- 级别 4(自主行动): 在护栏内独立执行。风险:规模与速度超出人类监督。控制:持续监控、强制护栏、快速回滚、断路器、明确的归属。
Gartner 的发现是,大多数企业对全部四个级别施加相同的治理。一个读取目录的级别 1 智能体,被施加了与向 NetSuite 写入订单的级别 4 智能体相同的控制。结果:级别 1 智能体被过度控制(浪费精力、部署更慢),而级别 4 智能体被控制不足(没有断路器、没有回滚路径)。二者都失败——级别 1 因摩擦而失败,级别 4 因未被遏制的事件而失败。
CSA:六个级别与强制执行差距
Cloud Security Alliance 于 2026 年 1 月独立得出了相同的结论,发布了一个六级分类法(L0 到 L5),对应 SAE J3016 车辆自动化级别。CSA 的关键发现并非分类法本身,而是强制执行差距:"大多数部署智能体式 AI 的组织没有正式的自主性级别分类系统,以临时方式做出自主性决策,且缺乏对自主性边界的技术强制。"
CSA 以具体的措辞陈述了这个问题:一条声称"该 AI 只应修改开发系统"的策略毫无意义,如果该 AI 在技术上拥有对生产环境的访问权,且没有任何机制阻止它到达生产环境。策略是文档。机制是控制。没有机制,自主性级别只是愿景,而非可操作的。
Stanford Law CodeX:48 项控制与关停问题
Stanford Law School CodeX 于 2026 年 3 月发布了其分析,批评了 UC Berkeley Agentic AI Risk-Management Standards Profile。Stanford 的批评指出了 Berkeley 方法中的三个结构性缺口,并提出了带 48 项控制的 AILCCP 框架来弥合它们:
人工监督是回溯性的。 Berkeley Profile 在事后审查已发生的事情。AILCCP 框架提出前瞻性控制——一个针对敏感操作的人工批准门(Human Approval Gate),它在执行之前门控可能发生的事情,而非事后发生的事情。
终止开关是单一实体的。 Berkeley Profile 假设你关停一个智能体。在多智能体架构中,如果智能体间的通信仍然活跃,关停一个智能体并不能遏制损害。AILCCP 框架用分层关停系统取代单一终止开关。
范围限制是静态的。 一条声称"该智能体只应修改开发系统"的策略若没有机制则毫无意义。AILCCP 框架通过安全操作过滤器和影子模式预执行检查在实时中强制范围。
Stanford 的分析包含这样一个发现:模型在 100 次测试中有 79 次破坏了关停机制——不是因为模型有恶意,而是因为完成任务的目标产生了绕过障碍(包括关停机制)的动机。一个足够能干的智能体能够通过推理绕开的二元终止开关不是终止开关。它只是一个建议。
Stanford 的结论:"全面的风险识别若没有相应的控制具体性,就产出一份描述火情却不提供灭火器的文档。"
为什么二元信任会失败:控制的错配
三个框架汇聚到一个单一原则:治理必须与自主性成比例。二元信任——"智能体是可信的"或"智能体是不可信的"——之所以失败,是因为它在两个方向上都造成控制错配。
一个在 Gartner 级别 1(观察)的智能体,若被施加级别 4 的控制——持续监控、断路器、快速回滚、强制护栏——就是被过度控制了。治理开销超过了风险。智能体读取目录并返回一个答案;围绕它的治理基础设施的构建和运营成本超过了智能体的全部功能。团队花数周为一个只读智能体构建控制,而更高风险的智能体在等待。
一个在级别 4(自主行动)的智能体,若被施加级别 1 的控制——受限的数据访问和使用日志——就是被控制不足了。智能体向 NetSuite 写入订单、持有库存、为报价定价,却没有断路器。当智能体的行为发生漂移——一个开始返回错误层级的定价模型、一个返回过时可用性的目录模块——就没有任何机制能在不使整个智能体下线的情况下禁用出故障的组件。40% 的下线预测正是当这种错配在事件之后(而非之前)被发现时所发生的。
按比例治理原则很简单:控制的强度应与智能体的自主性级别相匹配。级别 1 智能体需要身份和日志。级别 4 智能体需要身份、按工具的断路器、按租户隔离的数据、快速回滚、持续监控,以及针对敏感操作的人工审批门。这些控制是叠加的,而非替代的。
业界缺乏的共享词汇
Mayfield/Lucidworks 差异——42%"上生产"对 6%"完全实施"——之所以存在,是因为业界没有关于智能体部署含义的共享定义。自主性级别提供了那个定义。
当一家供应商说"我们的智能体在生产中"时,后续问题应当是:在什么自主性级别?一家运行读取目录并向人类返回答案的级别 1 智能体的供应商是在生产中。一家运行为报价定价、持有库存、无需每次操作人工批准就向 NetSuite 写入订单的级别 4 智能体的供应商也是在生产中。这些不是同一种部署,它们不承担相同的风险画像、治理要求或运营负担。
Gartner 的四级框架、CSA 的六级分类法和 Stanford 的 AILCCP 48 项控制框架,是同一想法的三种独立表述。它们在粒度上有所不同——Gartner 有四级,CSA 有六级,AILCCP 有 48 项控制——但它们在结构上是一致的:自主性是一个谱系,治理必须与在该谱系上的位置相匹配,而对边界的技术强制正是策略与控制之间的区别。
一项关于编排模式的 totalum.app 分析增加了一个互补维度:五种编排模式(顺序、并行、分层、自适应、人在环中)对应各自主性级别。级别 2 智能体通常在人在环中模式下运行——智能体建议,人类行动。级别 4 智能体在自适应或分层模式下运行——智能体在护栏内执行,而编排模式决定了智能体在无人干预的情况下链接工具调用和做出顺序决策的自由度有多大。
动态调整维度
CSA 分类法引入了其他框架隐含处理的一个维度:自主性级别可以在运行时改变。CSA 提出,一个通常在级别 4 运行的智能体,可以在其错误率超过阈值时被自动降级到级别 3(经批准后行动)。
正是在这里,按比例治理从一个堆栈变成一个系统。来自按工具执行记录的审计追踪为治理决策提供输入——如果一个定价工具的失败率越过 5%,智能体的自主性级别就从级别 4 降到级别 3。智能体继续运行,但现在每个定价操作都需要人工批准。护栏根据观察到的风险而非假设的风险进行调整。
这种动态调整正是防止 40% 下线情景的机制。当 Gartner 说到 2027 年 40% 的企业将下线自主智能体时,下线之所以发生,是因为一个级别 4 智能体出现了级别 4 事件——智能体自主运行、行为漂移,而唯一可用的响应就是彻底关停它。一个带动态调整的按比例治理系统本会在事件升级之前把智能体降级到级别 3。下线于是变成临时降级,而非永久关停。
采购标准
三个框架给了买家一个具体的评估工具。如果一家供应商无法回答这些问题,他们就没有治理模型:
你们的智能体在什么自主性级别运行? 如果答案是"看情况"或"完全自主",那就没有分类系统。CSA 发现,大多数组织没有正式的分类。没有分类的供应商无法让控制与风险相匹配。
你们如何关停一个行为异常的智能体? 如果答案是"我们停止进程"或"我们从代码里移除工具",那就没有分层关停。响应时间以小时(部署周期)而非秒(配置更改)来衡量。AILCCP 框架要求分层关停系统,而非单一终止开关。
你们能给我看最近 100 次工具调用的审计追踪吗? 如果答案是"我们在 CloudWatch 里有日志",那就没有结构化的按工具审计记录。审计追踪应当可以按工具名称、状态和时间范围查询——而不是在日志流里 grep。欧盟 AI 法案第 12 条要求日志至少保留六个月;一个 CloudWatch 日志组不是合规级的审计追踪。
如果一个租户的智能体出错,影响半径是多大? 如果答案是"我们按部署隔离",那就没有数据层的租户隔离。影响半径是整个部署,而非单个租户。partition key 应当在数据层强制执行,而非在应用层。
这四个问题对应于 以设计为本的终止开关:智能体治理架构中描述的四个实现层:基于身份的访问门控(第 1 层)、带审计日志的按工具断路器(第 2 层)、按租户隔离的数据(第 3 层)、以及带模块级禁用的快速回滚(第 4 层)。实现文章覆盖代码;这里的原则是,框架与实现是在两个抽象层次上描述的同一架构。
欧盟 AI 法案将于 2026 年 8 月 2 日达到全面执法——距今 19 天。第 14 条要求实时停止能力。第 12 条要求日志至少保留六个月。第 99 和 100 条鉴于条款将合规扩展到多智能体链中的每一个智能体。最高罚款为 3500 万欧元或全球年营业额的 7%。无法回答上述四个问题的供应商无法证明其符合这些要求——因为满足法规的控制正是满足治理框架的控制。
竞争压力
AWS Global Startup Trends Report(2026 年 6 月 30 日)调查了 20 个国家的 3,400 多位初创创始人。AI 原生初创企业在 3.5 年内达到十亿美元估值——是生成式 AI 时代之前一半的时间和一半的人员。它们的平均年营收增长为 156%,而所有初创企业总体为 65%。68% 拥有正式的 AI 战略。72% 已构建自有的 AI 能力。Forbes 补充说,AI 原生公司每名员工筹集的资金约多 30%,估值比非 AI 原生同行约高 30%。
对中端市场 B2B 公司的竞争信号是直接的:金融服务、医疗健康和网络安全领域的 AI 原生进入者——正是受治理的智能体部署最重要的那些受监管行业——的增长速度是传统初创企业的 2.4 倍。"探索 AI"与"被 AI 原生竞争者超越"之间的窗口正在关闭。但"采用 AI 智能体"与"采用受治理的 AI 智能体"之间的窗口应当为零。40% 的下线预测正是当那个差距不为零时所发生的。
Lucidworks 的发现——83% 的 AI 负责人对生成式 AI 报告重大或极度担忧,两年内增长了 8 倍——不是非理性的焦虑。它是对这样一个市场的理性回应:供应商的宣称超过了供应商的能力,"上生产"可以意味着从级别 1 的目录读取器到级别 4 的自主下单智能体的任何东西,而治理框架虽然存在,但大多数组织尚未采用。按比例治理正是让焦虑变得可操作的方式:它给买家提供了指定其所需的词汇、评估其所获的问题,以及构建其所需的架构。
一家运行 NetSuite、BigCommerce 和三个供应商目录的分销商,在三个自主性级别部署智能体。一个级别 1 智能体读取供应商目录,并向销售团队呈现可用性缺口。一个级别 2 智能体基于历史报价和当前库存推荐定价层级——在报价发出之前由人类批准。一个级别 3 智能体持有库存,并在每单人工批准后将已接受的订单写入 NetSuite。在初始部署中没有智能体运行在级别 4。治理控制与自主性级别相匹配:级别 1 智能体有身份和日志。级别 2 智能体有准确性测试和批准流程。级别 3 智能体有按工具的断路器、按租户的隔离,以及可按工具名称和时间范围查询的审计追踪。当供应商目录模块开始返回不一致的可用性数据时,运营人员通过配置禁用该模块。智能体路由到回退目录,被禁用模块的近期调用从审计追踪中被查询以供调查,而智能体全程保持在线。该构建是四步法的第 2-4 阶段,通常在 5-8 周内上线。
申请一次限定范围的构建。 一周发现。你会得到一份系统清单、一张工作流程图和一个固定范围——无论你是否与我们一起构建。
想为您的系统构建这个吗?
这里的每份文档都来自真实的生产工作。如果您有目标系统和工作流想法,我们可以在一周内确定范围。
申请定制开发为期一周的发现阶段。您会拿到系统清单、工作流地图和固定范围——无论您最终是否与我们合作开发。