Gartner警告:缺乏AI治理或致2027年四成企业撤销自主AI代理

Gartner警告,到2027年全球40%企业或因治理缺陷被迫撤销或降级自主AI代理。报告指出企业当前二元化管控是根本问题,并提出从观察到完全自主的四级治理框架,帮助企业平衡效率与安全。

Gartner在一份最新报告中发出警告,由于治理框架存在缺陷,到2027年全球将有高达40%的企业不得不撤销或降级其自主AI代理(autonomous AI agents)。这些缺陷往往只有在安全事件发生后才会暴露,但届时企业可能已陷入被动。

Gartner报告指出缺乏AI治理可能导致企业撤回自主AI代理
Gartner报告指出缺乏AI治理可能导致企业撤回自主AI代理

Gartner指出,当前企业在AI代理的治理上普遍采用“二元化”策略——要么完全锁定,限制所有操作;要么完全信任,赋予代理过高的系统权限。这种非黑即白的管控方式正是问题的根源所在。报告进一步揭示,这种策略实际上会带来双重风险:一方面,过度信任使得代理能够访问原本不应触及的系统,可能导致数据泄露或误操作;另一方面,过于严格的政策会迫使人类员工绕开官方工具,转而使用未经审核的第三方应用,反而扩大了数据暴露面。

分级治理框架:从观察到自主的四个层级

为了帮助企业建立更精细的访问控制,Gartner提出了一个四阶段的治理框架,让企业根据业务需求和安全要求逐步放开权限。

Level 1:观察(Observe)

该级别赋予AI代理对指定数据源的只读访问权限,输出结果仅限请求用户查看。这是最安全的起步阶段,适合代理仅用于信息检索的场景。

Level 2:建议(Advise)

在只读基础上,代理可以生成建议或推荐操作,但所有结果必须经过人工审核。代理仍不具备对系统的写入权限,确保每一项决策都有人为把关。

Level 3:经批准后行动(Act with Approval)

代理获得完整的读写权限,能够执行操作、写入数据甚至发送通信,但每一次行动都必须事先获得人类明确批准。该级别在效率与控制之间取得平衡。

Level 4:完全自主(Act Autonomously)

这是代理能力最大化的阶段,可以独立执行任务,人类仅在异常、审计日志和汇总结果层面介入。Gartner高级总监分析师Shiva Varma强调:“由于组织仍需对结果负责,这一级别要求最严格的治理,包括持续监控、强制护栏、快速回滚机制、阈值违规时自动切断代理运行的断路器,以及对代理行为的明确所有权。”只有具备上述条件的企业,才适合进入该阶段。

核心要义:避免匆忙推进自主化

Gartner的报告本质上是在提醒企业,若在未充分明确AI代理读写权限的前提下匆忙推进自主化,后续可能面临严重的安全隐患。采取渐进式、基于层级的治理策略,企业可以完全避免被迫撤销代理的被动局面。

本文参考来源:TechRadar



微信扫描下方的二维码阅读本文

Gartner警告:缺乏AI治理或致2027年四成企业撤销自主AI代理 - AI治理, Gartner, Shiva Varma, TechRadar, 代理访问控制, 企业AI风险管理, 自主AI代理

发表回复