Gartner在一份最新报告中发出警告,由于治理框架存在缺陷,到2027年全球将有高达40%的企业不得不撤销或降级其自主AI代理(autonomous AI agents)。这些缺陷往往只有在安全事件发生后才会暴露,但届时企业可能已陷入被动。

Gartner指出,当前企业在AI代理的治理上普遍采用“二元化”策略——要么完全锁定,限制所有操作;要么完全信任,赋予代理过高的系统权限。这种非黑即白的管控方式正是问题的根源所在。报告进一步揭示,这种策略实际上会带来双重风险:一方面,过度信任使得代理能够访问原本不应触及的系统,可能导致数据泄露或误操作;另一方面,过于严格的政策会迫使人类员工绕开官方工具,转而使用未经审核的第三方应用,反而扩大了数据暴露面。
分级治理框架:从观察到自主的四个层级
为了帮助企业建立更精细的访问控制,Gartner提出了一个四阶段的治理框架,让企业根据业务需求和安全要求逐步放开权限。
Level 1:观察(Observe)
该级别赋予AI代理对指定数据源的只读访问权限,输出结果仅限请求用户查看。这是最安全的起步阶段,适合代理仅用于信息检索的场景。
Level 2:建议(Advise)
在只读基础上,代理可以生成建议或推荐操作,但所有结果必须经过人工审核。代理仍不具备对系统的写入权限,确保每一项决策都有人为把关。
Level 3:经批准后行动(Act with Approval)
代理获得完整的读写权限,能够执行操作、写入数据甚至发送通信,但每一次行动都必须事先获得人类明确批准。该级别在效率与控制之间取得平衡。
Level 4:完全自主(Act Autonomously)
这是代理能力最大化的阶段,可以独立执行任务,人类仅在异常、审计日志和汇总结果层面介入。Gartner高级总监分析师Shiva Varma强调:“由于组织仍需对结果负责,这一级别要求最严格的治理,包括持续监控、强制护栏、快速回滚机制、阈值违规时自动切断代理运行的断路器,以及对代理行为的明确所有权。”只有具备上述条件的企业,才适合进入该阶段。
核心要义:避免匆忙推进自主化
Gartner的报告本质上是在提醒企业,若在未充分明确AI代理读写权限的前提下匆忙推进自主化,后续可能面临严重的安全隐患。采取渐进式、基于层级的治理策略,企业可以完全避免被迫撤销代理的被动局面。
本文参考来源:TechRadar
微信扫描下方的二维码阅读本文


