Gartner预测:40%企业因治理缺陷将在2027年前撤消自主AI代理

Gartner近日发布报告指出,到2027年,40%的企业将不得不撤消或降级其自主AI代理,原因是在AI治理框架上存在尚未暴露的漏洞,而这些漏洞往往只有在安全事件发生后才被发现。

报告认为,当前企业在管理AI代理时普遍采取两种极端方式:要么完全锁定,禁止任何写入操作;要么完全信任,赋予过高权限。这两种“一刀切”的策略均暗藏风险。过度信任可能导致代理访问本不应触及的核心系统,而过度严格的限制则可能迫使员工转向未经IT部门批准的工具,从而扩大数据泄露风险。

AI代理治理框架示意图
Gartner提出的AI代理访问控制四阶段框架

分层访问控制框架

为帮助企业建立更精细化的AI治理体系,Gartner提出了一个四阶段访问控制框架,建议企业根据AI代理的自主程度逐步授权:

级别1:观察(Observe)。AI代理获得对指定数据源的只读访问权限,输出内容仅限提出请求的用户查看。

级别2:建议(Advise)。代理可以生成推荐或行动方案,但必须由人工逐条审核,代理仍不具备系统写入权限。

级别3:批准后执行(Act with Approval)。代理能够执行操作、写入数据及发送通信,但每一次行动均需获得明确的人工批准。

级别4:完全自主(Act Autonomously)。代理独立完成任务,人工仅在异常、审计日志和汇总层面介入。Gartner高级总监分析师Shiva Varma解释,由于结果责任仍由企业承担,该级别需要最严格的治理,包括持续监控、强制护栏、快速回滚机制、在阈值违规时停止代理的断路器,以及代理行为的明确所有权。

Gartner的报告旨在提醒企业,若在AI代理的读写权限设计上缺乏周全考虑,贸然追求自主化可能在安全方面付出代价。通过循序渐进、以治理为先的策略,企业可以避免事后被迫撤消代理的被动局面。

本文参考来源:TechRadar



微信扫描下方的二维码阅读本文

Gartner预测:40%企业因治理缺陷将在2027年前撤消自主AI代理 -

发表回复