网络安全 频道

微软确定了人工智能代理被入侵的七种新方式

  你越审视人工智能代理,它们似乎就越可能出错。因此,微软扩展了其故障模式分类,以帮助讨论可能的修复方法。

  除了去年在第一版《代理人工智能系统故障模式分类》中已确定的故障模式之外,微软又新发现了代理人工智能系统中的七种故障模式。

  有四个因素促成了代理人工智能可能出现问题的场景不断增加:技术成为主流的速度;模型上下文协议(MCP)生态系统的日益成熟;计算机使用代理(CUA)的兴起;以及随着研究人员在现实场景中获得更多发现,所积累的经验证据也在不断增多。

  微软新确定的七种故障模式如下:

  1. 代理供应链妥协——代理的行为可能受到自然语言的操控,而非恶意代码。

  2. 目标劫持——对抗性指令表面上与合法任务目标一致,但实际上在暗中重定向代理的最终目标。

  3. 代理间信任升级——被入侵的代理谎报身份或向编排器夸大自身权限。

  4. 计算机使用代理(CUA)视觉攻击——通过图形界面进行操作的代理,可能因屏幕上显示的对代理具有对抗性的内容而受到攻击。

  5. 会话上下文污染——攻击者注入的数据在后续步骤中影响代理的推理过程,而不会在任何单个步骤中触发安全控制机制。

  6. MCP/插件滥用——这是在原始分类法基础上,针对MCP和插件协议的功能性入侵所作的补充更新,特别关注这些协议特有的攻击面。

  7. 能力/架构披露——代理泄露了内部实现细节,例如工具名称及其模式、系统提示结构、内存接口,或者“需人类确认/人在回路”的触发逻辑。

  微软建议安全团队利用这些定义来指导他们的规划工作,具体包括:全面盘点供应链;为每个部署的代理生成软件物料清单(SBOM);在配置时颁发可证明的凭证,以加密方式(而非仅靠位置)验证代理身份;将这七种新故障模式纳入红队测试覆盖矩阵;以及将人工用户体验环节作为安全控制措施进行审计。

0
相关文章