Skip to content

安全模型

English | 中文

Agent 安全不只是模型安全。攻击面包括模型、上下文、工具、身份、网络、供应链和人类审批 路径。

本页是架构层面的实用威胁模型,不替代产品的 SECURITY.md。

威胁与控制

威胁 表现 主要控制
提示注入 不可信内容指示 Agent 忽略策略或泄露数据 把检索内容当数据;控制与上下文分离;策略放在提示词之外
工具滥用 Agent 调用破坏性或过宽工具 能力白名单、最小权限、沙箱、审批
凭据泄露 密钥出现在提示、日志或模型调用中 网关注入凭据、秘密脱敏、受限令牌
数据外泄 Agent 把敏感数据发往外部端点 出口网关、目标白名单、DLP 风格策略
委托失控 权限跨 Agent 放大或形成循环 范围衰减、委托限制、撤销、循环边界
供应链入侵 技能、插件或产物被篡改 签名、溯源、SBOM、白名单仓库
Agent 蠕虫 恶意指令或行动跨 Agent 传播 分段、身份、签名指令、监控、隔离
模型供应链 模型或适配器行为与预期不同 提供商治理、评估、语义认证、回滚
钱包拒绝服务 Agent 消耗无限 token 或工具调用 预算、速率限制、步数限制、路由策略
物理不安全行动 机器人或边缘 Agent 超出包络 任务边界、联锁、仿真、人类接管

Agent 蠕虫

论文 A Four-Layer Taxonomy of AI Agent Worm Propagation 提出了对恶意行为如何在 Agent 系统中传播的分类方法。把它作为威胁建模辅助:识别传播层,然后在那一层设计隔离。

通用安全原则仍然适用:

  • 按信任域分段;
  • 要求 Agent 间交互有身份;
  • 签名并验证指令与产物;
  • 限制委托与递归;
  • 监控异常传播;
  • 让隔离与撤销足够快。

控制与架构映射

边界 控制 AxisVela 模式
身份 工作负载身份、持有证明 EIDOVELA、NOMIVELA
授权 策略决定与 PEP 执行 AEGIVELA
能力 白名单、元数据、调用审计 MODUREGIS
执行 沙箱、步数限制、预算 PRAXOVELA、PRAXO-CORE
网络 出口白名单、凭据注入 LIMENORA
产物 签名、溯源、验证 SYNDOVELA、TEKMOVELA
人类 审批、干预、撤销 SYMBIVELA
证据 防篡改记录 效果账本、流程历史、验证证据包

安全评审清单

  1. Agent 能读什么,数据来自哪里?
  2. Agent 能调用什么,爆炸半径多大?
  3. 凭据存在哪里、如何注入?
  4. Agent 能到达哪些目标?
  5. 权限能否委托?是否衰减、可撤销?
  6. 检索内容恶意时会发生什么?
  7. 什么被签名,什么验证签名?
  8. 预算与步数限制是什么?
  9. 人类能否快速停止 Agent?
  10. 事件后有什么证据?
  11. 是否在对抗条件下测试过行为?
  12. 模型、策略、技能变更是否有回滚路径?

要点

  • 控制与上下文分离;提示词不是安全边界。
  • 把执行放在攻击者必须跨越的边界。
  • 假设委托会被滥用;设计衰减与撤销。
  • 把 Agent 当作供应链与身份问题,而不只是模型问题。
  • 证据是安全控制:它支持检测、响应与学习。