安全模型¶
English | 中文
Agent 安全不只是模型安全。攻击面包括模型、上下文、工具、身份、网络、供应链和人类审批 路径。
本页是架构层面的实用威胁模型,不替代产品的 SECURITY.md。
威胁与控制¶
| 威胁 | 表现 | 主要控制 |
|---|---|---|
| 提示注入 | 不可信内容指示 Agent 忽略策略或泄露数据 | 把检索内容当数据;控制与上下文分离;策略放在提示词之外 |
| 工具滥用 | Agent 调用破坏性或过宽工具 | 能力白名单、最小权限、沙箱、审批 |
| 凭据泄露 | 密钥出现在提示、日志或模型调用中 | 网关注入凭据、秘密脱敏、受限令牌 |
| 数据外泄 | Agent 把敏感数据发往外部端点 | 出口网关、目标白名单、DLP 风格策略 |
| 委托失控 | 权限跨 Agent 放大或形成循环 | 范围衰减、委托限制、撤销、循环边界 |
| 供应链入侵 | 技能、插件或产物被篡改 | 签名、溯源、SBOM、白名单仓库 |
| Agent 蠕虫 | 恶意指令或行动跨 Agent 传播 | 分段、身份、签名指令、监控、隔离 |
| 模型供应链 | 模型或适配器行为与预期不同 | 提供商治理、评估、语义认证、回滚 |
| 钱包拒绝服务 | Agent 消耗无限 token 或工具调用 | 预算、速率限制、步数限制、路由策略 |
| 物理不安全行动 | 机器人或边缘 Agent 超出包络 | 任务边界、联锁、仿真、人类接管 |
Agent 蠕虫¶
论文 A Four-Layer Taxonomy of AI Agent Worm Propagation 提出了对恶意行为如何在 Agent 系统中传播的分类方法。把它作为威胁建模辅助:识别传播层,然后在那一层设计隔离。
通用安全原则仍然适用:
- 按信任域分段;
- 要求 Agent 间交互有身份;
- 签名并验证指令与产物;
- 限制委托与递归;
- 监控异常传播;
- 让隔离与撤销足够快。
控制与架构映射¶
| 边界 | 控制 | AxisVela 模式 |
|---|---|---|
| 身份 | 工作负载身份、持有证明 | EIDOVELA、NOMIVELA |
| 授权 | 策略决定与 PEP 执行 | AEGIVELA |
| 能力 | 白名单、元数据、调用审计 | MODUREGIS |
| 执行 | 沙箱、步数限制、预算 | PRAXOVELA、PRAXO-CORE |
| 网络 | 出口白名单、凭据注入 | LIMENORA |
| 产物 | 签名、溯源、验证 | SYNDOVELA、TEKMOVELA |
| 人类 | 审批、干预、撤销 | SYMBIVELA |
| 证据 | 防篡改记录 | 效果账本、流程历史、验证证据包 |
安全评审清单¶
- Agent 能读什么,数据来自哪里?
- Agent 能调用什么,爆炸半径多大?
- 凭据存在哪里、如何注入?
- Agent 能到达哪些目标?
- 权限能否委托?是否衰减、可撤销?
- 检索内容恶意时会发生什么?
- 什么被签名,什么验证签名?
- 预算与步数限制是什么?
- 人类能否快速停止 Agent?
- 事件后有什么证据?
- 是否在对抗条件下测试过行为?
- 模型、策略、技能变更是否有回滚路径?
要点¶
- 控制与上下文分离;提示词不是安全边界。
- 把执行放在攻击者必须跨越的边界。
- 假设委托会被滥用;设计衰减与撤销。
- 把 Agent 当作供应链与身份问题,而不只是模型问题。
- 证据是安全控制:它支持检测、响应与学习。