能动性与控制¶
English | 中文
能动性(agency) 是朝目标行动的能力。自主性(autonomy) 是 Agent 在没有外部干预时 选择与修改行动的程度。控制(control) 是约束这些行动的规则集合。
三者相关但不相同。系统可以高度能动但被严格控制(治理良好的 Agent),也可以能动性很弱 但控制很差(拥有宽泛凭据的脚本)。
控制不是知识¶
策略可以被写下来、在提示词里描述,或表示在模型上下文中。这些都不执行策略。执行需要 架构机制:策略决定点、沙箱、能力白名单、网关或审批路径。
这是 DIKCA 的核心区分:知识回答“什么是事实”,控制回答“允许做什么”。
元控制¶
最高级别的自主性是元控制:修改自身控制结构的能力。能改变自身策略、能力或计划的 Agent 就在行使元控制。
元控制不是可以随意开启的功能。它需要:
- 约束可变更范围的架构;
- 职责分离;
- 变更证据;
- 变更后的重新验证;
- 撤销变更的能力。
一个实用区分¶
| 问题 | 概念 |
|---|---|
| 系统能追求目标吗? | 能动性 |
| 它能选择自己的步骤吗? | 自主性 |
| 什么约束这些步骤? | 控制 |
| 它能改变约束吗? | 元控制 |
| 谁负责? | 治理 |
为什么重要¶
- 不说明边界的“自主”是营销,不是架构。
- 增加控制不一定增加安全;设计糟糕的控制可能破坏稳定(见 UAD)。
- 正确的问题不是“它有多自主”,而是“它能做什么、什么阻止它、什么证明它”。