Skip to content

能动性与控制

English | 中文

能动性(agency) 是朝目标行动的能力。自主性(autonomy) 是 Agent 在没有外部干预时 选择与修改行动的程度。控制(control) 是约束这些行动的规则集合。

三者相关但不相同。系统可以高度能动但被严格控制(治理良好的 Agent),也可以能动性很弱 但控制很差(拥有宽泛凭据的脚本)。

控制不是知识

策略可以被写下来、在提示词里描述,或表示在模型上下文中。这些都不执行策略。执行需要 架构机制:策略决定点、沙箱、能力白名单、网关或审批路径。

这是 DIKCA 的核心区分:知识回答“什么是事实”,控制回答“允许做什么”。

元控制

最高级别的自主性是元控制:修改自身控制结构的能力。能改变自身策略、能力或计划的 Agent 就在行使元控制。

元控制不是可以随意开启的功能。它需要:

  • 约束可变更范围的架构;
  • 职责分离;
  • 变更证据;
  • 变更后的重新验证;
  • 撤销变更的能力。

一个实用区分

问题 概念
系统能追求目标吗? 能动性
它能选择自己的步骤吗? 自主性
什么约束这些步骤? 控制
它能改变约束吗? 元控制
谁负责? 治理

为什么重要

  • 不说明边界的“自主”是营销,不是架构。
  • 增加控制不一定增加安全;设计糟糕的控制可能破坏稳定(见 UAD)。
  • 正确的问题不是“它有多自主”,而是“它能做什么、什么阻止它、什么证明它”。

相关