Skip to content

PPES:概率程序执行语义

English | 中文

来源: Huiwen Han, Probabilistic Program Execution Semantics for Foundation Models (2026), doi:10.2139/ssrn.7063738; PPES: A Probabilistic Execution Semantics for Foundation Models (Authorea, 2026), doi:10.22541/au.177212176.67413084/v2。

基础模型不是确定性解释器,而是具有可观测输出和隐藏潜状态的概率执行引擎。

经典语义的问题

经典程序语义假设程序通过显式控制流把输入映射为输出。这个假设支撑了调试、测试和验证。 基础模型系统违反它:

  • 同一提示可能产生不同输出;
  • 行为依赖隐藏状态(例如 KV cache);
  • “程序”分布在权重、提示、上下文和运行时策略中;
  • 正确性是分布性的,不是单条轨迹。

把这类系统当作经典程序,会产生误导性的保证。

PPES 视角

PPES 把基础模型解释为概率解释器:

  • 运行时程序对应提示;
  • 执行状态包含可观测输出与潜变量;
  • 转移由学习到的马尔可夫核控制;
  • 执行在推理时解析,这是经典计算中没有的语义阶段。

形式化发展使用可测空间和概率核,证明终止性、轨迹单调性、参数扰动下的 Lipschitz 连续性, 以及潜状态的马尔可夫性。它还建立了语义不可约性:仅可观测的抽象无法完全捕捉系统。

为什么重要

  • 验证必须是分布性的。 一次通过是很弱的证据。你需要分布、重复试验和统计主张。
  • 提示等价是语义问题。 两个提示看起来相似不代表等价;它们只在某个可观测行为和容差下 等价。
  • 模型更新需要语义认证。 新模型版本可以改变分布而不改变接口。
  • 潜状态重要。 缓存、上下文和运行时状态是执行语义的一部分,不是实现细节。

与 AxisVela 的映射

  • TEKMOVELA 把验收标准变成验证契约和可复现测试——分布验证的 工程对应物。
  • PEIRAVELA 在场景 × 扰动 × 控制 × 种子的矩阵上运行受治理实验, 产生可跨模型或策略变更比较的证据。
  • NOETIVELA 让模型/端点选择显式化;当行为是执行分布的属性时, 这是必要的。

要点

  • 不要用一次运行宣称正确。
  • 测试前定义可观测行为和容差。
  • 把模型变更视为需要重新验证的语义变更。
  • 把潜状态和运行时状态纳入证据模型。