验证与仿真¶
English | 中文
概率系统不能靠一次通过来认证。本指南用 TEKMOVELA 做验证， 用 PEIRAVELA 做仿真。
1. 定义可观测行为¶
从可检查的验收标准开始：
- 需要什么输出；
- 什么绝不能发生；
- 允许多大容差；
- 什么证据算证明。
避免“答案很好”这类标准。定义可观测行为与评估方法。
2. 写验证契约¶
验证契约把意图变成可测试陈述。它应包括：
- 场景；
- 前置条件；
- 步骤；
- 预期观测；
- 失败条件；
- 要保留的证据。
TEKMOVELA 的模型围绕契约、受治理测试装置与追踪关联证据构建。
3. 让测试可复现¶
- 固定模型与端点；
- 固定提示与工具版本；
- 尽可能控制随机性；
- 记录种子；
- 隔离外部依赖；
- 版本化测试数据。
依赖线上第三方系统的测试不可复现。
4. 测试分布，而不是一条轨迹¶
按照 PPES 的视角，行为是概率性的。多次运行契约并测量：
- 成功率与置信区间；
- 失败模式及其频率；
- 成本与延迟分布；
- 对提示、模型、上下文变化的敏感性。
一次绿色运行是一个数据点，不是保证。
5. 上线前仿真¶
对高风险变更使用 PEIRAVELA：
- 定义世界与场景；
- 改变扰动与控制；
- 运行可复现矩阵；
- 保留完整溯源证据；
- 跨版本比较结果。
仿真对物理自治、策略变更与恢复策略尤其重要。
6. 发布门禁¶
发布门禁应回答：
- 哪些契约通过，统计置信度多少？
- 自上次验证版本以来改了什么？
- 什么证据支持决定？
- 回滚路径是什么？
- 谁批准了例外？
验证清单¶
- [ ] 验收标准可观测、可测试。
- [ ] 契约已版本化。
- [ ] 环境已固定。
- [ ] 测试重复足够支持分布主张。
- [ ] 失败模式已分类。
- [ ] 证据被保留并关联。
- [ ] 模型或策略变更触发重新验证。
- [ ] 发布有回滚路径。
反模式¶
- 只跑一次快乐路径。
- 测试提示而不是行为。
- 改变模型但不重跑契约。
- 没有溯源的仿真。
- 可被静默绕过的门禁。