测试证据规范¶
状态: 2026-10-29 文档规范,定义新增验证声明所需记录,不表示现有脚本已强制执行。 历史记录保持历史属性,不得用猜测补齐当时环境和结果。
范围与状态¶
每次验证必须记录环境、配置、过程、数据、结果和发现。测试套件可以共享公共背景,但每个场景 都必须关联输入、断言、状态和产物。测试 execution ID 与 Agent run ID、业务幂等键分别管理。
区分 passed、failed、skipped、blocked、not-run;结构检查单独标记,不能当作执行测试。
命令退出码不能证明必要断言和场景已经执行。缺少工具、凭证、服务或必要证据不能算通过。
执行前固定必要场景清单。严格验收要求所有必要场景及其证据通过;必要场景被跳过、缺失或阻塞时, 验收不满足。可选排除项也要明确报告。重试作为独立 attempt,保留首次失败,不能以成功覆盖。
必填记录¶
| 部分 | 必填内容 |
|---|---|
| 身份与范围 | 唯一 execution ID、UTC 起止、目的、测试层级、必要场景清单、适合披露的操作者或自动化身份 |
| 版本 | 仓库 URL、完整 SHA、tag/包版本、干净或脏状态及适用的补丁产物、实际依赖解析与 replace、二进制/镜像摘要 |
| 环境 | OS/架构、runtime/编译器、适用的 CPU/内存、容器/VM 与隔离模式、数据库/provider/model 版本、拓扑和网络/代理/TLS 条件 |
| 配置 | 准确命令和工作目录、脱敏后的生效配置、功能开关、超时/并发/重试/预算/资源限制、凭证来源和非敏感权限范围 |
| 过程 | 前置条件、构建/安装、初始化、健康检查、执行步骤、故障注入、验证查询、清理及偏离步骤 |
| 数据 | fixture/生成器版本、随机种子和输入摘要、脱敏样本、初始状态、预期输出/效果、命名空间/操作标识、隔离和重置规则 |
| 结果 | 实际输出/效果、逐断言预期与实测、退出码、逐场景状态、通过/失败/跳过/阻塞/未运行数量、产物引用 |
| 发现 | 复现缺陷、异常、限制、剩余风险、问题引用、处置和复验要求 |
| 证据 | 产物路径/URI、类型、字节数、SHA-256、来源 execution ID、访问/保留策略、脱敏说明、适用的审阅者与审阅状态 |
真实模型/provider 测试还要记录端点类型、模型标识、采样设置、可安全披露的请求 ID 和非确定性。 仅记录可观察版本;未知项明确写未知,不从请求成功推断服务端构建或生产属性。
证据完整性¶
每次运行使用独立输出目录。只聚合本次 execution 和选定场景的产物,旧 .local-data 文件不属于
本次证据。保留原始 attempt ID 和时间戳,不能在本次失败、跳过或仅结构检查后展示历史成功。
跨仓库运行记录实际使用的源码/二进制,不能只抄 go.mod 等 manifest 声明。
固定发布版本消费和本地源码集成分别记录;用验证矩阵关联证据,不在每个仓库重复复制测试。
哈希只能证明相对于已记录摘要的完整性,不能证明独立运行或结果正确。作者运行、独立复现和 生产观察分别标记。产物不可获取时,只按现有摘要声明,并说明复现缺口。
隐私与保留¶
不得公开 token、私钥、连接密码、租户数据或未经批准的个人信息。记录凭证引用和权限类别, 不记录凭证值。公开记录使用合成数据和获准公开的主机名。发布前检查日志、命令、环境导出和 数据库导出,不能仅依赖自动 PII middleware。
受限原始产物存放在获准、受访问控制且有保留期限的位置。脱敏产物单独发布并计算独立摘要; 说明脱敏但不泄露删除值。不得声称脱敏文件与原件字节相同,也不能通过低熵秘密值的哈希泄密。
运行记录模板¶
# 验证记录:<execution-id>
## 范围
目的、UTC 起止、作者/自动化、测试层级、必要场景 ID。
验收:satisfied / unsatisfied / not-evaluated。
## 环境
OS、架构、runtime、服务、拓扑、隔离和资源限制。
## 版本与配置
完整 SHA、脏状态、二进制摘要、依赖替换、脱敏生效配置、凭证引用、准确命令和工作目录。
## 过程
准备、初始状态、健康检查、执行顺序、故障注入、验证查询、清理、偏差、attempt ID。
## 数据
fixture/生成器版本、种子、输入摘要、合成样本、预期效果、操作 ID、隔离和重置方式。
## 结果
场景 | 是否必要 | 预期/断言 | 实测 | 状态 | 产物
统计:passed / failed / skipped / blocked / not-run;另列结构检查。
## 发现
缺陷、未知项、剩余风险、问题链接、处置、复验条件。
仅在相关检查实际执行后使用“本范围内未观察到问题”。
## 产物与审阅
URI/路径、execution ID、SHA-256、字节数、脱敏、访问和保留期限。
审阅状态/审阅者、独立复现状态、结论边界。