跳转至

测试证据规范

状态: 2026-10-29 文档规范,定义新增验证声明所需记录,不表示现有脚本已强制执行。 历史记录保持历史属性,不得用猜测补齐当时环境和结果。

范围与状态

每次验证必须记录环境、配置、过程、数据、结果和发现。测试套件可以共享公共背景,但每个场景 都必须关联输入、断言、状态和产物。测试 execution ID 与 Agent run ID、业务幂等键分别管理。

区分 passed、failed、skipped、blocked、not-run;结构检查单独标记,不能当作执行测试。 命令退出码不能证明必要断言和场景已经执行。缺少工具、凭证、服务或必要证据不能算通过。

执行前固定必要场景清单。严格验收要求所有必要场景及其证据通过;必要场景被跳过、缺失或阻塞时, 验收不满足。可选排除项也要明确报告。重试作为独立 attempt,保留首次失败,不能以成功覆盖。

必填记录

部分 必填内容
身份与范围 唯一 execution ID、UTC 起止、目的、测试层级、必要场景清单、适合披露的操作者或自动化身份
版本 仓库 URL、完整 SHA、tag/包版本、干净或脏状态及适用的补丁产物、实际依赖解析与 replace、二进制/镜像摘要
环境 OS/架构、runtime/编译器、适用的 CPU/内存、容器/VM 与隔离模式、数据库/provider/model 版本、拓扑和网络/代理/TLS 条件
配置 准确命令和工作目录、脱敏后的生效配置、功能开关、超时/并发/重试/预算/资源限制、凭证来源和非敏感权限范围
过程 前置条件、构建/安装、初始化、健康检查、执行步骤、故障注入、验证查询、清理及偏离步骤
数据 fixture/生成器版本、随机种子和输入摘要、脱敏样本、初始状态、预期输出/效果、命名空间/操作标识、隔离和重置规则
结果 实际输出/效果、逐断言预期与实测、退出码、逐场景状态、通过/失败/跳过/阻塞/未运行数量、产物引用
发现 复现缺陷、异常、限制、剩余风险、问题引用、处置和复验要求
证据 产物路径/URI、类型、字节数、SHA-256、来源 execution ID、访问/保留策略、脱敏说明、适用的审阅者与审阅状态

真实模型/provider 测试还要记录端点类型、模型标识、采样设置、可安全披露的请求 ID 和非确定性。 仅记录可观察版本;未知项明确写未知,不从请求成功推断服务端构建或生产属性。

证据完整性

每次运行使用独立输出目录。只聚合本次 execution 和选定场景的产物,旧 .local-data 文件不属于 本次证据。保留原始 attempt ID 和时间戳,不能在本次失败、跳过或仅结构检查后展示历史成功。

跨仓库运行记录实际使用的源码/二进制,不能只抄 go.mod 等 manifest 声明。 固定发布版本消费和本地源码集成分别记录;用验证矩阵关联证据,不在每个仓库重复复制测试。

哈希只能证明相对于已记录摘要的完整性,不能证明独立运行或结果正确。作者运行、独立复现和 生产观察分别标记。产物不可获取时,只按现有摘要声明,并说明复现缺口。

隐私与保留

不得公开 token、私钥、连接密码、租户数据或未经批准的个人信息。记录凭证引用和权限类别, 不记录凭证值。公开记录使用合成数据和获准公开的主机名。发布前检查日志、命令、环境导出和 数据库导出,不能仅依赖自动 PII middleware。

受限原始产物存放在获准、受访问控制且有保留期限的位置。脱敏产物单独发布并计算独立摘要; 说明脱敏但不泄露删除值。不得声称脱敏文件与原件字节相同,也不能通过低熵秘密值的哈希泄密。

运行记录模板

# 验证记录:<execution-id>

## 范围
目的、UTC 起止、作者/自动化、测试层级、必要场景 ID。
验收:satisfied / unsatisfied / not-evaluated。

## 环境
OS、架构、runtime、服务、拓扑、隔离和资源限制。

## 版本与配置
完整 SHA、脏状态、二进制摘要、依赖替换、脱敏生效配置、凭证引用、准确命令和工作目录。

## 过程
准备、初始状态、健康检查、执行顺序、故障注入、验证查询、清理、偏差、attempt ID。

## 数据
fixture/生成器版本、种子、输入摘要、合成样本、预期效果、操作 ID、隔离和重置方式。

## 结果
场景 | 是否必要 | 预期/断言 | 实测 | 状态 | 产物
统计:passed / failed / skipped / blocked / not-run;另列结构检查。

## 发现
缺陷、未知项、剩余风险、问题链接、处置、复验条件。
仅在相关检查实际执行后使用“本范围内未观察到问题”。

## 产物与审阅
URI/路径、execution ID、SHA-256、字节数、脱敏、访问和保留期限。
审阅状态/审阅者、独立复现状态、结论边界。