Phase 05 / AI-Native QA Engineering 03

AI 测试工作流编排与人机协作教程

把需求分析、候选生成、机器检查、人工裁决、执行、回归和报告连接成一条可以恢复、审计和持续改进的测试工作流。

11 个章节Workflow + Human Gate机器门禁 + 人工审核

目标不是生成更多文字，而是生产可信测试资产

候选不等于正式

一次对话为什么不够

缺口	表现	工程解法
输入不完整	漏表格、旧规则混入或图片文字未提取	先做元素计数、证据分层和来源 ID
过程不可追	不知道哪条规则产生哪条用例	rule_id → risk_id → case_id 全链路映射
质量不可控	格式漂亮但业务错误、重复或编造	确定性 Check + 风险分层人工审核
中断不可恢复	上下文丢失后只能重新生成	每一步产物落盘并设置检查点
版本不可复用	每次面对旧用例重新开始	新增、复用、修改、回归和废弃分开记录

AI 输出的第一版统一叫“候选资产”。只有证据、机器检查、人工裁决和版本记录齐全后，才能进入正式测试库。

先证明输入完整，再启动工作流

文档是证据

材料进入模型前的五步

原始材料DOCX / PDF / 图片

元素提取正文 / 表格 / 图片

结构重建章节 / 页码 / 顺序

完整性检查计数 / 抽样 / 差异

证据注册source_id / version

材料证据层级

层级	作用	处理原则
当前权威规则	决定本版本预期	优先完整保留，不能被摘要或历史覆盖
已确认接口与实现	解释约束和可观察结果	只读取命中规则的相关部分
历史缺陷与旧用例	提示风险和回归点	只作为参考，不直接变成当前预期
待确认记录	暴露材料缺口与冲突	指定负责人和关闭条件

SRS 提取验收

源文档与结构化结果的段落、表格、图片数量能够对账。
表格保留行列关系，图片 OCR 结果不能覆盖原始证据。
金额、时限、状态和权限等高风险章节必须抽样回看。
空白、格式不支持或提取失败时明确报错，不能静默跳过。

把测试工作拆成可验收、可恢复的节点

一步一产物

测试资产生产流程

步骤	AI 负责	人工负责	正式产物
规则提取	逐条提取并保留来源	确认歧义和测试边界	规则注册表、待确认项
测试点与风险	组合正常、异常、边界、权限和历史模式	判断风险是否适用	测试点、风险与回归点
候选用例	按规则和风险生成结构化草稿	抽查业务、数据与优先级	候选用例批次
机器门禁	执行 Schema、覆盖、冲突和重复检查	判断告警是否需要修订	检查报告
人工审核	聚类差异、提供证据摘要	接受、修改、拒绝或待确认	审核账本
版本沉淀	汇总新增、复用、修改、回归和废弃	决定进入哪个资产层	版本总结与正式库

任务拆开后，任何一步失败都能判断是输入漏了、风险没识别、生成失真，还是审核规则不清；不需要把整批内容重新生成。

让 AI、脚本和人工各自做擅长的判断

人机分工先于自动化

工作流职责矩阵

角色	适合负责	不能单独决定
AI	材料归纳、候选生成、相似项聚类和证据摘要	业务争议、高风险授权和正式发布
确定性脚本	Schema、字段、覆盖映射、重复、敏感信息和分布检查	复杂业务语义和风险接受
测试工程师	风险判断、业务裁决、抽样审核和发布建议	绕过审批直接修改生产数据
业务负责人	需求歧义、资金权限规则和风险接受	替代技术证据判断执行结果

一次完整交付

AI候选提取与生成

脚本门禁结构与规则

人工裁决业务与风险

自动执行安全沙箱

结果回流缺陷与资产

节点之间用固定产物交接

脚本和人都能消费

候选用例最小字段

字段	约束
case_id / batch_id	版本和批次内唯一，可反查原始候选
rule_ids / risk_ids	至少关联一条规则或风险来源
title	采用“当……时，……”并包含可观察结果
precondition	账号、状态、数据量和环境明确
steps / expected	步骤可重复，预期有证据且可以判定
priority	依据业务损失，不依据编写难度
source	新增、复用、修改、回归或废弃
questions	不确定内容进入待确认，不能混入断言

候选用例结构示意

{
  "case_id": "LOGIN-047",
  "rule_ids": ["RULE-AUTH-03"],
  "title": "当已退出用户重放旧 Token 时，接口拒绝且会话不恢复",
  "priority": "P0",
  "source": "new",
  "questions": []
}

机器 Check 只处理确定性问题

快筛，不替业务裁决

五道机器门禁

门禁	检查	失败动作
Schema	必填字段、枚举、长度和未知字段	结构失败直接退回
证据冲突	金额、状态、时限、权限与规则注册表比对	标记冲突，禁止自动改写
需求追溯	每条确定规则是否至少有一条证据用例	输出未覆盖规则并阻断定稿
重复与孤立	语义相似、无来源、废弃残留和编号重复	进入人工合并或补来源
安全与分布	真实隐私、生产操作、优先级异常分布	硬失败或人工复核

“规则覆盖率 100%”只说明登记的规则都有用例，不代表规则注册表没有漏模块。覆盖数字永远要和人工风险评审一起解释。

人工把候选结果变成正式资产

按证据裁决

人工审核四种结论

结论	适用情况	必须记录
接受	业务正确、可执行且证据完整	审核人、规则版本和批次
修改后接受	方向正确，但数据、步骤或预期不完整	修改字段和原因
拒绝	编造、重复、业务错误或危险操作	错误代码与证据
待确认	规则缺失、冲突或权限口径不明	问题、负责人和关闭条件

审核顺序

先看 P0 资金、权限、隐私和状态一致性，再看普通功能。
核对规则与来源，不接受模型自报置信度作为证据。
检查可执行性、优先级和测试点满足情况。
把稳定错误回流脚本，把业务差异回流示例和规则库。

配套案例：100 条 AI 候选用例审核账本查看模块分布、9 类错误、10 条 Before/After 样例、机器 Check 和回流指标。阅读案例

输入、产物、执行和审核都按版本隔离

禁止覆盖历史

版本化生产闭环

V1 资产规则与用例

V2 差异增删改

增量生产复用与修改

审核入库保留裁决

版本总结差异与指标

版本总结最少包含

对象	需要记录
输入	需求、接口、代码、历史缺陷和证据版本
生成	模型、系统 Prompt、示例、参数和批次
用例	新增、复用、修改、回归和废弃数量
审核	接受、修改、拒绝、待确认及错误分类
资产	回填的规则、脚本、案例和下版检查点

工作流任一节点变化都要回放固定评估集

局部变化也会影响全链路

锁定评估集至少覆盖

样本桶	必须证明
正常规则	规则提取、格式和用例可执行
信息缺失	诚实待确认，不编造数值和状态
来源冲突	保留证据并暂停，不静默选边
长上下文	当前规则不被无关历史挤掉
文档注入	材料中的指令只作为数据处理
历史缺陷	迁移风险而不把旧规则写成当前预期

workflow-regression.json

{
  "candidate": {"workflow":"qa-flow@2.1.0","model":"m2","skill":"test-assets@1.4.0"},
  "baseline": {"workflow":"qa-flow@2.0.3","model":"m2","skill":"test-assets@1.3.2"},
  "dataset": "asset-production-eval@v5",
  "must_pass": ["no_invented_limits", "conflict_stops", "schema_valid"],
  "compare": ["rule_recall", "human_acceptance", "p95", "token_cost"]
}

待确认数量增加不一定是退化。如果编造数下降，说明流程更诚实地暴露了需求缺口。关键是按错误类型和风险分桶解释变化。

流程中断后从最近合格产物继续

恢复而不是重写

恢复步骤

步骤	动作
盘点	确认规则、风险、用例、检查和审核分别完成到哪里
定位	找到最后一个验收通过的产物和版本
重载	只读取下一步需要的证据和资产索引
续跑	不覆盖已确认内容，保存 recovery_id
复核	确认恢复前后口径和来源映射一致

必须人工接管

来源互相冲突
生成需求外功能或未定义参数
大批量覆盖正式资产
上下文口径前后不一致
涉及真实敏感数据或外部副作用

用一个小版本跑通完整测试工作流

练习与检查

练习

选择一个含 3～5 条规则变更的脱敏需求，完成文档元素对账。
选用已经验证的 Prompt、Skill 和输出 Schema，并登记版本。
依次产出规则、风险、候选用例、机器检查和人工审核账本。
故意加入缺失数值、来源冲突、重复用例和文档注入，验证门禁。
中断一次流程，从最近合格产物恢复。
调整一个工作流节点，用锁定集比较新旧版本并决定发布或回滚。

完成检查

材料未静默丢失

当前证据优先

未知信息不编造

每条用例可追溯

机器和人工职责分开

审核结论有账本

版本可以回放

中断能够恢复