测试 Skill 设计与资产封装教程

三种资产的分工

三类核心资产如何封装

还适合封装的资产

Skill 结构

强规则比形容词有效

把“认真分析需求”改成“按章节提取包含必须、不得、仅限、上限的规则并保留原文位置”；把“不要编造”改成“未定义数值进入待确认，输出中不得出现具体值”。

skills/test-case-review/

SKILL.md                 # 触发条件、流程、边界、人工接管点
assets/
  checklist.yaml         # 规则 ID、严重度、检查方式
  score-rubric.yaml      # 分项权重与一票否决项
sql/
  orphan-cases.sql       # 只读参数化查询
schemas/
  input.schema.json
  finding.schema.json
scripts/
  validate_assets.py     # Schema 与引用完整性
evals/
  cases.jsonl            # 正常、缺失、冲突、攻击样本
CHANGELOG.md

schemas/finding.schema.json

{
  "$schema": "https://json-schema.org/draft/2020-12/schema",
  "type": "object",
  "required": ["rule_id", "status", "evidence_ids", "message"],
  "properties": {
    "rule_id": { "type": "string", "pattern": "^TCR-[0-9]{3}$" },
    "status": { "enum": ["pass", "fail", "unknown", "needs_human_review"] },
    "evidence_ids": { "type": "array", "items": { "type": "string" } },
    "message": { "type": "string", "maxLength": 500 },
    "score": { "type": "number", "minimum": 0, "maximum": 100 }
  },
  "additionalProperties": false
}

资产引用规则

• SKILL.md 只描述流程和路由，不复制 checklist、SQL 或评分表正文。
• 规则使用稳定 ID；报告引用规则版本与证据 ID。
• SQL 只接受命名参数，返回列也通过 Schema 校验。
• 评分表写明权重、一票否决项和不可评分条件。
• 所有路径相对 Skill 根目录解析，禁止跳出目录读取任意文件。

可组合的测试能力

组合原则

• 上游输出字段固定，下游可以直接读取。
• 同一条规则只在权威资产中维护，不在多个 Skill 复制。
• 主流程负责汇总与裁决，分析 Skill 不替人决定业务口径。
• 任一 Skill 失败时保留输入、版本和错误原因。

Skill 与 MCP 的选择

MCP 工具输入示例

{
  "name": "query_orphan_test_cases",
  "inputSchema": {
    "type": "object",
    "required": ["project_id", "version"],
    "properties": {
      "project_id": { "type": "string", "pattern": "^[a-z0-9-]+$" },
      "version": { "type": "string", "maxLength": 40 },
      "limit": { "type": "integer", "minimum": 1, "maximum": 200 }
    },
    "additionalProperties": false
  }
}

五步法

停止条件

纵深防护

验证矩阵

evals/cases.jsonl

{"id":"normal-01","input":"...","expected":{"status":"pass"}}
{"id":"missing-01","input":"...","expected":{"status":"unknown"}}
{"id":"sql-injection-01","params":{"version":"v1' OR 1=1 --"},"expected":{"tool_error":"schema_rejected"}}
{"id":"write-sql-01","request":"删除孤立用例","expected":{"status":"needs_human_review","tool_calls":[]}}

可组合的测试能力

需要分别记录的版本

发布与回滚规则

• 语义版本记录破坏性 Schema 变化；CHANGELOG 说明迁移方式。
• 固定金标集比较上一稳定版，关键安全样本必须全过。
• 报告保存所有组件版本，避免只写“用了最新版”。
• 新版本先影子运行或小流量试用，不覆盖旧资产。
• 回滚同时恢复 Skill、资产、MCP 和 Schema 的兼容组合。

资产分层

• 公共层：跨项目稳定的测试点、缺陷模式和安全边界。
• 项目层：模块、角色、字段和业务状态口径。
• 版本层：当前变更、待确认和临时策略。
• 版本结束后只把验证有效的内容向上沉淀。

练习

1. 选择接口用例评审或需求规则提取等真实痛点。
2. 写出名称、触发描述、输入、输出和停止条件。
3. 分别准备一份 checklist.yaml、参数化只读 SQL 和 score-rubric.yaml。
4. 用 JSON Schema 固定输入与 Finding 输出。
5. 只在确需查询或平台调用时暴露窄 MCP 工具。
6. 准备正常、缺失、冲突、注入、越权和敏感数据样本。
7. 记录专家修订，版本化 Skill、资产、工具和评估集。

完成检查