Sean Walter
联系合作

Tutorial Library

系统教程

你可以按能力模块浏览教程，也可以通过关键词和页码快速找到想学的内容。

返回知识库
Index / 12

AI 测试工程师强化支线

从 AI 评估基础出发，依次掌握应用链路、智能体、可靠性与安全，以及 AI 原生测试工程。

模块
7
每页
12
当前
1 / 1
AI Quality / 5-Phase Roadmap

AI 测试工程师五阶段成长路线

从评估基础开始，依次掌握应用链路、智能体、生产可靠性和 AI 原生测试工程。每一阶段都有明确的学习结果，你可以按顺序完成，也可以从当前工作最需要的阶段开始。

教程
11
阶段
05
Phase 01 / AI Quality Foundation

AI 质量基础

先理解概率性输出为什么不能只用 Expected = Actual，再学会构建评估集、金标、评分器、人工复核和回归机制。

完成后你可以独立设计一套最小 AI 评估体系。
  1. 01大模型基础与测试思维教程入门理解 Token、上下文、采样、模型组合边界和非确定性失败，建立适用于 AI 系统的测试断言与实验记录方法。
  2. 02测试工程师需要的机器学习与统计基础教程入门以智能客服工单分类与回答评估为案例，掌握混淆矩阵、Precision/Recall/F1、准确率陷阱、类别不平衡、置信区间、分层抽样、A/B 显著性、标注者一致性与 LLM Grader 偏差。
  3. 03AI 应用测试体系教程专项建立分层评估集、人工金标、多维评分、机器 Check、人工评审路由和可复现的 AI 回归体系。
Phase 02 / AI Application Quality

AI 应用专项质量

沿 RAG 与文档智能处理链逐层定位问题，区分解析、切分、检索、生成、引用、识别、抽取和业务校验失败。

完成后你可以沿应用链路定位质量问题，而不是只判断最终答案对错。
  1. 01RAG 知识库测试实战教程专项验证文档解析、切分、召回、重排、引用、幻觉、权限隔离和知识更新。
  2. 02多模态、OCR 与文档智能测试教程专项验证图片、表格、印章、遮挡文档以及金额日期等关键字段的识别与入库质量。
Phase 03 / Agent Quality

智能体质量保障

从回答进入执行，验证工具选择、参数、轨迹、状态、副作用、权限、终止条件和人工审批。

完成后你可以评估一个会调用工具并改变系统状态的 Agent。
  1. 01AI Agent 测试实战教程专项验证多轮规划、工具选择与参数、状态变化、重试幂等、人工审批、终止条件和安全回退。
  2. 02MCP 工具接入与安全测试教程专项验证 MCP 能力协商、工具 Schema、鉴权授权、会话传输、内容污染、审计和协议回归。
Phase 04 / AI Reliability & Safety

AI 可靠性与安全

把安全、稳定、性能、成本、可观测性、模型漂移和线上评估纳入生产质量。

完成后你可以为生产 AI 系统设计非功能质量门禁。
  1. 01大模型安全与红队测试教程专项覆盖提示词注入、越狱、敏感信息泄露、工具滥用、内容安全和权限绕过。
  2. 02AI 应用性能、成本与可观测性教程进阶建立首字延迟、生成速度、Token 成本、失败率、模型漂移和线上反馈监控。
Phase 05 / AI-Native QA Engineering

AI 原生测试工程

把需求、规范、缺陷和业务规则组织成高质量上下文，再封装为 Skill，并编排成有人机门禁的测试工作流。

完成后你可以设计 AI-assisted QA workflow，而不是只做一次性的 AI 对话。
  1. 01AI 时代测试提示词与上下文工程教程进阶把需求、规则、代码、缺陷和示例组织成有边界、可追溯、可回归的 Prompt 与上下文。
  2. 02测试 Skill 设计与资产封装教程进阶把规范、风险规则、缺陷模式、脚本和领域经验封装成可组合 Skill，并用历史样本验证边界与稳定性。
  3. 03AI 测试工作流编排与人机协作教程专项把需求分析、候选生成、机器校验、人工裁决、执行、回归和报告编排成可恢复、可审计的测试工作流。