评测指标与评测集建设

生命周期 · 阶段五 测试与验收（效果评测） ｜ 上游：测试策略（08）｜ 下游：部署上线（10）

RAG 测试区别于传统功能测试的核心：用指标量化"效果"，用评测集保障回归。没有评测集的 RAG 优化全凭感觉，改一处不知道是变好还是变坏。

一、评测集建设

1. 构建方法

2. 先由人工建立标准，再拆分数据集

第一步不是让 AI 自己出题、自己判分，而是由业务专家、测试人员和知识库维护者共同准备一批代表性原始样本，逐条形成可核验的标准答案。每条金标至少应包含：

• 用户问题及允许的同义问法；
• 标准答案与可接受答案范围；
• 支撑答案的原文、文档版本、页码或切片 ID；
• 必须命中的关键点、允许省略项和禁止出现的错误；
• 库内无答案时的预期拒答行为；
• 问题类型、难度、风险等级和人工审核人。

完成双人复核或业务签字后，这批记录才成为金标集。金标是评分依据，不等于所有记录都可以同时用于训练和最终验收。为了避免 AI “见过答案”后产生虚高结果，应按问题族或文档来源拆成互不泄漏的数据集：

如果团队习惯把“喂给 AI 的用例”叫测试集、把最终检查数据叫样本集，也应在文档中明确标注：前者实质是训练/调优集，后者实质是独立验收集。否则很容易把训练成绩误当成泛化能力。

3. 评测集规模建议

• 起步：100~200 条（覆盖核心文档与问题类型）
• 成熟：500+ 条，按类型分层抽样
• 每条包含：问题、标准答案、命中的标准切片（golden chunks）、问题类型、难度

4. 问题类型配比（示例）

5. 以 90% 为验收线时怎么计算

“识别度 ≥ 90%”必须先写成可计算的口径。例如把独立验收样本集中的每道题按关键点评分，只有同时满足“意图识别正确、关键事实达到要求、引用支持答案、没有禁止错误”才算通过：

综合通过率 = 完全通过的独立验收用例数 / 独立验收用例总数 × 100%
目标：综合通过率 ≥ 90%
同时设置单项门槛：超纲题拒答正确率、关键事实准确率、高风险题通过率

90% 只是项目示例，不应直接套用。样本数量过少时，偶然通过 9/10 不能证明系统稳定；应按风险和问题类型分层准备足够样本，并报告样本数、失败数和置信区间。高风险业务还应要求关键类别单独达标，不能让大量简单题稀释少数严重错误。

二、档案清洗与 OCR 评测集

扫描档案进入 RAG 前，还需要一套面向材料清洗、版面解析与 OCR 识别的评测集。它回答的是“原始材料是否被完整、正确地转换成可检索文本”，不能由后面的问答正确率代替。OCR 漏掉一页或识错关键编号，即使模型回答流畅，结果仍然不可信。

1. OCR 金标如何标注

标注人员应对照原始扫描图，而不是把 OCR 初次输出当作标准。每份样本保留原图、人工转写、结构标注、审核记录和版本信息：

关键档案字段建议双人独立标注，发生分歧时由业务专家裁决。涉及个人信息的样本应脱敏并限制访问；脱敏后的训练样本与原始档案仍要用受控 ID 保持可追溯关系。

2. 样本覆盖与拆分

样本应覆盖清晰扫描、低分辨率、倾斜旋转、阴影折痕、手写体、繁体字、生僻字、印章遮挡、复杂表格、多栏排版和跨页内容。按档案类型、年代、扫描设备和质量等级分层抽样，避免评测集只包含容易识别的页面。

同一份档案的相邻页、重扫件、裁剪件和近重复材料必须进入同一个数据分组，再按组拆分训练/调优集与独立验收集。否则模型可能在训练时见过同一页的另一个版本，导致验收成绩虚高。

3. OCR 验收指标

“OCR 识别率 ≥ 90%”过于笼统，应同时报告以下指标，并由业务风险确定门槛：

总体字符准确率达到 90%，不代表档案可用。关键字段、高风险材料和页面完整性应设置单独门槛；无法辨识的内容应输出“不确定/待复核”，并统计人工复核率，而不是强行补全。

4. 未达标时如何归因

先保存失败页面、各处理阶段中间结果和版本，再判断问题落在哪一层：

OCR 评测通过后，输出的正文、结构和元数据才能进入切片、检索与问答评测。这样可以区分“材料根本没读对”和“材料读对了但没检索到或没回答好”。

三、检索指标（L3）

设 golden chunks 为 G，检索结果列表为 R：

提示 定位口诀

Recall 低 → 检索没找到（改切片/换模型/加混合检索）；Recall 高但答案错 → 排序或生成问题。

四、生成指标（L4）

五、自动化评测工具（Ragas 示例）

# pip install ragas datasets

from ragas import evaluate
from ragas.metrics import (
    faithfulness,
    answer_relevancy,
    context_precision,
    context_recall,
)
from datasets import Dataset

retrieved_context = ["第12页切片内容……"]

eval_data = Dataset.from_dict({
    "question": ["抵押物处置流程是什么？"],
    "answer": ["先评估定价，再拍卖变卖，款项按顺序分配…"],
    "contexts": [retrieved_context],             # 每个问题对应一组实际检索切片
    "ground_truth": ["评估→拍卖/变卖→按顺序分配"],  # 标准答案
})

result = evaluate(eval_data, metrics=[
    faithfulness, answer_relevancy, context_precision, context_recall
])
print(result)
# context_recall ≈ 检索层 Recall（定位检索问题）
# faithfulness   ≈ 生成忠实度（定位幻觉问题）

指标解读：

• context_recall 低：检索没给对料 → 优化入库/检索
• faithfulness 低但 context_recall 高：料对了模型没用好 → 优化 Prompt/换模型

六、评测流程与基线管理

未达到 90% 时的分层核验

低于目标后不要立即增加训练样本或更换模型。先保存失败用例的实际检索切片、Prompt、模型版本和输出，再按下面的顺序归因：

归因时每次只改变一个主要变量，并在开发验证集上确认方向；方案冻结后，再运行此前隔离的独立验收集。若把验收失败题加入训练集，这些题必须退出原验收集，并补入同类型、未见过的新题，否则下一次“超过 90%”没有证明力。

必须回归评测的变更

• 切片策略/参数调整（chunk_size、overlap）
• 更换 Embedding / Rerank / LLM 模型或版本
• 检索策略调整（top_k、混合权重、过滤条件）
• Prompt 模板修改
• 文档大批量更新

评测报告模板

【评测日期】2026-xx-xx   【被测版本】v1.3.0   【变更内容】chunk 500→800
【评测集】v2（300 条）
─────────────────────────────────
检索层：Recall@5  82.1% → 88.3% (+6.2)  ✅
        MRR      0.68  → 0.74  (+0.06)  ✅
生成层：忠实度    91.0% → 92.5% (+1.5)   ✅
        拒答率    95.0% → 96.7% (+1.7)   ✅
性能  ：P95      7.2s  → 7.4s  (+0.2s)  ⚠️ 示例：是否接受由已批准预算决定
结论：通过，发布
─────────────────────────────────

七、注意事项

• LLM 评分有抖动：评分模型固定版本 + temperature=0，关键结论辅以人工抽检（抽 10%~20%）
• 防止过拟合评测集：评测集不用于调参时反复"背题"，定期补充新题
• 指标与业务对齐：先和业务方确认"可接受的错误率"，再定阈值
• 分层归因：先看检索指标再看生成指标，避免一上来就怪模型
• 防止数据泄漏：按问题族和来源去重拆分；进入训练/调优集的题不得继续充当独立验收题

本篇交付与下一步

本阶段应交付经过人工复核的问答金标与 OCR 金标、训练/调优集、开发验证集、保持隔离的独立验收集，以及版本化评分规则、分层指标和失败归因记录。OCR 结果需先通过文字、结构、关键字段和完整性验收，再进入检索与生成评测。LLM 裁判只能作为一个评分器，必须先用人工标注样本验证偏差与稳定性；高风险结论由确定性规则或人工复核。下一步进入 10-部署上线：生产环境与CI-CD。