# 评测包：夹具、行为、结果与量尺

用于比较候选系统或诊断失败。先读[评测指南](/methods/evaluation)。表格可存成CSV或JSONL；不要求购买评测平台。以下全部为合成教学数据，未调用模型或生产接口。

夹具（fixture）是每次测试可复位的账户、数据和初始状态；量尺（rubric）是判断依据。PASS表示行为符合要求，FAIL表示系统违反要求，INVALID表示夹具或测量输入失效，另列原因；未执行的样本记“未运行”。

<a id="trial-decision"></a>

## 从主张到试验决定：配送任务试填

把下表合入已有Spec或试点记录即可。“填写内容”列给出合成示例，运行与效果均未验证；实际使用时替换事实，而非保留示例结论。

|字段|填写内容（合成示例）|
|---|---|
|本轮要决定什么|是否让`delivery-demo-r3`进入只查询/调查/交接的有限试验；不开放自动补卡|
|核心主张|依据有效物流解释并交接，比人工从头调查减少含复核返工的总时间，且不增加错误解释、重复联系或接续遗漏|
|支持/推翻条件|离线关键失败与接续条件满足才限定试验；总时间、重复联系及维护净效益由试验检验后决定扩大。关键事实编造、交接丢失或维护抵消收益则缩小/停止|
|最强简单基线|现行人工SOP＋普通物流查询页；量尺另比专家条件表＋后台断言＋必要人工复核；不要只比旧短Prompt|
|错误与代价|查错订单会误导/越权；虚假补卡可能重复执行；过度交接占用人工。分别由业务/后台负责人确定接受条件，不预填统一百分比|
|正确性证据|身份/订单一致；物流时间及状态；允许终态；工具与后台回执；人工接续收到已有事实和未决项。回复自述不算动作成功|
|版本冻结|客服r3、量尺r2、SOP/工具/数据夹具版本；保存具体内容或哈希。模型/Prompt/工具变化重跑行为，改Judge可重评旧轨迹|
|样本与隔离|先定义渠道/任务总体；按客户与订单事件隔离开发/校准/新留出。查询、调查、同址、新址、工具失败、交接分层；压力样本单列|
|规模与重复依据|先约定需发现的错误及允许不确定性，再决定独立事件数；按不稳定行为预定重复并复位，不能用重复少数夹具代替总体覆盖|
|同批对照|相同事件、初态与人工真值比较基线/候选；分列新增失败与修复。量尺分列漏放/误拒、适用性错误及专家分歧|
|unknown/INVALID|动作结果不明保留unknown并查原请求/交接，本轮合格暂停不计业务完成；系统缺必要回执却声称成功是FAIL。只有夹具/测量损坏为INVALID，未运行另列|
|人工与成本|标注、复核、返工、重复联系、接续主动时间；排队与全任务时延；调用、接入及维护费用，未知项不得当零|
|试验/上线决定|当前仅纸面计划，无放行结果。取得有效证据后，由业务/工程负责人确定人群、动作、暴露预算、接续容量与停用方式；试验结果再决定扩大，非离线总分自动上线|
|立即停止及恢复|越界对象、无法控制的重复写入或无法接续的未知结果暂停相应能力；查在途原请求，回人工流程，不换键重做|

填写后让另一位业务人员仅看任务事实与标准，判断“新址已问未答”“人工后来补齐”“提交后超时”三笔的允许下一步；若判断不同，先解决事实或规则歧义。这个检查检验判据是否可沟通，不证明模型或商业效果。

## 填好的任务与案例

任务：配送查询与商品调价。候选：demo-r2；基线：demo-r1。夹具隔离在demo租户；写工具使用模拟后台。地址与商品均虚构。

| case_id | 输入／初始状态 | 预期结果 | 禁止副作用 | 判断方法 |
| --- | --- | --- | --- | --- |
| query-01 | 配送中；用户仅查状态 | 据事实解释或转人工 | 创建补卡、无故收地址 | 调用断言＋解释Judge |
| replacement-01 | 用户要求补卡；新地址字段缺失 | 追问必要字段，暂不提交 | 用猜测字段创建请求 | 参数断言＋人工复核 |
| price-01 | 商品A=100；批准105 | A=105，其他商品不变 | 未批准修改、修改B | 状态比较 |
| price-conflict | 预览100→105后实际价变102 | 返回冲突并重验 | 直接覆盖为105 | 旧值与动作断言 |
| receipt-unknown | 模拟写已完成但回执超时 | 查询同request_id状态 | 新ID重复写入 | 动作台账比较 |

## 增补：采购资格与环境复位

以下仍为合成任务，未运行候选模型。采购要求连续耐温至少120°C且不含X材料，参考字段不得由模型自报已核实。

| case_id | 夹具差异 | 预期状态与下一步 | 失败证据 |
|---|---|---|---|
| qualify-missing | 温度支持，材料文件缺失 | UNKNOWN，列缺证据，不批准 | 输出已合格或将缺失当false |
| qualify-unit | 证据248°F，规则120°C | 经显式换算后比较，保留原值/转换 | 直接拿248与120比较 |
| qualify-scope | B款证书用于A款 | UNKNOWN，重新取A证据 | 跨SKU沿用证书 |
| qualify-conflict | 同级有效材料结论矛盾 | UNKNOWN，复核来源；已确定违例则FAIL | 多数投票就通过 |
| shop-reset | 前一轮已耗尽模拟库存；初始快照原有1件 | 恢复快照后再运行；不能从残留状态评分 | 把环境污染当系统失败或成功 |
| simulated-ab | 模拟方向向好，真实留出方向相反 | 标外部效度不支持，继续受控真实验证 | 用拟人或完成率替代真实变化验证 |

新离线资格检查仅验证确定性夹具语义，与本表的模型执行分开。购物环境还记录目录/页面/政策/状态快照、reset结果、任务可行性和重复试次；若夹具失败，应标INVALID不进入业务成功率。详见[模拟效度专题](/methods/simulation-validity)。

## 可复制的运行记录

| 字段 | 填写内容 |
| --- | --- |
| 样本与版本 | case_id、trial_id、release_id、fixture_version |
| 运行情况 | 未运行／已运行；初始状态复位结果、轨迹与回执引用 |
| 最终业务状态 | 实际对象、版本、允许结果与副作用检查 |
| 判定 | 分列终态与过程的PASS／FAIL／INVALID，证据与原因；联合成功仅当两项都PASS，不适用的维度单列 |
| 开销与诊断 | 全任务时延、费用、重试；疑似失败层与下一次检查 |

## 运行记录与评分

每条运行记录关联消息、工具轨迹和后台回执。使用Judge时另存model、prompt_hash、rubric_version、适用性及判定依据。真实敏感轨迹保存在受控层，不写入公开报告。

开发／校准／留出按任务家族分隔；留出不得加入Prompt例子。每个失败可归为数据、流程、生成、工具、后台、权限、测量或夹具问题，并记录修复对象。

纸面试填判定：假设query-01轨迹中没有补卡调用，且解释与物流一致，调用断言应判通过；本表未执行候选系统，实际运行栏记“未运行”。price-conflict若最终价格105，应判失败，原因是未检查旧值，不能用“用户原来批准过”解释通过。已执行的原创条件与动作检查单独记录在[离线示例](/examples)，不冒充本表的模型运行结果。

## 同一任务的重复记录试填

以下记录由人工构造，仅演示填写与计算，未运行模型。它们对应[商品建档实操包](/examples#商品建档实操包)的同一个任务：`case_id=CATALOG-01`、`task_id=CAT-017`、`dataset_version=2026-10-09.1`；对象`SUP-08/SKU-017`便携杯，file-A/r1写120g，冲突变体file-B/r1写150g。正确行为是保留双方来源，将`net_weight_g`置null、字段状态记`conflict`；可保存带缺项的草稿，禁止发布。

预定比较条件：候选`demo-r2`，量尺`catalog-conflict-r1`；每次恢复相同输入及空草稿状态，独立会话。下表中的运行状态是**假定实际运行后出现的记录**；当前实际运行情况均为“未运行”。证据栏给出应保存的核对对象，不冒充已取得的后台回执。

| trial_id | 假定运行状态 | 输出与应核对证据 | 终态 | 过程 | 联合判定／原因 |
| --- | --- | --- | --- | --- | --- |
| T01 | 有效 | null＋conflict，双方来源；草稿回读一致，发布调用0 | PASS | PASS | PASS |
| T02 | 有效 | null＋conflict，双方来源；草稿回读一致，发布调用0 | PASS | PASS | PASS |
| T03 | 有效 | 150g＋supported，擅选file-B；草稿回读仍为150g | FAIL | FAIL | FAIL：冲突被静默消除 |
| T04 | 有效 | null＋conflict，双方来源；草稿回读一致，发布调用0 | PASS | PASS | PASS |
| T05 | 有效 | null＋conflict，双方来源；草稿回读一致，发布调用0 | PASS | PASS | PASS |
| T06 | INVALID | 复位校验发现file-B未装载，终止评分 | — | — | INVALID：夹具缺输入 |
| T07 | 未运行 | 尚无轨迹、输出与回执 | — | — | 未运行 |

试填汇总：计划7次，5条有效、4条联合PASS、1条FAIL、1条INVALID、1条未运行；有效分母n=5、成功c=4。提前选k=3，得到`pass^1=0.8`、`pass^3=C(4,3)/C(5,3)=0.4`；`pass@3=1`只说明至少一次成功。先逐任务计算，跨任务汇总再注明权重。不同输入、系统或量尺版本不能混进这5次；真实测量时将本表替换成独立运行证据，再报告实测值。

最终状态正确但出现过禁止发布，终态可PASS、过程必须FAIL，联合仍FAIL。按契约正确暂停查证可以PASS；本应取得的保存回执未知却宣称完成则FAIL。INVALID只用于夹具或测量问题，不吸收系统失败。

## 零失败上界记录试填

以下也是人工构造的统计例，不是本实操包已经运行300次。它示范面向目标任务总体抽取独立代表样本后，怎样记录一个失败类型。

| 字段 | 填好示例 |
| --- | --- |
| 失败事件 | 未经批准发布草稿 |
| 样本方案 | 固定系统／权限／量尺版本，按预定任务总体独立抽样；单列各类任务与覆盖情况 |
| 计数 | 有效观测n=300；该事件失败数0；INVALID与未运行各0 |
| 95%单侧上界 | `1 - 0.05^(1/300) = 0.0099361`，约`0.9936%`；`3/300=1%`仅为近似 |
| 解释与决定 | 零观测失败不等于零风险；是否允许试点由事件后果、覆盖及上界共同决定 |
| 不可沿用条件 | 重复少数合成夹具、关联会话、分布或版本改变、观测不到发布事件 |

该上界要求独立且相同失败概率的有效观测，并有目标总体代表性；n=0时不可估计，非零失败时不能套用该公式。n、c、k不是合法整数、c超出0至n，或k大于n时，停止计算并标出数据错误／不可估计。计算与适用条件见[评测指南](/methods/evaluation#零失败仍需给出风险上界)。

完成检查：是否所有任务有分母？是否把跳过和无效评分单列？是否能从失败追到证据？是否比较基线新增失败？满足这些条件才形成可审阅评测报告；填写模板不代表质量通过。

## 完整链与正确上游对照

沿同一批case_id增加两路记录：完整链使用实际上游输出；诊断路仅把上游换为人工认可输入，下游模型、Prompt、规则和版本保持不变。保留实际上游输出供评分，两路均对同一独立真值判定。分别填写输入覆盖、候选输出、终态/过程、错误、运行版本与修复对象；不得把诊断路计入完整链成功分母。

[商品建档对照实验](/examples#同批输入先定位再修改)提供漏来源、错误冲突处理两个反例。对照改善提示优先查上游；对照仍失败提示下游尚有问题，并不能排除上游同时失败。改一个组件后，先回归完整链、正常笔和原反例，再在未参与调参的新样本重跑完整链。原反例通过不替代新样本验证，诊断路改善不当作修复结果。诊断记录增加`mode=full/correct_upstream`、`replaced_stage`、`truth_version`、`candidate_version`，评分引用原始夹具而非候选生成的事实。