方法更新 2026-09-29
最小闭环:评测集与成本记账
本页目录 · 5 个段落
共识部分,三行说完
先做 MVP、快速验证、小步迭代——这些道理不用再讲。真正卡住团队的不是「要不要小」,是闭环的验收口径写不出来:跑起来了,但说不清算不算成。
非共识:无基线不动手
最小闭环不是「能跑通一次」,是一条任务端到端稳定完成,且每次完成的成本与失败都记下账。三个常被漏掉的口径:
- 每成功任务成本 ≠ 每次调用成本。分母是成功任务数,不是请求数。失败重试、人工返工、人工复核都要进分子。一个调用便宜但要重试三次、外加人工改一遍的方案,每成功任务成本可能比「贵模型一步到位」更高。
- 正确拒绝样本必须进评测集。「不该做时它不做」和「该做时做对」同等重要,而拒绝类样本在评测集里出现率最低——漏掉它,你会在上线后才发现系统越权。
- 失败分类先于失败修复。把失败样本按「输入问题 / 事实缺失 / 推理错误 / 动作失败」分桶,再决定修哪类。不分桶就修,工程量会花在最高频的表象上。
可抄走:成本记账表(每跑一轮填一行)
| 轮次 | 成功任务数 | 失败数(四类分桶) | 正确拒绝数 / 拒绝样本总数 | 推理成本 | 人工复核成本 | 每成功任务成本 |
|---|---|---|---|---|---|---|
| (填写) | (填写) | (填写) | (填写) | (填写) | (填写) | (填写) |
每成功任务成本 =(推理 + 人工复核 + 失败返工)÷ 成功任务数。目标数字在 T1 契约里写死,本表只负责对比。
适用 / 不适用
- 适用:闭环已能跑通但说不出「值不值」;准备向管理层要资源;要对比两个方案。
- 不适用:还没跑通端到端(先求通,再记账);任务天然低频(样本太少,先积累)。
小结
最小闭环的验收物是一张有基线的账:每成功任务成本、拒绝样本表现、失败分桶。先立基线再优化——无基线的「优化」不可证伪。
No-Go 判据清单
- 说不出基线数字就要「先优化起来」——停,先跑一轮记账
- 评测集里没有拒绝样本——不许进下一轮
- 成功标准是「演示效果不错」——没有验收口径,回 T1 补
- 每成功任务成本只能给出「每次调用很便宜」——分母错了,口径不成立
能证明
- 成本记账口径(每成功任务成本、拒绝样本、失败四分类)可直接抄进 T5「评测与验收包」的执行记录
- 「无基线不动手」是可评测前提:先跑一轮记账再谈优化,动作明确
不能证明
- 四类失败分桶未做过覆盖率统计,可能存在未覆盖的失败类型
- 每成功任务成本口径在多方案对比中的分辨力未验证
- 不承诺任何具体优化动作的收益
来源与使用范围
方法综合公开研究与教学推演;参考资料、适用条件和示例边界见正文。
一起判断下一步
带一笔任务,聊一个具体决定。
培训、方案评审或落地辅导,从你的工作材料与当前困难开始。