经济、性能与价值：按完整任务算账

模型调用便宜，并不代表业务方案便宜；生成快，并不代表工作完成快。价值评审需要把用户结果、整段工作时间、系统资源和持续维护放在同一任务范围内，随后判断这些改善是否转化为企业结果。

三层指标相互解释

产品层观察合格完成率、复核返工、使用与返回、积压及满意度；系统层观察任务时延、失败、并发和成本；模型或检索层解释事实命中、字段完整、关键错误与评分一致性。模型准确率是解释变量，不能直接替代业务目标。内部工作工具的会话和停留增长未必是好事：它们可能意味着任务卡住。

自报改善、活跃使用和许可覆盖都不能直接乘工资换成收益；先按试点与采用核清人群与分母，再在这里检验释放能力是否兑现、复核和维护是否抵消改善。

先取得完整任务的时间与漏错记录

沿第17章的OPS-SYN-12台账，另设合成时间账，包含全部12笔而非仅成功笔：旧流程主动工作12×20＝240分钟；新流程操作48、复核60、返工24、协调接续18，合计150分钟，按到达任务平均12.5分钟，与旧流程完整成本的差暂为90分钟；因O11尚未完成，这不是最终净节时。这里包含O04修订、O09/O10接续及O10/O12转回原流程的主动工时；各按操作、复核、返工、协调分类，不重复计入；O11等待资料的日历时间另记，仍不能宣布全部完成。对未完任务的后续主动时间需继续追加，150分钟是截至结算点的已记成本，不能当最终完整成本。

比较两种复核设计时，同时记每笔复核时间、拦截错误、漏出错误、返工与最终状态。例如“只看摘要36分钟、看字段与来源60分钟”只是待检验的两个条件；不能因后者多24分钟就断言低效，也不能先假定它降低漏错。使用同一任务集、固定候选版本、分配可比审阅条件，独立复核终态与过程；事前确定严重错误停止条件。没有执行时，时间与漏错比较栏保持“待测”。真实人审实验还需相应同意与资料权限。

一个填好的经济模型

以下是合成的内部答复草拟任务，不是任何公司成本：每月1,000次同类任务，旧流程20分钟；新流程操作3分钟、复核5分钟、平均返工2分钟。按完整任务计净省10分钟，每月释放166.67小时。假设全成本工时120元/小时，能力等值为20,000元；这不是现金节约。

如果业务能将释放能力的60%用于减少加班、增加合格产出或替代确有必要的外包，暂估可实现价值12,000元，月净值6,800元。一次建设投入30,000元，稳定条件下简单回收期为30,000÷6,800≈4.41个月。这是尚未计入复核后漏检损失的基线，也没有考虑资金时间价值或波动。

在上述假设下，每任务可实现工时价值为10÷60×120×60%＝12元；扣0.8元变动成本，贡献11.2元。固定新增成本4,400元，4,400÷11.2≈392.86，因此至少需要393次/月才能覆盖。若复核与返工合计增加5分钟，净节时减半：可实现价值变成6,000元，仍不计漏检损失时月净值只有800元，简单回收期37.5个月。由此应先检验复核负担和能力去向，而不是只优化token。

普通残余错误也会改变账本

复核拦截的错误已经体现在复核与平均返工时间里；复核后仍漏出的普通错误，则可能产生额外损失。沿用同一个答复草拟任务，另假设1%的任务在复核后仍漏出普通错误，每次新增损失200元，则每任务预期损失为0.01×200＝2元，每月2,000元。月净值从6,800元降为4,800元，简单回收期变为6.25个月。这些错误率是合成敏感性假设，不是从小样本零事故推得的真实错误率。

可用下面的式子复算同一任务范围：

月净值 = N × [(Δt ÷ 60) × h × α − v − r × L] − F

其中，N是月任务量，Δt是计入操作、复核及平均返工后的每任务净节时（分钟），h是工时价值，α是能实际吸收的能力比例，v是每任务变动成本，r是同一N分母中的复核后漏检普通错误率，L是每次漏检额外损失，F是固定新增月成本。本例暂把旧流程的同类漏检损失设为0；真实比较应扣除新旧流程的预期损失差额。错误成本尚未知时保留待估范围，不能把空白当成0。

计入1%漏检损失后，每任务贡献为12−0.8−2＝9.2元，4,400÷9.2≈478.26，因此至少需要479次/月才能覆盖；前面的393次对应未计漏检损失的基线。每任务贡献不大于0时，增加流量不能覆盖固定成本；月净值不为正时，不报简单回收期。比较复核方案时，复核增加是否降低r也需要测量，不能只增加时间而假定质量收益已经发生。

避免三种重复计费：已经包含在Δt里的复核与返工不再加一次；F按月计一次，不再从每任务扣除；L只记额外损失，不重复已计工时。同一批产出若已用工时价值解释，也不能再把全部收入相加。对越权披露、危险控制等不可承受后果，先限制能力和暴露范围；缺少发生率与损失依据时，不用一个平均金额将它抵消。

性能优化从用户等待路径开始

把端到端时间拆成身份与数据读取、检索、生成、工具、确认和排队。交互答复可展示中间状态；批量建档可以异步处理并提供结果队列。首token时间适合描述响应感，不能替代“得到可用结果”的时间。平均值还需搭配尾部时延和失败，尤其在高峰并发下。

可选优化包括：确定规则处理稳定分支，缩减无用上下文，缓存允许复用的结果，合并固定工具依赖，按任务路由模型，或将部分工作移到离线。缓存必须有权限、版本和失效条件；便宜模型必须经过相同任务评测；少一次工具调用如果丢了业务事实，可能增加返工。比较两种配置时固定样本和工具条件，记录质量、全任务成本、时延分布及调用次数，不只报每百万token单价。

高调用量任务可以把模型工作移到离线

搜索排序未必需要逐查询调用大模型。Walmart先用人工相关性标签训练LLM教师，再给大量查询—商品对打软标签，蒸馏到轻量cross-encoder；学生作为线上相关性特征。论文比较教师、学生与原生产模型，并报告离线及线上实验。Walmart原论文v1，§3–5 大模型在这里改善普通搜索系统，而不是变成用户面对的Agent。

决策分母应从单次推理切换到一个更新周期。以下为原创合成算例：每月100万次固定范围评分，在线LLM每次0.02元，月推理2万元；学生每次0.001元，推理1,000元；每月重标、训练、人工抽检与维护共8,000元，合计9,000元。若同一留出集与线上护栏证明质量可接受，暂估月差额11,000元；建设与转换成本尚未扣除。月任务量降至10万次时，两者分别2,000元与8,100元，学生方案便不占优。这些金额不是Walmart实际成本。

教师错误会扩散到大量伪标签，商品、查询与业务口径变化会让学生失效。先以人工留出集校准教师，再按头部/长尾、商品类别和新增词检查学生；线上保留旧排序特征或模型回退，记录点击等行为与相关性之间的差异。即时库存与价格仍由实时系统提供，不能蒸馏成过期事实。比较产物应含周期总成本、质量分群、刷新频率、回退损失及尾部时延；单报小模型token便宜不足以决定投入。表示转换、数据策展和训练的边界见离线学习专题。

从改善观察到投入决定

优先比较相近复杂度任务与相同岗位的完整工作。条件允许时随机分配或分批切换；不能随机时，记录季节、任务构成、人员熟练度等变化，降低因果结论强度。小样本试点可以识别机制和明显问题，不必伪装成统计确证。

扩大决定应能回答：收益来自哪个环节？是否转移到复核者？谁使用释放能力？任务量变化后是否仍成立？知识更新与支持是否计入？同时保留关键错误和采用情况。若质量合格但量太低，可能选择共享服务、低维护工具或停止独立产品；若高价值任务低频，也可能值得继续，不能用活跃率一票否决。

下一步在运行复盘模板替换合成值并记录测量依据；用迁移与退出判断扩大到另一岗位是否仍可使用同一经济模型。

参考资料

• Cisco工程文章、公司案例页及BBVA许可扩展：使用与自报节时口径，非本章算例依据。
• Building AI-Powered Products 第6章：指标分层，章节提炼笔记作为辅助参考。
• Walmart v1 §3–5、图2：教师、学生与离线/线上实验。生产部署及效果为作者披露。
• 两个成本模型均为合成假设，算术可复核，不能视为实际ROI或现金节约；未复现排序系统。

继续使用

上一章：反馈与改进 · 下一章：迁移、复用与退出 · 五篇阅读目录。相关工具：全任务成本与价值解释。

案例延伸：Amazon异常规则：比较离线学习投入与在线确定执行的成本结构。