AI 应用 ROI 复盘：别把模型调用量当成业务价值

一、调用量不是价值

AI 应用上线后，很多报表会展示调用次数、token 消耗、平均延迟和模型成本。这些指标有用，但不能证明业务价值。一个 Agent 每天调用十万次，如果只是替用户多走几步流程，甚至制造更多人工复核，它的 ROI 可能是负的。

AI 应用 ROI 要看节省了什么、提升了什么、减少了什么风险。

我复盘过一个 AI 客服项目，上线第一个月报表很漂亮：日均调用 8000 次，平均处理时长下降了 40%。管理层觉得效果很好，申请追加预算。但深入分析三个月的数据后发现：AI 处理的工单里有 28% 需要人工二次介入，二次介入的平均处理时长比完全人工处理还多了 3 分钟。原因是 AI 的回答让用户困惑，用户继续追问，人工接手后需要先纠正 AI 的回答再解决问题。净效率提升只有 12%，远低于报表里的 40%。如果不算人工复核成本，ROI 就是虚的。

二、先定义价值路径

flowchart TD
  A[AI 功能] --> B[用户行为变化]
  B --> C[效率提升]
  B --> D[收入提升]
  B --> E[成本降低]
  C --> F[ROI 评估]
  D --> F
  E --> F

每个 AI 功能都应该对应明确价值路径。客服助手对应平均处理时长下降，代码助手对应交付周期缩短，数据分析助手对应取数等待减少。

ai_roi_metrics:
  cost:
    - model_token_cost
    - infra_cost
    - human_review_cost
  value:
    - time_saved_minutes
    - conversion_lift
    - error_reduction

成本和收益都要算。只算模型成本，会低估运营、审核和维护成本。还有一个容易被忽略的成本：Prompt 工程师的人力投入。一个复杂 Agent 可能需要专人持续维护 prompt 模板、更新工具 schema、调整评估策略。这些人力也是 AI 功能的真实成本。

三、把人工成本算进去

type ROISnapshot struct {
    ModelCostCents int
    HumanReviewMinutes int
    TimeSavedMinutes int
    ErrorReduced int
}

很多 AI 功能看起来自动化，实际需要人工复核。复核时间、错误修正、Prompt 维护、知识库更新都应计入成本。否则 ROI 会被算得过于乐观。

也要看替代关系。AI 生成报告如果只是让分析师再改一遍，价值有限；如果能减少 60% 初稿时间，同时错误率可控，就值得继续投入。关键是"增量价值"：AI 在做之前人工做不到的事，还是仅仅把人工做的事换了个方式？前者有真实 ROI，后者可能只是把成本从人力账本移到了模型账本。

四、用实验验证，而不是凭感觉

ROI 最好通过实验验证。选择一组用户开启 AI 功能，一组用户保持原流程，比较完成时间、转化率、满意度、错误率和人工介入次数。

roi_experiment:
  control_group: manual_flow
  treatment_group: ai_assisted_flow
  duration_days: 14
  primary_metric: task_completion_time

实验指标要提前确定。上线后再挑好看的指标，很容易自我安慰。

还要关注负面指标。AI 功能可能提升效率，但增加错误、投诉、合规风险或客户困惑。ROI 不是只有收益一栏。

最后，ROI 复盘要影响产品决策。高 ROI 场景继续投入，低 ROI 场景降级或下线。不要因为"这是 AI 功能"就长期保留一个没人真正受益的入口。

ROI 还要按用户分层看。整体收益为正，不代表所有用户都受益。重度用户可能节省很多时间，轻度用户可能只是增加学习成本。分层后，产品可以把入口、提示和培训资源投给真正需要的人。

roi_segment:
  by_user_type: true
  by_task_type: true
  by_usage_frequency: true

也要给 AI 功能设置退出标准。连续几个周期 ROI 低于阈值、人工复核成本过高、错误率无法下降，就应该停下来重做或下线。技术投入需要纪律，不能靠热情无限续费。退出标准和上线标准一样重要——上了能下，才是健康的工程态度。

最后，ROI 报表要让业务看得懂。把 token 成本翻译成每单成本、每小时节省、每次任务节省，才方便决策。跟业务方说"这个月模型消耗了 500 万 token"他们听不懂，说"每单 AI 处理成本 0.3 元，替代了平均 6 元的人工处理成本"，他们秒懂。ROI 复盘的技术含量不在指标多，而在翻译准。

五、总结

AI 应用 ROI 复盘要同时计算模型成本、基础设施成本、人工复核成本和真实业务收益。用实验验证而非凭感觉，按用户分层看效果，给功能设退出标准。模型调用量只是热闹。能节省时间、降低错误、提升收入或减少风险，才算业务价值。