最危险的AI项目,不是没人使用。
而是所有人都说“挺好用、挺省时间”,公司却始终回答不了:它到底省了多少?
METR做过一项随机对照实验:16名资深开源开发者,在自己熟悉的项目里完成246个真实任务。开发者使用AI后,主观认为自己快了20%;实际计时结果却显示,任务完成时间增加了19%。
这项研究针对的是早期2025年的AI工具和特定开发场景,不能简单理解成“AI一定让人变慢”。真正值得AI产品经理注意的是:主观提效感可能不可靠。
AI最容易制造一种“进展很快”的感觉。
原来半小时才能写出第一版,现在两分钟就能生成。但生成之后还要检查事实、修改格式、补充上下文、修复错误。下游同事接手后,可能还要重新核对。
如果只计算第一次生成的时间,AI当然很快。
但产品经理真正应该计算的是:
原任务耗时,与“AI处理+等待+人工审核+返工+下游修复”之间的差值。
做AI提效实验时,可以先选一个高频、验收标准清晰的任务,记录3—5次不用AI的完整耗时,再记录3—5次使用AI的数据。两组使用相同的质量标准,同时记录审核时间、返工次数和结果采用率。
不要用调用次数证明价值,也不要只问员工“感觉有没有变快”。
第一版生成得快,是模型能力。
最终交付得更快,才是产品价值。








