并非所有AI项目都能取得成功。
因此,CIO必须将"快速失败"原则应用于AI计划,尽快判断一个看似有前途的想法是否真的行不通。
说起来容易做起来难。麻省理工学院发布的《2025年企业AI现状》报告显示,在受访的153位高级管理人员中,95%的人表示"毫无回报"。
为了解CIO如何决定何时终止一个AI项目,我们采访了两位IT领导者:什么是具体的警示信号,告诉你一个AI试点已经变成了沉没成本,需要被叫停?两位领导者都明确指出了项目偏离轨道的典型迹象。
以下是Behrstock和Clark对这一问题的回答,经过整理和精简。
Behrstock:从"成功是什么样子"开始
"当我们承担AI项目时,我始终从这个问题出发:成功是什么样子,我们如何衡量它?
"举个例子,如果我们将AI用于销售或营销预测,我们会从一小批我们非常熟悉的数据开始。基于这些数据,我们对输出结果应该是什么样子有清晰的预期。如果输出结果方向不对,通常就说明哪里出了问题——可能是数据、流程或模型本身。
"在此基础上,我们设定短期里程碑,通常每隔几周检查一次,看看我们是否在朝着预定目标靠近,并用可量化的结果来衡量。
"如果没有进展,我们就转向或暂停。我不认同为了显示'我们在做AI'而盲目推进AI项目。如果成功没有被清晰定义,或者我们无法衡量进展,那就是一个警示信号。
"除非判断项目与业务方向不符,否则我不会轻易叫停。"
转向以达成成功
"我发现,有时开发人员会陷入'分析瘫痪'——在AI应该如何运作这个问题上纠结不前,导致时间线和预算不断拖延。但当设定的渐进式里程碑持续未能达成时,你就需要问:要做什么改变才能走向成功?
"举个例子:目前我们正在使用AI预测建模。我们取了一批非常熟悉的小样本数据,对输出进行衡量,从而明确'好的结果是什么样子'。然后我们不断加入更多数据,以此判断模型是否在正常运行,还是需要转向。
"需要转向时,可能是因为我们没有合适的资源或技能,这时我们可能需要与咨询公司合作来推进项目。"
"非常有意识地推进"的价值
"我还没有到过需要说'叫停吧'的处境。但如果我们后来发现,原本以为对业务有意义的事情其实并不成立,我确实会做出这样的决定。不过我还没遇到过这种情况,因为我们做的每一件事都非常有意识。我非常注重提前设定预期、定义成功标准。所以如果里程碑没有达成,通常是数据和流程方面的问题,我们就找到需要调整的地方,然后转向。"
Clark:警示信号清单
"在我看来,最核心的警示信号是:试点项目不再有清晰的路径为组织创造战略价值。
"另一个信号是团队陷入循环——每次带来同样的进展汇报,没有任何推进,同样的PPT,同样的障碍,嘴里说着'快好了',但什么也没交付。那你就知道这个项目卡住了。
"还要关注用户采用率低的情况——你发布了一些大家都说'哦,这太酷了'的东西,但最终没人用。
"高管支持消失,也是我会关注的信号。
"还有一个非常重要的信号——这种情况很常见——就是当供应商开始将类似的AI功能纳入其平台核心能力时。我们的工作不是和这些供应商竞争。
"最后一点——在人工智能领域尤为突出——就是当你最初兴奋不已的应用场景,因为技术发展太快而变得过时的时候。
"以上任何一种情况都可能是警示信号。"
寻找警示信号背后的原因
"你需要追问:为什么有些项目会出现警示信号?
可能是被要求做的事情超出了团队的能力范围。这时你需要判断:这个AI项目是否值得继续追求——值得引入外部资源来完成;还是仅仅作为团队练习和学习的试点就好;或者,当初对这个项目充满热情的高管现在根本不愿意和我们开会,说明他已经不在乎了,你也就不应该继续推进。
"你投入的所有资金和精力,完全可以用在其他更能实现组织目标的事情上。"
那个未能落地的试点项目
"我可以举一个具体例子:我们一直在关注教育的可及性问题。我们认为可以通过创建一个AI辅导覆盖层,让开放教材——也就是那些免费的教科书——对学生更有用。
"于是我们尝试试点这个项目,但没有人采用。这让人很沮丧,因为我们看到了通过增加支持系统来让开放教材对学生更有价值的方式。
"事实证明,教师普遍不喜欢开放教材,因为这些教材没有附带他们所需的教学资源。所以尽管这是一个很棒的想法,能够服务于我们的使命、推进战略目标,高管们最初也认为很有价值,我们最终还是不得不放弃。"
从终止项目中学到的经验
"做出这个决定确实令人痛苦,因为我认为学生们每年在教材上的集体支出高达数亿美元。但我们从这个项目中学到了很多。比如,如果我们真的要做这件事,需要确保它支持多语言,能够处理数学符号。我们学到了一些对社区有用、可以应用到其他地方的东西。"
Q&A
Q1:CIO如何判断一个AI项目是否应该被终止?
A:判断AI项目是否应该终止,主要看几个警示信号:项目失去清晰的战略价值路径、团队陷入循环没有实质进展、用户采用率极低、高管支持消失、供应商已将类似功能纳入平台,或者原始应用场景已因技术迭代而过时。CIO应在项目启动时就定义成功标准,并设置短期里程碑,定期检验进展,及时调整或终止方向不对的项目。
Q2:AI项目"快速失败"原则在实际操作中如何落地?
A:落地"快速失败"原则的关键是:启动前明确定义成功标准和衡量方式,从小规模数据开始验证,设置每隔几周的渐进式里程碑,持续检验输出结果是否符合预期。一旦发现里程碑持续未达成,就需要分析问题根源——数据、流程还是模型——并决定是调整方向、引入外部资源,还是直接终止项目。
Q3:AI开放教材辅导试点项目失败的原因是什么?
A:该试点项目尝试为开放教材添加AI辅导功能,以降低学生教材成本。但最终失败的根本原因是用户采用率为零——教师普遍不喜欢开放教材,因为这类教材缺乏他们所需的配套教学资源。尽管项目本身出发点很好,也得到了高管的初步认可,但缺乏核心用户群体的支持,导致项目不得不终止。不过团队从中积累了多语言支持和数学符号处理等有价值的经验。