经验丰富的软件开发人员认为 AI 会为他们节省大量时间。但在一项实验中,他们的任务花费的时间增加了 20%
快速阅读: 《财富》消息,一项研究发现,16名开发者使用AI工具反而耗时更长,挑战了AI提升效率的主流观点。研究显示,AI未达预期效果,甚至可能影响生产力。
据模型评估与威胁研究机构(METR)的一项新研究显示,16名软件开发人员在使用人工智能工具完成任务时,所花费的时间反而比不使用该技术时更长,尽管他们原本预期人工智能会提高生产力。这项研究挑战了“人工智能推动工作效率提升”的主流观点。
这项实验的结果本月公布,令使用AI的软件开发人员及研究作者乔尔·贝克和内特·拉什感到意外。研究团队招募了16名平均有五年工作经验的软件开发人员,让他们完成246项任务,其中一半任务允许使用人工智能工具,另一半任务则独立完成。开发人员原本预计,使用人工智能工具可以将任务完成时间平均缩短24%,但实际上,任务时间反而增加了19个百分点。
参与研究的菲利普·布克哈德在其博客中写道:“虽然我认为使用人工智能处理任务时我的生产力没有受到影响,但它并没有像我预期的那样帮助我,甚至可能阻碍了我的努力。”
研究发现,经验丰富的开发人员在使用AI工具时,由于需要将原有计划和问题解决策略融入AI的输出中,导致调试时间增加。此外,开发人员还需耗费时间编写提示词给聊天机器人,或等待AI生成结果。
研究作者拉什表示:“大多数参与研究的开发者认为,即使AI输出总体上有帮助,但他们仍需花大量时间整理生成的代码,使其真正适用于项目。”
这项研究的结果与关于人工智能改变经济和劳动力的宏大承诺相矛盾,但拉什和贝克避免对研究结果对未来人工智能的意义做出泛泛而谈。他们指出,研究样本较小且缺乏代表性,评估的是特定时间点的技术,不排除未来可能会开发出确实能帮助开发人员提升工作效率的人工智能工具。
经济学家已指出,这项研究符合关于人工智能和生产力的更广泛观点。芝加哥大学布斯商学院经济学助理教授安德斯·赫姆卢姆表示,尽管人工智能开始逐步取代初级职位,但对于已有多年经验的软件开发人员来说,使用这些工具可能不会带来显著的生产力提升。
赫姆卢姆的研究发现,在丹麦的7000个职场中,共有25000名员工使用这些工具,生产力仅提升了3%。这一结果支持麻省理工学院经济学家达龙·阿西莫格鲁的观点,即市场过度估计了人工智能带来的生产力增长。
赫姆卢姆强调:“在现实世界中,许多任务远比输入到ChatGPT中复杂得多。许多专家积累了大量有益的经验,我们不应忽视这些经验,放弃这些宝贵的实践经验。”
他补充道:“我们应该格外谨慎地选择何时使用这些工具。”
(以上内容均由Ai生成)