调查AI生产力的巨大鸿沟:为什么有些开发人员的速度快了5倍?

2025-11-19 10:40:00
docker动态
原创
93
摘要:人工智能驱动的开发人员工具声称可以提高您的生产力,从智能自动完成到[完全自主的功能工作
但用户报告的生产率提高却喜忧参半。一些团队声称获得了3- 5倍(或更多)的生产力提升,而其他开发者声称没有任何好处甚至损失高达19%。

我不得不支持这些相互矛盾的报道。

作为一名软件工程师,编写代码是我工作的重要组成部分。如果有工具可以很容易地增加我的产出,我有专业的责任去研究这个问题并学习使用它们。

我想知道在哪里,更重要的是,是什么将高绩效的团队与其他团队区分开来。这篇文章报道了我的发现。

2025年AI开发工具的状况

AI开发工具已经获得了显著的采用:2025年84%的StackOverflow调查受访者表示他们正在使用或计划使用AI工具,高于2024年的76%,51%的专业开发人员每天使用这些工具。

然而,AI开发工具是一个相当模糊的类别。太空经历了巨大的碎片化。当人工智能工具在2021年随着GitHub Copilot的推出而首次成为主流时,它们基本上仅限于增强的IDE智能感知/自动完成,有时还包括编辑器内的聊天功能。现在,在2025年,行业正在从IDE转向基于CLI的工具。

一些AI爱好者甚至认为IDE已经完全过时了,或者很快就会过时。

不过,在数据面前,这似乎是一个大胆的说法。

虽然采用率可能会上升,但对人工智能工具的积极情绪从2024年的70%降至60%。与信任AI工具的人(33%)相比,更高比例的开发人员(46%)也积极不信任AI工具的准确性。

这些数据描绘了一幅有趣的画面。开发人员似乎不情愿(或者一开始可能很热情)采用这些工具-很可能在很大程度上是由于来自人工智能投资公司的积极消息-只是发现这些工具可能并不像他们所宣传的那样。

到目前为止,我提到的工具主要是为代码的生成和修改而设计的。其他AI工具类别涵盖测试,文档,调试和DevOps/部署实践等领域。在本文中,我将重点介绍代码生产工具,因为它们与开发人员的生产力有关,无论是IDE内的copilot还是基于CLI的代理。

数据表明AI工具对开发人员生产力的影响

个人开发者的情绪是一回事,但肯定可以明确地表明这些工具是否能达到他们的要求?

不幸的是,开发人员的生产力很难在最好的时候衡量,当你引入生成式AI的时候,事情并没有变得更容易。

到目前为止,关于人工智能工具如何影响开发人员生产力的研究还相当缺乏,这在很大程度上可能是因为生产力很难量化。只有少数几项研究的样本量相当大,而且它们的方法差异很大,因此很难在1:1的基础上对数据进行比较。

然而,有几个数据点值得研究。

在确定包括哪些研究时,我试图为每一方找到两到四项研究,这些研究代表了具有不同经验水平的开发人员的良好分布,使用不同类型的代码库,并使用不同的AI工具。这种多样性使得比较结果变得更加困难,但同质研究不会产生有意义的结果,因为现实世界的开发人员及其代码库差异很大。

数据显示AI提高了开发人员的生产力

在“人工智能让我们更快”一栏中,类似这样的研究表明,“在三个实验和4,867名开发人员中,[他们的]分析显示,使用人工智能工具的开发人员完成的任务增加了26.08%(SE:10.3%)。值得注意的是,经验不足的开发人员采用率更高,生产力也更高。

最后一点经验较少的开发者有更大的生产力收益是值得记住的;我们将回到它。

在GitHub的一项对照研究中,使用GitHub Copilot的开发人员完成任务的速度比未使用GitHub Copilot的开发人员快55%。这项研究还发现,90%的开发人员发现使用Copilot后,他们的工作更有成就感,95%的人表示,他们在使用Copilot时更喜欢编码。虽然看起来成就感和享受感与生产力没有直接联系,但有证据表明它们是促成因素。

我不禁注意到,发现人工智能提高开发人员生产力的最有力的研究与生产人工智能开发工具的公司有关。上面提到的第一项研究的作者来自微软-OpenAI的投资者-以及麻省理工学院生成AI影响联盟的资金,该联盟的创始成员包括OpenAI。另一项研究是由GitHub进行的,GitHub是微软的子公司,也是领先的人工智能开发工具Copilot的创建者。虽然这并没有使研究或发现无效,但值得注意。

数据显示AI工具不能提高生产力

也许其中最臭名昭著的是2025年7月的METR研究。尽管参与该研究的开发人员预测人工智能工具将使他们的速度提高24%,但这些工具实际上使他们在完成指定任务时速度降低了19%。

这项研究的一个值得注意的方面是,开发人员都在他们非常熟悉的相当复杂的代码库中工作。

Uplevel的另一项研究也指向了类似的方向。通过对800名开发人员的调查,他们发现在客观的衡量标准上(如周期时间或PR吞吐量)没有显著的生产率提高。事实上,他们发现使用Copilot的开发人员引入了41%的bug,这表明对代码质量有负面影响,即使对吞吐量没有影响。

发生什么事了?

这些研究怎么会得出如此大相径庭的结果呢?

我必须再次承认:生产力很难衡量,而生成式人工智能是出了名的不确定性。对一个开发人员有效的方法可能对另一个开发人员在不同的代码库中不起作用。

然而,我确实相信这些看似矛盾的发现会产生一些模式。

首先,人工智能确实可以带来短期的生产力和满意度提升,特别是对于经验不足的开发人员和范围广泛的任务。然而,当工作复杂、系统不熟悉或开发人员过度依赖该工具时,人工智能可能会引入质量风险并减慢团队的速度。

还记得经验较少的开发人员拥有更高的采用率和更高的生产力收益吗?虽然一开始这似乎是一件好事,但它也有一个潜在的问题:依赖人工智能工具,你有可能阻碍自己的发展。你也没有快速学习代码库,这将使你依赖AI。我们甚至可以更进一步:经验不足的开发人员是否认为他们更有效率,但实际上他们对代码缺乏足够的熟悉度,无法理解所做更改的影响?

这些风险会成为现实吗?谁知道呢如果我是一个经验较少的开发人员,我至少会想了解他们。

我的结论

我从这项研究中得出的最大结论是,开发人员不应该期望3- 5倍的生产力提升。即使你设法用人工智能生成3- 5倍于手动编写的代码,代码也可能达不到合理的标准,唯一确定的方法是彻底审查它,这需要时间。

研究结果表明,一个更合理的期望是,你可以提高20%左右的生产力。

如果你是一个经验不足的开发人员,你可能会从AI工具中获得更多的原始输出,但这可能会以你的成长和独立性为代价。

在这个人工智能工具的时代,我对初级开发人员的建议可能是你以前没有听说过的:学习如何有效地使用人工智能工具,但不要认为它会使传统的学习和理解过时。您从这些工具中获得价值的能力取决于首先了解语言,系统和上下文。人工智能会犯很多错误,如果你把方向盘交给它,它会比你自己更快地产生损坏的代码和技术债务。把它当作一个导师,一个指南,一种加速学习的方法。让它弥合差距,但目标是超越它。

如果你已经是一个有经验的开发人员,你几乎肯定比AI更了解你的代码库。因此,虽然它可能比你输入得更快,但你不会从它那里得到那么多的原始输出,纯粹是因为你可能会比它更专注地进行更改。当然,你的里程可能会有所不同,但人工智能工具通常会尝试做他们想到的第一件事,而不是最好或最有效的事情。

这并不是说你不应该使用AI。但你不应该把它看作是一根魔杖,它会立即使你的生产力提高5倍。

像任何工具一样,你需要学习如何使用AI工具来最大限度地提高你的效率。这涉及到快速制作,审查输出,以及改进后续输入,我在另一篇文章中已经写过了。一旦你完成了这个工作流程,人工智能工具可以为你节省大量的代码实现时间,同时你可以专注于理解到底需要做什么。

如果人工智能工具真的是一种范式转变,那么您有理由改变您的工作方式以从中获得最大收益。您不能期望将人工智能注入到您当前的工作流程中,并在不对您的操作方式进行重大更改的情况下获得收益。

对我来说,教训是明确的:生产力的提高不仅仅来自工具;它们来自使用它们的人和他们遵循的过程。我已经看到了开发人员和代码库之间的足够多的差异,知道这不仅仅是理论,这些研究的结果表明了同样的事情:相同的工具,不同的结果。

原文出处: https://www.docker.com/blog/ai-productivity-divide-developers-5x-faster/
发表评论
玖 乘 玖 =
评论通过审核后显示。
文章分类
联系方式
联系人: 王春生
Email: chunsheng@cnezsoft.com