号称“全球首个AI人工智能软件师”Devin，如今被网络博主质疑造假。4月9日，一位自称有35年软件工程师经验的网络博主卡尔逐帧复现了Devin的演示视频并提出四点质疑，包括Devin所展示的编程能力存在一定欺骗性，“它处理的任务并非随机，而是演示者精心选择的刻意呈现”；此外，Devin在操作过程中看似修复了许多问题，但这些问题很多都是Devin的“自导自演”。
“全球首个AI人工智能软件师”Devin被网络博主质疑造假。(04:12)
首个AI程序员被指炒作，多次“自修自建”代码夸大实际效果
Devin是由Cognition Labs于今年3月12日发布的一项AI编程产品，并被宣传为“全球首位AI工程师”。在Cognition官网发布的长达1分50秒的演示视频里，Devin只需一句指令，就能实现端到端地处理整个开发项目，此外视频显示它具备自主学习新技术、端到端构建和部署应用、自主查找和修复代码问题等能力；还可以按照用户需求同时执行多步骤工作流程，程序员们可以实时观察其进度，发现错误时，跳出指令就能修正。
卡尔针对上述视频经过逐帧比对后提出质疑。他认为，在上述演示视频的2.936秒处，屏幕左上角显示“他们搜索过这个任务”，这意味着演示视频中Devin处理的任务并非随机，而是演示者选择的。卡尔怀疑，这有可能意味着Devin在大部分的工作中并不出色，甚至比视频演示中的还要糟糕。
上述演示视频的2.936秒,屏幕左上角显示“他们搜索过这个任务”。
在运行的过程中，Devin出现了数次“自建自修”的情况，看似在做代码修复，实际上并不是修复它在互联网上找到的代码，也不是客户要求它修正的代码，而是自己生成的错误代码。卡尔质疑Devin的实际运行效率可能很低下，且存在很多毫无意义的操作。
此外，演示视频的前部分显示是3月9日下午3时25分，但后半部分的时间段却显示的是9日21时41分，这意味着Devin处理工作前后有6个小时20分钟的间隔。而卡尔在自己实际操作的过程中，仅花了35分55秒就可以复现Devin的工作。
卡尔表示自己并非反对AI，但他想谴责的是Devin团队这类“AI炒作”的行为。他希望人们对互联网上的任何信息，尤其是人工智能相关的信息保持谨慎怀疑的态度。
业内人士认为博主质疑有理有据
澎湃科技注意到，目前Devin 还没有开放使用，只能通过邮箱提交申请，外界对Devin的认知，基本都来自官方给出的演示视频，以及少数第三方开发和产品人员的评价。
据外媒报道，Cognition AI背后的团队成员共10人，核心团队共有3人，分别是Scott Wu、Steven Hao和Walden Yan，团队非常年轻。全体成员共拥有10枚国际信息学奥林匹克竞赛（IOI）金牌，很多成员在青少年时期也参加过信息学国际奥林匹克竞赛等。在发布“全球首个AI程序员Devin”这一信息后，Cognition AI备受外界关注。公开资料显示，此前，Cognition AI已经获得了彼得·蒂尔的Founders Fund基金领投的2100万美元A轮融资。
眼下，AI编程究竟有没有夸大、炒作的嫌疑？AI程序员相比人类程序员可以做哪些事？
上海市人工智能行业协会、大模型专班负责人王逸浩告诉澎湃科技，AI程序员的存在确实可以协助人们独立完成简单的开发工作，甚至可以脱离一名真正程序员的帮助，能减少大量不需要创新的重复劳动，例如批量修改代码的命名风格、代码的依赖关系等。但卡尔针对Devin的质疑目前看来也有理有据，从演示的内容来看，Devin做文书工作的时长是一位经验丰富程序员的十二倍左右。
王逸浩认为，从其他相似业务的使用体验效果来看，Devin的“惊人效果”确实存在一些商业炒作、包装的嫌疑。一般诸如微软Copilot这样的工具都需要提供充足的上下文，而Devin明显对程序的逻辑理解都还不到位。
不过，在王逸浩看来，尽管Devin的功能存在部分夸大的情况，但并不能否认AI编程的发展趋势，“程序员们都在熟练地拥抱大模型带来的便利，试用各类代码辅助工具。程序员们离不开这些助手，类似于设计师们离不开Stable Diffusion。”
