Использование ИИ увеличило время выполнения задач у опытных разработчиков

Вопреки распространенному мнению, использование ИИ-инструментов может не ускорять, а замедлять работу опытных программистов. Эту проблему выявило новое исследование некоммерческой организации METR, которое ставит под сомнение идею о том, что ИИ всегда повышает производительность труда.

Исследование проводилось с группой опытных разработчиков, которые использовали ИИ-ассистента для программирования, встроенного в редактор Cursor. Они работали над задачами в проектах с открытым исходным кодом, с которыми были хорошо знакомы. До начала эксперимента участники ожидали, что ИИ ускорит их работу в среднем на 24%.

Результаты оказались неожиданными. Исследование показало, что использование ИИ не ускорило, а наоборот, замедлило разработчиков. Время выполнения задач увеличилось в среднем на 19%. Причиной замедления стало то, что программистам приходилось тратить время на проверку и исправление предложений ИИ. Хотя эти предложения часто были верными по направлению, они не были абсолютно точными.

Интересно, что даже после завершения задач разработчики субъективно считали, что ИИ помог им сэкономить 20% времени. Это говорит о том, что инструмент делает процесс разработки более приятным и менее трудоемким, похожим на редактирование готового текста, а не на написание с нуля. Большинство участников продолжают использовать ИИ-помощник и сегодня.

Выводы из этого исследования показывают, что возврат инвестиций в ИИ-инструменты для разработки не всегда выражается в прямом увеличении скорости. Ценность может заключаться в улучшении опыта разработчиков и снижении когнитивной нагрузки. Это означает, что влияние ИИ на производительность сильно зависит от контекста: опыта инженера и его знакомства с кодовой базой.