В этой статье я собрал несколько исследований и работ, с хорошей методологией, которые изучали вопрос продуктивности разработчиков с AI. Ниже кратко о самом главном.

Недавно вышла хорошая статья «So where are all the AI apps?», где дотошно анализировали PyPI (репозиторий Python-пакетов) в поисках бурного роста продуктивности.

Количество новых пакетов не увеличилось, хотя именно там должно быть видно обещанное нам увеличение продуктивности. Новые пакеты обновляются чаще, но этот тренд начался в 2019-м, скорее всего из-за появления CI/CD (GitHub Actions).

TLDR для неайтишников: как ни возьми результаты (а не ощущения!) работы разработчиков, не получится увидеть прирост эффективности их труда.

Любопытно, что прирост видно, если разделить пакеты на AI и не AI. У первых обновлений в два раза больше. И только там! Самый большой прирост — у популярных пакетов. 

Может AI разработчики лучше умеют пользоваться AI? Но тогда рост был бы виден везде. Очевидно, что это эффект AI хайпа.

А если связать с колоссальными инвестициями в AI, то легко увидеть, что прирост активности есть там, куда потекли деньги.

Еще есть довольно авторитетный отчет «Impact of Generative AI in Software Development» (аж с Google Cloud). Согласно ему 75% разработчиков использование GenAI дает ощущение продуктивности.

Это вполне ожидаемо, и отражает общий нарратив об AI. При этом измеряемые результаты говорят совсем другое:

При 25%-адопшене genAI в разработку, немного падает delivery throughput (на 1.5%) и delivery stability (на 7.2%).

Другими словами, с AI работать приятнее, но на деле эффективность разработки снижается.

В этом же отчете есть вывод: по собственным ощущениям разработчики делают меньше ценной работы.

То есть количество тупой рутины растет даже по ощущениям. Что довольно контринтуитивно, потому что от genAI мы ожидаем автоматизацию именно скучной части работы.

Для себя можно сделать вывод: серьезный адопшн AI в корпорациях пока не выглядит неизбежным.

То есть должны произойти качественные изменения технологии, чтобы адопшн давал реальный прирост продуктивности разработчиков. В долларах! Пока мы этого не видим.

Более того, нет даже значимого прироста числа github репозиториев! А ведь с революционной технологией разработчики должны запускать сайд-проекты намного быстрее.

То есть подавляющее большинство говорящих о 10х эффекте от вайбкодинга и кодинга с AI никогда не пробовали ни вайбкодить, ни писать код. В работе это может выглядеть так: менеджер предлагает внедрять AI кодинг инструменты (все же внедряют!) А на деле это ведет к снижению эффективности труда разрабов в компании.

Со стороны бизнеса: CEO Notion рассказал The Wall Street Journal, что до AI маржинальность продукта была 90%, а после добавления AI фич упала до 80%. Проще говоря, они как лидеры рынка были обязаны добавить фичи, но в итоге теряют на этом деньги (бурного прироста пользователей из-за AI нет).

Конечно AI не помогает запускать новые стартапы и софтверные бизнесы, потому что узкое место там вовсе не код. Это знают все, кто хоть раз что-то запускал 🥲 

Но AI помогает например делать крутые прототипы. При этом заметьте, что они уже перестают кого-то впечатлять. Это как с AI слопом: поначалу картинки из миджорни или видео из соры всем нравились, а теперь любой намек на AI скорее в минус.

Ну и напоследок самое известное и авторитетное исследование (pdf) от METR, которое дало такие выводы: опытные разработчики считают, что AI инстументы (cursor/claude) ускоряют их работу на 20%. А на самом деле ЗАМЕДЛЯЮТ на 20%.

Любопытно, что в исследовании сами разработчики оценивали прирост скорости в 20%, а неразработчики — в ~40%. Такой расклад во многих сферах. Например в опросе в моем блоге «когда будет налоговый AI супер агент» можно оценить, как много людей никогда сами не сдавали декларации.

Ожидания самих разработчиков ПОЛНОСТЬЮ расходятся с реальностью (думали, что экономят 20% времени, а на деле тратят на 20% больше).

Разработчики меньше пишут код руками, но больше проверяют, правят и ждут — отсюда и замедление. Конечно нужны такие исследования и по другим профессиям. Хотя интуитивно кажется, что все будет еще хуже.

Короче говоря, сегодня у нас есть факты, что AI делает многих из нас не более, а менее продуктивными!

Совсем другой вопрос — если с AI работать становится интереснее, то можно и пожертвовать эффективностью ради удовольствия от работы!

Только как это измерить?