Эффективность ГенИИ в разработке: как измерить на практике
Зачем это все
Мир движется к формированию новой рабочей среды, где ИИ усиливает возможности специалистов и помогает им работать быстрее и качественнее.
Для разработки это означает смену самого подхода к организации труда. Уже появляются команды, где живым сотрудникам ассистирует ИИ, а привычная логика «один человек — один участок ответственности» уступает место распределению задач между людьми и цифровыми исполнителями. Это не просто модная концепция, а фундаментальный сдвиг в том, как создаются продукты, оказываются услуги и формируется конкурентоспособность компаний.
Пилотные проекты запускают банки, металлургические гиганты, ИТ-компании, консалтинг. Однако нередко этот процесс напоминает покупку спортивного автомобиля чтобы ездить по двору на второй передаче. Да, технология модная и перспективная, но подлинный эффект от нее есть только тогда, когда компании знают, зачем ее внедряют, и как правильно измерить отдачу.
На смену интуиции приходят метрики — и именно вокруг этого строится сегодня грамотная стратегия работы с ГенИИ. Рассмотрим, как измерить эффект от его использования для буста процессов жизненного цикла разработки ПО (процессы SDLC — Software Development Lifecycle).
От сотрудников к агентам: смена архитектуры штата
В традиционной модели команды разработки задачи распределены между людьми, каждый из которых отвечает за свой узкий участок. Такая структура удобна в стабильной среде, но плохо масштабируется, когда меняются требования, появляются новые инструменты и растет нагрузка.
Искусственный интеллект будет локомотивом капитализации в ближайшие годы
Новая концепция, к которой рынок постепенно движется, предполагает, что часть работы будут выполнять ИИ-агенты, которые обладают важной особенностью — автономностью. Они могут функционировать независимо, принимать решения без вмешательства человека, а также взаимодействовать с другими системами и людьми. Кроме того, агенты способны прогнозировать события, адаптироваться к изменениям, интегрироваться с внешними API и выстраивать многоэтапные планы действий. Это не абстрактная теория — уже есть конкретные сценарии, описанные в ежегодном
от Microsoft. В них человек перестает быть единственным исполнителем, превращаясь в менеджера цифровых коллег.
Переход к такой архитектуре происходит поэтапно. Первая фаза — «человек плюс ассистент». У сотрудников есть ИИ-помощник (по сути, это тот или иной вариант большой языковой модели), который ускоряет работу и помогает решать задачи лучше. Но ответственность за результат все еще полностью лежит на человеке. Вторая фаза — смешанные команды, в которых уже именно ИИ-агенты берут на себя выполнение определенных задач под контролем людей. Наконец, следует третья, где человек управляет уже несколькими агентами, задает им направление, а проверка результатов становится точечной.
Сейчас подавляющее большинство компаний находятся в самом начале первой фазы. Даже там, где уже создают ассистентов под конкретные типы задач, речь идет скорее о точечных решениях. И именно на этом этапе критично выработать культуру взаимодействия с новыми инструментами: умение ставить задачи, делить их на подзадачи, корректировать работу модели и использовать сильные стороны ИИ в связке с человеческими компетенциями.
Как показывает практика, заменяет человека не машина, а другой человек, который умеет этой машиной управлять.
От субъективных оценок к объективным данным
Переход к командам с агентами создает главный управленческий вызов: как доказать, что технология действительно приносит пользу, а не просто украшает процессы? На старте большинство компаний ориентируются на субъективные ощущения — «работает лучше» или «стало быстрее». Но в условиях, когда ГенИИ интегрируется в работу все глубже, этого недостаточно: нужен язык цифр, на котором можно разговаривать с акционерами, топ-менеджерами и заказчиками.
В Axenix выделяют три подхода к измерению эффекта от ГенИИ в командах разработки.
Первый — качественный. Он основан на субъективной оценке сотрудников и сравнении времени выполнения типовых задач «до» и «после». Такой метод полезен в самом начале пути: он позволяет зафиксировать первые улучшения, даже если их невозможно прямо перевести в деньги. Но у него есть очевидные минусы — низкая точность, ограниченный срок применимости и невозможность учесть все переменные.
Второй — количественный. Здесь речь идет о строгих замерах: сколько времени сэкономлено благодаря ИИ и сколько это стоит в пересчете на ставки сотрудников. Например, если раньше разработчик тратил восемь часов на задачу, а с ассистентом — шесть, экономия времени превращается в конкретный денежный эквивалент.
Этот метод консервативен и задает «нижнюю планку» эффекта, ниже которой компания точно не опустится. Но и он не универсален: скорость написания кода сама по себе не всегда отражает реальную эффективность, а не все сценарии автоматизации легко поддаются замеру в часах.
Третий — генеративный подход. Это уже не просто косвенные признаки, а прямое измерение вклада ГенИИ в готовый продукт. Методика проста в формулировке, но сложна в реализации: фиксируется весь код, созданный моделью, затем он сравнивается с кодом, который реально попал в репозиторий, и рассчитываются две ключевые метрики — «проницаемость» (доля ИИ-кода в проекте) и «полезность» (процент сгенерированного кода, который был использован без существенных изменений).
Например, если проницаемость составила 55%, это означает, что более половины кода, внесенного разработчиком, изначально было сгенерировано моделью, пусть даже с доработками. А полезность в 30% говорит о том, что почти треть предложений ИИ были взяты в проект в готовом виде.
ИИ замедляет работу опытных программистов
Такой подход применим к разработчикам любого уровня и дает возможность считать эффект не только через скорость, но и через фактический объем работы, выполненной искусственным интеллектом.
В своей работе мы используем для оценки эффективности все три подхода. И если говорить о конкретных итогах, то результаты пилотов и проектов внедрения для крупных российских заказчиков Axenix показывают 15-31% прироста производительности, что сопоставимо с оценками международного консалтинга. По данным PwC, средний прирост производительности от внедрения ГенИИ составляет 15%–20%, у Gartner эта цифра доходит до 40%, а McKinsey фиксирует 20%–30%.
Но важно помнить: эти показатели ограничены по времени. На старте мы сравниваем себя с «вчерашними» процессами и фиксируем резкий рост, но через год-полтора ИИ перестает быть чем-то особенным и превращается в стандартный инструмент. Тогда и метрики должны перестать быть «про ускорение» и перейти к более глубоким показателям — от качества результата до его бизнес-ценности.
Когда плюсы перевешивают минусы
Внедрение ГенИИ всегда балансирует между призом в виде ускорения процессов и набором вполне реальных рисков. Среди главных угроз — «галлюцинации» ГенИИ-моделей, когда машина выдает логично выглядящий, но неверный результат; снижение качества кода без должной валидации; возможные утечки интеллектуальной собственности при использовании внешних сервисов; уязвимости, которые могут быть сгенерированы вместе с кодом.
Однако плюсы начинают явно перевешивать, когда в компании действуют четыре ключевых условия:
Глубокое понимание сильных и слабых сторон технологии: команда должна четко представлять, в каких сценариях ГенИИ дает максимум пользы, а где он лишь создает иллюзию ускорения. Налаженный процесс валидации, в том числе автоматизированной, когда каждый фрагмент кода или текст проверяется на соответствие стандартам качества и требованиям безопасности. Прозрачные критерии оценки эффективности, понятные как разработчикам, так и менеджменту. Наличие собственных или адаптированных под компанию инструментов измерения, позволяющих в любой момент показать, что, например, 30% кода в проекте уже сгенерированы ИИ без ущерба для качества.
Когда эти элементы сходятся, преимущества ГенИИ становятся очевидными. Он ускоряет и упрощает разработку, снижает затраты на поддержку и исправление кода, повышает консистентность стиля, помогает быстрее адаптировать новых сотрудников. Рутинные операции вроде генерации boilerplate-кода, написания тестов или подготовки документации перестают забирать часы человеческого времени. В результате команда не только успевает делать больше, но и получает возможность перераспределять ресурсы на задачи, которые раньше откладывались на потом.
Новые компетенции и трансформация ролей
Появление в команде ИИ-агентов меняет саму логику формирования штата и перечень востребованных компетенций. Ожидается появление специальностей, которых еще несколько лет назад не существовало: AI Trainer, AI Agent Specialist, AI Security Specialist, AI ROI Analyst и др. Эти специалисты будут отвечать за обучение систем ИИ, их адаптацию под задачи бизнеса, безопасность данных и оценку рентабельности проектов.
В отчете Microsoft Work Trend Index эти профессии выстроены по популярности и прогнозируемому спросу, и значительная их часть связана не с технической разработкой, а с управлением, стратегией и аналитикой. Но при всей важности новых управленческих компетенций технические навыки никуда не исчезают.
Эта трансформация неизбежно приводит к перераспределению ролей. Те, кто останется в рамках узких функций без освоения новых компетенций, будут постепенно вытесняться на периферию. А те, кто научится сочетать техническое понимание, управленческие навыки и работу с агентами, станут ключевыми фигурами в командах будущего.
И именно они смогут в полной мере реализовать тот самый трилионный потенциал роста, который сегодня кажется смелым прогнозом, а завтра может стать повседневной реальностью экономики.