Весной 2023 года TeamStorm провел исследование, чтобы узнать, как в российских компаниях оценивают эффективность разработки ПО. Мы провели опрос своих клиентов, получилось около трех десятков респондентов. Это и IT-компании, и группы разработки в компаниях других отраслей: банках, страховых, ритейлерах и в медтехе. Кратко рассказываем о результатах.
Подходы к использованию метрик
Оказалось, что общепринятых стандартов по сбору метрик, которые позволяют оценить процесс разработки, в нашей стране нет. Причина — слишком разные подходы к менеджменту и разнообразие используемых методологий.
Общепринятые методологии иногда вообще не применяются, из-за неконсистентности данных. При этом такие компании считают, что менять свои бизнес-процессы только ради унификации данных нецелесообразно. В целом стандарты по сбору и оценке метрик применяют только 30% респондентов. Интересно, что это как раз небольшие компании.
Несмотря на отсутствие общего стандарта по сбору метрик, есть показатели, которые рассматривают все без исключения участники опроса — это метрики тестирования и выполнения планов.
Еще один интересный факт: регулярно оценивают метрики только 30% компаний. А остальные 70% делают это только в тех случаях, когда становятся очевидными острые проблемы в разработке.
Какие именно метрики используются для оценки эффективности разработки
Метрика динамики рабочего процесса обязательна к применению во всех опрошенных компаниях. Всегда отслеживается время выполнения задач, причем одни просто учитывают среднее время на задачу, а некоторые компании даже детализируют метрику времени, потому что это полезно для анализа общей тенденции.
Но только 20% респондентов отслеживают полный жизненный цикл продукта — время, которое проходит между появлением идеи или выставлением бизнес-требований и запуском в продуктив. А подавляющее большинство, 80%, не включают в метрику динамики рабочего процесса этапы, которые предшествуют разработке.
Еще одна обязательная группа метрик – метрики качества. Их очень много. Наиболее распространенные:
- общее количество ошибок в разрезе прогресса, регресса и продуктива;
- прирост дефектов (отслеживание динамики обнаружения дефектов и их исправления);
- количество переоткрытий дефектов;
- среднее время исправления дефекта;
- покрытие функционала тестами;
- коэффициент пройденных тестов и успешно пройденных тестов.
Гораздо реже используются метрики процесса разработки. Компании анализируют их, чтобы сформировать понимание, насколько результаты разработки соответствуют ожиданиям в сравнении с предыдущими периодами и текущими приоритетами. Наиболее распространенные из них:
- время на ревью;
- время цикла;
- метрики активности на основе кода;
- отток и эффективность кода;
- метрики DORA (DevOps Research and Assessment).
К каким выводам мы пришли
В целом респонденты согласились, что серьезный подход к сбору и анализу метрик может значительно повысить эффективность работы компании. Однако важно не перегружать систему их излишним количеством, чтобы не запутаться в данных. Вместо этого следует тщательно отбирать значимые показатели, которые могут предоставить действительно ценную информацию.
Если вы работаете в области разработки ПО или управляете продуктовыми командами, наше исследование поможет вам определить эффективные метрики для оценки работы вашей команды. Переходите по ссылке, чтобы получить полный текст исследования.
