Как «продать» автотесты: проводим расчеты и разбираем на примере

Многие заказчики не готовы внедрять на проекте автоматизированные тесты. Это требует времени и затрат, а выигрыш клиенту не всегда очевиден. Так что изо всех сил Sales-менеджеры, проектные менеджеры и тестировщики пытаются показать все преимущества автоматизации в конкретном случае.

Наша команда — не исключение. По собственному опыту я собрал несколько советов, как вы тоже можете делать это эффективно и продать автотесты тогда, когда они действительно нужны.

В первой части статьи поговорим об обосновании инвестиций с точки зрения финансовой выгоды для заказчика.

Как доказать экономическую целесообразность автоматизированных тестов

Универсальное мерило оценки в бизнесе — это деньги. Поэтому начинать лучше с подтверждения финансовых преимуществ. Здесь поможет коэффициент ROI (Return Оn Investment), показывающий рентабельность возврата инвестиций. Обобщить расчет ROI в разрезе автоматизированного тестирования можно по формуле:

ROI = (стоимость мануального тестирования – стоимость автоматизированного тестирования) / стоимость автоматизированного тестирования х 100%

Но это еще не все. Вы должны вспомнить все, что нужно включить в расходы по внедрению автотестов и относительно точно спрогнозировать возможную экономию. Для этого необходимо определить три показателя, о которых мы поговорим ниже.

Стоимость мануального тестирования

Для расчета затрат определите, например:

• количество тест-кейсов и циклов регрессионного тестирования за определенный промежуток времени;
• среднюю продолжительность выполнения тест-кейса;
• стоимость рабочих часов тестировщиков и инструментов, если им нужен платный софт.

В процессе мануального тестирования показатель времени, необходимого для прохождения абстрактного тест-кейса, не имеет перспективы снижения. Нужно проверять все большее количество функционала в старых и новых частях продукта.

Поэтому смета такого тестирования будет постоянно расти.

Но не все мануальные процедуры можно заменить автоматизацией. Поэтому тест-кейсы и другие процедуры, которые невозможно автоматизировать, не учитываются при расчете этого показателя.

Стоимость внедрения автоматизации

Нужно посчитать, сколько времени понадобится на реализацию автоматизированных сценариев. Не забудьте учитывать и предварительные работы.

Это могут быть, например, создание стратегии и фреймворка автоматизации, стоимость лицензии для новых инструментов (если они есть). На это все лучше сразу заложить небольшой запас по деньгам, чтобы в случае чего было пространство для маневра в будущем.

Стоимость проведения автоматизированного тестирования

Этот показатель рассчитать сложнее, потому что роль здесь играет прогнозирование. Основные составляющие — стоимость работ по сопровождению автоматизированного тестирования и поддержки тестов на протяжении всего периода анализа. Учитывайте и то, что объект тестирования (продукт) постоянно развивается. Так что объем работ будет постоянно расти, хотя и не так линейно, как в случае мануального тестирования.

Как провести расчеты: разбираем на примере

Теперь произведем расчет ROI на примере, где нам известны базовые составляющие показателей. На проекте ежемесячно проходит два релиза. Перед каждым из них производится 200 мануальных тест-кейсов со средней стоимостью каждого $50. Для простоты понимания эти данные будут считать неизменными в перспективе.

Предположим, что вы хотите в течение первого месяца автоматизировать 50 тест-кейсов и использовать их в последующих релизах. Стоимость разработки каждого такого тест-кейса составляет $120. На его сопровождение тратится около $10 за релиз. Тогда расчеты на два месяца будут выглядеть так:

Стоимость мануального тестирования: 50 тестов x $50 x 2 релиза x 1 месяц = ​​$5000

Стоимость автоматизации: 50 тестов х $120 = $6000

Стоимость сопровождения автоматизированных тестов: $10 x 50 тестов x 2 релиза х 1 месяц = ​​$1000

Стоимость автоматизированного тестирования: $6000 + $1000 = $7000

ROI = ($5000 – $7000) / $7000 х 100% = -29%

Откуда взялся минус? Вы сделали инвестиции, по времени еще не оправдавшие себя. Именно поэтому следует смотреть полный цикл жизни проекта.

К примеру, в дальнейшем вы ничего дополнительно автоматизировать не собираетесь. Так что будете использовать только то, что уже автоматизировано. В таком случае расчеты на следующие 6 месяцев использования автотестов будут выглядеть так:

Стоимость мануального тестирования: 50 тестов х $50 х 2 релиза х 6 месяцев = $30000

Стоимость автоматизации: 50 тестов х $120 = $6000

Стоимость сопровождения автоматизированного тестирования : $10 x 50 тестов x 2 релиза х 6 месяцев = $6000

Стоимость автоматизированного тестирования: $6000 + $6000 = $12000

ROI = ($30000 – $12000) / $12000 х 100% = 150%

То есть инвестиции дают снижение издержек на $6000 за 6 месяцев по сравнению со старой схемой работы QA-команды. Если ничего дальше не менять, то при последующих релизах эффективность первоначальных инвестиций в автоматизацию продолжит расти.

ROI-калькуляторы: за и против

Приведенный пример очень прост. Обычно на практике все обстоит несколько иначе. В проекте могут постоянно появляться новые, как мануальные, так и автоматизированные тесты. Это влияет на среднюю стоимость автоматизации или прохождения мануального тест-кейса, и это очень сложно спрогнозировать. Поэтому специалисты часто пользуются ROI-калькулятором. Он может быть в виде отдельного приложения или таблицы с формулой, содержащей необходимые составляющие всех показателей. Чтобы определить уровень возврата инвестиций, достаточно ввести конкретные цифры. Все очень просто и быстро.

В интернете вы можете найти много готовых ROI-калькуляторов. Но я не советую сразу бросаться их использовать. Составляющие добавленных в такой калькулятор параметров могут не соответствовать вашему проекту.

Ознакомьтесь с ними, чтобы понять сам принцип формирования ROI, а затем создайте свой шаблон, который будете адаптировать под каждый новый проект. С таким шаблоном вы всегда без проблем объясните клиенту, что и почему включено в те или иные издержки или прогнозы.

Когда есть ROI, с полученными цифрами можно смело идти к клиенту. Если у вас с ним доверительная коммуникация, этого достаточно.

Хотя я все же советую отнестись к этим переговорам комплексно и не ограничиваться только ROI. Но об этом подходе поговорим во второй части статьи.

Следите за обновлениями!