«Проверяйте сайты в Safari»: тестировщица из Twitter рассказала, что все делают неправильно

Ведущий специалист по обеспечению качества программного обеспечения Марк Хендерсог расспросил софтвер-инженера из Twitter Калишу Кэмпбелл, как команда соцсети проводит автоматическое тестирование и фиксирует ошибки.

1. Что входит в ваши повседневные обязанности?

Основная задача — следить за тем, чтобы вносимые изменения не вызывали кроссбраузерных проблем для компонентов сайта. Люди должны пользоваться соцсетью без каких-либо помех независимо от браузера. 

2. Разве это не делает вас тестировщиком программного обеспечения?

Не уверена, но может быть. Не могу навесить ярлык ни на кого из технарей. Кажется, что каждый, кто работает в Кремниевой долине, занимается всем сразу — тестирует, пишет код, является DevOps-специалистом и так далее. 

3. Как узнать, что тестирование завершено?

Зависит от ситуации. В одном случае необходимо провести исчерпывающее тестирование (Exhaustive Testing), в другом — нет. Исчерпывающее тестирование должно применяться только для критически важного программного обеспечения (ПО), которое используется на производствах, где есть риск потерять жизнь или серьезные повреждения. В противном случае такое тестирование финансово невыгодно. 

4. Что многие делают неправильно?

Я вижу, что некоторые разработчики делают акцент на доступности среды (Accessibility), но, похоже, неправильно понимают эту концепцию. Смысл доступности в том, чтобы сделать сайт доступным и удобным для как можно большего количества людей. Но я вижу, что разработчики часто фокусируются только на адаптации программ для пользователей с ограниченными возможностями. 

Не говорите о доступности, если не тестируете в Firefox и Safari. 

У вас может быть всего 0,01% пользователей, которым нужны программы, которые читают текст с экрана. При этом, скорее всего, у вас 24% пользователей, которые не используют Chrome. 

К вашему сведению, Safari — второй по популярности браузер для настольных ПК. Обязательно проводите тесты в нем. 

5. Какими инструментами пользуетесь?

Мы много чем пользуемся. Инструмент полезен только в том случае, если он помогает сэкономить время и ресурсы. Вот два моих любимых: 

• Postman;
• Endtest.

Они мне нравятся, потому что не требуют навыков программирования. 

6. Почему тестирование UI переходит на JavaScript?

Чушь. Кто вам сказал такое? 

Есть два основных способа функционального тестирования UI: 

• Через JavaScript;
• Через WebDriver.

Всегда старайтесь провести тестирование через WebDriver, потому что он имитирует действия реального пользователя. Тестирование с помощью JavaScript имеет следующие недостатки: 

• Оно не поддерживает работу с несколькими вкладками браузера;
• Практически не способно обрабатывать фреймы;
• И, что хуже всего, не имитирует настоящего пользователя.

7. Инструменты тестирования: покупать или создавать?

Опять-таки, зависит от ситуации. У нас огромный штат сотрудников, которые занимаются исследованиями и разработкой, и даже мы обычно избегаем создания собственных инструментов. Так или иначе, все равно придется за это платить. 

Если вы купите инструмент, у него есть ценник. Если создадите собственный, ресурсы и время выльются в значительные расходы для компании. Если только вы не работаете бесплатно. 

8. Как понять, создать инструмент или купить?

Составьте список требований. 

• есть ли на рынке хотя бы один инструмент, отвечающий им?
• запишитесь на бесплатную пробную версию;
• проведите PoC;
• посмотрите, подходит ли он вам;
• если ваш случай уникальный, придется создать собственный инструмент.
• в обоих случая вы должны рассчитать возврат инвестиций. Сколько времени и ресурсов вы потратите и что получите взамен?

Если вам нужен инструмент, то он нужен здесь и сейчас, а не через 7 месяцев. Ожидание означает, что вы ничего не заработаете. 

9. Почему многие предпочитать создать собственный инструмент?

Не думаю, что в Кремниевой долине вы найдете хотя бы одного разработчика, кто создает собственный инструмент. Эта практика устарела. 

Максимум, ей придерживаются тестировщики-непрофессионалы или — в особых случаях — специалисты. Например, в случаях, связанных с IoT или «умными» устройствами. 

10. Как понять, насколько хороши мои автоматизированные тесты?

Автоматизация помогает экономить время и ресурсы. Вот что значит хороший автоматизированный тест: 

• тесты должны выполняться в фоновом режиме, в облаке;
• можно выполнить несколько тестов параллельно;
• полная регрессия наступает менее чем за 15 минут;
• тесная интеграция с системой CI/CD, но не зависимость от нее.

11. Какого правила мне следует придерживаться?

Тестируйте сайты на Safari. Браузер превзошел Firefox и будет только становиться лучше. Плюс он в ближайшее время не собирается использовать Chromium.