Проблему можно было предвидеть: в Fastly назвали причину глобального сбоя интернета, а акции компании выросли на 11%

Старший вице-президент по инжинирингу и инфраструктуре компании Fastly Ник Рокуэлл отчитался о событиях 8 июня, когда из-за сбоя одноименного CDN-провайдера оказались недоступны Twitter, Amazon, Vimeo и другие крупные сайты. В компании признали, что проблему можно было предвидеть заранее.

Что произошло

12 мая в компании начали развертывание программного обеспечения (ПО). В  нем уже тогда была обнаружена ошибка, которая могла быть запущена конфигурацией клиента при определенных обстоятельствах. 

По словам представителя компании, причиной сбоя 8 июня стали действия пользователя, который, не догадываясь о последствиях, изменил свои настройки, из-за чего пострадало около 85% трафика провайдера. Сбой был обнаружен в течение одной минуты, затем специалисты определили конфигурацию и, которая вызвала неполадки и отключили ее. В течение 49 минут 95% заработало в обычном режиме. 

Сбой устранили менее, чем за час, что впечатлило инвесторов, после чего акции провайдера выросли почти на 11% до $56,20. 

График активности компании за день (по UTC):

• 09:47 — начало сбоя;
• 09:48 — обнаружения сбоя;
• 09:58 — публикация поста о сбое;
• 10:27 — определение конфигурации клиента;
• 10:36 — восстановление пострадавших служб;
• 11:00 — большинство служб восстановлено;
• 12:35 — инцидент смягчен;
• 12:44 — последствия сбоя устранены;
• 17:25 — исправление ошибок и общение с клиентами.

Что дальше

В краткосрочной перспективе в компании планируют: 

• Как можно быстрее и безопаснее произвести развертывание исправления ошибок в сети;
• Проанализировать процессы и практики, которым в компании следовали во время инцидента;
• Узнать, почему ошибка не была обнаружена во время проверки качества и тестирования ПО;
• Попробовать сократить время исправления ошибок.

Сбой устранили менее чем за час, что впечатлило инвесторов, после чего акции провайдера выросли почти на 11% до $56,20.