Как разработчики Jira все сломали: на восстановление от глобального сбоя нужно еще две недели

Австралийская компания-разработчик программного обеспечения Atlassian назвала причину сбоя в работе сервисов Jira. По оценкам специалистов, из-за случившегося некоторые клиенты могут остаться без доступа к системам еще на две недели. 

Удаление клиентских сайтов 

По данным Bleeping Computer, причиной сбоя стал некорректный скрипт в процедуре планового обслуживания IT-инфраструктуры, который случайно отключил 400 из более чем 200 тысяч сайтов клиентов. Остальные могли испытывать временные трудности с работой сервисов, большая часть которых сейчас решены. 

«5 апреля сотни сайтов клиентов были случайно удалены, что вызвало сбой, который продлился несколько недель. Компания до сих пор работает над его устранением», — рассказал CTO Atlassian Шри Вишванат. 

Он объяснил, что перебои возникли из-за проблем с коммуникацией между двумя командами Atlassian, которые работали над деактивацией отдельного устаревшего приложения под названием Insight — для управления активами, которое используется Jira Service Management и Jira Software на всех сайтах клиентов. 

Вместо того чтобы получить идентификатор, необходимый для деактивации приложения, команда по деактивации получила от коллег и добавила в скрипт идентификаторы облачных сайтов, на которых было установлено приложение клиентов. 

Кроме того, скрипт обслуживания, который они использовали для отключения приложения, был запущен в режиме безвозвратного удаления данных вместо удаления с защитой от восстановления. 

Update on cloud outage impacting ~400 customers. As part of scheduled maintenance our team ran a script to delete legacy data from a deprecated service. Instead of deleting the data the script erroneously deleted sites, and connected products, users, and 3rd party apps. (1/5)

— Atlassian (@Atlassian) April 12, 2022

Восстановление удаленных сайтов 

14 апреля стало известно, что специалисты Atlassian восстановили пакетным методом работоспособность 49% пользователей, пострадавших от сбоя. Изначально в компании думали, что работы по восстановлению займут не более нескольких дней, однако в начале недели Atlassian сообщила в электронных письмах своим клиентам, что на восстановление сайтов уйдет еще две недели. Сообщается, что над в процессе задействованы сотни инженеров, а также специалисты команды поддержки и сами клиенты. Предполагается, что отведенное время нужно, чтобы восстановить все затронутые сбоем клиентские платформы, которые влияют на его облачные сервисы. 

Это отключение произошло после того, как в октябре 2020 года компания Atlassian объявила о прекращении продажи лицензий на локальные продукты с февраля 2021 года и прекращении поддержки уже активных лицензий со 2 февраля 2024 года.