«Ему нужно преподать урок»: как нашего джуна уволили за удаление продакшена

Есть два типа людей: одни уже роняли продакшен, другие еще только собираются это сделать. Герой следующей истории относится к первому типу и, допустив роковую ошибку, был незамедлительно уволен. По мнению разработчика под ником Cinto, увольнение в этом случае было чрезмерной мерой. Почему он не согласен с решением руководства, специалист объяснил у себя в блоге.

Вот что он написал. 

Предисловие 

Мне не нравится, когда кого-то увольняют. Причем неважно, разработчик это или любой другой специалист. Мне это просто не по душе. Понимаю, начальство должно избавляться от того, что мешает развитию компании, но даже это знание не делает ситуацию приятнее. Считаю, что, по крайней мере, людям нужно давать шанс проявить себя, прежде чем рубить с плеча. 

Особенно не терплю, когда кого-то увольняют из-за допущенных ошибок. Будучи разработчиком, я знаю, как нелегко их избежать. Код может сработать не так или, например, можно случайно удалить то, что нельзя удалять. Всякое бывает. Думаю, это не повод увольнять человека, независимо от того, насколько серьезным был ущерб. 

Поэтому, когда наш менеджер уволил джуна за допущенную ошибку, я был вне себя.

День, когда все пошло наперекосяк

Это было пару лет назад. Мы только наняли джуна, который должен был помогать команде, работая из-за рубежа. Он трудился на удаленке из Индии и за тот промежуток времени, который проработал у нас, показал себя как многообещающий специалист. 

Однажды я проснулся и обнаружил на электронной почте кучу сообщений. Большая часть была объединена общей темой: «Файл или каталог не найден». 

Я предположил, что проблема может быть с правами доступа. Мы сразу начали решать проблему и быстро поняли, что на самом деле произошло: пропала целая папка продакшена. Я испугался, так как это были одни из самых важных данных. Мое тело словно онемело. Мы понятия не имели, как это могло произойти. 

Все выяснилось, когда мне позвонил джун и сказал, что удалил папку по ошибке. Он хотел удалить какую-то другую папку, но случайно удалил prod. Вот что он сделал: 

DIR="/home/hadoop/tmp/"
hadoop dfs -rmr "$DIR"prod/*

Но по какой-то причине переменная DIR не была инициализирована. 

Я был зол на него за такую глупую ошибку, а также потому, что он сам не понял раньше, что натворил. Позже выяснилось, что его не добавили в список рассылки предупреждений. Удаленные данные сохранялись в каталоге .Trash, но интервал fs.trash.interval был установлен на шесть часов. Мы пропустили это окно на пару часов, и поэтому нам пришлось приступить к гигантской спасательной операции — делать всю работу заново.

Увольнение 

Начальник подождал, пока мы закончим, а потом сказал, что решил уволить виновного. Я возразил, что он просто сделал одну ошибку, но босс решил, что джуну «нужно преподать урок».

Он был уверен, что это лучшее решение, а я знал, что это не так. Думаю, что преподать урок ≠ уволить человека за ошибку. Кроме того, я знал, что это не совсем его вина. 

На то, что это произойдет, намекали предшествовавшие события: еще несколько недель назад кто-то случайно удалил тот же каталог, но так как тогда это было не критично, на это забили. 

Плюс в продакшене не было никаких механизмов предотвращения подобных случаев. Любой пользователь мог через sudo получить права админа. SRE-инженеры знали, что этим нужно заняться, но это не было в приоритете. 

«Пластырный» подход к решению проблем 

В интернете есть множество советов, как избавиться от головной боли. Решения варьируются от аспирина до ботокса. Они могут дать временное облегчение, но если не устранить причину, боли будут возвращаться. Очень важно сосредоточиться на источниках проблем, а не на временных мерах. 

И так сойдет

Мой босс именно так и сделал: наложил пластырь на проблему, вместо того чтобы сосредоточиться на первопричине — контроле доступа. А без контроля подобные случаи будут повторяться все чаще и чаще. 

Я не люблю, когда кого-то увольняют. Но увольнение за такую ошибку, за которую несет ответственность вся команда, совершенно неоправданно. 

Ошибки случаются. Постарайтесь найти их первопричину и понять, что можно сделать, чтобы предотвратить их в будущем. Смотрите на ошибки как на возможность улучшить процесс и не рубите с плеча — это избавит от проблем только временно.