Chat GPT разрушил процесс найма в стартапе. Как победить кандидатов-лжецов — опыт

Chat GPT может быть и угрозой, и помощником. Сначала он сломал нам отлаженный процесс найма, а потом мы увидели новые возможности и сделали процесс еще лучше.

Процесс найма из трёх этапов

Как Director of Engineering в финтех-стартапе, я создаю и развиваю High Performance инженерную организацию. Настроить эффективный процесс найма инженеров — одна из основных задач, так же нужно учитывать бюджет найма и время, которые играют важную роль. Как объединить все эти факторы в одно эффективное уравнение?

Для этого был изменен процесс найма: нововведения позволили быстро отсеивать нерелевантных кандидатов. Интервью состояло из трёх раундов:

1. Домашнее задание на алгоритмы. Три простых задачи, без контроля времени;
2. Интервью с командой — 4 часа, 4 интервью;
3. Финальное интервью с  CTО.

Система дала сбой

Все шло гладко до середины февраля. Именно в это время мы столкнулись с одним необычным явлением. Конверсия после выполнения домашних заданий значительно выросла. Вначале я был в восторге — к нам приходило все больше сильных кандидатов.

Но затем мы обнаружили несоответствие результатов интервью и общих ожиданий. Мы проводили гораздо больше командных интервью. Первый этап перестал работать так, как раньше. Кандидаты, которые блестяще справлялись с домашними заданиями, едва справлялись с похожими задачами на командных интервью.

Но самым интересным моментом для меня стало письмо от одного кандидата, в котором он просил провести еще один раунд собеседования. Он объяснял, что не был готов к алгоритмическому интервью.

Серьезно, после того, как ты отлично справился с домашним заданием, ты не ожидал таких же задач на интервью?

Вскоре таких кандидатов стало больше. Многие великолепно справлялись с домашними заданиями на отлично, но не могли даже близко повторить это в паре с нашими инженерами.

В какой-то момент стало очевидно, что некоторые кандидаты использовали внешнюю помощь. Несмотря на то, что наша система домашних заданий имеет базовую защиту от обмана, кандидаты находили способы быстро решать задачи.

Самым логичным объяснением было то, что кандидаты использовали AI (ChatGPT)  для решения задач. 

Задачи были достаточно простыми, но быстро загулить ответы на них было сложно, в то время как обратиться к искусственному интеллекту было вполне реально. Chat GPT легко справлялся с задачами и предлагал верные ответы, но каждое решение было уникальным. Фактически, мы не могли определить, кто написал решение — человек или искусственный интеллект.

Как победить ИИ?

Было решено оставить этап с домашним заданием, а также отдельно вынести алгоритмическое интервью. Фактически на один раунд больше, но мы сократили командное интервью. Это также занимало больше времени чем раньше, но теперь мы тратили время одного человека, а не четырех.

Если было заметно серьезное расхождение между результатами домашнего задания и живого интервью, такой кандидат сразу выбывает из рассмотрения.

Честность кандидата прежде всего

Самое главное в нашем новом подходе — это не только проверка технических навыков, но и помощь в Cultural Fit.

Cultural Fit — это интервью, на котором мы проверяем, насколько ценности и подход человека совпадают с культурным кодом компании. Если кандидат успешно проходит технические раунды, но не соответствует культурным аспектам — мы сразу его исключаем. Обратное тоже верно: если кандидат идеально подходит по культуре, мы можем сделать серьезную скидку по техническими скилам.

Новый подход дал дополнительный инструмент для оценки культурной совместимости — это честность кандидата. Если кандидат использует AI, мы это замечаем уже на первых этапах, и это для нас неприемлемо.

Нельзя начинать сотрудничество с обмана, и такие кандидаты автоматически отсеиваются. Соблазн использовать Chat GPT во время интервью может быть огромным, особенно когда никто не наблюдает за тобой.

Для меня это является серьезным показателем того, какими категориями оперирует человек — думает ли он на шаг вперед или даже на несколько, способен ли он выполнять то, на что обязался, или возникнут проблемы.

Вот как Chat GPT помогает нам в оценке культурной совместимости. Мы активно используем его для улучшения процесса интервью, делаем его более быстрым и удобным как для кандидатов, так и для нашей команды.