Стандартный технический скрининг и классический live coding стремительно теряют смысл: на онлайн-собеседованиях кандидаты массово используют невидимые ИИ-суфлёры (вроде Ghost GPT), а типовые алгоритмические задачки любая современная LLM решает за пару секунд. Пытаться победить это одними запретами и прокторингом — тупиковый путь. В какой-то момент мы в SymbioWay решили пойти от обратного: официально разрешили кандидатам использовать ИИ-агентов прямо на интервью, но изменили сами задачи так, чтобы без глубокого понимания архитектуры и кода нейросеть человеку не помогла. Под катом расскажу, какие навыки мы теперь проверяем у разработчиков и как устроены такие задачи.

Я работаю в сфере IT с 2004 года, с 2008 — тимлидом, с 2010 — техническим директором. В период 2008-2010 годов в моей работе сложилась следующая методика оценки нанимаемых IT-специалистов: я давал им задачи, приближенные к реальным, и смотрел, как они их решают — насколько вовлечённо, качественно, быстро. В 2014 году я открыл компанию по подбору и оценке IT-специалистов SymbioWay, где эта методика получила своё развитие.

Поскольку чаще всего нам приходилось нанимать разработчиков, то далее я буду приводить все примеры именно для них, но все они применимы и для остальных IT-специалистов — системных аналитиков, тестировщиков, DevOps-инженеров и даже менеджеров проектов и менеджеров по продукту.

Тогда я твёрдо решил, что у меня в компании подбором и оценкой будут заниматься только IT-специалисты, а не рекрутеры, как в других кадровых агентствах. Думаю, не только для меня бесспорно то, что уровень любого специалиста лучше всего может оценить только специалист из этой же сферы более высокого уровня. В частности, это важно для того, чтобы избежать эффекта Даннинга-Крюгера.

Собеседования ещё с 2008-2010 годов я и моя команда проводили по одной и той же схеме: давали сначала программистам задачи на live coding, потом детально обсуждали и дорабатывали с собеседуемыми получившийся результат, и затем предлагали решать небольшие задачи и задавали теоретические вопросы по темам, которые нам были важны при подборе. Методика live-кодинга была взята ещё из классической статьи Джоэла Спольски «The Guerrilla Guide to Interviewing».

На конференциях я рассказывал, что мы смотрим на скорость и качество написания кода, а также на то, насколько собеседуемому интересно решать задачи, которые мы ему даём:

Примерно так же оценивали и продолжают по сей день оценивать IT-специалистов многие опытные тимлиды и технические директора в других компаниях на рынке. Не всегда эта методика так детально формализована, как у нас, часто имеет специфику конкретных компаний, но большинство нанимающих менеджеров такую методику признают и считают «золотым стандартом» при проведении собеседований.

В 2020 году многие специалисты и компании перешли на удалённую работу. Несмотря на то, что значительное их количество потом стало возвращаться обратно к работе в офисе, онлайн-формат собеседований кандидатов сохранился: так удобнее и быстрее их оценивать. Но в связи с появлением и началом массового использования технологий ИИ мы все столкнулись с двумя существенными проблемами, подходы к решению которых я разберу в этой статье.

Проблемы

Первая проблема связана с тем, что ИИ теперь активно помогает IT-специалистам в выполнении рутинной работы. И, казалось бы, логично, что IT-специалистам теперь не обязательно знать и уметь делать руками всё то, что они умели делать раньше. Из этого также следует, что и на собеседованиях у них не обязательно проверять всё то, что мы с вами проверяли ранее. Но это в значительной степени иллюзия, и я приведу обоснование этого утверждения в следующем блоке.

Вторая проблема заключается в том, что из-за массового перехода в онлайн, а также кризиса на рынке* специалисты при найме очень активно обманывают работодателей. Это касается и резюме, о чём мы с вами знаем давно и о чём я ещё также напишу большую статью, и собеседований. На собеседованиях специалисты используют ИИ в разных вариантах (например, в виде Ghost GPT) и фактически не дают возможности достоверно оценить их уровень. Но эта проблема также легко решаема, и я расскажу об этом в данной статье детально.

* Про кризис также расскажу в отдельной статье, но если кратко, то за два года — с середины 2024 по середину 2026 года количество IT-вакансий в РФ сократилось ровно в два раза.

Чтобы не раздувать объём этой статьи полными листингами заданий и критериями их проверки, мы вынесли примеры таких многоуровневых ИИ-задач в отдельный PDF-документ. Его можно забрать в нашем боте — https://t.me/SymbioWayAssessBot

Можно ли быть IT-специалистом, не зная IT

Это концептуальный вопрос, от ответа на который в целом зависит то, насколько классические методики оценки мы ещё можем использовать на собеседованиях, а также при оценке сотрудников. Постараюсь ответить на него несколькими яркими примерами.

Представьте себе хирурга. Он отлично делает операции, знает все тонкости и нюансы своей профессии. И этот хирург получает в своё распоряжение такие инструменты, как, например, робот Да Винчи, а также специализированный ChatGPT для врачей (представим, что такой существует). Сразу замечу, что обычный ChatGPT с некоторых пор вообще не даёт медицинские консультации (ссылка на новость), поэтому у хирурга должен быть именно специализированный умный помощник, который он будет использовать с должным уровнем ответственности.

Вопрос: станет ли от использования этих новых и продвинутых инструментов хирург в целом профессиональнее? Конечно, станет! Он сможет точнее и качественнее выполнять свою работу, лучше оценивать риски, быстрее находить профессиональные публикации и получать советы. Он будет использовать эти инструменты, не отказываясь от имеющегося у него опыта и багажа. Эти инструменты позволят ему снять с себя часть рутины и заниматься наиболее сложными и ответственными участками своей работы. Они позволят ему больше отдыхать, что также прибавит качества его работе.

А что будет, если мы дадим специализированный ChatGPT и робота Да Винчи нескольким рандомным людям на улице, не имеющим отношения к медицине, и попросим их выполнить операции на пациентах? С очень высокой вероятностью большинство случаев закончится трагично.

Теперь давайте разберём второй более реалистичный пример с фотографами: как реально изменилась их профессия, например, за сто лет. Для наглядности я попросил Gemini подготовить сравнительную таблицу ключевых изменений:

А что осталось неизменным? На самом деле, довольно многое:

• Общее понимание технологий и принципов фотографирования. Например, того, как работает оптика и какой объектив выбрать, или того, что ночью нужно больше времени на качественный снимок, чем днём.

• Понимание композиции, умение её выстраивать, умение видеть и направлять свет.

• Способность находить контакт с теми, кого фотографируют, давать им понятные и простые инструкции и ловить ключевые моменты.

То есть теперь фотограф концентрируется больше на реальном мире, а не на рутинных задачах, которые успешно автоматизированы. Но всё, что касается реального мира, никуда не делось. Более того, от фотографов в наше время те же навыки композиции, умения находить контакт и ловить момент требуются гораздо сильнее, чем раньше. Это сейчас чуть ли не основной предмет конкуренции фотографов, например, на выставках.

Опять же, если взять случайного человека на улице и попросить сделать качественный кадр, вероятность не очень хорошего результата будет высокой. А вероятность качественного результата будет обусловлена, скорее, не наличием современных технологий, а тем, что практически каждый обладатель смартфона хотя бы немного времени в своей жизни уделял внимание навыку фотографирования, как минимум для своих социальных сетей, и этими навыками реально обладает.

Вернёмся к IT. Многие компании уже относительно давно используют технологии ИИ в своей работе, и накопили некоторый опыт. Среди проблем, с которыми сталкиваются «начинающие» пользователи ИИ-инструментов, они называют три:

1. Низкое качество получаемых результатов — ИИ не делает качественно свою работу, в том числе, с точки зрения архитектуры.

2. Низкую скорость работы — длительное ожидание выполнения инструкций, а также множество циклов исправлений того, что, казалось бы, должно было быть сделано с первого раза и быстро.

3. Перерасход ресурсов — токены часто тратятся чрезмерно, на лишнюю работу, не приводящую к нужным результатам.

Мы в следующем блоке разберём, какие навыки должны быть у современного разработчика, чтобы не сталкиваться с этими проблемами. Здесь же я хотел бы высказать ключевую мысль.

Большие языковые модели и в целом имеющиеся сейчас на рынке ИИ-инструменты для разработчиков — это очень мощные и универсальные технологии с огромным запасом знаний и навыков. Они умеют буквально всё, что можно уметь делать в текстовом формате, и многое из того, что можно делать в иных форматах. Если мы будем ставить моделям задачи без конкретики, они будут их выполнять на своё усмотрение — с тем уровнем качества и с учётом тех нюансов, которые посчитают нужными и приемлемыми. По мере конкретизации наших требований и правильного обращения с контекстом, который у моделей всё ещё ограничен, точность и качество получаемых нами результатов будет расти. Но чтобы правильно писать эти требования и правильно их структурировать, надо понимать, как устроено то, что вы создаёте.

Например, если вы создаёте сайты, вы должны знать, какие они бывают, чтобы попросить модель сделать именно такой сайт, который вам нужен. Если вы создаёте крупную систему, вы должны понимать, как такие системы устроены, чтобы правильно структурировать модель и дать ей верные инструкции, описать скилы, верно организовать мультиагентность. Конечно, на рынке есть готовые скилы, инструкции и всё, что нужно для организации моделей, но это всё тоже нужно уметь осознанно выбирать. И чем больше у вас знаний и навыков, тем лучше и точнее вы дадите умной модели всё необходимое, и тем более качественный результат от неё получите.

Наиболее точно дать инструкции модели может только тот, кто хорошо разбирается в сфере и умеет делать данную работу сам, потому что только он может её правильно разделить на части, предусмотреть все нюансы, принять ключевые решения, верно ответить модели на вопросы при планировании и, что крайне важно, проверить итоговый результат.

Если говорить о программистах, также важно понимать, что за любой программный код отвечает тот, кто его пишет, независимо от того, пишет он его сам или при помощи большой языковой модели. Если этот код приведёт, например, к финансовому ущербу для компании, то юридическая ответственность будет на его создателе. Очевидно, что тому, кто не разбирается в IT, опасно давать такую ответственность. То же относится и к другим профессиям: DevOps-инженерам, архитекторам, аналитикам и менеджерам.

Отсюда простой вывод: быть IT-специалистом, не зная IT, нельзя. Этот вывод также подтверждается тенденцией на рынке, в рамках которой сейчас многие компании стараются сокращать начинающих IT-специалистов и нанимать специалистов уровня senior для работы с ИИ-инструментами.

Что теперь нужно знать и уметь IT-специалистам

Ещё каких-то 5 лет назад программисту для устройства на работу было достаточно пройти какой-нибудь более-менее качественный курс по одному языку программирования. Сейчас этого явно недостаточно, поскольку программный код перестал быть дефицитом.

Во-первых, теперь программистам нужно расширять кругозор и «смотреть вокруг» — изучать все технологии, которые смежны его основной специализации. Например, backend-разработчику на Java теперь желательно изучить ещё пару backend-языков программирования, обязательно изучить frontend, DevOps-инструменты и тестирование. Не помешает изучить и разработку мобильных приложений. Мы видим сейчас в ряде компаний активное «расширение» профессий.

Во-вторых, от разработчиков требуется углубление знаний и навыков. Как я уже писал выше, все стараются нанимать более опытных специалистов. Это значит, что нужно знать архитектуру, принципы работы высоконагруженных и распределенных систем, алгоритмы, сети и всё необходимое, чтобы понимать глубоко то, как работают современные приложения, понимать механизмы и технологии их работы, уметь выбирать технологии, проектировать архитектуру, принимать сложные технические решения и решать нетривиальные проблемы.

В-третьих, конечно же, разработчикам нужно становиться инженерами, управляющими ИИ-инструментами. Для повышения качества работы таких инструментов важно уметь работать со спецификациями и экономить контекст, в том числе, путём разделения приложений на компоненты, модули или сервисы. Для повышения скорости работы нужно владеть методиками запуска субагентов и управления мультиагентными системыми. Также разработчикам нужно уметь экономно относиться к ресурсам ИИ-инструментов, чётко задавая агентам роли, границы и этапы работы.

Наконец, современным разработчикам нужно в какой-то мере становиться менеджерами по продукту. Им нужно быть ближе к клиентам — общаться с ними, уметь собирать и формализовывать требования, «чувствовать» клиентов. Им нужно быть ближе к рынку — уметь анализировать его и под него подстраиваться. И им нужно помнить, что теперь многие компании будут развиваться быстрее, и поэтому важно думать о скорости и о неизбежности более жёсткой конкуренции продуктов на рынке. Сейчас этот набор навыков не является приоритетом номер один, но это высоко вероятная перспектива ближайших лет.

Как оценивать IT-специалистов

Любые явления в жизни можно рассматривать в негативном ключе и бороться с ними, а можно находить в них плюсы и адаптироваться к ним. Обе стратегии имеют право на существование. В контексте оценки IT-специалистов мы решили выбрать вторую, поскольку мы посчитали бессмысленным бороться с настолько резко и кардинально меняющимся миром. Это решение мы приняли ещё в начале 2025 года, когда ИИ-технологии ещё не были настолько хороши, как сейчас, но когда уже было понятно, что до приемлемого качества их работы осталось совсем немного времени.

Выше я рассказывал о проблемах, с которыми сталкивается рынок при оценке IT-специалистов. Одна из них — нечестность IT-специалистов на собеседованиях. При этом до появления ИИ-технологий была и другая проблема: в рамках часового собеседования полноценно оценить IT-специалиста было довольно сложно, и при таком формате отбора иногда случались ошибки. Идеальным же форматом мы всегда считали тестовые дни, в рамках которых компания могла дать специалисту возможность поработать над своим проектом, решить несколько задач и посмотреть на качество и скорость его работы. Но такой формат всегда был слишком дорог во всех смыслах.

Теперь же, с появлением ИИ-технологий, у нас всех появилась возможность решить сразу две эти проблемы: посмотреть на то, как специалист работает над реальным проектом, и успевает ли он или не успевает за короткое время решить поставленные задачи. Здесь можно оценить и то, как он владеет ИИ-инструментами, и насколько хорошо умеет разбираться в чужом коде, и насколько он знает свою сферу. Мы в своей работе используем специальные короткие, но комплексные и многоуровневые задачи для проведения такой оценки. Выполнить их, не имея знаний в соответствующей сфере разработки, невозможно. Также их невозможно выполнить за короткое время собеседования без знаний и навыков использования ИИ-инструментов.

Для проведения оценки в таком формате мы всегда спрашиваем, есть ли у человека сейчас доступ к среде разработки с ИИ-агентами, владеет ли он ими и не против ли он выполнить задачу сразу в такой среде. Многие собеседуемые всё ещё удивляются такому подходу, но с радостью соглашаются. При таком подходе подсматривать правильные ответы теоретически возможно, но очевидно, что в этом совершенно нет смысла, потому что мы сразу даём возможность использовать ИИ-инструменты.

В случаях, когда у кандидатов таких возможностей нет, мы используем классические методы — просим поставить сзади под углом телефон с камерой. Как вариант — при ответах на некоторые вопросы вежливо просим закрывать глаза и отвечать так, если подозреваем подсмотры. Все признаки подсмотров мы также тщательно исследуем, и обучаем наших экспертов их видеть. Это, в частности, задержки при ответах, странные рассуждения и «бегающие» глаза.

Одним из лучших форматов по-прежнему остаются очные собеседования, которые мы тоже проводим, в том числе, в разных регионах и странах, организуя выезд нашего эксперта в офис компании. При таком формате мы, как правило, даём собеседуемому компьютер или разрешаем ему пользоваться своим, чтобы он мог выполнить крупную задачу на реальном проекте. А тот, кто проводит собеседование, при этом наблюдает за процессом работы, приближенной к реальности, оценивает его эффективность, вовлечённость собеседуемого, а также задаёт дополнительные вопросы, чтобы убедиться в своих выводах и оценках.

Если вы хотите посмотреть, как могут выглядеть задачи и вопросы для оценки разработчика, владеющего ИИ-инструментами, и забрать их себе, подпишитесь на наш телеграм-бот, пройдите короткий опросник и получите их примеры в формате PDF — https://t.me/SymbioWayAssessBot