Наш опыт разработки критериев для определения уровней исследователей.

Привет, Хабр!

Мы – сотрудники Лаборатории исследований MANGO OFFICE. Главная задача отдела – улучшать цифровые продукты нашей экосистемы. 

Но это не всё. Еще мы занимаемся образовательными инициативами:

• проводим конференции

• пишем внутренние руководства для нашей Лаборатории и продуктологов

• готовим статьи об исследованиях

В этом материале мы расскажем о том, как правильно грейдировать исследователей. А также обсудим различия между этими уровнями.

Как оценить грейды исследователей

Грейдирование специалистов – одна из самых горячих тем IT-сообщества. 

Наша команда регулярно слышит вопросы «В чём разница между сотрудниками разных грейдов?», «Как перейти с одного уровня на другой?», «Как узнать реальный грейд кандидата на собеседовании?».

Мы поняли, что не знаем точного различия между грейдами исследователей. И решили это исправить. А заодно – помочь нашим рекрутерам при найме специалистов.

Начали с изучения наработок других компаний в этом направлении: Альфа-Банка, Авито, ДуаМентес и Pinkman. 

В их матрицах детально описывается опыт, профессиональные и социальные навыки. На первый взгляд – всё просто и логично. 

Наша команда стала вникать подробнее и поняла – все карты компетенций были разработаны с учетом специфики найма в конкретной компании. 

Мы на 100% не знали, подойдут ли они рекрутерам MANGO OFFICE. 

У нас было три возможных направления:

• адаптировать эти наработки под нас

• создать собственные матрицы с учётом наших нужд и ценностей

• научиться правильно использовать эти карты компетенций 

Начало работы

Традиционная система грейдов исследователей состоит из трёх элементов: 

• уровень ответственности

• необходимые знания

• профессиональный опыт 

Эта информация помогает рекрутерам при найме. С ее помощью они могут выявлять уровень специалистов на собеседованиях. А также формулировать требования к вакансиям.  

Наша команда решила проверить правильность такого подхода. 

Качественное исследование

Мы провели интервью с людьми, которые занимаются подбором исследователей – нашими рекрутерами. 

Задали им вопросы:

• Какие уровни специалистов вы знаете? Чем они различаются? В чём измеряется разница? 

• Учитываете ли вы hard и soft skills, занимаемые должности, количество лет в профессии?

• Что такое опыт? Можно ли определить его через умение управлять командой?

• Есть ли принципиальная разница между подбором людей разных грейдов? Какие уровни сложнее всего подбирать?

Большинство опрошенных считает, что грейд зависит от навыков. 

Синьоры — готовые эксперты, которым требуется минимальная адаптация. Они могут работать за пределами поставленных задач. Находят решения даже в условиях неопределённости. Но иногда ими сложно управлять.

Миддлам нужно больше времени для погружения в проекты. Они выполняют таски медленнее синьоров. Могут проводить исследования полного цикла: от брифа до презентации результатов. 

У них есть опыт работы над несколькими проектами. Но миддлы хуже синьоров прогнозируют результаты и улучшают процессы.

Джуниоры делятся на две категории: 

• начинающие специалисты с бэкграундом в другое сфере

• выпускники ВУЗов 

***

Мы решили взять ответы рекрутеров и создать на их основе матрицу грейдов. 

Наша главная цель — понять, как меняются ожидания и возможности исследователей на разных этапах карьеры.

Мы пришли к выводу: это хорошая матрица. Но до конца не поняли, как её правильно применять.

Количественное подтверждение качественных данных

Результаты качественного исследования — это мнения разных людей, а не статистика. Мы решили проверить их с помощью количественного исследования. 

Честно признаемся. Нам было непросто преобразовать результаты качественного исследования в вопросы для количественного. Что-то наша команда просто убрала, а что-то — существенно доработала. 

Мы использовали классификацию грейдов по общему стажу. Дополнительно учитывали, как сами респонденты оценивают свой грейд. 

Опрос проводили в сообществе UX-исследователей ResearchOps Russia. Результаты свели в таблицу:

Вот несколько выводов:

1) Опыт работы не коррелирует с оценкой своего грейда респондентами.

2) Некоторые навыки не развиваются линейно.

Иногда ответы показывали, что скилл растет только на ранних грейдах. А потом идёт на спад. Например: 

Было непонятно, как с этим работать. Наша команда снова попала в тупик. 

***

В результате мы решили взять за основу только годы работы – без оценки респондентами своего грейда. 

Вот к чему мы пришли.

Некоторые навыки действительно развиваются по мере роста грейда. Чем выше уровень специалиста, тем лучше он умеет:

• применять сложные методы исследований

• вести несколько проектов одновременно

• работать с трудными рынками и продуктами 

• действовать в условиях неопределённости

• предвидеть возможные риски 

• организовывать правильную последовательность этапов исследований

• адаптироваться к изменениям

Отдельно поговорим про синьоров. 

Они чаще других берут на себя ответственность за запуск новых проектов. Могут самостоятельно работать над сложными задачами. Плюс у них лучше «прокачаны» навыки управления коллективом. 

***

Но были и параметры, развитие которых никак не коррелирует с грейдом:

• частота выполнения задач, не связанных напрямую с исследованиями

• стремление к новаторству

• коммуникация с коллегами

• понимание процесса работы над продуктом

К чему мы пришли

Вот наш финальный список критериев для определения грейда исследователей:

Социальные и управленческие навыки

• Автономность работы. Чем опытнее специалист, тем более сложные задачи он решает самостоятельно

• Адаптация к внезапным изменениям в процессе решения задачи. Чем выше грейд, тем увереннее приспосабливается специалист

• Умение управлять другими исследователями. Навык растёт с опытом

• Инициация исследовательских задач. По мере развития специалист чаще инициирует исследовательские задачи

Процессы

• Понимание того, как будут применены результаты исследования. Младшие специалисты хуже представляют, где и как применяются результаты их исследований

• Умение работать в условиях неопределённости. Опытный исследователь чувствует себя увереннее

• Прогнозирование рисков. С ростом квалификации улучшается точность прогнозирования рисков исследований в продуктовых командах

Профессиональные навыки и знания

• Знание методов. Чем выше грейд исследователя, тем более сложные методы он может применять

• Работа со сложными рынками. У высокогрейдовых специалистов больше опыта в этой сфере

• Количество выполненных проектов. Чем больше стаж, тем больше проектов

• Знание смежных областей. С накоплением опыта растёт знание смежных областей: дизайна, менеджмента, разработки, бизнеса, системного анализа, тестирования, маркетинга

• Использование UX-метрик. Чем выше грейд исследователя, тем с большей вероятностью он применял UX-метрики в исследованиях

Надеемся, наши критерии помогут вам эффективнее подбирать исследователей в команду.