Я руковожу ИТ в банке, и большая часть моих поручений устроена одинаково: одно и то же нужно от шести-девяти руководителей к одной дате. Передать сервисы на мониторинг, подать KPI на квартал, заполнить бюджет. Если написать такое в общий чат, половина ответит, а остальных придется ловить лично, и через неделю никто не помнит, кто сдал, а кто нет.

Летом я сам, без команды, сделал под это бота в Telegram. Код писал ИИ-агент, а задачи, решения и проверка были на мне. Первая рабочая версия заработала меньше чем через неделю, еще два с половиной месяца ушло на доработки под мои собственные поручения. Идея у бота одна: у поручения на девятерых девять отдельных отметок, каждый отчитывается сам за себя, вся группа видит, кто сдал, а тем, кто не сдал, бот пишет в личку.

К середине сентября выяснилось, что у этой идеи есть цена. Личное напоминание идет по каждой задаче отдельно, и руководитель, у которого хвосты по нескольким общим поручениям, получал до 40 сообщений от бота в сутки. Бот говорил с человеком только тогда, когда тот виноват, и люди делали с таким собеседником самое разумное: выключали ему звук.

Первая мысль была стандартная: очки, уровни, рейтинг недели. Мы этого не сделали. Ниже о том, что нас отговорило, что вышло вместо этого и какие цифры получились за первый месяц на живых пользователях.

Проблема в цифрах

Бот ставит каждому исполнителю отдельный статус и напоминает только тем, кто еще не отметился: накануне, в день срока и после срока. После срока он писал каждый день, пока человек не сдал. Чем больше исполнителей и общих поручений, тем больше таких цепочек идет параллельно.

На бумаге это выглядело правильно. За месяц до изменений, с 27 августа по 25 сентября, примерно в каждом двадцатом случае, когда бот писал человеку, он за сутки присылал ему 10 и больше сообщений. Рекорд был 40 сообщений одному человеку за день. После напоминания о просроченной задаче человек делал по ней хоть что-нибудь в течение суток в 9% случаев.

Одна из внешних команд за неделю сделала в боте 85 действий, а через две недели 4. Постановщик продолжал ставить задачи, исполнители молчали. По каждой старой задаче и исполнитель, и постановщик получили по 15–23 сообщения о просрочке. Работать хуже команда за эти две недели вряд ли стала, она перестала читать бота.

Что говорят исследования

Прежде чем строить очки и рейтинги, я попросил того же ИИ-агента собрать исследования. Коду агента я доверяю больше, чем его литобзору, поэтому каждую ссылку мы потом проверили по первоисточнику. Примерно половину выводов пришлось ослабить: агент любит округлять «в одном эксперименте с продавцами» до «рейтинги вредны». Ниже то, что пережило проверку, с оговорками.

Начну с рейтингов. Barankay (2012) провел полевой эксперимент с 1754 продавцами: им перестали сообщать их место в рейтинге, и продажи выросли на 11%. Речь даже не о публичной доске, а о личном сообщении «вы на таком-то месте». Это один эксперимент в одной отрасли, и переносить 11% на чат с поручениями нельзя, но направление эффекта показательное. Добавлю свое наблюдение, уже не из исследований: в коллективах, где важно сохранить лицо (это и Узбекистан, и большая часть России), публичный список отстающих воспринимается как выговор при всех.

С очками и бейджами похожая картина. Метаанализ Cerasoli и коллег (2014, суммарно больше 200 тысяч человек) разделяет два эффекта: внешние стимулы сильнее связаны с количеством, внутренняя мотивация с качеством. Mekler и коллеги (2017) получили то же в эксперименте: очки, уровни и лидерборд увеличили число выполненных заданий, а внутреннюю мотивацию не изменили. Поручения бывают очень разные по весу, и очки за закрытие поощряли бы брать легкое и дробить.

Серии дней подряд отпали быстрее всего. GitHub в 2016 году убрал из профиля счетчик дней подряд с коммитами. Moldon, Strohmaier и Wachs (2021) сравнили поведение разработчиков до и после: работы по выходным стало меньше, длинные серии почти исчезли. Получается, счетчик заставлял людей работать тогда, когда им самим это было не нужно. Silverman и Barasch (2023) описывают обратную сторону: прерванная серия снижает мотивацию, особенно если человек винит в этом себя. А рабочие сроки бывают раз в неделю, не каждый день.

Подтверждаются другие вещи. Grant и Gino (2010) показали, что благодарность усиливает готовность продолжать через ощущение, что твоя работа кому-то нужна, а Bradler и коллеги (2016), что неожиданное признание повышает последующую работу. Метаанализ Harkin и коллег (2016, 138 экспериментов): отслеживание своего продвижения к цели помогает ее достичь, и сравнивать себя с другими для этого не обязательно. Dai, Milkman и Riis (2014): после временных рубежей вроде начала недели или месяца люди охотнее берутся за цели. Fitz и коллеги (2019) в эксперименте на 237 участниках выяснили, что уведомления, собранные в три пачки в день, люди переносят легче, чем поштучные.

Готового рецепта для рабочего чата в этих работах нет. Ни одна из них не проверяла Telegram-бота с поручениями, и размер чужого эффекта не прогнозирует наш. Решения ниже на эти работы опираются, но из них не следуют.

Что мы сделали вместо очков

Сначала о границе, которую легко не заметить. Группа и так видит, кто из девяти сдал конкретное поручение, без этого бот не имеет смысла: открытость отчета по одной задаче и держит ответственность каждого. Чего мы не хотели, так это сводить такие отметки в оценку людей, например, кто чаще всех опаздывает по всем задачам за месяц.

Режим, который получился, я назвал «Пульс». Сроки и статусы он не трогает, меняется только то, что бот пишет, когда и кому.

Напоминание о просрочке теперь задает вопрос (он же виден на экране задачи в начале статьи). Вместо «задача просрочена» человек видит в личке кнопки «Сегодня», «Завтра», «Новый срок» и «Не смогу». Ответ останавливает ежедневную цепочку, и до названного времени бот молчит. Если три дня ответа нет, бот переходит на недельный ритм, а постановщику уходит одно сообщение: три напоминания без реакции, поговорите, перенесите или снимите. Что делать с молчащим человеком, решает постановщик.

Понедельник смотрит вперед. Вместо «у вас шесть просроченных» приходит «новая неделя: три срока, вторник, среда, пятница. Старых шесть, разобрать?». Разбор открывает экран, где завал закрывается по одной задаче, и счетчик уменьшается на глазах.

Напротив каждого исполнителя, который сдал работу, у постановщика появляется кнопка «Спасибо». В поручении на семерых это семь отдельных благодарностей, а не одно «спасибо всем». Благодарность уходит исполнителю в личку, к ней можно приписать пару слов: «алерты подняли за день, не за неделю». Одна на исполнителя и только за принятую работу, иначе кнопку начнут жать по привычке.

Каждый видит свои последние десять сроков. Точка закрашена, если сдал вовремя, наполовину, если в пределах суток, и пустая, если позже. Чужих точек рядом нет. Пока сроков меньше пяти, вместо цифры написано «мало данных».

Группа видит итог недели по всем поручениям числом и без имен: «в срок 14 из 16». После четвертой и двенадцатой удачной недели подряд бот поздравляет всех, без звука. Считаем недели, а не дни, по причине, описанной выше на примере GitHub.

Честный счет

Дольше всего мы возились с тем, чтобы цифра никогда не обидела добросовестного человека. Если хоть раз отпуск засчитают как провал, на пульс перестанут смотреть все.

Поэтому у человека есть статус «отсутствую до», и сроки на эти дни в счет не идут. Засчитывается момент, когда исполнитель сдал работу, а не когда постановщик ее посмотрел, так что медленная приемка на нем не сказывается. Назначение датируется своей первоначальной неделей: иначе плохую неделю можно было бы спасти, перенеся в воскресенье все сроки на следующую. Администратор может исключить человека из общего счета группы (например, внешнего подрядчика), но свой пульс человек видит всегда.

В «Пульсе» сознательно нет лидерборда, очков, бейджей, похвалы от бота «молодцы, все сдали» и благодарностей между коллегами. От последнего отказываться было жаль. Но в маленьких группах, где начальник сидит в том же чате, взаимные благодарности быстро превращаются в обязаловку. Evans и коллеги (2022), кстати, показали, что рейтинг по полученным благодарностям снижает взаимопомощь.

Что показал месяц

«Пульс» включен у всех с 26 сентября. За месяц пришло много новых групп, и чтобы не сравнивать разные аудитории, я взял только тех 46 человек, кто получал личные напоминания и до, и после.

По всем пользователям рекорд сообщений одному человеку за сутки упал с 40 до 14.

Сообщений стало на 43% меньше, а реакций на них и выполненного примерно столько же. Рост с 18 до 31% выглядит красиво, но во многом он арифметический. До «Пульса» треть напоминаний о просрочке (492 из 1512) приходилась на седьмой день и дальше, и отвечали на них в 2% случаев. Мы просто перестали их отправлять. Поэтому я формулирую результат скромнее: вдвое меньше шума, и сделанного от этого не убавилось.

Контрольной группы нет, «Пульс» включен у всех. Месяц сравнивается с соседним месяцем, а сентябрь и октябрь разные по нагрузке. Улучшилась ли доля сданного в срок, я сказать не могу: месяца мало, групп мало, и выдавать шум за эффект я не хочу.

Меня удивило, что на вопрос «когда закроете?» почти не отвечают кнопками. За месяц по всем пользователям на напоминания отреагировали примерно 990 раз. Около 60 из них были ответом кнопкой на вопрос, а в 745 случаях человек просто нажал «Выполнено». Похоже, людям проще сделать задачу, чем пообещать срок. Возможно, вопрос помогает тем, что напоминание перестало звучать как упрек, но это моя гипотеза, а не замер.

Удивило и то, что «Спасибо» прижилось, пусть и у немногих. За месяц 14 постановщиков отправили 52 благодарности 40 исполнителям, в трети случаев с припиской своими словами. Я ждал, что кнопку проигнорируют вовсе, как обычно игнорируют все необязательное.

Чего бот не видит

Даже после «Пульса» за 30 дней 22 человека из 151 получателя не отреагировали ни на одно из 372 личных напоминаний. При этом они работают с задачами в группе: сдают, комментируют. Личка с ботом у них, видимо, в архиве или заглушена.

Bot API не сообщает, заглушен ли чат и прочитано ли сообщение, а доставленное еще не значит увиденное. Постановщик поручения на девятерых видит у всех «личные уведомления подключены» и уверен, что предупреждены все девять. Теперь если у человека три напоминания подряд за два дня остались без ответа, на карточке появляется пометка «похоже, не видит уведомлений бота» и кнопка «Написать лично». Достучаться до человека, который заглушил бота, бот не может, и постановщику честнее об этом сказать.

Что бы я сделал иначе

Начал бы измерять ответы на напоминания с первого дня, а не с середины сентября. Тогда период «до» был бы длиннее, а выводы тверже.

Не стал бы делать ежедневную цепочку бесконечной. Правило «три дня, потом раз в неделю и сигнал постановщику» задним числом кажется очевидным, а в августе казалось, что настойчивость и есть забота.

И проверял бы литобзор по первоисточникам сразу, до того как строить на нем планы.

Бот, о котором шла речь, бесплатный и живет в Telegram: @delo_pulse_bot, в поиске Telegram он находится по этому имени. Если у вас в рабочей команде работает рейтинг или очки, расскажите в комментариях, в каких условиях. Мне интересны как раз случаи, где исследования ошибаются.