Уронили прод 31 декабря: забавные факапы с API, за которые нам до сих пор стыдно
Многие думают, что большие компании не совершают ошибки. Но даже если у вас налажен процесс код‑ревью и всё тщательно проверяется, риск накосячить никогда не равен нулю. Хотя, конечно, всегда лучше учиться на чужих ошибках, чем на своих.
Меня зовут Юрий Беглецов, я технический продакт в Точка Банк. Мы с командой делаем универсальные API, чтобы клиенты могли интегрировать банк и дочерние сервисы прямо в свои системы. Иногда у нас тоже бывают провалы — обидные, серьёзные и даже забавные. Две истории из серии «никогда больше» — под катом.

Факап №1. Удалили токены клиентов 31 декабря
Это произошло в конце 2020 года. Обычно перед праздниками у нас установлены фризы на разработку и мы не можем выкатывать на клиентов новые фичи. Но у нас родилась гениальная идея провести оптимизацию, чтобы ускорить запросы и немного разгрузить базу. И, конечно, всё пошло не так.
Мы залезли в код и внесли модификации в систему обмена токенов, чтобы обменивать их на упрощённую версию, а предыдущую — стёрли. База и правда перестала нагружаться. Но вместе с этим перестали работать все интеграции (:
Оказалось, что мы не настроили плавную миграцию и не перенесли токены в новое место. То ли подумали, что это произойдет автоматически, то ли просто забыли сделать. В итоге клиенты, которые пользовались нашим API, потеряли к нему доступ — мы просто удалили их токены из базы. Они не могли получить выписку, создать платёж и подписать документы.
Представьте картину: вечером 31 декабря ты хочешь закрыть последние счета, а сервис не отвечает. Как говорится, хорошие предприниматели получают на Новый год подарки, а очень хорошие — неработающую бухгалтерию ✨
Партнёры, которые предоставляли интеграцию, начали нам писать. Приходилось выдёргивать людей из‑за праздничного стола, чтобы всё починить. Так как резервных копий не осталось, клиенты были вынуждены перенастраивать интеграцию. Все январские праздники мы созванивались и помогали всё починить.
Но самое интересное, что на следующий год ситуация повторилась. Ведь мы амбициозные, смелые и учли ошибки предыдущих лет. Снова решили раскатиться накануне Нового года и, конечно, опять всё отвалилось 🤡 Но в этот раз мы были умнее и заранее сделали резервную копию, поэтому быстро всё починили. С тех пор под Новый год ничего не релизим, даже наши внутренние доработки.
Факап №2. Сделали ненужный сервис для 15 команд
Однажды мы решили сделать сервис, который собирает выписки из других банков и отдаёт их внутренним сервисам Точки. Хотели сделать всё правильно и начали с опроса команд. Получился список из 15 заинтересованных сервисов. Большинство сказали, что интегрируют фичу за один‑два месяца — сразу, как она появится.
Так как это не клиенты в обычном понимании, а сервисы Точки, которые заинтересованы в получении информации извне, мы доверились командам и сразу приступили к работе. При создании MVP спрашивали ребят, как им будет удобнее, но получили не очень много информации, поэтому двигались интуитивно.
Спустя полгода сервис оказался на проде. К нему можно было подключаться, но никто не спешил. Мы начали созваниваться с командами, и они отвечали, что:
-
им неудобно;
-
поменялись приоритеты;
-
мы собираем не те данные, которые нужны.
Но у этой истории есть хэппи энд: спустя время ребята всё‑таки начали подключаться. Сейчас сервисом пользуются девять команд, хотя для этого пришлось многое дорабатывать и улучшать.
Немного итогов
Ошибки в работе есть у всех, извлекайте из них уроки. Вот наши:
-
Думайте наперёд, что вы можете поломать, и не нарушайте правила. Те же фича‑фризы перед праздниками — не просто так. Даже если чешутся руки, релизить под Новый год нельзя, потому что никто не хочет чинить прод 1 января.
-
Помните, что клиент всегда страдает первым. Желание сделать мир лучше — похвально. Но любой факап — это живые люди, у которых всё поломалось. Поэтому лучше страдать от багов в тестах самим, чем выкатывать непроверенную фичу.
-
Устные договорённости не работают. Даже если на словах команда пришла к какому‑то решению, всё равно надо фиксировать сроки и приоритеты.
Желаем вам спокойных каникул, которые дадут силы на весь 2026 год! Отдохните там хорошенько 💜
Автор: Yurbaner

