В продуктовой B2B‑компании, где я отвечал за надёжность, поставили амбициозную цель: сократить цикл разработки (dev cycle time) на 20%. Забегая вперёд, скажу: к концу года цель достигли. Но уже через несколько месяцев после старта я смотрел на график инцидентов и не верил своим глазам: рост в два раза год к году. Эта статья — о том, почему так происходит почти всегда, когда компания оптимизирует одну […]
Самые интересные проблемы с телеметрией, с которыми мне приходилось сталкиваться, обычно начинались с инцидента, во время которого нам не хватило видимости. После разбора инцидента мы добавляли недостающее поле. Затем «на всякий случай» мы добавляли еще и смежные поля, потому что никто не хотел, чтобы в следующий раз зеркало погасло. На тот момент решение казалось разумным, […]
Результат разбора любого инцидента — наказание виновного или виновных. Но наказание за ошибки не делает систему надёжнее. Вместо этого оно мотивирует скрывать недочеты. Единственный способ построить предсказуемо работающую ИТ‑инфраструктуру — создать среду, в которой инженеры добровольно и без страха рассказывают о том, что пошло не так. И это задача не HR, а системного менеджмента. О том, как этого достигнуть, делимся в статье. Природа ошибки в сложных системах
Часть 3. Самая опасная магия в IT — это магия целей. Потому что цель легко обещает, а потом требует процентами отчёта. Есть особый вид страха, который появляется у инженера, когда два календаря совпадают. Первый календарь — релизный.Второй — организационный. И когда в один и тот же день на вас назначают «большую миграцию» и «большую презентацию […]
Инцидент-менеджмент с нуля: практический гайд для растущих команд Типичность 3 часа ночи. Звонок от незнакомого номера. ”Пользователи не могут залогиниться, п****ц”.
Эволюционируя из рядового сисадмина в DevOps-а, специалисты начинают заботиться о разработке. В среднем разработчики об инфраструктуре знают не очень много: вполне может добавить скрипт, который обрушит кластер. Поэтому наша задача как девопсов сделать систему максимально отказоустойчивой, автоматизировать рутину, выстроить процессы CI/CD, настроить мониторинг и вообще следовать подходу “Инфраструктура как код”. Но это в теории. На […]