Инцидент за рубли. Как мы научились считать настоящую цену сбоев
Петрович-Тех. Как мы посчитали настоящую цену сбоев
Петрович-Тех. Как мы посчитали настоящую цену сбоев
Дежурные оттягивали звонок как можно дольше. Сервис частично не работает, дежурный это видит, понимает, что сам может не справиться, и всё равно не звонит. Пробует ещё одно действие, потом ещё одно, ждёт.
Привет, Хабр! Спор повторяется в каждой компании, у которой есть прод. Инженеры говорят, что пора остановиться и заняться надёжностью. Продукт говорит, что квартальные цели горят и останавливаться нельзя. Побеждает тот, у кого выше должность, обе стороны расходятся недовольными, и через месяц всё повторяется слово в слово. Причина не в людях. Аргументы несопоставимые: одни говорят про риск, другие про выручку. Общей единицы нет. А пока её нет, […]
Привет! Я Сергей Житинский, основатель Git in Sky. Мы занимаемся эксплуатацией и технической поддержкой ИТ‑инфраструктуры. Agent‑Ops — проект открытой отраслевой методологии совместной работы инженеров и ИИ‑агентов. Мы начали разрабатывать его весной этого года и сейчас выложили первый кандидат версии 0.4.0 на GitHub и GitVerse
В продуктовой B2B‑компании, где я отвечал за надёжность, поставили амбициозную цель: сократить цикл разработки (dev cycle time) на 20%. Забегая вперёд, скажу: к концу года цель достигли. Но уже через несколько месяцев после старта я смотрел на график инцидентов и не верил своим глазам: рост в два раза год к году. Эта статья — о том, почему так происходит почти всегда, когда компания оптимизирует одну […]
Самые интересные проблемы с телеметрией, с которыми мне приходилось сталкиваться, обычно начинались с инцидента, во время которого нам не хватило видимости. После разбора инцидента мы добавляли недостающее поле. Затем «на всякий случай» мы добавляли еще и смежные поля, потому что никто не хотел, чтобы в следующий раз зеркало погасло. На тот момент решение казалось разумным, […]
Результат разбора любого инцидента — наказание виновного или виновных. Но наказание за ошибки не делает систему надёжнее. Вместо этого оно мотивирует скрывать недочеты. Единственный способ построить предсказуемо работающую ИТ‑инфраструктуру — создать среду, в которой инженеры добровольно и без страха рассказывают о том, что пошло не так. И это задача не HR, а системного менеджмента. О том, как этого достигнуть, делимся в статье. Природа ошибки в сложных системах
Часть 3. Самая опасная магия в IT — это магия целей. Потому что цель легко обещает, а потом требует процентами отчёта. Есть особый вид страха, который появляется у инженера, когда два календаря совпадают. Первый календарь — релизный.Второй — организационный. И когда в один и тот же день на вас назначают «большую миграцию» и «большую презентацию […]