Пожары в разработке под контролем: внедряем observability и умные алерты
На митапе мы поговорим о том, как справляться с «пожарами» в разработке и сопровождении продуктов с помощью современных практик Observability и умного алертинга.
Рост сервисов и высокие нагрузки всегда сопряжены с рисками: медленные ответы, ошибки, неожиданные падения. Совсем избежать инцидентов невозможно. Но команда должна успевать раньше, чем бизнес почувствует потери.
На митапе мы поговорим о том, как справляться с «пожарами» в разработке и сопровождении продуктов с помощью современных практик Observability и умного алертинга.
Митап будет полезен как менеджерам, которым важно держать под контролем надежность сервисов и минимизировать стоимость инцидентов. Так и инженерам, отвечающим за сопровождение продукта и уставшим от «пожаров» в проде.
- Как перестать тушить пожары в разработке: внедряем Observability в существующий продукт не за миллиард денег, Олег Казаков, CTO в Spectr
Тезисы доклада:
Любой проект рано или поздно сталкивается с ситуацией, когда что-то идёт не так: сервис отвечает медленно, пользователи жалуются на ошибки, а в логах куча строк, из которых ничего не ясно. Без полноценной наблюдаемости это превращается в мучительное расследование «вслепую».
Как всем известно, наблюдаемость держится на трёх столпах: метриках, логах и трейсах. В данном докладе я расскажу о том, как в короткие сроки внедрить базовый observability на примере Grafana стека: Grafana, Prometheus, Loki, Tempo.
- Почему мы пропускаем инциденты, и как это исправить: алертная слепота как барьер для Observability, Кирилл Грищук, Avito, Backend Team Lead в Core Services
Тезисы доклада:
С ростом системы вопрос алертов становится неизбежным. И, вроде бы, все идет по плану: включают мониторинг, подключают уведомления. но через пару недель у разработчиков уже мини-инсульт от сотен сообщений в канале. В чем причина?
- Приходит много разных алертов даже тогда, когда система работает нормально.
- Когда ничего не работает — они тоже приходят, и их уже игнорируют по привычке.
- Алерты воспринимаются как доказательство, что «код работает» — раз хоть что-то пишет.
В итоге мы сталкиваемся с ситуацией, что алерты не выполняют свою функцию. Команда перестает на них реагировать, реальные проблемы пропускаются. Это и есть «алертная слепота».
В докладе мы разберем правила хорошего алертинга. Когда алерты сигнализируют о реальных проблемах; любой разработчик может решить проблему — есть инструкция, что делать; в логах релевантная информация. И рассмотрим четыре базовых шага: настройка границ, обобщение метрики, работа с короткими пиками, какую информацию включать в алерт.
В конце доклада вы получите инструкцию, как настроить работу с алертами, а также полезные ссылки.
