Главная / Заметки

Три метрики, которые ловят деградацию раньше пользователей

7 минмониторинг

Дашборд на сорок графиков приятно показать, но в три часа ночи он бесполезен. Гораздо ценнее три сигнала, по которым сразу понятно, что что-то не так, и почти понятно, где.

1. Задержка, а не средняя, а хвост

Средняя задержка скрывает проблемы: один медленный запрос из ста почти не двигает среднее, но именно он портит впечатление от сервиса. Смотреть надо на 95-й и 99-й перцентиль.

Если p99 растёт, а p50 стоит на месте — это не «сервер тормозит», это отдельная категория запросов. Обычно за ней стоит блокировка, редкий путь в коде или внешний вызов.

2. Доля ошибок, разделённая по типу

Общий процент ошибок бесполезен: 5xx и 4xx означают совершенно разные вещи. 4xx — это клиенты, которые делают что-то не то (или наши же ретраи). 5xx — это мы.

Полезно держать три отдельных счётчика: ответы 5xx, таймауты и отказы на уровне соединения. Последний часто показывает то, чего не видно в логах приложения вообще.

3. Насыщение: очереди и соединения

Система ломается не когда нагрузка достигает предела, а когда очередь на обработку перестаёт разгружаться. Два числа хорошо показывают приближение к этому моменту:

Рост любого из них при стабильной нагрузке — почти всегда предвестник отказа через несколько минут.

Почему именно три

Три метрики дают три независимые оси: как быстро, насколько успешно и насколько близко к пределу. Вместе они позволяют отличить деградацию сети от деградации приложения и от банального исчерпания ресурсов.

Хороший алерт — тот, который срабатывает один раз и по делу. Всё остальное превращается в шум, который через месяц отключают.

Что добавлять дальше

После этих трёх смысл появляется у детализации: разбивка по эндпоинтам, по внешним зависимостям, по регионам. Но начинать с сорока графиков — верный способ запутаться в них в первый же инцидент.