Три метрики, которые ловят деградацию раньше пользователей
Дашборд на сорок графиков приятно показать, но в три часа ночи он бесполезен. Гораздо ценнее три сигнала, по которым сразу понятно, что что-то не так, и почти понятно, где.
1. Задержка, а не средняя, а хвост
Средняя задержка скрывает проблемы: один медленный запрос из ста почти не двигает среднее, но именно он портит впечатление от сервиса. Смотреть надо на 95-й и 99-й перцентиль.
Если p99 растёт, а p50 стоит на месте — это не «сервер тормозит», это отдельная категория запросов. Обычно за ней стоит блокировка, редкий путь в коде или внешний вызов.
2. Доля ошибок, разделённая по типу
Общий процент ошибок бесполезен: 5xx и 4xx означают совершенно разные вещи. 4xx — это клиенты, которые делают что-то не то (или наши же ретраи). 5xx — это мы.
Полезно держать три отдельных счётчика: ответы 5xx, таймауты и отказы на уровне соединения. Последний часто показывает то, чего не видно в логах приложения вообще.
3. Насыщение: очереди и соединения
Система ломается не когда нагрузка достигает предела, а когда очередь на обработку перестаёт разгружаться. Два числа хорошо показывают приближение к этому моменту:
- глубина очереди ожидающих запросов;
- количество соединений в состоянии установления (
SYN_SENT,SYN_RECV).
Рост любого из них при стабильной нагрузке — почти всегда предвестник отказа через несколько минут.
Почему именно три
Три метрики дают три независимые оси: как быстро, насколько успешно и насколько близко к пределу. Вместе они позволяют отличить деградацию сети от деградации приложения и от банального исчерпания ресурсов.
Хороший алерт — тот, который срабатывает один раз и по делу. Всё остальное превращается в шум, который через месяц отключают.
Что добавлять дальше
После этих трёх смысл появляется у детализации: разбивка по эндпоинтам, по внешним зависимостям, по регионам. Но начинать с сорока графиков — верный способ запутаться в них в первый же инцидент.