Так выглядит мониторинг, который мы ставим: состояние системы одним взглядом, графики, где видно начало проблемы, и тревоги, в которых сразу написано, что сломалось и куда смотреть. Выберите сценарий аварии и посмотрите, как её видно до звонка пользователей.
Включите JavaScript, чтобы увидеть демо.
p50 p95 Цель
Задачи Индексация Уведомления
Свободно Порог
| Время | p50, с | p95, с | Сообщений в очередях | Ждут блокировку | Свободно на диске, % |
|---|
На демо выдуманные данные, но устроено всё так же, как у вас будет на настоящей системе: те же слои, те же вопросы на каждой панели, тот же формат тревог.
Первый экран отвечает на вопрос «всё ли в порядке» за пять секунд. Шесть плиток, у каждой порог и словесный статус. Если все зелёные, дальше можно не смотреть. Если одна покраснела, по ней переходят к графикам нужного слоя.
На графике p50 и p95 рядом, а не среднее. В сценарии с блокировками p50 почти не меняется, а p95 уходит вверх в разы: тормозит у части пользователей, и по среднему это было бы почти не видно. Почему так, разобрано в статье про перцентили.
Каждая тревога состоит из трёх частей: что случилось в цифрах, чем это грозит пользователям и куда смотреть первым делом. Дежурный не ищет, что значит название правила, а начинает разбор. Какие тревоги нужны первыми, рассказано в статье про алерты для RX.
Нажмите «Устранить» в любом сценарии: метрика возвращается к норме, и тревога переходит в закрытые. На настоящей системе так же: никто не снимает тревогу вручную, её закрывает сама метрика, а уведомление о закрытии приходит туда же, куда приходило о начале.
Prometheus с экспортёрами для серверов, PostgreSQL, RabbitMQ и Elasticsearch, Alertmanager для уведомлений в почту или мессенджер, Grafana для панелей. Журналы собираются Vector в Elasticsearch или Loki: так время ответа считается по операциям из журналов RX. Конфигурацию сборщика журналов можно собрать генератором.
Чего демо не показывает: журналы, трассировку запросов и панели по прикладным операциям RX. На настоящей системе они есть, и с них обычно начинается разбор, когда тревога сработала.