Directum RX · Надёжность по практикам SRE
SRE для Directum RX
SRE для нас означает так вести Directum RX, чтобы у скорости и доступности были измеримые цели и кто-то за них отвечал. Сюда входят серверы и СУБД, прикладной код под нагрузкой и, если он есть, ИИ-помощник на вашей модели. Так устроено наше сопровождение Directum RX.
- 1 часРеакция, если система недоступна
- 227 правилМониторинга под RX и 83 дашборда
- 166 → 35 сСохранение плана проекта после разбора до SQL
- Открытый кодrxops, rxmcp, rxdoctor, drxmon
Что такое SRE для Directum RX простыми словами
SRE (site reliability engineering) это набор инженерных привычек: договориться, какой должна быть система, измерять это, разбирать отклонения и менять систему так, чтобы откатиться было можно. Для RX это семь вещей.
Цели в перцентилях
Цель по скорости пишем по конкретным операциям и в перцентилях: например, сколько процентов открытий карточки укладывается в заданное время. Среднее время прячет медленные запросы, на которые жалуются пользователи. Почему среднее врёт
Наблюдаемость
Метрики и журналы со всех слоёв: серверы, PostgreSQL или MS SQL, RabbitMQ, поиск, хранилище, сервисы RX. Каждая тревога говорит, что случилось, на что влияет и куда смотреть. Какие алерты не ложные
Реакция на аварии
Срок реакции в договоре, уведомления приходят и вам, и нам. После аварии разбор: причина, что поменяли, какая тревога должна была сработать раньше. Справочник ошибок по строке из лога
Обновления с откатом
Репетиция на копии продуктивной базы, бэкап перед окном, автотесты интерфейса после, план отката с проверенной копией. Как сделать обновление обратимым
Запас мощности
Следим за ростом базы, хранилища и индексов поиска и заранее говорим, когда понадобится диск или сервер. Пересчитываем сайзинг при росте числа пользователей. Калькулятор сайзинга
Надёжность прикладного кода
Медленная операция часто упирается в код решения: нет индекса, тяжёлая работа идёт в запросе пользователя, блокировка держится долго, фоновый процесс совпал с пиком. Разбираем такие места до метода и запроса. Подробнее ниже
ИИ как ещё один сервис
Локальная модель живёт рядом с RX, и у неё те же правила: мониторинг, проверка перед сменой версии, откат. Подробнее ниже
От серверов до прикладного кода
Когда «тормозит», виноват бывает любой слой. Поэтому раскладываем время одного действия по цепочке браузер, прокси, сервисы RX, СУБД и смотрим, где оно теряется. Как дойти до метода и SQL-запроса
Индексы
Находим запросы прикладного кода, которые читают таблицу целиком, и предлагаем индекс под конкретный фильтр. Проверяем на копии базы, что он помогает и не мешает записи.
Асинхронные обработчики
Если пользователь ждёт работу, которую можно сделать позже, предлагаем перенести её в асинхронный обработчик. Следим, чтобы очередь обработчиков разбиралась и не копилась.
Блокировки
Ищем, какие операции держат блокировку долго и мешают друг другу, и предлагаем, как сократить её время или порядок захвата.
Фоновые процессы
Смотрим, когда и сколько работают фоновые процессы, и разводим тяжёлые с пиком пользователей.
Нагрузочные тесты
Профиль нагрузки по реальным журналам, сценарии в JMeter, сравнение версий в перцентилях до выхода в прод. Как начать с JMeter
Автотесты после изменений
Короткий набор проверок веб-клиента, который запускается после каждого обновления и показывает, что пользователи смогут работать. Первый автотест на Playwright
Исправление в прикладном коде вносит ваша команда или интегратор: мы передаём фактуру до метода и запроса и вариант правки. Если договоримся, делаем правку вместе с ними, через их репозиторий и ревью.
ИИ в контуре заказчика
ИИ-помощник для Directum RX на своей модели это ещё один сервис рядом с RX. Его ломают те же вещи, что и RX: память, диски, обновления. И у него есть своя поломка: новая версия модели или промпта может отвечать хуже.
Модель на ваших серверах
Модель, чат и вход сотрудников ставим в ваш контур, данные RX никуда не уходят. Помощник работает под учёткой сотрудника через открытый MCP-сервер. rxmcp
Проверка качества перед сменой
Вопросы ваших сотрудников с известным ответом прогоняем по нескольку раз. Новая модель, промпт или набор инструментов выкатываются, только если отвечают не хуже текущих. Демо с записями прогонов
Мониторинг модели
Время ответа, ошибки в вызовах инструментов, обрезанные ответы и загрузка сервера модели на тех же панелях, что и RX. Сколько железа нужно под модель
ИИ в нашей работе
Скилы rxops помогают агенту разбирать инцидент, логи, СУБД, брокер и бэкапы по нашему порядку. В drxmon локальная модель пишет первичный разбор каждой тревоги. Агента на серверах с любым стеком страхует agent-guard: подтверждение изменений, маскировка паролей и журнал команд. rxops · drxmon
Что можно посмотреть уже сейчас
Наши инструменты и разборы открыты. По ним видно, как мы работаем, ещё до договора.
- rxdoctor
- Проверка здоровья RX одной командой: СУБД, RabbitMQ, Elasticsearch, TLS, хосты, Kubernetes. Только читает.
- drxmon
- Мониторинг RX в коробке на одном сервере, ставится без интернета. Демо мониторинга
- rxops
- Открытые скилы Claude Code для администратора RX: инцидент, логи, обновление с откатом, проверка бэкапа.
- rxmcp
- Открытый MCP-сервер, через который ИИ-помощник работает с RX под учёткой сотрудника.
- Справочник ошибок
- Вставьте строку из лога и узнайте, что она значит и что делать.
- Сайзинг
- Серверы, память и диски под число пользователей, выгрузка в CSV для ТЗ.
- Чек-лист обновления
- 44 пункта от подготовки до первых суток после обновления.
Статьи по теме
Как идёт работа
Можно остановиться после любого шага: аудит это законченная работа с документом на выходе.
1 день, фиксированная цена
Аудит
Экспресс-проверка контура и отчёт на три страницы: что чинить срочно, что подождёт. Образец отчёта
2–3 недели
Цели и мониторинг
Договариваемся о целях по ключевым операциям, считаем текущие значения по журналам, ставим мониторинг, журналы и бэкапы с проверкой восстановлением.
По плану работ
Исправления в инфраструктуре и коде
Закрываем срочное из отчёта в инфраструктуре, по прикладному коду передаём фактуру и вариант правки или делаем её вместе с вашей командой.
Ежемесячно
Регулярные разборы
Отчёт раз в месяц: как держались цели, что случилось и почему, что подходит к пределу, что предлагаем дальше.
Частые вопросы
Чем SRE отличается от обычного сопровождения Directum RX?
Сопровождение отвечает на вопрос, что делать, когда сломалось. SRE добавляет договорённость, какой должна быть система: например, какая доля операций укладывается в заданное время. Дальше мониторинг следит за этой целью, а разборы аварий и обновления планируются так, чтобы её держать. Сопровождение Directum RX у нас так и устроено.
Кто задаёт цели по скорости и доступности?
Вы, а мы помогаем их сформулировать и посчитать текущие значения по журналам. Цели пишем в перцентилях по конкретным операциям: открытие карточки, поиск, сохранение плана. Если в вашем ТЗ уже есть требования к производительности, берём их за основу.
Вы правите прикладной код?
Находим, где код бьёт по скорости или стабильности, до конкретного метода и запроса, и предлагаем исправление: индекс, перенос тяжёлой работы в асинхронный обработчик, короче блокировку, другое расписание фонового процесса. Вносит его ваша команда или интегратор. Если договоримся, делаем вместе с ними через их репозиторий и ревью.
Как в это входит ИИ?
Если у вас есть ИИ-помощник на своей модели, это ещё один сервис рядом с RX. Для него те же правила: мониторинг времени ответа и ошибок, смена модели или промпта только после проверки качества на ваших вопросах, откат на прежнюю версию. Сами мы используем ИИ в работе: открытые скилы rxops для администратора и разбор тревог локальной моделью в drxmon.
С чего начать?
С созвона на 30 минут и экспресс-проверки за день по фиксированной цене. Можно сначала проверить систему самим бесплатной утилитой rxdoctor. По итогам проверки видно, какие цели реально держать и что для этого чинить первым.