Сколько серверов и памяти нужно, чтобы своя языковая модель отвечала сотрудникам по заданиям и документам RX, без видеокарт и без облака. Цифры не из презентаций производителей: мы гоняли модели на процессорах сами и проверяли, насколько верно они отвечают на вопросы из жизни СЭД.
Поставим модель и помощника в ваш контур, прогоним проверку качества на ваших вопросах и данных, настроим мониторинг модели. Решение о выкатке принимается по цифрам, а не по впечатлению от демо.
Главное, что стоит знать до покупки сервера под модель. Подробные цифры для каждой модели в калькуляторе выше.
Помощнику RX модель получает описание всех инструментов: 27 инструментов это 7–8 тысяч токенов ещё до вопроса. На процессоре модель читает их минуты, отвечает потом секунды. Поэтому первый вопрос после перезапуска модели ждёт долго, а дальше сервер берёт уже прочитанное начало из кэша и отвечает в разы быстрее.
Цифры «столько-то токенов в секунду» из обзоров меряют на пустом контексте. На глубине 8 тысяч токенов, где и живёт помощник RX, генерация на процессоре медленнее в 3–4 раза. Сравнивайте модели по таблице «Скорость по глубине контекста», а не по рекламной цифре.
Набор из 16 инструментов для пилота (задания, документы, сотрудники, проекты) сокращает запрос на треть. Качество на тех же вопросах почти не меняется, ответ приходит заметно быстрее. Остальные инструменты можно добавить, когда понятно, что ими пользуются.
Модели на 4 миллиарда параметров отвечают быстро, но зацикливаются на одном вызове, берут не тот инструмент и выдумывают. Для помощника по документам это хуже, чем медленный ответ. Модели с архитектурой MoE (на каждый токен работает малая часть параметров) на процессоре дают качество крупной модели при скорости средней.
Помощник работает только на чтение. На просьбу «согласуй договор от моего имени» модели без явного правила либо обещали согласовать, либо перебирали инструменты до лимита шагов. Мы добавили в системный промпт правило «скажи, что не можешь, и подскажи, где сделать самому» и подсказку, каким инструментом отвечать на «что нового». Qwen3 8B поднялась с 34 до 40 из 42, Qwen3 30B-A3B с 32 до 42 из 42. Поэтому промпт и набор инструментов проверяются так же, как сама модель, а любая их смена проходит повторную проверку.
Чтобы вы могли повторить замер на своём железе и поспорить с любой цифрой.
llama-bench из llama.cpp: чтение запроса (512 токенов) и генерация (64 токена) на пустом контексте и на глубине 4 и 8 тысяч токенов, KV-кэш f16 и q8_0. Модели в квантизации Q4_K_M, все потоки процессора, сервер модели на время замера остановлен.
llama-server с четырьмя слотами и потоковой выдачей. Запрос как у помощника: общий префикс 7,7 тысячи токенов (системный промпт и инструменты), 300 токенов вопроса, 150 токенов ответа. Меряем время до первого токена и полное время при 1, 2 и 4 одновременных, отдельно первый вопрос без кэша.
Проверка drxeval на учебной RX: 14 вопросов от трёх сотрудников (просрочки, договоры, регламенты, проекты, «чего нет в системе», «сделай за меня»), каждый трижды. Ответ засчитывается, если модель вызвала нужные инструменты с правильными аргументами и в ответе есть факты из RX без выдумки. Пример: 40 из 42 означает, что 40 попыток из 42 прошли обе проверки. Qwen3 8B и 30B-A3B проверены со второй версией системного промпта, Qwen3 4B и GigaChat с первой.
Время ответа помощника берём из проверки качества: это полный цикл с несколькими шагами модели и вызовами RX. На другом сервере пересчитываем по скорости генерации на глубине 8 тысяч токенов, при нескольких одновременных по замеру нагрузки. Из вариантов 1, 2 и 4 одновременных выбираем самый производительный, который укладывается в ваше время ожидания.
Файл модели, плюс KV-кэш на 16 тысяч токенов на каждого одновременного пользователя (размер по числу слоёв и голов модели), плюс 2 ГБ на систему и сервер модели. Округляем вверх до 8 ГБ.
Чего здесь нет: видеокарт (замеры GPU добавим), длинных документов в контексте (пересказ договора на 50 страниц это отдельный профиль), поиска по базе знаний, нагрузки от других систем на том же сервере. Ваш профиль и ваши вопросы проверяем на пилоте.