Как выбрать языковую модель для компании
Выбор языковой модели сводится к четырём вопросам: где она размещена, какие задачи закрывает, сколько стоит обращение и как быстро отвечает. Компании чаще берут не одну модель, а несколько: простые операции уходят быстрой, разбор документов — сильной.
Шесть критериев
Размещение
Где физически работают вычислительные мощности. Для персональных данных выбирают размещение в России.
Качество на ваших задачах
Проверяется на проверочном наборе вопросов компании: публичные рейтинги показывают средний результат на общих тестах.
Стоимость обращения
Считается по токенам с учётом объёма документов, которые попадают в запрос.
Время ответа
Для чата поддержки важны секунды, для ночной обработки документов — пропускная способность.
Длина контекста
Сколько текста модель обрабатывает за один запрос: от этого зависит работа с длинными договорами.
Возможность замены
Насколько просто перейти на другую модель, когда появится вариант выгоднее.
Что доступно российским компаниям
| Вариант | Особенности | Где применяется |
|---|---|---|
| Российские модели | Работают у отечественных провайдеров, договор и оплата в российском правовом поле | Работа с персональными данными, госсектор, крупные корпоративные внедрения |
| Открытые модели на серверах в России | DeepSeek, Qwen, GLM, Kimi, MiniMax, Gemma, gpt-oss разворачиваются на инфраструктуре в российском контуре | Основной объём корпоративных задач: поиск по документам, разбор текста, классификация |
| Специализированные модели | Оптимизированы под код и распознавание документов | Разработка, обработка сканов и договоров |
| Модель в контуре компании | Развёртывание на собственных серверах, расходы на оборудование | Постоянная высокая нагрузка и повышенные требования к данным |
Публичные рейтинги показывают средний результат на общих тестах. Решение принимается по замеру на своих вопросах: одна и та же модель по-разному отвечает на юридических документах и на технических регламентах.
Схема с несколькими моделями
Быстрая модель на простых операциях
Классификация обращения, извлечение номера договора, короткие ответы по справочнику. Такие задачи составляют большую часть потока и стоят дёшево.
Сильная модель на разборе документов
Сравнение редакций, сводки по объекту, ответы с цитированием. Здесь важнее точность, чем цена обращения.
Единая точка подключения
Приложение обращается к одному API, выбор модели остаётся настройкой. Смена модели проходит без переписывания интеграции.
Порядок выбора
- 01Сформулировать две-три задачи, ради которых внедряется модель.
- 02Собрать проверочный набор из 30–50 вопросов с эталонными ответами.
- 03Прогнать набор на двух-трёх моделях и сравнить долю верных ответов.
- 04Посчитать стоимость обращения на реальном объёме документов в запросе.
- 05Замерить время ответа в том канале, где модель будет работать.
- 06Зафиксировать выбор и оставить возможность замены через единый API.
Частые вопросы
- Какую языковую модель выбрать для работы с персональными данными?
- Ту, что размещена на серверах в России: российские модели провайдеров или открытые модели, развёрнутые в российском контуре.
- Нужно ли выбирать одну модель на все задачи?
- Чаще выгоднее распределить задачи: классификация и короткие ответы уходят быстрой модели, разбор документов — сильной.
- Как понять, что модель подходит?
- По замеру на проверочном наборе вопросов компании: доля верных ответов, наличие источников, стоимость обращения и время ответа.
- Как подключить несколько языковых моделей сразу?
- Через Роутер моделей WAIVE: единый API к российским и открытым моделям на серверах в России, один договор и отчёт по расходам для каждой модели.