Как выбрать языковую модель для компании
Выбор языковой модели сводится к четырём вопросам: где она размещена, какие задачи закрывает, сколько стоит обращение и как быстро отвечает.
Компании чаще берут не одну модель, а несколько: простые операции уходят быстрой, разбор документов — сильной.
Шесть критериев
Размещение
Где физически работают вычислительные мощности.
- Для персональных данных выбирают размещение в России.
Качество на ваших задачах
Проверяется на проверочном наборе вопросов компании: публичные рейтинги показывают средний результат на общих тестах.
Стоимость обращения
Считается по токенам с учётом объёма документов, которые попадают в запрос.
Время ответа
Для чата поддержки важны секунды, для ночной обработки документов — пропускная способность.
Длина контекста
Сколько текста модель обрабатывает за один запрос: от этого зависит работа с длинными договорами.
Возможность замены
Насколько просто перейти на другую модель, когда появится вариант выгоднее.
Что доступно российским компаниям
| Вариант | Особенности | Где применяется |
|---|---|---|
| Российские модели | Работают у отечественных провайдеров, договор и оплата в российском правовом поле | Работа с персональными данными, госсектор, крупные корпоративные внедрения |
| Открытые модели на серверах в России | DeepSeek, Qwen, GLM, Kimi, MiniMax, Gemma, gpt-oss разворачиваются на инфраструктуре в российском контуре | Основной объём корпоративных задач: поиск по документам, разбор текста, классификация |
| Специализированные модели | Оптимизированы под код и распознавание документов | Разработка, обработка сканов и договоров |
| Модель в контуре компании | Развёртывание на собственных серверах, расходы на оборудование | Постоянная высокая нагрузка и повышенные требования к данным |
Публичные рейтинги показывают средний результат на общих тестах.
- Решение принимается по замеру на своих вопросах: одна и та же модель по-разному отвечает на юридических документах и на технических регламентах.
Какие модели брать под задачу
Ниже практика наших внедрений. Все перечисленные модели разворачиваются на серверах в России: данные компании остаются в российском контуре. Сравнение инструментов при одной и той же модели приведено на странице замеров.
| Задача | Что берём | Причина выбора |
|---|---|---|
| Разбор документов, многошаговые задачи, ответы с цитированием | DeepSeek последней версии | Сильная логика на длинных документах и открытая лицензия, которая позволяет развернуть модель в контуре компании |
| Классификация обращений, извлечение полей, короткие ответы по справочнику | Младшие модели Qwen | Широкая линейка размеров: под простую операцию берётся небольшая модель, обращение стоит дешевле |
| Поиск по большому архиву за один запрос | Qwen старших размеров, GLM, Kimi | Держат длинный контекст, в запрос помещается больше фрагментов документов |
| Работа с кодом | Qwen-Coder | Обучена на задачах разработки, лучше держит структуру кода |
| Сканы, договоры, распознавание | DeepSeek-OCR | Читает документы без текстового слоя, дальше текст уходит в общий индекс |
| Персональные данные, госсектор, требования к договору | Российские модели | Договор и оплата в российском правовом поле, отдельный вопрос трансграничной передачи не возникает |
На опыте WAIVE хороший результат на корпоративных задачах дают DeepSeek и Qwen.
- Выбор при этом остаётся за компанией: через Роутер моделей WAIVE доступен весь каталог, любую модель можно прогнать на своих вопросах и решить по замеру, какая подходит.
Схема с несколькими моделями
Быстрая модель на простых операциях
Классификация обращения, извлечение номера договора, короткие ответы по справочнику.
- Такие задачи составляют большую часть потока и стоят дёшево.
Сильная модель на разборе документов
Сравнение редакций, сводки по объекту, ответы с цитированием.
- Здесь важнее точность, чем цена обращения.
Единая точка подключения
Приложение обращается к одному API, выбор модели остаётся настройкой.
- Смена модели проходит без переписывания интеграции.
Порядок выбора
- 01Сформулировать две-три задачи, ради которых внедряется модель.
- 02Собрать проверочный набор из 30–50 вопросов с эталонными ответами.
- 03Прогнать набор на двух-трёх моделях и сравнить долю верных ответов.
- 04Посчитать стоимость обращения на реальном объёме документов в запросе.
- 05Замерить время ответа в том канале, где модель будет работать.
- 06Зафиксировать выбор и оставить возможность замены через единый API.
Частые вопросы
- Какую языковую модель выбрать для работы с персональными данными?
- Ту, что размещена на серверах в России: российские модели провайдеров или открытые модели, развёрнутые в российском контуре.
- Нужно ли выбирать одну модель на все задачи?
- Чаще выгоднее распределить задачи: классификация и короткие ответы уходят быстрой модели, разбор документов — сильной.
- Как понять, что модель подходит?
- По замеру на проверочном наборе вопросов компании: доля верных ответов, наличие источников, стоимость обращения и время ответа.
- Как подключить несколько языковых моделей сразу?
- Через Роутер моделей WAIVE: единый API к российским и открытым моделям на серверах в России, один договор и отчёт по расходам для каждой модели.
- Какие языковые модели работают на серверах в России?
- Открытые модели DeepSeek, Qwen, GLM, Kimi, MiniMax, Gemma и gpt-oss разворачиваются на инфраструктуре в российском контуре, к ним добавляются российские модели и специализированные модели для кода и распознавания. На опыте WAIVE хороший результат дают DeepSeek и Qwen. Через Роутер моделей WAIVE доступен весь каталог: модели сравнивают на вопросах компании и выбирают по результату замера.