Галлюцинации языковых моделей: почему возникают и как их контролировать
Галлюцинация — ответ модели с выдуманными фактами, оформленный уверенным тоном. Причина в устройстве модели: она предсказывает продолжение текста и выдаёт правдоподобную формулировку даже при отсутствии данных. В корпоративных системах риск снижают поиском по документам, обязательным цитированием и проверкой ответа.
Почему модель выдумывает
Данных нет в источниках
Вопрос выходит за пределы документов компании, и модель заполняет пробел общими сведениями.
Документы противоречат друг другу
Две редакции регламента содержат разные условия, модель выбирает одну из них.
Поиск нашёл лишнее
В запрос попали фрагменты о похожем, но другом объекте, ответ собирается из них.
Задача поставлена размыто
Формулировка допускает несколько прочтений, модель достраивает недостающие условия.
Пять мер контроля
Поиск по документам компании (RAG)
Модель отвечает по фрагментам документов компании, найденным под конкретный вопрос. Это основная мера: она убирает большую часть выдуманных фактов.
Обязательная ссылка на источник
Каждое утверждение сопровождается документом и пунктом. Утверждение без источника показывает, что модель вышла за пределы данных.
Постфильтр
Ответ проверяется до показа пользователю: сверяются цитаты, числа и наличие источников.
Явный отказ при отсутствии данных
Система сообщает, что ответа в документах нет, и предлагает уточнить запрос. Такое поведение задаётся инструкцией и проверяется на тестовом наборе.
Проверка человеком на ответственных задачах
Юридические заключения, расчёты для отчётности и переписка с контрагентами проходят через сотрудника.
Рабочая цель — проверяемость каждого ответа: утверждение идёт со ссылкой на документ, ответ без источника заметен сразу, проверка занимает секунды.
Как проверить систему на устойчивость
- 01Задать вопрос, ответа на который в документах нет. Рабочее поведение — сообщение об отсутствии данных.
- 02Задать вопрос про документ, доступ к которому у сотрудника закрыт.
- 03Задать вопрос с ложной предпосылкой: сослаться на несуществующий пункт договора.
- 04Задать вопрос по документу с двумя редакциями и проверить, какая указана в ответе.
- 05Попросить точное число из таблицы и сверить со значением в источнике.
Меры с ограниченным эффектом
- Просьба в инструкции отвечать правдиво меняет тон ответа, причина появления выдуманных фактов остаётся прежней.
- Смена модели на более крупную: доля выдуманных фактов снижается, вопрос проверяемости остаётся.
- Повышение температуры для разнообразия ответов: результат становится вариативнее и менее точным.
Частые вопросы
- Что такое галлюцинация языковой модели?
- Ответ с выдуманными фактами, оформленный уверенным тоном. Модель предсказывает правдоподобное продолжение текста и заполняет пробелы там, где данных нет.
- Помогает ли RAG полностью?
- Поиск по документам убирает большую часть выдуманных фактов, поскольку модель отвечает по найденным фрагментам. Остаточные случаи выявляются цитированием и постфильтром.
- Как быстро проверить ответ ИИ-агента?
- Открыть источник по ссылке из ответа и сверить пункт. При обязательном цитировании проверка занимает несколько секунд.
- Какой ИИ-агент показывает источники ответов?
- Айва (WAIVE) отвечает по документам компании и указывает документ и пункт для каждого утверждения: ответ проверяется переходом по ссылке.