15 вопросов вендору ИИ-агента перед подписанием договора
Список вопросов для первой встречи с подрядчиком по внедрению ИИ-агента. Вопросы разбиты на пять групп, по каждому указано, какой ответ считать рабочим, а какой требует уточнения.
Список удобно взять на встречу целиком. Ответы записывают сразу: сравнение двух подрядчиков по одинаковым вопросам занимает потом десять минут.
Данные и контур
- 01Где физически работают языковые модели и чем это подтверждается.
- 02Что происходит с текстом запроса после ответа: сроки хранения журналов и доступ к ним.
- 03Как обрабатываются персональные данные в запросах и поддерживается ли обезличивание.
- 04Разворачивается ли решение внутри контура компании и что для этого нужно.
Рабочий ответ содержит название площадки, срок хранения в днях и порядок доступа к журналам. Ответ «данные в безопасности» требует уточнения.
Качество ответов
- 01Как измеряется доля верных ответов и кто готовит проверочный набор вопросов.
- 02Показывает ли ИИ-агент источник каждого утверждения со ссылкой на документ и пункт.
- 03Что происходит, когда ответа в документах нет.
- 04Как система ведёт себя с противоречиями между двумя редакциями документа.
Интеграции и права
Источники
Какие системы подключаются штатно, а какие требуют отдельной разработки.
Права доступа
Совпадают ли ответы ИИ-агента с правами сотрудника в исходных системах.
Обновление данных
С какой задержкой в индекс попадает новая версия документа.
Действия в системах
Какие операции ИИ-агент выполняет и где требуется подтверждение человеком.
Деньги
- 01Из чего складывается счёт: лицензия, обращения к моделям, инфраструктура, сопровождение.
- 02Как считается стоимость при росте числа пользователей вдвое.
- 03Что входит в стоимость пилота и на каких условиях он переходит в эксплуатацию.
Сопровождение и риски
- 01Кто отвечает за качество ответов после запуска и в какие сроки правит ошибки.
- 02Что происходит с решением при смене языковой модели.
- 03Остаются ли у компании индекс и настройки при завершении договора.
- 04Какие сценарии подрядчик отговаривает автоматизировать и почему.
Последний вопрос показывает опыт лучше остальных. Подрядчик без реальных внедрений отвечает, что автоматизировать можно всё.
Частые вопросы
- Сколько подрядчиков стоит сравнивать?
- Два или три. Одинаковый список вопросов делает сравнение быстрым, а различия в ответах становятся видны сразу.
- Нужен ли пилот перед основным договором?
- Да. Пилот на одном сценарии за четыре недели показывает качество ответов на данных компании и даёт основу для расчёта эффекта.
- Кого звать на встречу со стороны заказчика?
- Владельца процесса, специалиста по данным или ИТ и представителя службы безопасности.
- Где посмотреть ответы WAIVE на эти вопросы?
- Ответы по Айве мы даём на первой встрече: контур обработки данных, порядок замера качества, список подключаемых источников и структура расходов.