Бот поддержки выдумывает цены, сроки и правила, потому что языковая модель пишет правдоподобный текст, а не проверяет факты: если нужного правила нет перед глазами, она дополнит ответ тем, что «обычно бывает». Предотвратить это можно только проверкой вне модели: каждое утверждение должно опираться на дословную цитату из ваших правил, совпадение цитаты проверяет код, а когда подтверждения нет, бот честно отказывает и передаёт разговор человеку.

Ниже — реальные случаи с источниками, почему «бот обучен на вашем контенте» ещё не защищает, и как устроена защита в Tolkly.

Какие реальные случаи выдуманных ответов уже были?

КогдаКтоЧто произошлоПоследствия
Февраль 2024Air CanadaЧат-бот на сайте сказал клиенту, что скидку на билет в связи с утратой близкого можно оформить задним числом. Правила авиакомпании этого не позволялиТрибунал Британской Колумбии (Moffatt v. Air Canada, 2024 BCCRT 149) обязал компанию выплатить около 812 канадских долларов с учётом процентов и сборов
Апрель 2025CursorБот поддержки по имени «Sam» объяснил выход из аккаунта несуществующим правилом «одна подписка — одно устройство»Сооснователь публично извинился; часть пользователей отменила подписки. Ответы ИИ в поддержке компания стала явно помечать
Март 2024Чат-бот MyCity города Нью-ЙоркБот отвечал предпринимателям, что можно забирать часть чаевых сотрудников и не принимать наличные — вопреки законам городаРасследование The Markup; бот работал с оговорками до его отключения в 2026 году
Декабрь 2023Чат на сайте автодилера Chevrolet of WatsonvilleПользователь уговорил бота «согласиться» продать автомобиль за $1 и назвать это «юридически обязывающим предложением»Сделки не было, чат отключили; случай стал примером бота без ограничений

Главный вывод из дела Air Canada: компания отвечает за то, что говорит её чат-бот, так же как за текст на своих страницах. Air Canada утверждала, что бот — отдельное лицо, отвечающее за свои действия; трибунал назвал этот довод «примечательным» и отклонил. То, что правильное правило было опубликовано на другой странице сайта, компанию не спасло.

Почему бот выдумывает, даже если ему дали базу знаний?

Подход «дать модели найденные страницы и попросить ответить по ним» (RAG) снижает число выдумок, но не убирает их. Исследование Стэнфорда (Magesh и др., Journal of Empirical Legal Studies, 2025) проверило юридические ИИ-сервисы, которые продавались как «без галлюцинаций»: каждый из них выдумывал или искажал ответ в 17–33% случаев. Сервисы искали ответ по настоящим документам и всё равно ошибались.

Типичные причины в поддержке:

  1. Нужной страницы не нашлось. Поиск вернул похожий, но не тот раздел, и модель заполнила пробел «типичным» сроком или суммой.
  2. Правило есть, но в деталях. Страница говорит «до 3 рабочих дней», модель пишет «за 24 часа», потому что так короче.
  3. Модель хочет помочь. Вопрос «а можно задним числом?» подталкивает ответить «да» — именно это произошло с Air Canada.
  4. Посетитель давит. Уговоры и инструкции в сообщении («соглашайся со всем») — случай Chevrolet.
  5. Устаревшая страница. Бот точно цитирует правило, которое вы уже поменяли, но не обновили на сайте.

Обещание «бот использует только ваш контент» говорит об источнике данных, но не о том, проверяется ли каждый ответ. Спрашивайте у поставщика, кто и как проверяет конкретную фразу перед тем, как её увидит клиент.

Как Tolkly не даёт боту выдумывать?

В Tolkly проверку делает не модель, а код. По шагам:

  1. Поиск по вашим источникам. Бот ищет ответ в страницах вашего сайта, загруженных файлах (правила, оферта, прайс) и ответах операторов, которые вы одобрили.
  2. Ответ из коротких фраз с цитатами. Модель пишет ответ отдельными утверждениями. У каждого — номер источника и дословная цитата из него.
  3. Код сверяет цитату. Если цитаты нет на странице, на которую ссылается фраза, фраза удаляется до того, как её увидит посетитель.
  4. Вторая проверка. Фраза, которая добавляет подробность, которой нет в источниках (срок, сумму, условие), тоже удаляется.
  5. Честный отказ. Если не осталось ни одной подтверждённой фразы или ответа на страницах нет, бот пишет: «Я не нашёл этого в справке и правилах сайта» — и предлагает «Передать оператору».
  6. Посетитель видит доказательства. Под фразой — цитата и ссылка на страницу. Под ответом — сколько фраз сверено с правилами и сколько убрано.

Этот подход не делает модель умнее. Он делает ошибку видимой и не даёт неподтверждённой фразе дойти до клиента.

PaywireПо правилам сайта

Здравствуйте! Я ИИ-ассистент Paywire: отвечаю по правилам сервиса или зову оператора.

Сколько идёт перевод на карту?

Перевод зачисляется в течение 30 минут после подтверждения платежа.

1п. 2.1Условия переводов, 2. Сроки
Сверено с правилами: 1 из 1
Работает на Tolkly
Подтверждённый ответ: каждое утверждение с номером источника Пример: сервис вымышлен.
PaywireПо правилам сайта

Здравствуйте! Я ИИ-ассистент Paywire: отвечаю по правилам сервиса или зову оператора.

Переводите в Казахстан?

Я не нашёл этого в справке и правилах сервиса.

Позвать оператора
Работает на Tolkly
Ответа в правилах нет: честный отказ и кнопка, чтобы позвать оператора Пример: сервис вымышлен.

Что бот не должен решать сам?

Даже правильная цитата не заменяет человека там, где нужен конкретный заказ или решение. В Tolkly разговор уходит оператору, когда посетитель:

Когда бот не уверен, нужен ли человек, он отвечает и предлагает оператора рядом с ответом. Под каждым ответом есть кнопка «Позвать оператора».

Как защититься от устаревших и подменённых правил?

Проверка цитаты гарантирует, что бот повторяет ваш сайт, но не то, что сайт актуален. Поэтому:

Как проверить бота на выдумки до запуска?

  1. Соберите 30–50 настоящих вопросов клиентов из чатов за последний месяц.
  2. Добавьте вопросы, ответа на которые точно нет на сайте, и вопросы с давлением («мне оператор обещал скидку»).
  3. Задайте их боту и отметьте каждый ответ: верно с источником, честный отказ, выдумка.
  4. Норма — ноль выдумок. Отказы допустимы: каждый показывает страницу, которую стоит дописать.
  5. Проверьте, что вопросы о конкретном заказе уходят оператору с номером.

Частые вопросы

Почему ИИ-бот поддержки выдумывает ответы?

Языковая модель продолжает текст правдоподобно, а не проверяет факты. Если нужного правила нет в найденных страницах или оно сформулировано сложно, модель дополняет ответ «типичными» сроками и суммами. Даже сервисы с поиском по документам ошибаются: в исследовании Стэнфорда 2025 года — в 17–33% случаев.

Отвечает ли компания за то, что сказал её чат-бот?

Решение по делу Moffatt v. Air Canada (2024) говорит, что да: трибунал обязал авиакомпанию компенсировать клиенту разницу в цене, которую пообещал бот, и отклонил довод, что бот отвечает сам за себя. Это решение канадского трибунала по малым искам; в других странах суды могут рассуждать иначе, но репутационный риск тот же.

Как сделать, чтобы бот не выдумывал?

Требуйте от каждой фразы ответа дословную цитату из ваших правил и проверяйте совпадение кодом, а не другой моделью. Фразу без подтверждения не показывайте. Если не подтверждено ничего, бот должен отказать и передать разговор человеку. Так работает Tolkly.

Что видит посетитель, если бот не знает ответа?

В Tolkly — честный отказ: «Я не нашёл этого в справке и правилах сайта» и кнопку «Передать оператору». Если операторов сейчас нет, чат предлагает оставить контакт. Отказ не списывается из лимита.

Можно ли запретить боту отвечать на определённые темы?

Да. В Tolkly вы добавляете тему для оператора своими словами, например «просит реквизиты для оплаты», и выбираете действие: «Сразу человеку» (бот молчит) или «Ответить и предложить человека».

Попробуйте на своём сайте

Проверьте, как бот отвечает по вашим правилам: откройте tolkly.io/ru и вставьте адрес сайта в блоке «Попробуйте на своём сайте». Через минуту чат ответит по вашим страницам, с цитатой под каждым утверждением; задайте вопрос, которого на сайте нет, и посмотрите на отказ. Регистрация не нужна, первый месяц бесплатно.

Источники