Коротко. Читать сайт сами умеют почти все крупные ИИ-чаты: Intercom Fin, Zendesk, Chatwoot, Crisp, Jivo и Tolkly. Вы даёте адрес, а бот находит страницы по карте сайта (sitemap) или по ссылкам. Различаются они в другом: какие страницы бот видит, как часто перечитывает сайт, что делает со страницами после чтения. Intercom читает больше всех: выполняет JavaScript и берёт до 4 000 страниц. Chatwoot превращает страницы в собственные вопросы-ответы. Tolkly хранит страницы дословно, каждый день перечитывает сайт, а код сверяет каждую цитату в ответе с текстом страницы.

Сравнение в одной таблице

Как находит страницыsitemap.xmlJavaScriptrobots.txtКак часто перечитываетЛимит
Intercom FinДомен и дополнительные стартовые адреса, дальше по ссылкамДа, включается в настройках или добавляется как стартовый адресДа, режимы Fast, Auto и FullСоблюдает, если включить; по умолчанию выключеноОбычно раз в неделю; через 90 дней пауза, если ни одна страница источника не попала в ответ4 000 страниц на источник
Zendesk (дополнение AI agents Advanced)Стартовый адрес, дальше по sitemap или ссылкамДа, включая вложенныеДа, есть и быстрый режим без JavaScriptНе сказаноПо расписанию (советуют раз в неделю или в месяц) и вручнуюДо 500 стартовых адресов на краулер
Chatwoot CaptainСтраница и ссылки под тем же адресомНе сказаноНет: пустую страницу советуют заменить PDFСоблюдает; если robots.txt закрывает сайт, страниц не будет, и ошибку не покажутРаз в месяц на Startups, раз в неделю на Business, каждый день на Enterprise500 страниц за один обход, 2 000 документов на аккаунт
Crisp (Hugo AI Agent)Домен, фильтры по пути и языкуНе сказаноНетНе сказаноТолько вручную1–10 доменов в зависимости от тарифа
Jivo (ИИ-оператор)Только домен целиком, отдельные страницы указать нельзяНе сказаноНе сказаноНе сказано«Может обновляться… не сразу»До 5 доменов и 5 файлов
TolklyСначала sitemap, без неё — по ссылкам с главнойДа: из robots.txt, по обычному адресу или по вашей ссылке; gzip тожеНет: читает HTML от сервераСоблюдает; для своего сайта можно снять запрет с разделовКаждый день в 04:00 по Москве; можно раз в неделю или только вручную2 000 страниц на сайт, 20 сайтов, 100 файлов

Источники и даты: справка Intercom, Zendesk, Chatwoot, Crisp и Jivo, прочитано 2026-11-09 (ссылки в конце). «Не сказано» значит, что в справке этого нет; может быть, функция есть, но не описана.

Carrot quest пишет, что к ИИ-боту «можно также загрузить сторонние источники и ссылки на сайт», но как он читает ссылки, в этой статье справки не сказано. У Verbox и Talk-Me ИИ-бот WikiBot «индексирует документацию по продукту» по ссылке на базу знаний; читает ли он весь сайт, в справке не сказано.

Почему важно, как бот читает сайт?

Бот отвечает только по тому, что прочитал. Почти все ошибки ИИ-чата на сайте начинаются здесь:

  1. Нужной страницы нет в индексе. Её нет в sitemap, на неё не ведут ссылки, она закрыта robots.txt или требует входа в аккаунт. Тогда бот отказывает или, хуже, отвечает по похожей странице.
  2. Текст рисует скрипт. Если правила появляются на странице только после выполнения JavaScript, бот без браузера видит пустую страницу. Intercom и Zendesk это умеют, Chatwoot, Crisp и Tolkly — нет.
  3. Меню и подвал на каждой странице. Одинаковые блоки забивают поиск, и вместо пункта правил бот находит меню. Intercom убирает навигацию, шапку и подвал по умолчанию, Zendesk — по CSS-селекторам, которые вы задаёте сами. Tolkly хранит повторяющиеся блоки один раз.
  4. Устаревшая страница. Вы поменяли условие на сайте, а бот неделю отвечает по старому. Чем реже бот перечитывает сайт, тем дольше он ошибается.
  5. Сайт сломался. Если на время перечитывания сайт показал заглушку или защиту от ботов, бот без проверки может заменить все страницы одной заглушкой.

Как читают сайт Intercom и Zendesk?

Intercom Fin берёт домен и обходит страницы под ним по ссылкам; sitemap можно включить в настройках или добавить как стартовый адрес. Ненужные страницы исключают масками адресов, ненужные части страницы — CSS-селекторами. Режим Full открывает каждую страницу в браузере и выполняет JavaScript. С одного источника Fin берёт до 4 000 страниц. Перечитывает обычно раз в неделю; если 90 дней ни одна страница источника не попала в ответ Fin, расписание останавливается. Учитывать ли robots.txt, решаете вы, по умолчанию этот переключатель выключен.

Zendesk с мая 2026 года находит страницы сам, по sitemap или по ссылкам: достаточно стартового адреса. Можно оставить на странице только нужные элементы или убрать лишние по CSS-селекторам. Краулер работает в двух режимах: быстром без JavaScript и медленном с ним. Перечитывать советуют раз в неделю или раз в месяц.

По чтению сайта это самые сильные инструменты из сравнения. Если ваши правила рисует JavaScript, а переделать сайт нельзя, это весомый довод за них.

Как читают сайт Chatwoot, Crisp и Jivo?

Chatwoot Captain читает страницу и ссылки под тем же адресом, до 500 страниц за обход. Из каждого документа он сам составляет вопросы-ответы, и они сразу идут в работу без проверки. Отвечает бот уже по этим вопросам-ответам, а не по исходной странице, поэтому дословную цитату из правил под ответом не показать. Как часто Captain перечитывает сайт, зависит от тарифа: раз в месяц на Startups, раз в неделю на Business, каждый день на Enterprise.

Crisp читает домен, JavaScript не выполняет. Сам сайт не перечитывает: обновлять его надо кнопкой.

Jivo принимает только домен целиком и до пяти доменов. При создании ИИ-оператора система сканирует публичные страницы и вынимает из них «контакты, адреса, тематику, товары и услуги, тон общения». Справка предупреждает, что информация с сайта может обновляться «не сразу», а данные, которые меняются каждый день, советует загружать файлом.

Как читает сайт Tolkly?

Чего Tolkly не умеет: не выполняет JavaScript и не читает страницы за входом в аккаунт. Если сайт прочитан плохо, в приложении появляется готовая инструкция для разработчика сайта: внести страницы в sitemap, отдавать их с сервера, открыть их в robots.txt. Правила, которых нет на сайте, загружаются файлами: PDF, DOCX, Markdown, TXT, HTML.

PaywireПо правилам сайта

Здравствуйте! Я ИИ-ассистент Paywire: отвечаю по правилам сервиса или зову оператора.

Сколько идёт перевод на карту?

Перевод зачисляется в течение 30 минут после подтверждения платежа.

1п. 2.1Условия переводов, 2. Сроки
Сверено с правилами: 1 из 1
Работает на Tolkly
Ответ Tolkly: номер источника на утверждении и пункт правил под ответом Пример: сервис вымышлен.

Как проверить, что бот прочитал ваш сайт?

  1. Откройте страницу с правилами командой curl https://ваш-сайт/страница или через «Просмотр кода страницы». Если текста правил там нет, его рисует скрипт, и бот без браузера его не увидит.
  2. Проверьте, что страница есть в sitemap.xml и не закрыта в robots.txt.
  3. После первого чтения сравните число прочитанных страниц с числом страниц на сайте.
  4. Задайте боту 20–30 вопросов из настоящих чатов прошлого месяца и смотрите, по какой странице он ответил.
  5. Поменяйте одно условие на сайте и проверьте, когда бот начнёт отвечать по-новому.

Когда что выбрать

Intercom или Zendesk — если правила рисует JavaScript и сайт не переделать, если страниц больше нескольких тысяч или нужно вырезать части страниц по CSS. Учтите цену: у Intercom платят за места операторов и за каждый исход Fin, у Zendesk краулер для ИИ-агентов — в дополнении AI agents Advanced.

Chatwoot — если нужна открытая платформа и вас устраивает, что бот отвечает по вопросам-ответам, которые составил сам.

Tolkly — если сайт отдаёт текст с сервера, правила меняются часто и каждый ответ должен опираться на дословную цитату из вашей страницы, а без подтверждения бот должен честно отказать и передать разговор оператору.

Попробовать Tolkly

Введите адрес сайта в блоке «Попробуйте на своём сайте» на tolkly.io/ru#try: Tolkly прочитает несколько страниц и ответит по ним с цитатами. Первый месяц бесплатный, без карты.

Частые вопросы

Какой ИИ-чат умеет читать сайт по sitemap?

Intercom Fin (sitemap включается в настройках или добавляется как стартовый адрес), Zendesk (находит sitemap сам, включая вложенные) и Tolkly (берёт sitemap из robots.txt, по обычному адресу или по вашей ссылке). В справке Chatwoot, Crisp и Jivo про sitemap не сказано: они идут по ссылкам или принимают домен.

Видит ли ИИ-бот текст, который рисует JavaScript?

Intercom и Zendesk видят: у обоих есть режим, который открывает страницу в браузере. Crisp и Tolkly читают только HTML, который отдаёт сервер; Chatwoot для таких страниц советует загрузить PDF.

Как часто ИИ-чат перечитывает сайт?

Tolkly — каждый день по умолчанию. Intercom — обычно раз в неделю, а если страницы источника 90 дней не попадали в ответы, расписание останавливается. Chatwoot — раз в месяц, в неделю или в день в зависимости от тарифа. Crisp — только вручную. Jivo пишет, что информация с сайта может обновляться не сразу.

Читает ли бот страницы, закрытые в robots.txt?

Chatwoot и Tolkly соблюдают robots.txt. В Intercom это переключатель, по умолчанию выключенный. В Tolkly запрет можно снять для разделов своего сайта: приложение сохранит, кто и когда это подтвердил.

Что делать, если бот не видит страницу с правилами?

Проверьте, что текст есть в HTML от сервера, страница есть в sitemap и не закрыта robots.txt и не требует входа. Правила, которых нет на сайте, загрузите файлом.

Источники