Если ИИ-краулер не может прочитать ваш сайт, ИИ-ассистент не может его цитировать. Это мелочь технического рода с большим эффектом, и её часто блокируют случайно: плагин безопасности, правило CDN или старая строка в robots.txt, о которой никто не помнит.

Это руководство показывает, как проверить, как называются основные краулеры и как решить, что разрешить.

Основные ИИ-краулеры

Названия и назначение взяты из документации самих компаний, которая может меняться, поэтому перед любыми правками проверьте актуальные страницы.

  • GPTBot (OpenAI): собирает контент, который может использоваться для обучения моделей.
  • OAI-SearchBot (OpenAI): используется, чтобы показывать сайты в результатах поиска ChatGPT.
  • ChatGPT-User (OpenAI): используется, когда человек просит ChatGPT открыть страницу.
  • PerplexityBot (Perplexity): индексирует сайты для поиска Perplexity.
  • ClaudeBot (Anthropic): собирает контент для моделей Anthropic.
  • Google-Extended (Google): средство управления тем, используется ли контент для обучения и обоснования Gemini. Это не переключатель для обычного поиска Google.

Краулеры для обучения и краулеры для поиска разные. Можно разрешить один вид и заблокировать другой. Если вы хотите, чтобы вас цитировали в ответах, важнее всего краулеры поиска и пользователя.

Шаг 1: Прочитайте robots.txt

Откройте yourdomain.com/robots.txt в браузере. Ищите строки с названиями краулеров выше или общее правило User-agent: * с Disallow: /. Строка ниже полностью блокирует краулер.

User-agent: GPTBot
Disallow: /

Чтобы разрешить краулер, уберите его блокировку или задайте явное правило:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Шаг 2: Смотрите дальше robots.txt

Краулер может быть разрешён в robots.txt и всё равно получать отказ. Типичные причины:

  • Настройка файрвола или CDN, блокирующая неизвестных ботов или определённые user agent.
  • Плагин безопасности с включённой защитой от ботов.
  • Правило сервера, возвращающее ошибку на запросы без браузерной подписи.
  • Страница технических работ или «скоро открытие», которую видят все, кто не авторизован.

Журналы сервера показывают, какие краулеры приходят и что получают. Ищите названия выше и проверяйте коды ответов. Серия ответов 403 или 429 означает, что их отсекают.

Не знаете, что ИИ говорит о вашем бизнесе?

Мы задаём ChatGPT и Perplexity вопросы ваших клиентов и показываем ответы, источники и пробелы. Без обещаний, только то, что видим.

Шаг 3: Проверьте карту сайта и основы

  • XML-карта сайта существует, указана в robots.txt и содержит страницы, которые вы хотите, чтобы цитировали.
  • Ключевые страницы возвращают статус 200 и не помечены noindex.
  • Страницы достаточно быстрые, чтобы их надёжно загружали. Смотрите нашу услугу ускорение WordPress, если нет.

Шаг 4: Решите, чего вы хотите

Одни владельцы разрешают всё. Другие разрешают краулеры поиска и пользователя, но не обучающие. Это бизнес-решение, и оно ваше. Запишите его, а затем приведите robots.txt и файрвол в соответствие, чтобы одно не противоречило другому.

Заметка о llms.txt

Вы также можете прочитать о llms.txt, файле, который даёт ИИ-системам краткий путеводитель по сайту. Это предложенное соглашение, а не официальный стандарт, и ИИ-провайдеры не обещали его соблюдать. Он может помочь как аккуратная сводка, но не заменяет понятные страницы и открытый доступ краулерам.

Частые вопросы

Стоит ли блокировать GPTBot?

Это зависит от того, не возражаете ли вы против использования вашего контента для обучения. Блокировка GPTBot не останавливает OAI-SearchBot, который отдельный.

Как понять, что сработало?

Проверьте в журналах названия краулеров и коды ответов и повторите вопросы клиентов в ChatGPT и Perplexity через несколько недель.

Мы можем проверить это за вас в рамках аудита. Смотрите наши GEO-услуги.

Нужен понятный план для ИИ-поиска?

Посмотрите, что входит в аудит GEO, исправления и ежемесячную проверку, со стартовыми ценами. Или расскажите о своём сайте, и мы честно скажем, что реалистично.

Автор