Если ИИ-краулер не может прочитать ваш сайт, ИИ-ассистент не может его цитировать. Это мелочь технического рода с большим эффектом, и её часто блокируют случайно: плагин безопасности, правило CDN или старая строка в robots.txt, о которой никто не помнит.
Это руководство показывает, как проверить, как называются основные краулеры и как решить, что разрешить.
Основные ИИ-краулеры
Названия и назначение взяты из документации самих компаний, которая может меняться, поэтому перед любыми правками проверьте актуальные страницы.
- GPTBot (OpenAI): собирает контент, который может использоваться для обучения моделей.
- OAI-SearchBot (OpenAI): используется, чтобы показывать сайты в результатах поиска ChatGPT.
- ChatGPT-User (OpenAI): используется, когда человек просит ChatGPT открыть страницу.
- PerplexityBot (Perplexity): индексирует сайты для поиска Perplexity.
- ClaudeBot (Anthropic): собирает контент для моделей Anthropic.
- Google-Extended (Google): средство управления тем, используется ли контент для обучения и обоснования Gemini. Это не переключатель для обычного поиска Google.
Краулеры для обучения и краулеры для поиска разные. Можно разрешить один вид и заблокировать другой. Если вы хотите, чтобы вас цитировали в ответах, важнее всего краулеры поиска и пользователя.
Шаг 1: Прочитайте robots.txt
Откройте yourdomain.com/robots.txt в браузере. Ищите строки с названиями краулеров выше или общее правило User-agent: * с Disallow: /. Строка ниже полностью блокирует краулер.
User-agent: GPTBot
Disallow: /Чтобы разрешить краулер, уберите его блокировку или задайте явное правило:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Шаг 2: Смотрите дальше robots.txt
Краулер может быть разрешён в robots.txt и всё равно получать отказ. Типичные причины:
- Настройка файрвола или CDN, блокирующая неизвестных ботов или определённые user agent.
- Плагин безопасности с включённой защитой от ботов.
- Правило сервера, возвращающее ошибку на запросы без браузерной подписи.
- Страница технических работ или «скоро открытие», которую видят все, кто не авторизован.
Журналы сервера показывают, какие краулеры приходят и что получают. Ищите названия выше и проверяйте коды ответов. Серия ответов 403 или 429 означает, что их отсекают.
Не знаете, что ИИ говорит о вашем бизнесе?
Мы задаём ChatGPT и Perplexity вопросы ваших клиентов и показываем ответы, источники и пробелы. Без обещаний, только то, что видим.
Шаг 3: Проверьте карту сайта и основы
- XML-карта сайта существует, указана в robots.txt и содержит страницы, которые вы хотите, чтобы цитировали.
- Ключевые страницы возвращают статус 200 и не помечены noindex.
- Страницы достаточно быстрые, чтобы их надёжно загружали. Смотрите нашу услугу ускорение WordPress, если нет.
Шаг 4: Решите, чего вы хотите
Одни владельцы разрешают всё. Другие разрешают краулеры поиска и пользователя, но не обучающие. Это бизнес-решение, и оно ваше. Запишите его, а затем приведите robots.txt и файрвол в соответствие, чтобы одно не противоречило другому.
Заметка о llms.txt
Вы также можете прочитать о llms.txt, файле, который даёт ИИ-системам краткий путеводитель по сайту. Это предложенное соглашение, а не официальный стандарт, и ИИ-провайдеры не обещали его соблюдать. Он может помочь как аккуратная сводка, но не заменяет понятные страницы и открытый доступ краулерам.
Частые вопросы
Стоит ли блокировать GPTBot?
Это зависит от того, не возражаете ли вы против использования вашего контента для обучения. Блокировка GPTBot не останавливает OAI-SearchBot, который отдельный.
Как понять, что сработало?
Проверьте в журналах названия краулеров и коды ответов и повторите вопросы клиентов в ChatGPT и Perplexity через несколько недель.
Мы можем проверить это за вас в рамках аудита. Смотрите наши GEO-услуги.
Нужен понятный план для ИИ-поиска?
Посмотрите, что входит в аудит GEO, исправления и ежемесячную проверку, со стартовыми ценами. Или расскажите о своём сайте, и мы честно скажем, что реалистично.








