Якщо ШІ-краулер не може прочитати ваш сайт, ШІ-асистент не може його цитувати. Це дрібна технічна річ із великим наслідком, і її часто блокують випадково: плагін безпеки, правило CDN або старий рядок у robots.txt, про який ніхто не пам’ятає.

Цей посібник показує, як перевірити, як називаються основні краулери й як вирішити, що дозволити.

Основні ШІ-краулери

Назви й призначення взято з документації самих компаній, яка може змінюватися, тож перевірте актуальні сторінки перед будь-якими правками.

  • GPTBot (OpenAI): збирає контент, який може використовуватися для навчання моделей.
  • OAI-SearchBot (OpenAI): використовується, щоб показувати сайти в результатах пошуку ChatGPT.
  • ChatGPT-User (OpenAI): використовується, коли людина просить ChatGPT відкрити сторінку.
  • PerplexityBot (Perplexity): індексує сайти для пошуку Perplexity.
  • ClaudeBot (Anthropic): збирає контент для моделей Anthropic.
  • Google-Extended (Google): засіб керування тим, чи використовується контент для навчання й обґрунтування Gemini. Це не перемикач для звичайного пошуку Google.

Краулери для навчання й краулери для пошуку різні. Можна дозволити один вид і заблокувати інший. Якщо ви хочете, щоб вас цитували у відповідях, найважливіші краулери пошуку й користувача.

Крок 1: Прочитайте robots.txt

Відкрийте yourdomain.com/robots.txt у браузері. Шукайте рядки з назвами краулерів вище або загальне правило User-agent: * із Disallow: /. Рядок нижче повністю блокує краулер.

User-agent: GPTBot
Disallow: /

Щоб дозволити краулер, приберіть його блокування або задайте явне правило:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Крок 2: Дивіться далі за robots.txt

Краулер може бути дозволений у robots.txt і все одно отримувати відмову. Типові причини:

  • Налаштування файрвола чи CDN, що блокує невідомих ботів або певні user agent.
  • Плагін безпеки з увімкненим захистом від ботів.
  • Правило сервера, що повертає помилку на запити без браузерного підпису.
  • Сторінка техобслуговування чи «скоро відкриємося», яку бачать усі, хто не авторизований.

Журнали сервера показують, які краулери приходять і що отримують. Шукайте назви вище й перевіряйте коди відповідей. Низка відповідей 403 або 429 означає, що їх відсікають.

Не знаєте, що ШІ говорить про ваш бізнес?

Ми ставимо ChatGPT і Perplexity запитання ваших клієнтів і показуємо відповіді, джерела та прогалини. Без обіцянок, лише те, що бачимо.

Крок 3: Перевірте карту сайту й основи

  • XML-карта сайту існує, вказана в robots.txt і містить сторінки, які ви хочете, щоб цитували.
  • Ключові сторінки повертають статус 200 і не позначені noindex.
  • Сторінки достатньо швидкі, щоб їх надійно завантажувати. Дивіться нашу послугу прискорення WordPress, якщо ні.

Крок 4: Вирішіть, чого ви хочете

Одні власники дозволяють усе. Інші дозволяють краулери пошуку й користувача, але не навчальні. Це бізнес-рішення, і воно ваше. Запишіть його, а потім приведіть robots.txt і файрвол у відповідність, щоб одне не суперечило іншому.

Примітка про llms.txt

Ви також можете прочитати про llms.txt, файл, що дає ШІ-системам короткий путівник по сайту. Це запропонована домовленість, а не офіційний стандарт, і ШІ-провайдери не обіцяли її дотримуватися. Він може допомогти як охайний підсумок, але не замінює зрозумілі сторінки й відкритий доступ краулерам.

Поширені запитання

Чи варто блокувати GPTBot?

Це залежить від того, чи не проти ви, щоб ваш контент використовувався для навчання. Блокування GPTBot не зупиняє OAI-SearchBot, який окремий.

Як зрозуміти, що спрацювало?

Перевірте в журналах назви краулерів і коди відповідей та повторіть запитання клієнтів у ChatGPT і Perplexity за кілька тижнів.

Ми можемо перевірити це за вас у межах аудиту. Дивіться наші GEO-послуги.

Потрібен зрозумілий план для ШІ-пошуку?

Подивіться, що входить в аудит GEO, виправлення та щомісячну перевірку, зі стартовими цінами. Або розкажіть про свій сайт, і ми чесно скажемо, що реалістично.

Автор