Якщо ШІ-краулер не може прочитати ваш сайт, ШІ-асистент не може його цитувати. Це дрібна технічна річ із великим наслідком, і її часто блокують випадково: плагін безпеки, правило CDN або старий рядок у robots.txt, про який ніхто не пам’ятає.
Цей посібник показує, як перевірити, як називаються основні краулери й як вирішити, що дозволити.
Основні ШІ-краулери
Назви й призначення взято з документації самих компаній, яка може змінюватися, тож перевірте актуальні сторінки перед будь-якими правками.
- GPTBot (OpenAI): збирає контент, який може використовуватися для навчання моделей.
- OAI-SearchBot (OpenAI): використовується, щоб показувати сайти в результатах пошуку ChatGPT.
- ChatGPT-User (OpenAI): використовується, коли людина просить ChatGPT відкрити сторінку.
- PerplexityBot (Perplexity): індексує сайти для пошуку Perplexity.
- ClaudeBot (Anthropic): збирає контент для моделей Anthropic.
- Google-Extended (Google): засіб керування тим, чи використовується контент для навчання й обґрунтування Gemini. Це не перемикач для звичайного пошуку Google.
Краулери для навчання й краулери для пошуку різні. Можна дозволити один вид і заблокувати інший. Якщо ви хочете, щоб вас цитували у відповідях, найважливіші краулери пошуку й користувача.
Крок 1: Прочитайте robots.txt
Відкрийте yourdomain.com/robots.txt у браузері. Шукайте рядки з назвами краулерів вище або загальне правило User-agent: * із Disallow: /. Рядок нижче повністю блокує краулер.
User-agent: GPTBot
Disallow: /Щоб дозволити краулер, приберіть його блокування або задайте явне правило:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Крок 2: Дивіться далі за robots.txt
Краулер може бути дозволений у robots.txt і все одно отримувати відмову. Типові причини:
- Налаштування файрвола чи CDN, що блокує невідомих ботів або певні user agent.
- Плагін безпеки з увімкненим захистом від ботів.
- Правило сервера, що повертає помилку на запити без браузерного підпису.
- Сторінка техобслуговування чи «скоро відкриємося», яку бачать усі, хто не авторизований.
Журнали сервера показують, які краулери приходять і що отримують. Шукайте назви вище й перевіряйте коди відповідей. Низка відповідей 403 або 429 означає, що їх відсікають.
Не знаєте, що ШІ говорить про ваш бізнес?
Ми ставимо ChatGPT і Perplexity запитання ваших клієнтів і показуємо відповіді, джерела та прогалини. Без обіцянок, лише те, що бачимо.
Крок 3: Перевірте карту сайту й основи
- XML-карта сайту існує, вказана в robots.txt і містить сторінки, які ви хочете, щоб цитували.
- Ключові сторінки повертають статус 200 і не позначені noindex.
- Сторінки достатньо швидкі, щоб їх надійно завантажувати. Дивіться нашу послугу прискорення WordPress, якщо ні.
Крок 4: Вирішіть, чого ви хочете
Одні власники дозволяють усе. Інші дозволяють краулери пошуку й користувача, але не навчальні. Це бізнес-рішення, і воно ваше. Запишіть його, а потім приведіть robots.txt і файрвол у відповідність, щоб одне не суперечило іншому.
Примітка про llms.txt
Ви також можете прочитати про llms.txt, файл, що дає ШІ-системам короткий путівник по сайту. Це запропонована домовленість, а не офіційний стандарт, і ШІ-провайдери не обіцяли її дотримуватися. Він може допомогти як охайний підсумок, але не замінює зрозумілі сторінки й відкритий доступ краулерам.
Поширені запитання
Чи варто блокувати GPTBot?
Це залежить від того, чи не проти ви, щоб ваш контент використовувався для навчання. Блокування GPTBot не зупиняє OAI-SearchBot, який окремий.
Як зрозуміти, що спрацювало?
Перевірте в журналах назви краулерів і коди відповідей та повторіть запитання клієнтів у ChatGPT і Perplexity за кілька тижнів.
Ми можемо перевірити це за вас у межах аудиту. Дивіться наші GEO-послуги.
Потрібен зрозумілий план для ШІ-пошуку?
Подивіться, що входить в аудит GEO, виправлення та щомісячну перевірку, зі стартовими цінами. Або розкажіть про свій сайт, і ми чесно скажемо, що реалістично.








