Ak AI crawler nevie prečítať váš web, AI asistent ho nevie ocitovať. Je to malá technická vec s veľkým dosahom a často sa blokuje náhodou: bezpečnostný doplnok, pravidlo CDN alebo starý riadok v robots.txt, na ktorý si nikto nepamätá.
Tento sprievodca ukazuje, ako to skontrolovať, ako sa volajú hlavné crawlery a ako sa rozhodnúť, čo povoliť.
Hlavné AI crawlery
Názvy a účely pochádzajú z dokumentácie samotných firiem, ktorá sa môže meniť, preto pred akoukoľvek úpravou skontrolujte aktuálne stránky.
- GPTBot (OpenAI): zbiera obsah, ktorý sa môže použiť na trénovanie modelov.
- OAI-SearchBot (OpenAI): používa sa na zobrazovanie webov vo výsledkoch vyhľadávania ChatGPT.
- ChatGPT-User (OpenAI): používa sa, keď človek požiada ChatGPT o otvorenie stránky.
- PerplexityBot (Perplexity): indexuje weby pre vyhľadávanie Perplexity.
- ClaudeBot (Anthropic): zbiera obsah pre modely Anthropic.
- Google-Extended (Google): kontrola toho, či sa obsah používa na trénovanie a ukotvenie Gemini. Nie je to prepínač pre bežné vyhľadávanie Google.
Trénovacie crawlery a vyhľadávacie crawlery sú rozdielne. Môžete povoliť jeden druh a zablokovať druhý. Ak chcete, aby vás citovali v odpovediach, najdôležitejšie sú vyhľadávacie a používateľské crawlery.
Krok 1: Prečítajte si robots.txt
Otvorte yourdomain.com/robots.txt v prehliadači. Hľadajte riadky s názvami crawlerov vyššie alebo všeobecné pravidlo User-agent: * s Disallow: /. Riadok ako nižšie crawler úplne blokuje.
User-agent: GPTBot
Disallow: /Ak chcete crawler povoliť, odstráňte jeho blokádu alebo mu dajte výslovné pravidlo:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Krok 2: Pozrite sa aj mimo robots.txt
Crawler môže byť v robots.txt povolený a napriek tomu odmietnutý. Časté príčiny:
- Nastavenie firewallu alebo CDN, ktoré blokuje neznáme boty alebo konkrétne user agenty.
- Bezpečnostný doplnok so zapnutou ochranou pred botmi.
- Pravidlo servera, ktoré vracia chybu pri požiadavkách bez podpisu prehliadača.
- Stránka údržby alebo „čoskoro“, ktorú vidia neprihlásení návštevníci.
Logy servera ukazujú, ktoré crawlery prichádzajú a čo dostanú. Hľadajte názvy vyššie a kontrolujte stavové kódy. Séria odpovedí 403 alebo 429 znamená, že ich odmietate.
Neviete, čo AI hovorí o vašej firme?
Kladieme ChatGPT a Perplexity otázky vašich zákazníkov a ukážeme vám odpovede, zdroje a medzery. Bez sľubov, len to, čo vidíme.
Krok 3: Skontrolujte mapu stránok a základy
- XML mapa stránok existuje, je uvedená v robots.txt a obsahuje stránky, ktoré chcete, aby sa citovali.
- Kľúčové stránky vracajú stav 200 a nemajú nastavené noindex.
- Stránky sú dostatočne rýchle, aby sa dali spoľahlivo načítať. Pozrite si našu službu zrýchlenie WordPressu, ak nie sú.
Krok 4: Rozhodnite sa, čo chcete
Niektorí majitelia povoľujú všetko. Iní povoľujú vyhľadávacie a používateľské crawlery, ale nie trénovacie. Je to obchodné rozhodnutie a je vaše. Zapíšte si ho a potom zosúlaďte robots.txt a firewall, aby si jedno neprotirečilo s druhým.
Poznámka o llms.txt
Môžete čítať aj o llms.txt, súbore, ktorý dáva AI systémom krátkeho sprievodcu vaším webom. Je to navrhovaná konvencia, nie oficiálny štandard, a poskytovatelia AI nesľúbili, že ju budú dodržiavať. Môže pomôcť ako upratané zhrnutie, ale nenahrádza čitateľné stránky ani otvorený prístup crawlerov.
Časté otázky
Mám blokovať GPTBot?
Závisí to od toho, či vám prekáža, že sa váš obsah používa na trénovanie. Blokovanie GPTBot nezastaví OAI-SearchBot, ktorý je samostatný.
Ako zistím, že to zabralo?
Skontrolujte v logoch názvy crawlerov a stavové kódy a zopakujte otázky zákazníkov v ChatGPT a Perplexity o niekoľko týždňov.
Môžeme to za vás skontrolovať v rámci auditu. Pozrite si naše služby GEO.
Chcete jasný plán pre AI vyhľadávanie?
Pozrite si, čo zahŕňa audit GEO, opravy a mesačná kontrola, so štartovacími cenami. Alebo nám povedzte o svojom webe a úprimne vám povieme, čo je realistické.








