Jeśli robot AI nie może przeczytać Twojej strony, asystent AI nie może jej zacytować. To drobna rzecz techniczna z dużym skutkiem, a często blokuje się ją przypadkiem: wtyczka bezpieczeństwa, reguła CDN lub stara linijka w robots.txt, o której nikt nie pamięta.
Ten poradnik pokazuje, jak sprawdzić, jak nazywają się główne roboty i jak zdecydować, co dopuścić.
Główne roboty AI
Nazwy i przeznaczenie pochodzą z dokumentacji samych firm, która może się zmieniać, więc przed jakąkolwiek edycją sprawdź aktualne strony.
- GPTBot (OpenAI): zbiera treści, które mogą służyć do trenowania modeli.
- OAI-SearchBot (OpenAI): służy do pokazywania stron w wynikach wyszukiwania ChatGPT.
- ChatGPT-User (OpenAI): używany, gdy użytkownik prosi ChatGPT o otwarcie strony.
- PerplexityBot (Perplexity): indeksuje strony dla wyszukiwarki Perplexity.
- ClaudeBot (Anthropic): zbiera treści dla modeli Anthropic.
- Google-Extended (Google): kontrola tego, czy treści są używane do trenowania i ugruntowania Gemini. To nie przełącznik zwykłej wyszukiwarki Google.
Roboty treningowe i wyszukiwawcze to co innego. Możesz dopuścić jeden rodzaj i zablokować drugi. Jeśli chcesz być cytowany w odpowiedziach, najważniejsze są roboty wyszukiwania i użytkownika.
Krok 1: Przeczytaj robots.txt
Otwórz yourdomain.com/robots.txt w przeglądarce. Szukaj linijek z nazwami robotów powyżej albo ogólnej reguły User-agent: * z Disallow: /. Linijka poniżej całkowicie blokuje robota.
User-agent: GPTBot
Disallow: /Aby dopuścić robota, usuń jego blokadę albo nadaj mu jawną regułę:
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /Krok 2: Zajrzyj poza robots.txt
Robot może być dopuszczony w robots.txt i mimo to odrzucany. Typowe przyczyny:
- Ustawienie zapory lub CDN blokujące nieznane boty albo konkretne user agenty.
- Wtyczka bezpieczeństwa z włączoną ochroną przed botami.
- Reguła serwera zwracająca błąd na żądania bez sygnatury przeglądarki.
- Strona prac technicznych lub „wkrótce” pokazywana niezalogowanym odwiedzającym.
Logi serwera pokazują, jakie roboty przychodzą i co dostają. Szukaj nazw powyżej i sprawdzaj kody odpowiedzi. Seria odpowiedzi 403 lub 429 oznacza, że są odsyłane.
Nie wiesz, co AI mówi o Twojej firmie?
Zadajemy ChatGPT i Perplexity pytania Twoich klientów i pokazujemy odpowiedzi, źródła i luki. Bez obietnic, tylko to, co widzimy.
Krok 3: Sprawdź mapę witryny i podstawy
- Mapa XML istnieje, jest wskazana w robots.txt i zawiera strony, które chcesz, by cytowano.
- Kluczowe strony zwracają status 200 i nie mają noindex.
- Strony są wystarczająco szybkie, by dało się je niezawodnie pobierać. Zobacz naszą usługę przyspieszanie WordPressa, jeśli nie są.
Krok 4: Zdecyduj, czego chcesz
Niektórzy właściciele dopuszczają wszystko. Inni dopuszczają roboty wyszukiwania i użytkownika, ale nie treningowe. To decyzja biznesowa i należy do Ciebie. Zapisz ją, a potem dopasuj robots.txt i zaporę, by jedno nie przeczyło drugiemu.
Uwaga o llms.txt
Możesz też czytać o llms.txt, pliku, który daje systemom AI krótkiego przewodnika po stronie. To proponowana konwencja, a nie oficjalny standard, i dostawcy AI nie obiecali jej przestrzegać. Może pomóc jako uporządkowane podsumowanie, ale nie zastępuje czytelnych stron ani otwartego dostępu dla robotów.
Najczęstsze pytania
Czy blokować GPTBot?
To zależy od tego, czy przeszkadza Ci użycie treści do trenowania. Zablokowanie GPTBot nie zatrzymuje OAI-SearchBot, który jest osobny.
Skąd mam wiedzieć, że zadziałało?
Sprawdź w logach nazwy robotów i kody odpowiedzi oraz powtórz pytania klientów w ChatGPT i Perplexity po kilku tygodniach.
Możemy to sprawdzić za Ciebie w ramach audytu. Zobacz nasze usługi GEO.
Chcesz mieć jasny plan na wyszukiwanie AI?
Zobacz, co obejmuje audyt GEO, poprawki i miesięczna kontrola, wraz z cenami startowymi. Albo opowiedz o swojej stronie, a uczciwie powiemy, co jest realistyczne.






