Kto prosi o brakujący adres: boty Google, crawlery AI i skanery
Lista 404 w Baza Helper pokazuje, kto prosił o każdy nieistniejący adres: reklamowy bot Google, Googlebot, inne wyszukiwarki, crawlery AI, usługi SEO, skanery lub zwykły odwiedzający. Najpierw naprawiasz strony, które kosztują Cię reklamy i ruch z wyszukiwarki, a szum możesz zignorować. Jest w Baza Helper > Redirects and 404, w karcie Missing addresses (404). Reguły przekierowań opisuje artykuł Przekierowania i monitor 404.
Co pokazuje lista
Każdy wiersz ma kolumnę Who z rodzajem odwiedzającego i małym znaczkiem, w kolorze marki, jeśli jest. Rodzaj pochodzi z User-Agent żądania:
- Google (Ads and search): bot Google Ads i Googlebot.
- Other search engines: Bing, Baidu, DuckDuckGo i Applebot.
- AI crawlers: ChatGPT i OpenAI, Claude i Anthropic, Perplexity i inne crawlery AI.
- SEO services: crawlery narzędzi SEO.
- Scanners and probes: narzędzia takie jak sqlmap czy nikto i każde żądanie do miejsca, gdzie szuka się wycieków i logowań.
- Visitors: odwiedzający z przeglądarką.
- Other: Facebook i Instagram, kontrole dostępności i szybkości, inne boty i skrypty oraz żądania bez User-Agent.
Żądanie /.env, wp-config, xmlrpc.php, phpmyadmin lub pliku kopii zapasowej jest pokazywane jako próba, jakiekolwiek imię poda. Wiersze zapisane przed tą funkcją pokazują Not recorded.
Filtr i kafelki
Otwórz ikonę filtra i wybierz Who, aby zobaczyć jedną grupę. Kafelki nad tabelą pokazują, ile żądań i ile adresów wykonał każdy rodzaj w wybranym okresie, więc od razu widać, czy szum pochodzi od skanerów, czy od wyszukiwarek.
Sprawdź, czy wyszukiwarka jest prawdziwa
Nazwę w User-Agent można sfałszować. Dla Google, Bing, Baidu i Apple wtyczka sprawdza żądanie po wysłaniu strony: odwrotne zapytanie DNS adresu odwiedzającego musi wskazać host tej wyszukiwarki, a zapytanie o ten host musi zwrócić ten sam adres. Wiersz jest wtedy oznaczony jako zweryfikowany albo jako nieprawdziwy, gdy ktoś tylko udaje. Żądanie, które nie jest prawdziwe, nigdy nie wywołuje poniższego alertu.
Alert o botach Google
Jeśli bot Google Ads lub Googlebot w ciągu ostatnich 7 dni poprosił o brakujący adres, nad tabelą pojawia się czerwony alert Google asked for pages that do not exist. Każdy wiersz podaje adres, kto pytał, ile razy i kiedy. Przycisk ze strzałką otwiera formularz dodawania z tym adresem, a przycisk kosza zapomina adres.
Dla reklam to ważne: reklama prowadząca do brakującej strony może zostać odrzucona z powodem „strona docelowa nie działa”, a wynik wyszukiwania prowadzący do takiej może zniknąć. Przywróć stronę lub dodaj przekierowanie. Naciśnij Mark as seen, aby ukryć alert, dopóki Google nie znajdzie kolejnej brakującej strony.
Ten sam problem pokazuje się jako czerwona pozycja warning na pasku administratora WordPress, więc widzisz go na każdym ekranie.
Ustawienia
Otwórz kartę Settings karty Redirects and 404. Opcje tej funkcji:
- Note who asks for a missing address (Google, Bing, AI crawlers, scanners, visitors): domyślnie włączone.
- Keep the network of the visitor (the address with its last part cut off): domyślnie wyłączone. Lista przechowuje wtedy tylko sieć, na przykład 203.0.113.0, nigdy pełny adres.
- Warn in the admin bar when Google’s ad bot or Googlebot finds a missing page: domyślnie włączone.
- Also send the administrator an e-mail (once an hour for one address): domyślnie wyłączone.
Napraw brakującą stronę
- Otwórz Baza Helper > Redirects and 404 i przeczytaj alert.
- Jeśli strona powinna istnieć, przywróć ją. Jeśli się przeniosła, naciśnij przycisk ze strzałką, aby wypełnić formularz starym adresem, i wpisz nowy adres w To.
- Naciśnij Add redirect, potem Mark as seen.
