Kto žiada chýbajúcu adresu: boty Google, AI crawlery a skenery

Zoznam 404 v Baza Helper ukazuje, kto žiadal každú neexistujúcu adresu: reklamný bot Google, Googlebot, iné vyhľadávače, AI crawlery, SEO služby, skenery alebo bežný návštevník. Najprv opravíte stránky, ktoré vás stoja reklamu a návštevnosť z vyhľadávania, a šum môžete ignorovať. Nájdete ho v Baza Helper > Redirects and 404, v karte Missing addresses (404). Pravidlá presmerovaní opisuje článok Presmerovania a monitor 404.

Čo zoznam ukazuje

Každý riadok má stĺpec Who s druhom návštevníka a malou značkou, vo farbe značky, ak existuje. Druh sa určí podľa User-Agent požiadavky:

  • Google (Ads and search): bot Google Ads a Googlebot.
  • Other search engines: Bing, Baidu, DuckDuckGo a Applebot.
  • AI crawlers: ChatGPT a OpenAI, Claude a Anthropic, Perplexity a iné AI crawlery.
  • SEO services: crawlery nástrojov SEO.
  • Scanners and probes: nástroje ako sqlmap či nikto a každá požiadavka na miesto, kde sa hľadajú úniky a prihlásenia.
  • Visitors: návštevník s prehliadačom.
  • Other: Facebook a Instagram, kontroly dostupnosti a rýchlosti, iné boty a skripty a požiadavky bez User-Agent.

Požiadavka na /.env, wp-config, xmlrpc.php, phpmyadmin alebo súbor zálohy sa zobrazí ako sonda, akékoľvek meno uvedie. Riadky uložené pred touto funkciou ukazujú Not recorded.

Filter a dlaždice

Otvorte ikonu filtra a vyberte Who, aby ste videli jednu skupinu. Dlaždice nad tabuľkou ukazujú, koľko požiadaviek a koľko adries urobil každý druh vo vybranom období, takže hneď vidíte, či šum pochádza zo skenerov alebo z vyhľadávačov.

Overte, že vyhľadávač je skutočný

Meno v User-Agent možno sfalšovať. Pri Google, Bing, Baidu a Apple plugin overí požiadavku po odoslaní stránky: spätné vyhľadanie DNS adresy návštevníka musí uviesť hostiteľa tohto vyhľadávača a vyhľadanie tohto hostiteľa musí vrátiť tú istú adresu. Riadok sa potom označí ako overený alebo ako nepravý, keď sa niekto len tvári. Požiadavka, ktorá nie je pravá, nikdy nespustí nižšie uvedené upozornenie.

Upozornenie na boty Google

Ak bot Google Ads alebo Googlebot za posledných 7 dní žiadal chýbajúcu adresu, nad tabuľkou sa objaví červené upozornenie Google asked for pages that do not exist. Každý riadok uvádza adresu, kto žiadal, koľkokrát a kedy. Tlačidlo so šípkou otvorí formulár na pridanie s touto adresou a tlačidlo koša adresu zabudne.

Pre reklamu je to dôležité: reklama, ktorá vedie na chýbajúcu stránku, môže byť zamietnutá s dôvodom „cieľová stránka nefunguje“ a výsledok vyhľadávania, ktorý vedie na takú, môže zmiznúť. Obnovte stránku alebo pridajte presmerovanie. Stlačte Mark as seen, aby sa upozornenie skrylo, kým Google nenájde ďalšiu chýbajúcu stránku.

Ten istý problém sa zobrazí ako červená položka warning v administračnej lište WordPressu, takže ho vidíte na každej obrazovke.

Nastavenie

Otvorte kartu Settings karty Redirects and 404. Možnosti tejto funkcie:

  • Note who asks for a missing address (Google, Bing, AI crawlers, scanners, visitors): predvolene zapnuté.
  • Keep the network of the visitor (the address with its last part cut off): predvolene vypnuté. Zoznam potom uchováva len sieť, napríklad 203.0.113.0, nikdy celú adresu.
  • Warn in the admin bar when Google’s ad bot or Googlebot finds a missing page: predvolene zapnuté.
  • Also send the administrator an e-mail (once an hour for one address): predvolene vypnuté.

Oprava chýbajúcej stránky

  1. Otvorte Baza Helper > Redirects and 404 a prečítajte si upozornenie.
  2. Ak má stránka existovať, obnovte ju. Ak sa presunula, stlačte tlačidlo so šípkou, aby sa formulár vyplnil starou adresou, a do To zadajte novú adresu.
  3. Stlačte Add redirect, potom Mark as seen.
Naposledy upravené: 15.11.2026