Wer nach einer fehlenden Adresse fragt: Google-Bots, KI-Crawler und Scanner

Die 404-Liste von Baza Helper zeigt, wer nach jeder nicht existierenden Adresse gefragt hat: der Werbe-Bot von Google, Googlebot, andere Suchmaschinen, KI-Crawler, SEO-Dienste, Scanner oder ein gewöhnlicher Besucher. Sie beheben zuerst die Seiten, die Sie Werbung und Suchverkehr kosten, und können das Rauschen ignorieren. Sie finden sie unter Baza Helper > Redirects and 404, in der Karte Missing addresses (404). Weiterleitungsregeln sind im Artikel Weiterleitungen und der 404-Monitor beschrieben.

Was die Liste zeigt

Jede Zeile hat eine Spalte Who mit der Art des Besuchers und einem kleinen Zeichen, in der Markenfarbe, wo es eine gibt. Die Art stammt aus dem User-Agent der Anfrage:

  • Google (Ads and search): Google-Ads-Bot und Googlebot.
  • Other search engines: Bing, Baidu, DuckDuckGo und Applebot.
  • AI crawlers: ChatGPT und OpenAI, Claude und Anthropic, Perplexity und andere KI-Crawler.
  • SEO services: Crawler von SEO-Werkzeugen.
  • Scanners and probes: Werkzeuge wie sqlmap oder nikto und jede Anfrage an einen Ort, an dem nach Lecks und Anmeldungen gesucht wird.
  • Visitors: ein Besucher mit Browser.
  • Other: Facebook und Instagram, Verfügbarkeits- und Geschwindigkeitsprüfungen, andere Bots und Skripte und Anfragen ohne User-Agent.

Eine Anfrage nach /.env, wp-config, xmlrpc.php, phpmyadmin oder einer Backup-Datei wird als Sonde angezeigt, egal welchen Namen sie angibt. Zeilen, die vor dieser Funktion gespeichert wurden, zeigen Not recorded.

Filter und Kacheln

Öffnen Sie das Filtersymbol und wählen Sie Who, um eine Gruppe zu sehen. Die Kacheln über der Tabelle zeigen, wie viele Anfragen und wie viele Adressen jede Art im gewählten Zeitraum gestellt hat, Sie sehen also sofort, ob das Rauschen von Scannern oder von Suchmaschinen kommt.

Prüfen, ob eine Suchmaschine echt ist

Ein Name im User-Agent lässt sich fälschen. Bei Google, Bing, Baidu und Apple prüft das Plugin die Anfrage, nachdem die Seite gesendet wurde: Ein Reverse-DNS-Lookup der Adresse des Besuchers muss einen Host dieser Suchmaschine nennen, und ein Lookup dieses Hosts muss dieselbe Adresse zurückgeben. Die Zeile wird dann als geprüft markiert oder als nicht echt, wenn jemand nur so tut. Eine Anfrage, die nicht echt ist, löst die folgende Meldung nie aus.

Die Meldung für Google-Bots

Hat der Google-Ads-Bot oder Googlebot in den letzten 7 Tagen nach einer fehlenden Adresse gefragt, erscheint über der Tabelle eine rote Meldung Google asked for pages that do not exist. Jede Zeile nennt die Adresse, wer gefragt hat, wie oft und wann. Die Pfeiltaste öffnet das Formular zum Hinzufügen mit dieser Adresse, die Papierkorbtaste vergisst die Adresse.

Für Werbung ist das wichtig: Eine Anzeige, die auf eine fehlende Seite zeigt, kann mit dem Grund „Zielseite funktioniert nicht“ abgelehnt werden, und ein Suchergebnis, das auf eine solche zeigt, kann entfallen. Stellen Sie die Seite wieder her oder fügen Sie eine Weiterleitung hinzu. Drücken Sie Mark as seen, um die Meldung auszublenden, bis Google eine weitere fehlende Seite findet.

Dasselbe Problem erscheint als roter Eintrag warning in der WordPress-Admin-Leiste, Sie sehen es also auf jedem Bildschirm.

Einrichten

Öffnen Sie die Karte Settings des Reiters Redirects and 404. Die Optionen dieser Funktion:

  • Note who asks for a missing address (Google, Bing, AI crawlers, scanners, visitors): standardmäßig an.
  • Keep the network of the visitor (the address with its last part cut off): standardmäßig aus. Die Liste speichert dann nur das Netz, zum Beispiel 203.0.113.0, nie die ganze Adresse.
  • Warn in the admin bar when Google’s ad bot or Googlebot finds a missing page: standardmäßig an.
  • Also send the administrator an e-mail (once an hour for one address): standardmäßig aus.

Eine fehlende Seite beheben

  1. Öffnen Sie Baza Helper > Redirects and 404 und lesen Sie die Meldung.
  2. Soll die Seite existieren, stellen Sie sie wieder her. Ist sie umgezogen, drücken Sie die Pfeiltaste, um das Formular mit der alten Adresse zu füllen, und geben Sie die neue Adresse bei To ein.
  3. Drücken Sie Add redirect, dann Mark as seen.
Zuletzt geändert: 15.11.2026