Wenn ein KI-Crawler Ihre Website nicht lesen kann, kann ein KI-Assistent sie nicht zitieren. Es ist eine kleine technische Sache mit großer Wirkung, und oft wird sie versehentlich blockiert: ein Sicherheits-Plugin, eine CDN-Regel oder eine alte Zeile in robots.txt, an die sich niemand erinnert.

Dieser Leitfaden zeigt, wie Sie prüfen, wie die wichtigsten Crawler heißen und wie Sie entscheiden, was Sie erlauben.

Die wichtigsten KI-Crawler

Namen und Zwecke stammen aus der Dokumentation der Unternehmen selbst, die sich ändern kann, prüfen Sie also die aktuellen Seiten, bevor Sie etwas bearbeiten.

  • GPTBot (OpenAI): sammelt Inhalte, die zum Training von Modellen genutzt werden können.
  • OAI-SearchBot (OpenAI): dient dazu, Websites in den ChatGPT-Suchergebnissen anzuzeigen.
  • ChatGPT-User (OpenAI): wird genutzt, wenn eine Person ChatGPT bittet, eine Seite zu öffnen.
  • PerplexityBot (Perplexity): indexiert Websites für die Perplexity-Suche.
  • ClaudeBot (Anthropic): sammelt Inhalte für Modelle von Anthropic.
  • Google-Extended (Google): eine Steuerung dafür, ob Inhalte für Training und Grounding von Gemini genutzt werden. Es ist kein Schalter für die normale Google-Suche.

Trainings-Crawler und Such-Crawler sind verschieden. Sie können die eine Art erlauben und die andere blockieren. Wenn Sie in Antworten zitiert werden wollen, zählen Such- und Nutzer-Crawler am meisten.

Schritt 1: robots.txt lesen

Öffnen Sie yourdomain.com/robots.txt im Browser. Suchen Sie Zeilen mit den oben genannten Crawlern oder eine allgemeine Regel wie User-agent: * mit Disallow: /. Eine Zeile wie die folgende blockiert einen Crawler vollständig.

User-agent: GPTBot
Disallow: /

Um einen Crawler zu erlauben, entfernen Sie seine Sperre oder geben Sie ihm eine ausdrückliche Regel:

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Schritt 2: Über robots.txt hinausschauen

Ein Crawler kann in robots.txt erlaubt sein und trotzdem abgewiesen werden. Häufige Ursachen:

  • Eine Firewall- oder CDN-Einstellung, die unbekannte Bots oder bestimmte User-Agents blockiert.
  • Ein Sicherheits-Plugin mit eingeschaltetem Bot-Schutz.
  • Eine Serverregel, die bei Anfragen ohne Browsersignatur einen Fehler zurückgibt.
  • Eine Wartungs- oder „Coming soon“-Seite, die nicht angemeldeten Besuchern gezeigt wird.

Ihre Server-Logs zeigen, welche Crawler kommen und was sie erhalten. Suchen Sie die oben genannten Namen und prüfen Sie die Statuscodes. Eine Serie von 403- oder 429-Antworten bedeutet, dass sie abgewiesen werden.

Sie wissen nicht, was die KI über Ihr Unternehmen sagt?

Wir stellen ChatGPT und Perplexity die Fragen Ihrer Kunden und zeigen Ihnen die Antworten, die Quellen und die Lücken. Keine Versprechen, nur das, was wir sehen.

Schritt 3: Sitemap und Grundlagen prüfen

  • Ihre XML-Sitemap existiert, ist in robots.txt aufgeführt und enthält die Seiten, die zitiert werden sollen.
  • Wichtige Seiten liefern Status 200 und sind nicht auf noindex gesetzt.
  • Die Seiten sind schnell genug, um zuverlässig abgerufen zu werden. Sehen Sie unsere Leistung WordPress-Tempooptimierung, falls nicht.

Schritt 4: Entscheiden, was Sie wollen

Manche Inhaber erlauben alles. Andere erlauben Such- und Nutzer-Crawler, aber keine Trainings-Crawler. Das ist eine unternehmerische Entscheidung, und sie liegt bei Ihnen. Schreiben Sie sie auf und bringen Sie dann robots.txt und Firewall in Einklang, damit das eine dem anderen nicht widerspricht.

Ein Hinweis zu llms.txt

Sie lesen vielleicht auch von llms.txt, einer Datei, die KI-Systemen einen kurzen Leitfaden zu Ihrer Website gibt. Sie ist eine vorgeschlagene Konvention, kein offizieller Standard, und KI-Anbieter haben nicht zugesagt, ihr zu folgen. Als ordentliche Zusammenfassung kann sie helfen, ersetzt aber weder lesbare Seiten noch offenen Crawler-Zugang.

Häufige Fragen

Sollte ich GPTBot blockieren?

Das hängt davon ab, ob es Sie stört, dass Ihre Inhalte für Training genutzt werden. Das Blockieren von GPTBot stoppt OAI-SearchBot nicht, der getrennt ist.

Woran merke ich, dass es gewirkt hat?

Prüfen Sie Ihre Logs auf Crawler-Namen und Statuscodes und wiederholen Sie Ihre Kundenfragen einige Wochen später in ChatGPT und Perplexity.

Wir können das im Rahmen eines Audits für Sie prüfen. Sehen Sie unsere GEO-Services.

Sie wollen einen klaren Plan für die KI-Suche?

Sehen Sie, was ein GEO-Audit, die Umsetzung und ein monatlicher Check enthalten, mit Startpreisen. Oder erzählen Sie uns von Ihrer Website, und wir sagen ehrlich, was realistisch ist.

Geschrieben von