Technisches SEO: robots.txt, XML-Sitemap und Zuständigkeit

Der Tab Technisches SEO (Baza Helper > Technisches SEO) verwaltet die Dateien, die Suchmaschinen lesen: robots.txt und die XML-Sitemap. Seitentitel, Beschreibungen, kanonische URLs und Indexierung bleiben im SEO-Feld jeder Seite.

Zuständigkeit für technisches SEO

Wählen Sie den Verantwortlicher für technisches SEO. Mit Automatisch: Theme oder erkanntes SEO-Plugin überlässt Baza Helper die Dateien einem Theme oder SEO-Plugin, das sie bereits steuert. Wählen Sie eine andere Option, wenn Baza Helper sie verwalten soll. Gehört das technische SEO jemand anderem, weist der Tab darauf hin, und die Änderungen des Themes an robots und Sitemap werden übersprungen.

robots.txt

Schalten Sie Virtuelle robots.txt verwalten ein. WordPress erzeugt die robots.txt dynamisch, und diese Einstellung ergänzt sie um Ihre Pfade und die Sitemap-Adresse.

• Zusätzliche Disallow-Pfade: ein Pfad pro Zeile, zum Beispiel /private/. Ein Pfad ohne führenden Schrägstrich bekommt einen. Der Kernschutz von wp-admin und der Zugriff auf admin-ajax bleiben immer erhalten.
• Zusätzliche Allow-Pfade: ein Pfad pro Zeile, um einen Pfad in einem gesperrten Ordner zu erlauben. Sperren Sie weder CSS noch JavaScript oder Bilder.
• Die Datei: zeigt, ob die Einstellungen wirken, und enthält den Link robots.txt öffnen.

Die robots.txt steuert das Crawlen, nicht die Indexierung. Um eine Seite aus den Suchergebnissen herauszuhalten, nutzen Sie die noindex-Einstellung der Seite.

Warum eine Änderung nicht erscheint

• Im Website-Ordner liegt eine echte robots.txt-Datei. Der Webserver liefert sie aus, bevor WordPress läuft, deshalb ändern die Einstellungen sie nicht. Bearbeiten oder löschen Sie die Datei, um die Einstellungen zu nutzen.
• Ein Cache von Host, CDN oder Browser hält eine alte Kopie. Leeren Sie ihn nach dem Speichern.
• Der Dev-/Staging-Modus überschreibt die robots.txt mit Disallow: /, solange er aktiv ist.

XML-Sitemap

Schalten Sie XML-Sitemap aktivieren ein. WordPress erzeugt seitenweises XML mit echten Änderungsdaten. Private, passwortgeschützte, noindex- und nicht kanonische Seiten werden ausgelassen, und die Sichtbarkeitseinstellung unter Einstellungen > Lesen wird beachtet. sitemap.xml leitet auf den kanonischen WordPress-Sitemap-Index weiter.

• Beitragstypen in der Sitemap: wählen Sie, welche Inhaltstypen gelistet werden.
• Autorenarchive einbeziehen und Öffentliche Taxonomie-Archive einbeziehen fügen diese Seiten hinzu.
• sitemap.xml öffnen zeigt das Ergebnis.

Suchmaschinen ausgeschlossen

Ist auf einer Live-Website unter Einstellungen > Lesen die Option „Suchmaschinen davon abhalten, diese Website zu indexieren“ aktiviert, zeigt Baza Helper oben im Dashboard und in diesem Tab eine Warnung mit einem Link. Nur Administratoren sehen sie.