Die unscheinbare Datei mit großer SEO-Wirkung
Manche Dateien sind laut, bunt und auffällig – und dann gibt es die robots.txt. Sie liegt still im Hauptverzeichnis deiner Website und sagt den Suchmaschinen-Crawlern freundlich, wo sie stöbern dürfen und wo nicht. In diesem Beitrag erfährst du, wie du die sie richtig nutzt, welche Crawler sich daran halten, wie RegEx in diesem Kontext funktioniert und wie du sie in WordPress mit Plugins wie Rank Math oder Yoast SEO anpassen kannst.
Was ist die robots.txt überhaupt?
Sie ist eine einfache Textdatei im Root-Verzeichnis deiner Domain, also z. B. unter https://deinedomain.de/robots.txt. Dort legst du Regeln fest, welche Bereiche einer Website von Suchmaschinen gecrawlt werden dürfen – und welche tabu sind. Sie ist jedoch nur eine Empfehlung an die Crawler, kein hartes Gesetz.
Welche Suchmaschinen halten sich daran – und welche nicht?
Halten sich daran:
- Googlebot (Google Search)
- Bingbot (Microsoft Bing)
- DuckDuckBot (DuckDuckGo)
- YandexBot (Yandex)
- Baiduspider (Baidu – meistens)
Ignorieren oft die Regeln: Spam-Bots, Content-Scraper, aggressive SEO-Tools und E-Mail-Harvester. Diese „Bad Bots“ kümmern sich selten um deine Hausordnung.
Was geht mit robots.txt
Geht:
- Verzeichnisse vom Crawlen ausschließen (
Disallow: /internes/) - Bestimmte Bots komplett blockieren (
User-agent: böserBot) - Sitemap-URL angeben (
Sitemap: https://deinedomain.de/sitemap.xml)
Geht nicht:
- Sensible Daten schützen – dafür ist Passwortschutz nötig (dafür gibt es die htaccess)
- Inhalte vor Menschen verbergen – die robots.txt ist öffentlich (dafür gibt es die htaccess)
- SEO-Wunder erzeugen – falsche Regeln können Rankings sogar verschlechtern
Beispiele für Regeln
# Alles für alle erlaubt
User-agent: *
Disallow:
# Keiner darf ins interne Verzeichnis
User-agent: *
Disallow: /intern/
# Google darf rein, Bing nicht
User-agent: Googlebot
Disallow:
User-agent: Bingbot
Disallow: /
RegEx in robots.txt – was geht und was nicht
Vollwertige RegEx gibt es in der klassischen robots.txt nicht. Allerdings unterstützen viele Crawler Platzhalter und Sonderzeichen:
# PDFs blockieren
Disallow: /*.pdf$
# Alles im tmp-Ordner blockieren
Disallow: /tmp/*
* steht für beliebige Zeichen, $ markiert das Ende der URL.
Kurzer Blick in die Geschichte
Die robots.txt wurde 1994 von Martijn Koster entwickelt. Damals wucherten Suchmaschinen wie AltaVista und Lycos durchs Web und lasen alles – auch unfertige Inhalte. Die Lösung: eine Datei, die höflich sagt, was erwünscht ist. Bis heute gibt es keinen verbindlichen Standard, aber Google hat 2019 die gängigen Regeln dokumentiert.
Wie in WordPress bearbeiten?
WordPress hat von Haus aus eine virtuelle robots.txt, aber wer mehr Kontrolle will, nutzt Plugins:
- Rank Math SEO – Moderner Funktionsumfang, robots.txt-Editor im Backend, perfekte Sitemap-Integration
- Yoast SEO – Einfach zu bedienen, ideal für Einsteiger
- All in One SEO Pack – Alternative, falls Rank Math oder Yoast nicht zusagen
Tipps für die perfekte robots.txt
- Erlauben ist besser als verbieten – sonst fehlen Google wichtige Seiten
- Sitemap-URL immer angeben
- Keine sensiblen Verzeichnisse auflisten
- Regeln regelmäßig in der Google Search Console prüfen
Wie teste ich diese kleine Textdatei?
Bevor du dich entspannt zurücklehnst und denkst „Perfekt, mein SEO ist jetzt unschlagbar!“, solltest du sie unbedingt in der Google Search Console testen. Dort gibt es das Tool „robots.txt-Tester“, mit dem du prüfen kannst, ob Google deine Regeln so versteht, wie du es beabsichtigst. Du kannst einzelne URLs eingeben und sofort sehen, ob sie blockiert oder erlaubt werden. Das ist besonders hilfreich, um versehentlich gesperrte Inhalte zu finden – schließlich willst du ja nicht, dass deine wichtigste Landingpage aus Versehen im SEO-Nirwana landet
Fazit
Die robots.txt ist wie ein höflicher Hausmeister deiner Website: Sie gibt den guten Bots Anweisungen, was sie tun dürfen. Mit Tools wie Rank Math oder Yoast SEO lässt sich die Datei in WordPress einfach anpassen. Vergiss aber nicht: Böse Bots ignorieren sie – für echte Sicherheit braucht es andere Maßnahmen.
