Robots.txt – FAQ – häufig gestellte SEO Fragen

Die robots.txt-Datei ist eine Textdatei im Stammverzeichnis Ihrer Website, die Suchmaschinen-Crawlern mitteilt, welche Bereiche Ihrer Website sie besuchen dürfen und welche nicht. Sie dient der Steuerung des Crawling-Verhaltens und hilft dabei, das Crawl-Budget zu optimieren und sensible Bereiche vor der Indexierung zu schützen.

Die robots.txt-Datei finden Sie unter der URL ihredomain.de/robots.txt. In WordPress wird automatisch eine virtuelle robots.txt generiert, wenn keine physische Datei vorhanden ist. Sie können die Datei über FTP, das WordPress-Dashboard oder SEO-Plugins bearbeiten.

Ja, eine falsch konfigurierte robots.txt kann schwerwiegende SEO-Probleme verursachen. Wenn Sie versehentlich wichtige Seiten blockieren oder die gesamte Website mit ‚Disallow: /‘ ausschließen, können Ihre Seiten aus dem Suchindex verschwinden. Testen Sie Änderungen immer vorher in der Google Search Console.

Typische Bereiche, die in WordPress blockiert werden sollten: /wp-admin/ (außer admin-ajax.php), /wp-includes/, /wp-content/plugins/, /wp-content/themes/, private Uploads, Suchergebnisseiten und Warenkorb-Seiten. Achten Sie darauf, CSS- und JavaScript-Dateien nicht zu blockieren, da diese für die Bewertung durch Google wichtig sind.

Nutzen Sie die Google Search Console und deren robots.txt-Tester. Dort können Sie Ihre aktuelle robots.txt einsehen und testen, ob spezifische URLs blockiert oder erlaubt sind. Zusätzlich können Sie Online-Tools verwenden oder die Datei manuell auf Syntaxfehler überprüfen.

Es ist nicht zwingend erforderlich, aber sehr empfehlenswert. Durch die Angabe Ihrer XML-Sitemap in der robots.txt (Sitemap: https://ihredomain.de/sitemap.xml) helfen Sie Suchmaschinen dabei, alle wichtigen Seiten Ihrer Website zu finden und zu indexieren.

‚User-agent: *‘ bedeutet, dass die nachfolgenden Regeln für alle Suchmaschinen-Crawler gelten. Sie können auch spezifische Crawler ansprechen, zum Beispiel ‚User-agent: Googlebot‘ für Google oder ‚User-agent: Bingbot‘ für Bing, um unterschiedliche Regeln für verschiedene Suchmaschinen zu definieren.

Das sollten Sie nicht tun. Google empfiehlt ausdrücklich, CSS- und JavaScript-Dateien nicht zu blockieren, da sie für die korrekte Bewertung und das Rendering Ihrer Seiten benötigt werden. Eine Blockierung kann sich negativ auf Ihr Ranking auswirken.

Überprüfen Sie Ihre robots.txt mindestens monatlich oder nach größeren Website-Änderungen. Besonders nach WordPress-Updates, Plugin-Installationen oder Strukturänderungen sollten Sie kontrollieren, ob die robots.txt noch korrekt funktioniert und Ihren SEO-Zielen entspricht.

Die robots.txt blockiert Crawler bereits beim Zugriff auf eine Seite, während Meta-Robots-Tags erst wirken, wenn die Seite bereits gecrawlt wurde. Meta-Robots-Tags bieten granularere Kontrolle (z.B. noindex, nofollow) für einzelne Seiten, während robots.txt für ganze Verzeichnisse oder Dateitypen gilt.

Ja, die robots.txt ist nur eine Empfehlung und kein Sicherheitsmechanismus. Seriöse Suchmaschinen respektieren sie, aber bösartige Bots oder Scraper können sie ignorieren. Für echten Schutz sensibler Bereiche verwenden Sie Passwort-Schutz, .htaccess-Regeln oder andere Sicherheitsmaßnahmen.

Für mehrsprachige Websites können Sie verschiedene Sitemaps für jede Sprache angeben und sicherstellen, dass alle Sprachversionen korrekt zugänglich sind. Verwenden Sie separate Sitemap-Einträge für jede Sprache und achten Sie darauf, keine Sprachverzeichnisse versehentlich zu blockieren.

Ohne robots.txt-Datei können Suchmaschinen-Crawler alle öffentlich zugänglichen Bereiche Ihrer Website besuchen. WordPress generiert automatisch eine virtuelle robots.txt mit Grundeinstellungen. Für bessere Kontrolle und SEO-Optimierung ist jedoch eine individuell angepasste robots.txt empfehlenswert.

Sie können spezifische Dateitypen mit Wildcards blockieren, zum Beispiel: ‚Disallow: /*.pdf$‘ für PDF-Dateien oder ‚Disallow: /*.doc$‘ für Word-Dokumente. Achten Sie auf die korrekte Syntax mit dem Dollarzeichen am Ende, um nur Dateien mit dieser Endung zu blockieren.

Crawl-delay kann nützlich sein, wenn Ihre Website durch zu häufiges Crawling überlastet wird. Ein Wert von 1-2 Sekunden ist meist ausreichend. Beachten Sie jedoch, dass nicht alle Crawler diesen Parameter respektieren und Google ihn offiziell nicht unterstützt. Verwenden Sie es nur bei Bedarf und überwachen Sie die Auswirkungen.