Die Meldung "Blockiert durch robots.txt" steht im Bericht Seitenindexierung der Search Console unter den Gründen, warum Seiten nicht indexiert werden. In der deutschen Oberfläche heißt sie "URL wird von der robots.txt-Datei blockiert" [1]. Sie bedeutet, dass eine Regel in der robots.txt deiner Website Google das Crawlen dieser Adresse untersagt. Google ruft die Seite dann nicht ab. Ob das ein Problem ist, hängt nur davon ab, ob du die Sperre wolltest.
Wofür die robots.txt gedacht ist
Die robots.txt steuert, welche Bereiche Crawler abrufen dürfen. Google beschreibt sie vor allem als Mittel gegen zu viel Crawler-Verkehr und Überlastung des Servers [2]. Ausdrücklich nicht gedacht ist sie dafür, Seiten aus der Google-Suche fernzuhalten [2]. Eine gesperrte Seite kann trotzdem als Adresse in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken, dann meist ohne Beschreibung [2]. Im Bericht erscheint sie in diesem Fall als Warnung "Indexiert, obwohl durch robots.txt-Datei blockiert" [1]. Was es damit auf sich hat, erklärt Indexiert, obwohl durch robots.txt blockiert.
Gewollte und ungewollte Sperren
Viele Einträge unter dieser Meldung sind in Ordnung. Ein Onlineshop sperrt oft Warenkorb, Kundenkonto und interne Suche, ein Content-Management-System seinen Verwaltungsbereich. Diese Adressen sollen gar nicht gecrawlt werden. Problematisch wird es, wenn Seiten in der Liste stehen, die Besucher über Google finden sollen, oder wenn Ressourcen wie CSS und JavaScript gesperrt sind, die Google zum Verständnis der Seite braucht [2]. Nach unserer Erfahrung passiert das häufig nach einem Relaunch: Die Testumgebung hatte eine Komplettsperre, und die Datei wurde beim Livegang mit übernommen. Ein Café mit neuer Website verschwindet dann nach und nach aus der Suche, obwohl die Seiten selbst fehlerfrei sind.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
So gehst du vor
Öffne die Meldung im Bericht und sieh dir die Beispieladressen an. Für jede Adresse entscheidest du: Soll sie in die Suche oder nicht? Die Beispielliste zeigt höchstens 1.000 Adressen [1]. Bei großen Websites findest du die greifende Regel schneller, wenn du die Adressen nach Verzeichnissen ordnest und je Verzeichnis eine Stichprobe prüfst. Welche robots.txt Google gefunden hat, wann sie zuletzt abgerufen wurde und ob es Fehler beim Lesen gab, zeigt der robots.txt-Bericht der Search Console. Dort kannst du nach einer Änderung auch ein erneutes Crawlen der Datei anfordern [3].
Soll die Seite in die Suche, änderst oder entfernst du die Regel, die sie sperrt [1]. Soll sie sicher nicht indexiert werden, ist die robots.txt das falsche Mittel. Google empfiehlt in diesem Fall, die Sperre zu entfernen und stattdessen ein noindex zu setzen [1]. Der Grund: Ein noindex wirkt nur, wenn Google die Seite abrufen kann. Ist sie per robots.txt gesperrt, sieht der Crawler das Tag nie, und die Seite kann weiter in den Ergebnissen erscheinen [4]. Für vertrauliche Inhalte nennt Google als Alternative einen Passwortschutz [2]. Die Unterschiede beider Wege erklärt Was ist der Unterschied zwischen noindex und robots.txt, die Datei selbst das Glossar unter robots.txt.
Gibt es auf deiner Website gar keine robots.txt, ist das laut Google in Ordnung. Der Bericht zeigt dann "Nicht abgerufen, Nicht gefunden (404)", und Google darf alle Adressen crawlen [3]. Ob du überhaupt eine Datei brauchst, beantwortet Brauche ich eine robots.txt.
Du bist nicht sicher, welche Zeile in deiner robots.txt eine wichtige Seite sperrt? Kopier die Datei in die gratis Sprechstunde, dort lesen wir sie Zeile für Zeile mit dir durch.
- Organisation Bericht zur Seitenindexierung. Google, Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Einführung und Leitfaden zu robots.txt-Dateien. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation robots.txt-Bericht. Google, Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Aufnahme in den Google-Suchindex mit "noindex" blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
Häufige Fragen
Was bedeutet "Blockiert durch robots.txt"?
Eine Regel in deiner robots.txt verbietet Google, diese Adresse zu crawlen. Google ruft die Seite deshalb nicht ab und indexiert ihren Inhalt nicht.
Ist die Meldung ein Fehler?
Nur wenn du die Sperre nicht wolltest. Gesperrte Verwaltungsbereiche, Warenkörbe oder interne Suchseiten sind normal.
Kann eine gesperrte Seite trotzdem in Google erscheinen?
Ja. Verlinken andere Seiten auf sie, kann Google die Adresse ohne Beschreibung anzeigen. Im Bericht steht sie dann unter "Indexiert, obwohl durch robots.txt-Datei blockiert".
Wie halte ich eine Seite sicher aus dem Index?
Mit noindex und ohne robots.txt-Sperre, damit Google das Tag lesen kann. Für vertrauliche Inhalte nennt Google einen Passwortschutz.
Warum wirkt mein noindex nicht?
Wahrscheinlich ist die Seite zusätzlich per robots.txt gesperrt. Dann sieht Google das noindex nie. Entferne die Sperre für diese Adresse.
Wo sehe ich meine robots.txt in der Search Console?
Im robots.txt-Bericht. Er zeigt die gefundenen Dateien, den Abrufstatus, den Zeitpunkt des letzten Abrufs und Fehler beim Lesen.
Wie bringe ich Google dazu, eine geänderte robots.txt neu zu lesen?
Im robots.txt-Bericht kannst du ein erneutes Crawlen der Datei anfordern. Das empfiehlt sich nach jeder wichtigen Änderung.
Brauche ich überhaupt eine robots.txt?
Nicht zwingend. Fehlt die Datei, ist das laut Google in Ordnung, und Google darf alle Adressen crawlen.
Darf ich CSS und JavaScript sperren?
Nur, wenn Google die Seite auch ohne diese Dateien richtig versteht. Fehlen sie so, dass die Darstellung leidet, solltest du sie freigeben.
Warum ist nach dem Relaunch alles gesperrt?
Oft wurde die robots.txt der Testumgebung mit einer Komplettsperre übernommen. Prüfe die Datei direkt nach dem Livegang.
Hilft "Indexierung beantragen" bei einer gesperrten Seite?
Nein. Solange die robots.txt das Crawlen verbietet, kann Google die Seite nicht abrufen. Zuerst muss die Regel weg.
Gilt die robots.txt für alle Subdomains?
Nein. Jede Subdomain hat ihre eigene robots.txt. Der robots.txt-Bericht zeigt bei einer Domain-Property die Dateien der wichtigsten Hosts.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.