Die Meldung "Indexiert, obwohl durch robots.txt blockiert" überrascht viele, denn eigentlich sollte die robots.txt eine Seite aus Google heraushalten. Das tut sie aber nicht. Die robots.txt steuert nur das Crawlen, also ob Google eine URL abrufen darf. Verweisen andere Seiten auf eine gesperrte URL, kann Google sie trotzdem in den Index aufnehmen [1, 2]. Das Suchergebnis zeigt dann die Adresse, aber keine Beschreibung oder nur ein stark eingeschränktes Snippet [1, 2].
In der englischen Hilfe führt Google den Status als Warnung, nicht unter den Gründen, warum Seiten nicht indexiert sind [3]. Die Seite ist ja im Index. Die Warnung sagt nur, dass sie dort in einer Form steht, die du vermutlich nicht willst.
Warum die Sperre allein nicht reicht
Google beschreibt die robots.txt als Mittel, um eine Überlastung der Website durch Anfragen zu vermeiden. Sie sei nicht dafür gedacht, Webseiten aus der Google-Suche auszuschließen [2]. Dafür gibt es noindex, als Meta-Tag im Kopf der Seite oder als HTTP-Header X-Robots-Tag [4]. In der robots.txt selbst ignoriert Google andere Regeln als allow, disallow und user-agent, ein noindex dort bleibt also wirkungslos [6]. Findet Googlebot diese Anweisung, entfernt Google die Seite aus den Ergebnissen, egal wie viele andere Websites darauf verlinken [4].
Der Haken: Ein noindex wirkt nur, wenn Google die Seite crawlen darf. Ist sie per robots.txt gesperrt, sieht der Crawler das noindex nie [4]. Wer beides gleichzeitig setzt, lässt die Seite damit im Index. Auch das URL-Prüftool zeigt bei gesperrten Seiten unter "Indexierung zulässig?" immer "Ja", weil Google die Anweisung nicht lesen kann [5].
Welche Lösung passt
Zuerst entscheidest du, ob die Seite in die Suche gehört. Gehört sie hinein, etwa eine Produktseite, die versehentlich unter eine Sperrregel gefallen ist, entfernst du die passende Zeile aus der robots.txt. Google crawlt die Seite danach wieder normal und kann ein vollständiges Ergebnis zeigen [1].
Soll die Seite nicht in der Suche erscheinen, hebst du die Sperre ebenfalls auf und setzt zusätzlich noindex [1]. Erst wenn Google das noindex gesehen hat und die Seite aus dem Index verschwunden ist, kannst du darüber nachdenken, die robots.txt-Regel wieder zu setzen. Bis Google die Seite erneut crawlt, kann es je nach Seite mehrere Monate dauern. Mit dem URL-Prüftool kannst du das Crawlen beantragen [4]. Ein Beispiel aus dem Alltag: Eine Tischlerei sperrt per robots.txt das Verzeichnis mit Angebots-PDFs, die per Mail verschickt wurden. Weil Kunden die Links weitergeben, stehen die PDFs trotzdem im Index. Hier hilft ein X-Robots-Tag noindex für die Dateien, denn ein Meta-Tag lässt sich in ein PDF nicht einbauen [4].
Für vertrauliche Inhalte reicht keins der beiden Mittel. Was niemand außer dem Kunden sehen soll, gehört hinter ein Passwort [2]. Andere Crawler müssen sich ohnehin nicht an die robots.txt halten [2].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Den Bericht prüfen
Öffne im Bericht zur Seitenindexierung die Zeile mit der Warnung und sieh dir die Beispiel-URLs an. Oft fällt eine einzige Regel auf, die zu breit gefasst ist, etwa ein Verzeichnis, unter dem auch wichtige Seiten liegen. Nach der Korrektur kannst du die Fehlerbehebung im Bericht überprüfen lassen. Das dauert in der Regel etwa zwei Wochen [1]. Den grundsätzlichen Unterschied der beiden Werkzeuge erklärt die Frage Was ist der Unterschied zwischen noindex und robots.txt. Den umgekehrten Fall, eine gesperrte und nicht indexierte Seite, beschreibt Blockiert durch robots.txt. Die Begriffe stehen im Glossar unter robots.txt und X-Robots-Tag.
Bring deine robots.txt und zwei betroffene Adressen in die gratis Sprechstunde. Dort sehen wir nach, welche Regel greift und ob für deinen Fall noindex, ein Passwort oder eine einfache Freigabe richtig ist.
- Organisation Bericht zur Seitenindexierung. Google, Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Einführung in robots.txt. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation Page indexing report. Google, Search Console Help. Stand laufend. abgerufen am 31.10.2026
- Organisation Indexierung mit noindex blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
- Organisation URL-Prüftool. Google, Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation robots.txt-Spezifikationen. Google Search Central. Stand 27.10.2026. abgerufen am 31.10.2026
Häufige Fragen
Wie kann eine gesperrte Seite im Index landen?
Die robots.txt verbietet nur das Crawlen. Verlinken andere Seiten auf die URL, kann Google sie trotzdem indexieren, ohne den Inhalt zu kennen.
Wie sieht so ein Suchergebnis aus?
Meist steht nur die Adresse da, ohne Beschreibung oder mit einem stark eingeschränkten Snippet.
Reicht es, noindex zusätzlich zur robots.txt-Sperre zu setzen?
Nein. Solange die Seite gesperrt ist, sieht Google das noindex nicht. Du musst die Sperre zuerst aufheben.
Kann ich noindex in die robots.txt schreiben?
Nein. Google unterstützt noindex in der robots.txt nicht. Es gehört als Meta-Tag in die Seite oder als X-Robots-Tag in den HTTP-Header.
Wie verhindere ich die Indexierung von PDFs?
Mit dem HTTP-Header X-Robots-Tag noindex. Er eignet sich für Dateien wie PDFs, Bilder und Videos.
Ist der Status ein Fehler?
Google führt ihn als Warnung. Die Seite ist im Index, aber vermutlich anders, als du es willst.
Wie lange dauert es, bis die Seite nach noindex verschwindet?
Google entfernt sie, sobald es die Seite crawlt und das noindex sieht. Das kann je nach Seite mehrere Monate dauern.
Was zeigt das URL-Prüftool bei gesperrten Seiten?
Unter "Indexierung zulässig?" steht immer "Ja", weil Google ein mögliches noindex nicht lesen kann.
Schützt die robots.txt vertrauliche Daten?
Nein. Nicht alle Crawler halten sich an sie, und die gesperrte Adresse kann trotzdem im Index stehen. Vertrauliches gehört hinter ein Passwort.
Darf ich die Sperre später wieder setzen?
Ja, wenn die Seite aus dem Index verschwunden ist. Vorher würde die Sperre das noindex wieder verstecken.
Wie prüfe ich, welche Regel die Seite sperrt?
Das URL-Prüftool zeigt unter "Crawling erlaubt?", ob eine robots.txt-Regel greift. Danach suchst du die passende Zeile in der Datei.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.