Die beiden Werkzeuge greifen an verschiedenen Stellen. Die robots.txt wirkt beim Crawling, also bevor eine Seite abgerufen wird. noindex wirkt bei der Indexierung, also nachdem Google die Seite gelesen hat. Wer das verwechselt, erreicht oft das Gegenteil dessen, was er wollte. Im Glossar stehen beide Begriffe unter noindex und robots.txt.
Was die robots.txt tut
Die robots.txt liegt im Hauptverzeichnis einer Website und sagt Crawlern, welche Adressen sie abrufen dürfen. Google nennt als Hauptzweck, den Crawler-Traffic zu steuern und eine Überlastung des Servers zu vermeiden [2]. Ausdrücklich nicht gedacht ist sie dafür, Seiten aus der Google Suche herauszuhalten. Dafür empfiehlt Google noindex oder einen Passwortschutz [2].
Der Grund: Eine gesperrte Adresse kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Sie steht dann ohne Beschreibung da, weil Google den Inhalt nicht lesen durfte [2]. Außerdem ist die robots.txt kein Schutz. Seriöse Crawler wie der Googlebot halten sich daran, andere Crawler müssen das nicht [2]. Ob du überhaupt eine robots.txt brauchst, klärt die Frage Brauche ich eine robots.txt.
Was noindex tut
noindex steht entweder als Meta-Tag im Kopf einer HTML-Seite, <meta name="robots" content="noindex">, oder als HTTP-Header X-Robots-Tag. Beide wirken gleich: Google nimmt die Seite vollständig aus den Suchergebnissen, auch wenn andere Seiten darauf verlinken [1]. Den Header nimmst du für Dateien ohne HTML-Kopf, etwa PDFs, Videos und Bilder [1]. Soll nur Google die Anweisung lesen, schreibst du googlebot statt robots in das Meta-Tag [1].
Eine Anweisung noindex in der robots.txt selbst unterstützt Google nicht [1]. Wer das noch aus alten Anleitungen kennt, sollte die Zeile entfernen und das Meta-Tag oder den Header setzen.
Für Bilder, Videos und Audiodateien wirkt die robots.txt etwas anders. Google schreibt, dass sie bei solchen Dateien verhindern kann, dass sie in den Suchergebnissen erscheinen. Andere Websites können aber weiter auf die Dateien verlinken [2]. Im direkten Vergleich sieht das so aus:
| Frage | robots.txt | noindex |
|---|---|---|
| Wann wirkt es? | vor dem Abruf der Seite | nach dem Abruf der Seite |
| Hält es die Seite sicher aus Google? | nein, Adresse kann ohne Beschreibung erscheinen | ja, wenn Google die Seite abrufen darf |
| Wo steht es? | eine Datei im Hauptverzeichnis | Meta-Tag oder HTTP-Header je Seite |
| Wofür gedacht? | Crawling steuern, Server entlasten | Seiten aus den Suchergebnissen nehmen |
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Warum beides zusammen nicht funktioniert
Der häufigste Fehler ist, eine Seite mit noindex zu versehen und sie zusätzlich in der robots.txt zu sperren. Dann darf Google die Seite nicht abrufen und sieht das noindex nie. Die Seite kann deshalb weiter in den Suchergebnissen erscheinen, etwa wenn andere Seiten darauf verlinken [1]. In der Search Console zeigt sich das als Meldung Indexiert, obwohl durch robots.txt-Datei blockiert.
Die Reihenfolge ist deshalb wichtig. Willst du eine Seite aus dem Index entfernen, setzt du noindex und lässt sie crawlbar, bis sie verschwunden ist. Erst danach kannst du sie in der robots.txt sperren, wenn das Crawling selbst stört. Willst du nur verhindern, dass Google unwichtige Bereiche ständig abruft, etwa Filteradressen in einem Shop, ist die robots.txt richtig. Aber Vorsicht bei Skripten und Stylesheets: Sperrst du wichtige Ressourcen, kann Google die Seite schlechter auswerten [2]. Wie du eine Seite gezielt sperrst, beschreibt die Frage Wie sperre ich eine Seite für Google. Bei hartnäckigen Fällen hilft SEO NW mit der Leistung Indexierungsprobleme beheben.
Du findest Seiten in Google, die dort nicht hingehören, und weißt nicht, ob robots.txt oder noindex der richtige Weg ist? Bring die Adressen in die gratis Sprechstunde mit. Alexander Müller prüft sie mit dir.
- Organisation Indexierung mit noindex blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
- Organisation Einführung in robots.txt. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
Häufige Fragen
Entfernt die robots.txt eine Seite aus Google?
Nicht zuverlässig. Eine gesperrte Adresse kann ohne Beschreibung in den Ergebnissen erscheinen, wenn andere Seiten auf sie verlinken.
Wo steht das noindex?
Als Meta-Tag im Kopf der HTML-Seite oder als HTTP-Header X-Robots-Tag. Beide wirken gleich.
Kann ich noindex in die robots.txt schreiben?
Google unterstützt das nicht. Nutze das Meta-Tag oder den X-Robots-Tag-Header.
Warum ist meine Seite trotz noindex noch in Google?
Oft ist sie zusätzlich in der robots.txt gesperrt. Dann kann Google das noindex nicht lesen. Entferne die Sperre, damit Google die Seite abrufen kann.
Wie halte ich ein PDF aus Google heraus?
Mit dem HTTP-Header X-Robots-Tag: noindex. Ein Meta-Tag ist bei PDFs nicht möglich.
Schützt die robots.txt vertrauliche Inhalte?
Nein. Sie ist kein Sicherheitsmechanismus. Nicht jeder Crawler hält sich daran, und die Datei ist für jeden lesbar. Vertrauliches gehört hinter einen Passwortschutz.
Wofür ist die robots.txt dann gut?
Sie steuert, welche Bereiche Crawler abrufen. So vermeidest du unnötige Last auf dem Server und lenkt Crawler weg von unwichtigen Adressen.
Darf ich CSS und JavaScript sperren?
Nur, wenn die Seite ohne diese Dateien kaum an Qualität verliert. Sonst kann Google die Seite schlechter verstehen.
Wie lange dauert es, bis eine noindex-Seite verschwindet?
Erst wenn Google die Seite erneut abruft, sieht es das noindex. Mit dem URL-Prüftool in der Search Console kannst du einen neuen Abruf anfordern.
Gilt noindex auch für Bing?
Das Meta-Tag mit robots gilt für alle Suchmaschinen, die noindex unterstützen. Mit googlebot richtest du es nur an Google.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.