Welche Sperre die richtige ist, hängt davon ab, was du erreichen willst. Soll eine Seite nicht in den Suchergebnissen auftauchen, setzt du noindex. Soll niemand außer bestimmten Personen die Seite sehen, schützt du sie mit einem Passwort. Soll der Googlebot einen Bereich gar nicht erst abrufen, etwa um den Server zu entlasten, nimmst du die robots.txt. Viele verwechseln die beiden ersten Ziele mit dem dritten, und dann steht eine gesperrte Seite trotzdem in Google.
noindex: aus den Suchergebnissen heraushalten
Mit noindex sagst du Google, dass eine Seite nicht in den Index soll. Du setzt dafür im head der Seite das Meta-Tag <meta name="robots" content="noindex"> oder, nur für Google, <meta name="googlebot" content="noindex"> [1]. Bei PDFs, Bildern oder anderen Dateien ohne HTML-Kopf sendet der Server stattdessen den HTTP-Header X-Robots-Tag: noindex [1]. Beide Wege wirken gleich [1]. Eine Anweisung noindex in der robots.txt unterstützt Google dagegen nicht [1]. Die meisten CMS haben dafür einen Schalter, in WordPress etwa in den gängigen SEO-Plugins je Seite. Den Begriff erklärt das Glossar unter noindex, den Header unter X-Robots-Tag.
Wichtig ist eine Bedingung: Die Seite darf nicht gleichzeitig in der robots.txt gesperrt sein. Sonst kann der Googlebot das noindex gar nicht lesen, und die Seite kann trotzdem in den Ergebnissen erscheinen, etwa wenn andere Seiten auf sie verlinken [1]. Google entfernt die Seite außerdem erst, wenn der Googlebot sie erneut gecrawlt hat. Je nach Seite kann das mehrere Monate dauern [1]. Mit dem URL-Prüftool kannst du einen neuen Crawl anstoßen und sehen, ob das noindex im abgerufenen HTML ankommt [1].
Passwortschutz für Vertrauliches
Interne Bereiche, Kundendaten oder Testumgebungen gehören hinter ein Passwort, etwa per HTTP-Authentifizierung auf dem Server oder über den Login des CMS. Google nennt den Passwortschutz neben noindex als Weg, eine Seite aus der Suche herauszuhalten [2]. Er hat einen Vorteil: Er hält auch Crawler und Menschen ab, die sich an keine Regel halten. Denn die robots.txt ist für Crawler nicht verbindlich. Der Googlebot und andere seriöse Crawler befolgen sie, andere womöglich nicht [2].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
robots.txt: Crawling steuern
Die robots.txt ist dafür da, den Crawler-Verkehr zu steuern und den Server vor Überlastung zu schützen. Sie ist laut Google kein Mittel, um Seiten aus der Google Suche auszuschließen [2]. Eine gesperrte Adresse kann trotzdem in den Ergebnissen stehen, dann ohne Beschreibung [2]. Sinnvoll ist sie für Bereiche wie interne Suchergebnisse oder Filterseiten, die Crawler nicht durcharbeiten sollen. Den Unterschied fasst die Frage Was ist der Unterschied zwischen noindex und robots.txt zusammen, ob du die Datei überhaupt brauchst, Brauche ich eine robots.txt.
Wenn es schnell gehen muss
Steht eine Seite schon in Google und muss sofort verschwinden, hilft das Entfernen-Tool der Search Console. Es blendet die Adresse für etwa sechs Monate aus [3]. Danach kann sie wieder erscheinen, das Werkzeug ist also nur ein erster Schritt [3]. Für eine dauerhafte Lösung löschst du den Inhalt, sodass der Server 404 oder 410 meldet, schützt die Seite mit einem Passwort oder setzt noindex, was Google als weniger sicher einstuft [3]. Mit der Option für ein Präfix lassen sich auch ganze Verzeichnisse auf einmal ausblenden [3]. Den genauen Ablauf beschreibt Wie entferne ich eine Seite aus dem Google-Index.
Du bist unsicher, ob deine Sperre wirkt oder ob gerade wichtige Seiten aus Versehen gesperrt sind? Stell die Frage in der gratis Sprechstunde, Alexander Müller prüft dort mit dir robots.txt und noindex.
- Organisation Aufnahme in den Suchindex mithilfe von noindex blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
- Organisation Einführung zu robots.txt-Dateien. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation Tool zum Entfernen und für SafeSearch-Meldungen. Google, Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
Häufige Fragen
Reicht die robots.txt, um eine Seite aus Google herauszuhalten?
Nein. Google schreibt, dass die robots.txt kein Mittel ist, um Seiten aus der Suche auszuschließen. Eine gesperrte Adresse kann ohne Beschreibung trotzdem erscheinen.
Wie setze ich noindex?
Mit einem robots-Meta-Tag mit dem Wert noindex im head der Seite oder mit dem HTTP-Header X-Robots-Tag: noindex. Beide wirken gleich.
Darf ich noindex und eine robots.txt-Sperre kombinieren?
Nein. Ist die Seite in der robots.txt gesperrt, kann der Googlebot das noindex nicht lesen. Die Seite kann dann trotzdem in den Ergebnissen bleiben.
Wie sperre ich ein PDF für Google?
Über den HTTP-Header X-Robots-Tag: noindex, den der Server beim Ausliefern der Datei sendet. Ein Meta-Tag lässt sich in ein PDF nicht einbauen.
Funktioniert noindex in der robots.txt?
Nein, Google unterstützt diese Regel nicht.
Wie lange dauert es, bis eine Seite mit noindex verschwindet?
Google entfernt sie erst nach dem nächsten Crawlen. Je nach Seite kann das laut Google mehrere Monate dauern. Über das URL-Prüftool kannst du einen Crawl anstoßen.
Halten sich alle Suchmaschinen an noindex?
Nicht alle interpretieren noindex gleich. Eine Seite kann deshalb bei anderen Anbietern weiter auftauchen.
Wie schütze ich eine Testumgebung?
Mit einem Passwort, etwa per HTTP-Authentifizierung. Das hält auch Crawler ab, die sich nicht an die robots.txt halten.
Wie lange wirkt das Entfernen-Tool?
Etwa sechs Monate. Danach kann die Seite wieder erscheinen, wenn du sie nicht dauerhaft entfernt, geschützt oder auf noindex gesetzt hast.
Kann ich ein ganzes Verzeichnis auf einmal ausblenden?
Ja, das Entfernen-Tool bietet eine Option für alle Adressen mit einem bestimmten Präfix. Dazu zählen die Varianten mit und ohne www sowie http und https.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.