Nein, eine robots.txt ist keine Pflicht. Liefert dein Server unter /robots.txt einen 404-Fehler, behandelt Google das so, als gäbe es keine Einschränkungen, und crawlt alles, was es findet [2]. Für eine kleine Website mit wenigen Seiten ist das völlig in Ordnung. Trotzdem legen wir in unseren Projekten fast immer eine robots.txt an, weil sie wenig Arbeit macht und an ein paar Stellen hilft.
Wofür die robots.txt gedacht ist
Die robots.txt ist eine Textdatei im Stammverzeichnis deiner Website. Sie sagt Crawlern, welche Bereiche sie abrufen dürfen und welche nicht. Google beschreibt ihren Hauptzweck so: Sie steuert den Crawler-Traffic und soll vor allem verhindern, dass deine Website mit Anfragen überlastet wird [1]. Was sie im Einzelnen enthält, erklärt das Glossar unter robots.txt.
Wichtig ist, was die Datei nicht leistet. Laut Google ist sie kein Mittel, um Seiten aus der Google Suche herauszuhalten [1]. Eine gesperrte Seite kann trotzdem mit ihrer Adresse in den Ergebnissen auftauchen, dann allerdings ohne Beschreibung, etwa wenn andere Seiten auf sie verlinken [1]. Wer eine Seite wirklich aus dem Index haben will, nutzt noindex oder einen Passwortschutz [1]. Den Unterschied erklärt die Frage Was ist der Unterschied zwischen noindex und robots.txt.
Wann sich eine robots.txt lohnt
Eine robots.txt lohnt sich, wenn du Crawler von Bereichen fernhalten willst, die für die Suche keinen Wert haben. Typische Beispiele sind interne Suchergebnisseiten, Filterkombinationen in Shops, Warenkörbe oder Testverzeichnisse. Gerade Shops erzeugen über Filter schnell Zehntausende Adressen, die der Googlebot sonst abarbeitet. Außerdem kannst du in der Datei mit einer Sitemap-Zeile auf deine XML-Sitemap hinweisen. Die Angabe muss eine vollständige URL mit Protokoll und Host sein, und mehrere Sitemap-Zeilen sind erlaubt [2].
Auch für KI-Crawler spielt die Datei inzwischen eine Rolle, weil viele Anbieter eigene Crawler-Namen nennen, die du dort sperren oder zulassen kannst. Ob das sinnvoll ist, beantwortet die Frage Soll ich KI-Crawler blockieren. Beachte dabei, dass nicht alle Crawler sich an die Regeln halten [1].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Was du über die Technik wissen solltest
Die Datei muss im Stammverzeichnis liegen, also unter https://www.beispiel.de/robots.txt. Die Regeln darin gelten nur für genau diesen Host, dieses Protokoll und diesen Port. Eine Subdomain wie shop.beispiel.de braucht eine eigene Datei [2]. Google liest höchstens 500 KiB, alles darüber ignoriert es, und speichert die Datei meist bis zu einem Tag zwischen [2]. Eine Änderung wirkt also nicht sofort.
Eine einfache robots.txt für eine Unternehmenswebsite besteht oft nur aus drei Zeilen: einer Zeile "User-agent: *" für alle Crawler, einer Disallow-Zeile für einen Bereich wie die interne Suche und der Sitemap-Zeile. Mehr braucht es selten. Sperre außerdem keine JavaScript-Dateien, an denen der Inhalt einer Seite hängt, denn Google rendert JavaScript aus blockierten Dateien nicht [3]. Je länger die Datei wird, desto größer ist die Gefahr, dass eine Regel aus Versehen wichtige Seiten trifft. Teste jede neue Regel deshalb vor dem Hochladen, etwa mit dem robots.txt-Bericht in der Search Console.
Gefährlich sind Serverfehler. Antwortet der Server auf /robots.txt mit einem 5xx-Fehler, unterbricht Google das Crawling der Website für die ersten 12 Stunden und nutzt danach bis zu 30 Tage lang die letzte funktionierende Version [2]. Eine fehlende Datei ist also harmlos, eine fehlerhafte Antwort des Servers nicht. Nach unserer Erfahrung ist der häufigste Fehler trotzdem ein anderer: Nach einem Relaunch bleibt die Zeile "Disallow: /" aus der Testumgebung stehen und sperrt die ganze Website. Weitere Stolperfallen beschreibt der Ratgeber robots.txt-Fehler vermeiden, den Aufbau Schritt für Schritt robots.txt richtig schreiben. Für WordPress gibt es den eigenen Ratgeber robots.txt in WordPress.
Du willst wissen, ob deine robots.txt etwas sperrt, das in die Suche gehört? Stell die Frage in der gratis Sprechstunde. Alexander Müller liest die Datei mit dir durch.
- Organisation Einführung in robots.txt. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation So interpretiert Google die robots.txt-Spezifikation. Google Search Central. Stand 27.10.2026. abgerufen am 31.10.2026
- Organisation Grundlagen der JavaScript-SEO. Google Search Central. Stand 04.03.2026. abgerufen am 31.10.2026
Häufige Fragen
Was passiert, wenn meine Website keine robots.txt hat?
Google behandelt einen 404-Fehler bei /robots.txt so, als gäbe es keine Einschränkungen, und crawlt die Website normal. Eine fehlende Datei schadet also nicht.
Kann ich mit der robots.txt Seiten aus Google entfernen?
Nein. Laut Google ist die robots.txt kein Mittel, um Seiten aus der Suche auszuschließen. Dafür nimmst du noindex oder einen Passwortschutz.
Warum erscheint eine gesperrte Seite trotzdem in Google?
Google kann die Adresse einer gesperrten Seite indexieren, etwa wenn andere Seiten darauf verlinken. Sie erscheint dann ohne Beschreibung, weil Google den Inhalt nicht lesen durfte.
Wo muss die robots.txt liegen?
Im Stammverzeichnis des Hosts, also direkt unter der Domain. Dateien in Unterverzeichnissen beachtet Google nicht.
Gilt die robots.txt auch für Subdomains?
Nein. Die Regeln gelten nur für den Host, das Protokoll und den Port, unter dem die Datei liegt. Jede Subdomain braucht eine eigene robots.txt.
Wie schnell wirkt eine Änderung?
Google speichert die Datei meist bis zu einem Tag zwischen. Eine Änderung greift deshalb nicht sofort.
Wie groß darf die robots.txt sein?
Google liest höchstens 500 KiB. Was darüber hinausgeht, wird ignoriert. Normale Dateien sind weit kleiner.
Was passiert bei einem Serverfehler auf /robots.txt?
Bei einem 5xx-Fehler pausiert Google das Crawling zunächst für 12 Stunden und nutzt danach bis zu 30 Tage die letzte funktionierende Version. Ein dauerhafter Serverfehler an dieser Stelle ist deshalb ernster als eine fehlende Datei.
Soll die Sitemap in die robots.txt?
Das ist sinnvoll. Mit der Zeile Sitemap und der vollständigen Adresse weist du alle Crawler auf deine Sitemap hin. Mehrere Sitemap-Zeilen sind erlaubt.
Halten sich alle Crawler an die robots.txt?
Nein. Google weist selbst darauf hin, dass nicht alle Crawler die Regeln befolgen. Vertrauliche Bereiche gehören hinter ein Passwort.
Soll ich JavaScript-Dateien sperren?
Nein. Google rendert JavaScript aus gesperrten Dateien nicht. Hängt der Inhalt einer Seite an solchen Skripten, sieht Google ihn dann womöglich gar nicht.
Was ist der häufigste Fehler in der robots.txt?
Nach unserer Erfahrung ein vergessenes "Disallow: /" aus der Testumgebung nach dem Livegang. Diese Zeile sperrt die ganze Website für alle Crawler, die sich an die Regeln halten.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.