Beide Dateien richten sich an Crawler und liegen meist im Hauptverzeichnis einer Website [2, 4]. Sie haben aber entgegengesetzte Aufgaben. Die Sitemap ist eine Einladung: Hier sind meine Seiten, bitte schau sie dir an. Die robots.txt ist eine Hausordnung: Diese Bereiche bitte nicht abrufen. Keine der beiden Dateien entscheidet am Ende, was in den Suchergebnissen steht. Im Glossar findest du die Begriffe unter Sitemap und robots.txt.
Was eine Sitemap leistet
Eine Sitemap ist laut Google eine Datei mit Informationen zu den Seiten, Videos und anderen Dateien einer Website. Sie hilft Suchmaschinen, die Website effizienter zu crawlen [1]. Am häufigsten ist die XML-Sitemap, eine Liste von Adressen mit dem Datum der letzten Änderung. Google nutzt dieses Datum aber nur, wenn es durchgängig stimmt. Gemeint ist die letzte wesentliche Änderung der Seite. Ein neues Jahr im Copyright-Vermerk zählt nicht dazu [2]. Die Angaben priority und changefreq ignoriert Google [2].
Eine einzelne Sitemap darf höchstens 50 MB unkomprimiert groß sein oder 50.000 Adressen enthalten. Größere Websites teilen sie auf mehrere Dateien auf und fassen sie in einer Sitemap-Indexdatei zusammen [2]. Die Adressen müssen vollständig und absolut sein, also mit https und Domain [2]. Eine Garantie gibt die Sitemap nicht. Google schreibt, dass es nicht garantieren kann, alle Elemente einer Sitemap zu crawlen und zu indexieren [1].
Nicht jede Website braucht eine. Google nennt als sinnvolle Fälle große Websites, neue Websites mit wenigen Links von außen und Websites mit vielen Videos, Bildern oder Nachrichten [1]. Kleine Websites mit etwa 500 Seiten oder weniger, die gut intern verlinkt sind, kommen oft ohne aus [1]. Mehr dazu steht in der Frage Was ist eine XML-Sitemap und braucht jede Website eine.
Was die robots.txt leistet
Die robots.txt steuert vor allem den Crawler-Verkehr und soll verhindern, dass eine Website durch zu viele Abrufe überlastet wird [3]. Sie ist ausdrücklich nicht dafür gedacht, Seiten aus der Google Suche herauszuhalten [3]. Eine gesperrte Adresse kann trotzdem in den Ergebnissen auftauchen, dann ohne Beschreibung, wenn andere Seiten auf sie verlinken [3]. Zum Entfernen aus dem Index gibt es noindex. Den Unterschied erklärt die Frage Was ist der Unterschied zwischen noindex und robots.txt.
Die Datei ist außerdem kein Schutz. Der Googlebot hält sich an die Regeln, andere Crawler müssen das nicht [3].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Wie beide zusammenarbeiten
In der robots.txt darfst du auf deine Sitemap verweisen. Eine Zeile wie Sitemap: https://www.beispiel.de/sitemap.xml genügt, und mehrere solcher Zeilen sind erlaubt [2]. Daneben kannst du die Sitemap im Sitemaps-Bericht der Search Console einreichen. Dort siehst du auch, wann Google sie abgerufen hat und ob es Fehler gab [2]. Wie das geht, beschreibt die Frage Wie reiche ich eine Sitemap bei Google ein.
Ein häufiger Fehler ist ein Widerspruch zwischen beiden Dateien: Eine Adresse steht in der Sitemap, ist aber in der robots.txt gesperrt. Google bekommt dann eine Einladung und ein Verbot für dieselbe Seite. Nach unserer Erfahrung entsteht das oft nach einem Relaunch, wenn die robots.txt der Testumgebung mit auf die Live-Website wandert. Prüfe nach jedem Umbau beide Dateien zusammen. In die Sitemap gehören nur Seiten, die in der Suche erscheinen sollen, und keine davon darf in der robots.txt gesperrt sein. Wenn Google trotzdem nicht indexiert, was es soll, hilft SEO NW mit der Leistung Indexierungsprobleme beheben.
Du bist nicht sicher, ob deine Sitemap und deine robots.txt zueinander passen? Bring beide Adressen in die gratis Sprechstunde mit. Alexander Müller schaut sie sich mit dir an.
- Organisation Informationen zu Sitemaps. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation Sitemap erstellen und einreichen. Google Search Central. Stand 15.07.2026. abgerufen am 31.10.2026
- Organisation Einführung in robots.txt. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation robots.txt-Datei erstellen und senden. Google Search Central. Stand 26.11.2025. abgerufen am 31.10.2026
Häufige Fragen
Brauche ich beides, Sitemap und robots.txt?
Nicht zwingend. Kleine, gut verlinkte Websites kommen oft ohne Sitemap aus, und ohne robots.txt darf ein Crawler alles abrufen. Für größere Websites lohnen sich beide.
Kann ich die Sitemap in der robots.txt angeben?
Ja, mit einer Zeile, die mit "Sitemap:" beginnt und die volle Adresse der Sitemap nennt. Mehrere Zeilen sind erlaubt.
Garantiert eine Sitemap die Indexierung?
Nein. Google kann nach eigener Aussage nicht garantieren, dass alle Elemente einer Sitemap gecrawlt und indexiert werden.
Wie groß darf eine Sitemap sein?
Höchstens 50 MB unkomprimiert oder 50.000 Adressen. Größere Websites teilen sie auf und nutzen eine Sitemap-Indexdatei.
Beachtet Google priority und changefreq?
Nein, beide Angaben ignoriert Google. Das Datum der letzten Änderung nutzt Google, wenn es verlässlich stimmt.
Kann ich mit der robots.txt eine Seite aus Google entfernen?
Nicht zuverlässig. Eine gesperrte Adresse kann ohne Beschreibung in den Ergebnissen erscheinen. Dafür ist noindex gedacht.
Darf eine Adresse in der Sitemap stehen, die in der robots.txt gesperrt ist?
Das widerspricht sich. Google darf die Seite dann nicht abrufen. Nimm sie aus der Sitemap oder heb die Sperre auf.
Wo liegen die beiden Dateien?
Die robots.txt muss im Hauptverzeichnis der Website liegen. Eine Sitemap darf in jedem Verzeichnis liegen. Ohne Einreichung in der Search Console deckt sie aber nur Adressen in ihrem eigenen Verzeichnis und darunter ab, deshalb liegt sie meist im Hauptverzeichnis.
Schützt die robots.txt vor fremden Crawlern?
Nein. Seriöse Crawler halten sich daran, andere nicht. Vertrauliche Bereiche brauchen einen Passwortschutz.
Welche Seiten gehören in die Sitemap?
Nur Seiten, die in der Suche erscheinen sollen, mit ihrer endgültigen Adresse. Weitergeleitete oder gesperrte Adressen gehören nicht hinein.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.