Crawling und Indexierung sind zwei Schritte nacheinander. Beim Crawling findet Google eine Adresse und lädt die Seite herunter. Bei der Indexierung wertet Google aus, was auf der Seite steht, und speichert die Informationen im Google-Index [1]. Erst danach folgt der dritte Schritt, die Ausspielung in den Suchergebnissen. Laut Google durchläuft nicht jede Seite alle drei Schritte [1]. Die Begriffe im Einzelnen erklärt das Glossar unter Crawling und Indexierung.
Crawling: Google ruft die Seite ab
Google findet neue Adressen über Links von Seiten, die es schon kennt, und über Sitemaps [1]. Das Programm, das die Seiten abruft, heißt Googlebot. Es gibt ihn in einer Fassung für Smartphones und einer für Computer. Weil Google bei den meisten Websites die mobile Fassung indexiert, kommen die meisten Abrufe vom Smartphone-Crawler [2]. Im Schnitt ruft der Googlebot eine Website nicht öfter als einmal alle paar Sekunden ab [2]. Wann und wie oft er welche Seiten besucht, entscheidet Google mit Algorithmen. Antwortet ein Server mit Fehlern, crawlt Google langsamer, um ihn nicht zu überlasten [1].
Zum Crawling gehört auch das Rendern. Google stellt die Seite mit einer aktuellen Version von Chrome dar und führt dabei JavaScript aus [1]. Inhalte, die erst per JavaScript nachgeladen werden, sieht Google also erst nach diesem Schritt. Von einer HTML-Datei liest der Googlebot die ersten 2 MB, gemessen ohne Komprimierung [2].
Nicht gecrawlt werden Seiten, die per robots.txt gesperrt sind oder nur nach einer Anmeldung erreichbar sind. Auch Serverprobleme und Netzwerkfehler verhindern den Abruf [1]. Wie Google dabei vorgeht und wie du das Crawling steuerst, beschreibt der Ratgeber Crawling verstehen.
Indexierung: Google wertet die Seite aus
Bei der Indexierung analysiert Google Text, Bilder und Videos einer Seite und speichert die Informationen im Index [1]. Dabei prüft Google auch, ob die Seite ein Duplikat ist. Sehr ähnliche Seiten fasst Google zu einer Gruppe zusammen und wählt eine davon als kanonische Seite, die in den Ergebnissen erscheinen kann. Die übrigen gelten als alternative Fassungen [1]. Für die kanonische Seite erfasst Google zusätzlich Signale wie Sprache, Land und Nutzerfreundlichkeit [1].
Eine Aufnahme in den Index garantiert Google nicht. Häufige Gründe, warum eine gecrawlte Seite nicht indexiert wird, sind geringe Qualität des Inhalts, Anweisungen im robots-Meta-Tag wie noindex und ein Aufbau der Website, der die Indexierung erschwert [1]. In der Search Console steht eine solche Seite dann als "Gecrawlt, zurzeit nicht indexiert". Kennt Google die Adresse, hat sie aber noch nicht abgerufen, lautet die Meldung "Gefunden, zurzeit nicht indexiert" [3]. An diesen beiden Meldungen siehst du den Unterschied zwischen den Schritten direkt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Warum der Unterschied für dich wichtig ist
Wer eine Seite aus der Suche heraushalten will, muss wissen, an welchem Schritt er ansetzt. Eine Sperre in der robots.txt verhindert das Crawling. Die Adresse kann trotzdem im Index landen, wenn andere Seiten darauf verlinken [3]. Ein noindex wirkt dagegen bei der Indexierung. Damit Google es sieht, darf die Seite nicht per robots.txt gesperrt sein und muss für den Crawler erreichbar bleiben [4]. Sperrst du eine Seite in der robots.txt und setzt zusätzlich noindex, liest Google die Anweisung nie.
Auch bei der Fehlersuche hilft die Trennung. Fehlen Seiten im Index, prüfst du zuerst, ob Google sie überhaupt abrufen kann, und danach, warum es sie nicht aufnimmt. Mehr dazu in der Frage Warum sind meine Seiten nicht im Index. Bei sehr großen Websites kommt das Crawl-Budget dazu, also die Frage, wie viele Seiten Google in welcher Zeit abruft. Das behandelt der Ratgeber Crawl-Budget optimieren. Die technische Seite übernimmt SEO NW als Technisches SEO.
Du weißt nicht, ob deine Seiten am Crawling oder an der Indexierung hängen? Stell die Frage in der gratis Sprechstunde. Alexander Müller liest mit dir die Berichte der Search Console.
- Organisation Umfassender Leitfaden zur Funktionsweise der Google Suche. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation Was ist der Googlebot?. Google Search Central. Stand 06.02.2026. abgerufen am 31.10.2026
- Organisation Bericht zur Seitenindexierung. Search Console-Hilfe. Stand laufend. abgerufen am 31.10.2026
- Organisation Aufnahme in den Google-Suchindex mit "noindex" blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
Häufige Fragen
Was ist Crawling?
Das Abrufen einer Seite durch einen Crawler wie den Googlebot. Google findet die Adressen über Links und Sitemaps und lädt die Inhalte herunter.
Was ist Indexierung?
Die Auswertung einer gecrawlten Seite und die Speicherung ihrer Informationen im Google-Index. Nur indexierte Seiten können in den Suchergebnissen erscheinen.
Kommt eine gecrawlte Seite automatisch in den Index?
Nein. Google garantiert keine Indexierung. Häufige Gründe dagegen sind geringe Qualität, ein noindex oder ein Aufbau, der die Indexierung erschwert.
Kann eine Seite im Index sein, ohne gecrawlt zu werden?
Ja, die Adresse kann aufgenommen werden, etwa wenn eine robots.txt das Crawling sperrt, andere Seiten aber darauf verlinken. Dann kennt Google den Inhalt nicht.
Was ist der Googlebot?
Der Crawler der Google Suche. Es gibt ihn als Smartphone- und als Desktop-Fassung, die meisten Abrufe kommen von der Smartphone-Fassung.
Wie oft crawlt Google meine Website?
Im Schnitt nicht öfter als einmal alle paar Sekunden. Wie oft einzelne Seiten abgerufen werden, entscheidet Google selbst.
Was bedeutet "Gefunden, zurzeit nicht indexiert"?
Google kennt die Adresse, hat die Seite aber noch nicht gecrawlt. Das Problem liegt also vor dem Crawling.
Was bedeutet "Gecrawlt, zurzeit nicht indexiert"?
Google hat die Seite abgerufen und sich vorerst gegen die Aufnahme in den Index entschieden.
Liest Google JavaScript beim Crawling?
Ja. Google rendert Seiten mit einer aktuellen Chrome-Version und führt dabei JavaScript aus. Inhalte, die nur per JavaScript erscheinen, sieht Google erst nach diesem Schritt.
Warum crawlt Google meine Seite langsamer?
Antwortet dein Server mit Fehlern wie 500, verlangsamt Google das Crawling, um ihn nicht zu überlasten. Prüf die Crawling-Statistiken in der Search Console.
Wie viel einer Seite liest der Googlebot?
Bei HTML-Dateien die ersten 2 MB ohne Komprimierung. Jede eingebundene Datei wie CSS oder JavaScript zählt einzeln.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.