Für die meisten Unternehmen ist ein komplettes Blockieren keine gute Idee. Wer alle KI-Crawler aussperrt, verschwindet auch aus der Suche in ChatGPT und ähnlichen Diensten, über die Besucher auf deine Website kommen können. Die großen Anbieter trennen aber zwischen Crawlern für das Training ihrer Modelle und Crawlern für die Suche. Du kannst also das Training ablehnen und trotzdem in KI-Antworten auftauchen. Wer Inhalte verkauft, etwa als Verlag oder mit bezahlten Datenbanken, wird anders abwägen als ein Handwerksbetrieb.
Welche KI-Crawler es gibt
OpenAI nutzt mehrere Kennungen, die du in der robots.txt getrennt steuern kannst [1]. OAI-SearchBot ist für die Suche zuständig und sorgt dafür, dass Websites in den Suchergebnissen von ChatGPT erscheinen. Seiten, die OAI-SearchBot aussperren, zeigt ChatGPT nicht in Suchantworten, höchstens noch als Navigationslink [1]. GPTBot sammelt dagegen Inhalte, die für das Training der KI-Modelle von OpenAI verwendet werden können. Wer GPTBot sperrt, signalisiert, dass die Inhalte nicht für das Training genutzt werden sollen [1]. OpenAI schreibt ausdrücklich, dass beide Einstellungen unabhängig voneinander sind [1].
Bei Google heißt die entsprechende Kennung Google-Extended. Damit legst du fest, ob Inhalte, die Google crawlt, für das Training künftiger Gemini-Modelle und für die Anbindung an die Google-Suche in Gemini-Apps genutzt werden dürfen [2]. Google-Extended hat laut Google keinen Einfluss darauf, ob eine Website in der Google-Suche erscheint, und ist kein Rankingsignal [2]. Einen eigenen Crawler gibt es dafür nicht. Google crawlt mit den bekannten Kennungen und liest Google-Extended nur als Steuerzeichen in der robots.txt [2]. Einen Überblick über weitere Crawler gibt das Glossar unter KI-Crawler, zu Apple der Beitrag Applebot-Extended.
Was die robots.txt leisten kann
Die robots.txt ist eine Bitte an Crawler. Der Standard RFC 9309 hält fest, dass die Regeln keine Form der Zugriffsberechtigung sind [3]. Ob ein Crawler sie befolgt, entscheidet sein Betreiber. Wer Inhalte wirklich schützen will, braucht eine Anmeldung oder eine Sperre auf dem Server. Die Regeln wirken außerdem nicht sofort. OpenAI nennt für die Suche etwa einen Tag, bis eine Änderung der robots.txt greift [1].
Eine Ausnahme gilt für Abrufe, die ein Nutzer auslöst. Fragt jemand ChatGPT nach einer bestimmten Seite, kann der Abruf über die Kennung ChatGPT-User laufen. OpenAI schreibt, dass für solche vom Nutzer ausgelösten Aktionen die robots.txt unter Umständen nicht gilt [1]. Wie die Datei aufgebaut ist, erklärt die Frage Brauche ich eine robots.txt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Wann sich das Blockieren lohnt
Sperren kann sinnvoll sein, wenn deine Inhalte dein Produkt sind: Fachartikel hinter einer Bezahlschranke, Datenbanken, Kurse oder eigene Studien. Dann willst du nicht, dass ein Modell sie nachbaut. Auch wer grundsätzlich nicht möchte, dass Texte in Trainingsdaten landen, sperrt GPTBot und Google-Extended. Für Dienstleister, Handwerker und Händler überwiegt meist der Nutzen, in KI-Antworten genannt zu werden. Bei ihnen raten wir in der Regel dazu, die Crawler für die Suche zuzulassen und über das Training im Einzelfall zu entscheiden.
Wie du Inhalte so aufbereitest, dass sie in KI-Antworten auftauchen, beschreibt SEO FAQ, kurz GEO. Einen Einstieg gibt die Frage Wie kommt meine Website in ChatGPT. Ob du in deinen Server-Logs schon Besuche von KI-Crawlern hast, zeigt der Beitrag KI-Crawler im Server-Log erkennen. Die Abwägung im Detail steht unter KI-Crawler blockieren oder zulassen.
Du willst wissen, welche Crawler deine Website besuchen und was du in der robots.txt einstellen solltest? Stell die Frage in der gratis Sprechstunde. Wir schauen gemeinsam auf deine robots.txt.
- Organisation Overview of OpenAI Crawlers. OpenAI. Stand laufend. abgerufen am 31.10.2026
- Organisation Google's common crawlers: Google-Extended. Google Search Central. Stand 30.10.2026. abgerufen am 31.10.2026
- Gesetz RFC 9309: Robots Exclusion Protocol. Internet Engineering Task Force (IETF). Stand 09/2022. abgerufen am 31.10.2026
Häufige Fragen
Was ist ein KI-Crawler?
Ein Programm, das Websites abruft, um Inhalte für KI-Dienste zu sammeln, etwa für das Training von Modellen oder für Suchantworten. Bekannte Beispiele sind GPTBot und OAI-SearchBot von OpenAI.
Verschwinde ich aus Google, wenn ich Google-Extended sperre?
Nein. Laut Google hat Google-Extended keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Rankingsignal.
Was ist der Unterschied zwischen GPTBot und OAI-SearchBot?
GPTBot sammelt Inhalte, die für das Training der Modelle von OpenAI genutzt werden können. OAI-SearchBot sorgt dafür, dass Websites in der Suche von ChatGPT erscheinen. Beide lassen sich getrennt steuern.
Kann ich das Training sperren und trotzdem in ChatGPT erscheinen?
Ja. OpenAI nennt genau dieses Beispiel: OAI-SearchBot zulassen und GPTBot sperren.
Wie sperre ich GPTBot?
In der robots.txt mit einer eigenen Gruppe für den User-Agent GPTBot und der Regel disallow: /. Für Google-Extended gilt dasselbe mit dem Namen Google-Extended.
Halten sich alle KI-Crawler an die robots.txt?
Darauf kannst du dich nicht verlassen. Laut Standard RFC 9309 sind die Regeln der robots.txt keine Zugriffsberechtigung. Wer Inhalte wirklich schützen will, braucht eine Sperre auf dem Server oder eine Anmeldung.
Wie schnell wirkt eine Sperre?
Bei der Suche von OpenAI dauert es nach Angabe von OpenAI etwa einen Tag, bis eine Änderung der robots.txt berücksichtigt wird.
Gilt die robots.txt auch für ChatGPT-User?
Nicht immer. OpenAI schreibt, dass für Abrufe, die ein Nutzer in ChatGPT auslöst, die robots.txt unter Umständen nicht gilt.
Werden schon trainierte Inhalte gelöscht, wenn ich sperre?
Die Sperre wirkt für künftige Abrufe. Was ein Anbieter mit bereits gesammelten Daten macht, regelt die robots.txt nicht.
Hilft eine llms.txt statt der robots.txt?
Die llms.txt ist ein Vorschlag, KI-Diensten eine Übersicht der Inhalte zu geben, und ersetzt keine Sperre. Was sie bringt, erklärt die Frage zur llms.txt.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.