X‑robots-tag – FAQ – häufig gestellte SEO Fragen

Der X-Robots-Tag ist ein HTTP-Header, der es Website-Besitzern ermöglicht, den Zugriff von Suchmaschinen-Crawlern auf bestimmte Seiten ihrer Website zu steuern. Es wird verwendet, um Suchmaschinen anzuweisen, bestimmte Aktivitäten wie das Indexieren, Crawlen oder Folgen von Links auf einer bestimmten Seite zu unterbinden.

Der X-Robots-Tag wird durch das Hinzufügen eines HTTP-Headers in die Kopfzeile einer Website-Seite implementiert. Dieser Tag gibt den Suchmaschinen-Crawlern Anweisungen, was auf der Seite ausgeführt werden soll. Der Tag kann verwendet werden, um bestimmte Seiten auszuschließen, Indexierung und Crawling zu blockieren oder Suchmaschinen anzuweisen, Links zu folgen oder nicht zu folgen.

Der X-Robots-Tag ist wichtig für SEO, da er Suchmaschinen-Crawlern genaue Anweisungen gibt, welche Seiten und Inhalte auf einer Website indexiert und angezeigt werden sollen. Wenn Suchmaschinen-Crawler auf Seiten zugreifen, die vom X-Robots-Tag blockiert werden, kann dies Auswirkungen auf die Indexierung, den Traffic und die Rankings einer Website haben.

Es gibt vier Arten von X-Robots-Tags: noindex, nofollow, noarchive und nosnippet. Der noindex-Tag blockiert Suchmaschinen-Crawler von der Indexierung einer Seite, während der nofollow-Tag verhindert, dass Suchmaschinen Links auf der Seite folgen. Der noarchive-Tag verhindert, dass Suchmaschinen eine Kopie der Seite im Cache speichern, während der nosnippet-Tag verhindert, dass Suchmaschinen einen Textausschnitt der Seite in den Suchergebnissen anzeigen.

Der X-Robots-Tag wird durch das Hinzufügen des HTTP-Headers „X-Robots-Tag“ in die Kopfzeile einer Seite implementiert. Es gibt zwei Möglichkeiten, den X-Robots-Tag zu implementieren: über den HTTP-Header oder über das Meta-Tag. Die Implementierung des X-Robots-Tags über das Meta-Tag ist jedoch veraltet und wird nicht mehr empfohlen.