GEO-Lexikon

Was ist die robots.txt?

Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern von Suchmaschinen und KI-Anbietern mitteilt, welche Bereiche sie abrufen dürfen und welche nicht.

Kurz erklärt

Die robots.txt ist wie ein Schild an der Eingangstür: „Googlebot darf rein, Bot X bitte nicht.“ Seriöse Crawler halten sich daran, technisch erzwingen kann die Datei es aber nicht. Du findest sie immer unter deine-domain.de/robots.txt.

Stand:

Wie ist eine robots.txt aufgebaut?

Eine robots.txt besteht aus Regelgruppen. Jede Gruppe nennt einen Crawler (User-agent) und legt fest, was erlaubt (Allow) oder verboten (Disallow) ist. Seit 2022 ist das Format als Internetstandard RFC 9309 festgeschrieben.

User-agent: *
Allow: /

User-agent: GPTBot
Disallow: /

Sitemap: https://www.beispiel.de/sitemap.xml

Dieses Beispiel erlaubt allen Crawlern den Zugriff, sperrt aber den Trainings-Crawler GPTBot von OpenAI und nennt die Sitemap.

Was bedeutet die robots.txt für KI-Sichtbarkeit?

Die robots.txt entscheidet mit darüber, ob eine Website in KI-Antworten erscheinen kann. Sperrt sie etwa OAI-SearchBot, zeigt ChatGPT die Seite laut OpenAI nicht in seinen Suchantworten. Nach einer Änderung kann es laut OpenAI etwa 24 Stunden dauern, bis ChatGPT sie berücksichtigt.

Welche Fehler passieren in der robots.txt häufig?

  • Disallow: / für alle Crawler, oft ein Überbleibsel aus der Entwicklungsphase
  • KI-Crawler pauschal gesperrt, ohne zwischen Suche und Training zu unterscheiden
  • Wichtige Dateien wie CSS oder JavaScript gesperrt, sodass Seiten falsch dargestellt werden
  • Die Annahme, Disallow verhindere die Indexierung, dafür ist noindex zuständig

Verwandte Begriffe

Passende Artikel

← Alle Begriffe im GEO-Lexikon