GEO-Lexikon
Was sind KI-Crawler?
KI-Crawler sind automatische Programme von KI-Anbietern, die Websites besuchen und Inhalte abrufen, um KI-Modelle zu trainieren, einen Suchindex für KI-Suchen aufzubauen oder konkrete Nutzerfragen zu beantworten.
Kurz erklärt
So wie der Googlebot Seiten für die Google-Suche liest, lesen KI-Crawler Seiten für ChatGPT, Claude, Gemini oder Perplexity. Ob sie das dürfen, legst du in der robots.txt deiner Website fest.
Stand:
Welche Arten von KI-Crawlern gibt es?
KI-Crawler lassen sich nach ihrem Zweck in drei Gruppen einteilen:
- Such-Crawler: bauen einen Index für KI-Suchen auf. Wer sie sperrt, erscheint dort nicht als Quelle.
- Nutzer-Crawler: rufen eine Seite ab, wenn ein Nutzer gerade eine konkrete Frage stellt.
- Trainings-Crawler: sammeln Inhalte, die zum Training künftiger Modelle genutzt werden können.
Welche KI-Crawler sind wichtig?
| Anbieter | Suche | Nutzeranfragen | Training |
|---|---|---|---|
| OpenAI | OAI-SearchBot | ChatGPT-User | GPTBot |
| Anthropic | Claude-SearchBot | Claude-User | ClaudeBot |
| Perplexity | PerplexityBot | Perplexity-User | |
| Googlebot | Google-Extended (nur Steuerung) |
Quellen: OpenAI, Dokumentation von Anthropic (Stand Februar 2026, berichtet von PPC Land).
Google-Extended ist kein eigener Crawler, sondern ein Kennzeichen für die robots.txt. Es steuert, ob Inhalte für Gemini-Apps und Vertex AI genutzt werden, und beeinflusst laut Google nicht die Aufnahme oder das Ranking in der Google-Suche.
Welche KI-Crawler sollte ein Unternehmen erlauben?
Wer in KI-Antworten sichtbar sein möchte, sollte mindestens die Such-Crawler und den Googlebot erlauben. Ob Trainings-Crawler erlaubt werden, ist eine eigene Entscheidung. Erlaubte Trainings-Crawler erhöhen die Chance, dass ein Modell ein Unternehmen auch ohne Websuche kennt. Wichtig: Auch Firewalls und Bot-Schutz im CDN können KI-Crawler blockieren, ohne dass es in der robots.txt steht.