News

Meta stoppt die Crawling-Klausel: Was Unternehmen jetzt tun sollten

  • Lesedauer 9 Min.
  • Für wen Unternehmer · Selbstständige · Marketing
  • Thema Meta Crawler · robots.txt
  • Stand

Kurz zusammengefasst

Meta hat am 5. November 2026 seine neuen Geschäftsbedingungen pausiert. Sie hätten Meta erlaubt, die Websites aller Unternehmen zu crawlen, die Facebook-Seiten, Instagram-Business-Konten oder Meta-Werbung nutzen. Bis auf Weiteres gelten die alten Bedingungen. Du solltest die Pause trotzdem nutzen: Lege in deiner robots.txt fest, welche der fünf Meta-Crawler deine Seite lesen dürfen. Der Crawler meta-webindexer sollte erlaubt bleiben, denn er entscheidet, ob Meta AI dich als Quelle nennen kann.

Was hat Meta geändert und warum ist es gestoppt?

Meta wollte seine Geschäftsbedingungen für Werbe- und Business-Produkte so ändern, dass es Websites crawlen darf, die mit einem Business-Konto verknüpft sind. Nach Protesten von Verlagen, zwei Gerichtsbeschlüssen und einer Untersuchung der britischen Wettbewerbsbehörde hat Meta die Änderungen am 5. November 2026 auf unbestimmte Zeit pausiert.

Betroffen waren laut Nieman Lab vier Regelwerke: die Commercial Terms, die Product Catalog Terms, die Self-Serve Ad Terms und die Ad Creative Generative AI Terms. Die Commercial Terms gelten für jede geschäftliche Nutzung von Meta-Produkten, also schon dann, wenn du eine Facebook-Seite für dein Unternehmen betreibst.

Chronologie der Meta-Crawling-Klausel (Oktober bis November 2026)
DatumWas passiert ist
Oktober 2026Meta kündigt neue Geschäftsbedingungen an, gültig ab 30. Oktober. Sie erlauben automatisierten Werkzeugen, verknüpfte Websites zu indexieren, zu speichern, zu analysieren und zu crawlen.
Mitte OktoberNach Kritik streicht Meta das Wort „trainieren“ und beschränkt die Nutzung auf Werbe- und Business-Produkte.
28. OktoberEin norwegisches Gericht stoppt die Bedingungen vorläufig, auf Antrag von 180 norwegischen Medienunternehmen.
30. OktoberMeta verschiebt den Start auf den 20. November. Die britische Wettbewerbsbehörde CMA leitet eine Untersuchung ein.
Bis Anfang NovemberAuch ein Gericht in Brasilien erlässt eine einstweilige Verfügung. Zwei US-Senatoren fordern Meta auf, die Bedingungen zurückzuziehen.
5. NovemberMeta pausiert alle Änderungen. Sie treten nicht am 20. November in Kraft, die bisherigen Bedingungen gelten weiter.

Quellen: Nieman Lab, Associated Press, The Next Web. Stand: 6. November 2026.

Was hätte die Klausel für Unternehmen bedeutet?

Die Klausel hätte Meta ein vertragliches Recht gegeben, deine Website regelmäßig automatisch abzurufen und die Inhalte für Werbe- und Business-Produkte zu nutzen. Zugestimmt hättest du allein dadurch, dass du Meta-Produkte geschäftlich weiter nutzt.

  • Zustimmung durch Nutzung: Eine eigene Einwilligung oder Vergütung war nicht vorgesehen. Wer eine Facebook-Seite betreibt oder Anzeigen schaltet, hätte die Bedingungen automatisch akzeptiert.
  • Unklare Rolle der robots.txt: Meta erklärte öffentlich, Website-Betreiber könnten das Crawling weiter per robots.txt steuern. In den Bedingungen selbst stand das laut Search Engine Journal aber nicht.
  • Test-Zugänge: Laut Search Engine Journal hätte Meta auch Testzugänge anlegen dürfen, um Seiten zu crawlen, die zu deinen Produkten und Leistungen gehören.
  • Kartellrechtliche Bedenken: Der deutsche Kartellrechtler Thomas Höppner sah darin gegenüber Nieman Lab auf den ersten Blick einen Verstoß gegen EU-Wettbewerbsrecht. Die EU-Kommission hat die Bedingungen mit Meta besprochen.

Für die meisten Unternehmen war das Problem weniger der einzelne Abruf als die Grundsatzfrage: Wer entscheidet, was mit Website-Inhalten passiert? Genau diese Frage kannst du unabhängig von Metas Bedingungen schon heute selbst beantworten.

Welche Meta-Crawler gibt es und wofür sind sie da?

Meta betreibt fünf Crawler mit unterschiedlichen Aufgaben. Laut Metas Entwickler-Dokumentation lässt sich jeder einzeln in der robots.txt steuern, zwei davon können die Datei in bestimmten Fällen aber umgehen.

Die Meta-Crawler im Überblick (Stand November 2026)
CrawlerZweck laut MetaHält sich an robots.txt?Empfehlung
meta-webindexerVerbessert die Suchergebnisse von Meta AI. Erlaubt Meta, deine Inhalte in Antworten zu zitieren und zu verlinken.JaErlauben, wenn du in Meta AI sichtbar sein willst
facebookexternalhitLädt Titel, Beschreibung und Vorschaubild, wenn jemand einen Link von dir teilt.Nicht immer, etwa bei SicherheitsprüfungenErlauben, sonst fehlen Link-Vorschauen
meta-externalfetcherRuft einzelne Links ab, wenn ein Nutzer das in einer KI-Funktion anfordert.Nicht immer, da vom Nutzer ausgelöstErlauben
meta-externaladsVerbessert Werbe- und andere Business-Produkte.JaDeine Entscheidung, eher erlauben, wenn du Meta-Anzeigen schaltest
meta-externalagentTrainiert KI-Basismodelle oder verbessert Produkte durch direktes Indexieren.JaDeine Entscheidung (siehe unten)

Quelle: Meta for Developers, Web Crawlers. Die Empfehlungen stammen von KIdentify. Änderungen an der robots.txt können laut Meta bis zu 24 Stunden dauern.

Der wichtigste Unterschied für deine Sichtbarkeit: meta-webindexer ist der Such-Crawler. Sperrst du ihn, kann Meta AI deine Seite nicht als Quelle nennen. Meta AI steckt in WhatsApp, Instagram, Facebook und Messenger, also genau dort, wo viele deiner Kunden ohnehin unterwegs sind.

Was solltest du jetzt tun? 5 Schritte

Nutze die Pause, um selbst festzulegen, welche Meta-Crawler deine Website lesen dürfen. Das dauert etwa 15 Minuten und gilt unabhängig davon, ob Meta die Klausel später wieder einführt.

  1. Prüf deine aktuelle robots.txt

    Öffne deine-domain.de/robots.txt im Browser. Achte auf drei Dinge: Gibt es Gruppen für Meta-Crawler, steht bei User-agent: * ein Disallow: /, und ist die Datei überhaupt erreichbar? Viele Systeme wie WordPress, Shopify oder Wix erzeugen sie automatisch. Bei Cloudflare kann außerdem eine verwaltete robots.txt aktiv sein, die bestimmte KI-Crawler automatisch sperrt.

  2. Entscheide pro Zweck, nicht pro Firma

    Sperr nicht pauschal „alles von Meta“. Die Crawler haben verschiedene Aufgaben, und eine Komplettsperre kostet dich Link-Vorschauen und Zitate in Meta AI. Die sinnvolle Grundregel: Suche und Link-Vorschau erlauben, über Werbung und Training bewusst entscheiden.

    Beim Training gibt es kein Richtig oder Falsch. Ein erlaubter Trainings-Crawler erhöht die Chance, dass KI-Modelle dein Unternehmen auch ohne Websuche kennen. Wer seine Inhalte nicht für Modelltraining hergeben möchte, sperrt meta-externalagent. Beachte: Laut Meta dient dieser Crawler auch dazu, Produkte durch direktes Indexieren zu verbessern.

  3. Erstell deine Regeln mit dem Generator

    Wähl im Generator unten für jeden Crawler aus, ob er erlaubt oder gesperrt sein soll, und kopiere das Ergebnis in deine robots.txt. Erlaubte Crawler brauchen keine eigene Regel, solange deine Gruppe User-agent: * sie nicht sperrt.

  4. Ergänze Content Signals (optional)

    Die robots.txt regelt nur, ob ein Crawler eine Seite abrufen darf. Mit der Erweiterung Content Signals erklärst du zusätzlich, wofür Inhalte genutzt werden dürfen, zum Beispiel search=yes, ai-train=no. Cloudflare hat das Format 2025 eingeführt. Es ist technisch nicht erzwingbar, dokumentiert aber deinen Willen eindeutig.

  5. Kontrolliere Firewall und Server-Logs

    Die robots.txt ist eine Bitte, keine Sperre. Wer einen Crawler wirklich aussperren will, braucht eine Regel in der Firewall oder im CDN, bei Cloudflare zum Beispiel unter AI Crawl Control. Umgekehrt gilt: Prüf, ob dein Bot-Schutz nicht versehentlich Crawler blockiert, die du erlauben willst. In den Server-Logs oder bei Cloudflare unter „AI Crawl Control“ siehst du, welche Meta-Crawler tatsächlich vorbeikommen.

robots.txt-Generator für Meta-Crawler

meta-webindexerMeta AI-Suche und Zitate
facebookexternalhitLink-Vorschauen beim Teilen
meta-externalfetcherAbrufe für Nutzer in Meta AI
meta-externaladsWerbe- und Business-Produkte
meta-externalagentKI-Training

    Was bedeutet das für deine Sichtbarkeit in KI-Antworten?

    Für deine Sichtbarkeit zählt vor allem, dass die Such-Crawler aller großen Anbieter deine Seite lesen dürfen. Ist ein Such-Crawler gesperrt, helfen auch die besten Inhalte nichts. Das war schon die wichtigste Erkenntnis aus unserer Auswertung, warum ChatGPT manche Websites nicht zitiert.

    Die Meta-Debatte zeigt einen Trend: Immer mehr Anbieter trennen ihre Crawler nach Zweck. Das ist für dich ein Vorteil, denn du kannst Suche erlauben und Training sperren, statt dich zwischen „ganz oder gar nicht“ zu entscheiden. So sieht die Aufteilung bei den wichtigsten Anbietern aus:

    Such- und Trainings-Crawler der großen KI-Anbieter (Stand November 2026)
    AnbieterSuch-Crawler (erlauben)Trainings-Crawler (deine Wahl)
    Meta (Meta AI)meta-webindexermeta-externalagent
    OpenAI (ChatGPT)OAI-SearchBotGPTBot
    Anthropic (Claude)Claude-SearchBotClaudeBot
    Google (Gemini, AI Overviews)GooglebotGoogle-Extended
    PerplexityPerplexityBotkein eigener

    Ob deine Website danach tatsächlich in KI-Antworten auftaucht, testest du am besten direkt. Wie das geht, zeigt die Anleitung Was sagt ChatGPT über dein Unternehmen?

    Hinweis: Dieser Artikel ist keine Rechtsberatung. Bei Fragen zu Verträgen mit Meta oder zur Nutzung deiner Inhalte wende dich an eine Fachanwältin oder einen Fachanwalt.

    Fazit: Die Pause ist der richtige Moment, um selbst zu entscheiden

    Meta hat die Crawling-Klausel gestoppt, aber nicht zurückgezogen. Ob und in welcher Form sie wiederkommt, ist offen. Unabhängig davon kannst du heute festlegen, welche Meta-Crawler deine Website lesen dürfen: Such-Crawler und Link-Vorschau erlauben, über Werbung und Training bewusst entscheiden.

    Prüf jetzt kostenlos, welche Crawler deine Seite lesen dürfen: Der KIdentify-Check wertet deine robots.txt für Google, ChatGPT, Perplexity, Claude und Meta AI aus und zeigt dir, was du ändern solltest.

    Häufige Fragen zur Meta-Crawling-Klausel

    Gilt die Crawling-Klausel von Meta jetzt?

    Nein. Meta hat die geänderten Geschäftsbedingungen am 5. November 2026 pausiert. Sie treten nicht wie geplant am 20. November in Kraft, es gelten die bisherigen Bedingungen. Meta hat angekündigt, sich wieder zu melden, sobald es Neuigkeiten gibt. Ein neuer Termin steht nicht fest.

    Betrifft mich das, wenn ich nur eine Facebook-Seite habe?

    Ja, das hätte dich betroffen. Die Commercial Terms von Meta gelten für jede geschäftliche Nutzung von Meta-Produkten, also auch für eine Unternehmensseite auf Facebook oder ein Business-Konto bei Instagram, nicht nur für Werbekunden. Zugestimmt wird durch die weitere Nutzung.

    Funktionieren Link-Vorschauen noch, wenn ich Meta-Crawler sperre?

    Das hängt davon ab, welchen Crawler du sperrst. Für Link-Vorschauen auf Facebook und Instagram ist facebookexternalhit zuständig. Sperrst du nur meta-externalagent oder meta-externalads, bleiben die Vorschauen unberührt. Sperrst du facebookexternalhit, fehlen beim Teilen Titel, Beschreibung und Bild.

    Halten sich die Meta-Crawler an die robots.txt?

    Meist ja. Meta beschreibt in seiner Dokumentation, wie du jeden Crawler per robots.txt steuerst. Ausnahmen nennt Meta selbst: facebookexternalhit kann die Datei bei Sicherheitsprüfungen umgehen, meta-externalfetcher bei Abrufen, die ein Nutzer auslöst. Eine sichere Sperre erreichst du nur über Firewall oder CDN.

    Werde ich in Meta AI unsichtbar, wenn ich Meta-Crawler blockiere?

    Nur wenn du meta-webindexer sperrst. Laut Meta hilft genau dieser Crawler dabei, Inhalte in Antworten von Meta AI zu zitieren und zu verlinken. Den Trainings-Crawler meta-externalagent kannst du separat sperren, ohne meta-webindexer auszuschließen.

    Was ist der Unterschied zwischen robots.txt und Content Signals?

    Die robots.txt regelt, ob ein Crawler eine Seite abrufen darf. Content Signals regeln, wofür die abgerufenen Inhalte genutzt werden dürfen: für die Suche, als Grundlage für KI-Antworten oder für KI-Training. Beides steht in derselben Datei, und beides sind Präferenzen, keine technischen Sperren.

    Wie hilfreich war dieser Artikel?

    Passende Artikel