Was sich am 15. September 2026 ändert
Cloudflare ist ein Sicherheits- und Auslieferungsdienst, über den ein großer Teil der Websites weltweit läuft – auch viele deutsche Firmenseiten, oft ohne dass die Betreiber es bewusst wahrnehmen, weil ein Hoster oder eine Agentur das eingerichtet hat. Ab dem 15. September 2026 ändert Cloudflare die Standardeinstellungen dafür, welche automatisierten Programme ("Crawler") eine Website auslesen dürfen. Ein Crawler ist ein Programm, das Webseiten systematisch abruft – bekannt etwa als Googlebot für die klassische Suche, inzwischen aber auch im Einsatz für KI-Systeme, die Inhalte als Trainingsdaten sammeln oder als Assistent im Auftrag eines Nutzers eine Seite besuchen.
Konkret gilt ab diesem Datum: Auf Websites mit Werbeanzeigen blockiert Cloudflare standardmäßig Crawler, die für KI-Training oder als eigenständig handelnde "Agenten" unterwegs sind. Crawler, die für klassische oder KI-gestützte Suche arbeiten, bleiben zugelassen. Die neue Voreinstellung gilt zunächst für neue Cloudflare-Kunden, neue Websites bestehender Kunden und alle kostenlosen Cloudflare-Konten. Wer schon länger Kunde ist und eigene Einstellungen hat, behält diese – die neue Regel wird nicht automatisch übergestülpt, lässt sich aber übernehmen.
Was ist ein "gemischter" Crawler?
Die Schwierigkeit: Viele Bots lassen sich nicht sauber einer einzigen Kategorie zuordnen. Ein Bot, der sowohl Inhalte für eine KI-Suche auswertet als auch Trainingsdaten sammelt, gilt bei Cloudflare als gemischt. Für solche Bots greift die strengste zutreffende Regel: Wer Training blockiert, blockiert damit den gesamten Bot – auch den Teil, der die Seite für KI-Suchantworten ausgewertet hätte. Das ist der Kernpunkt der neuen Regelung: Es geht nicht mehr um "KI blockieren oder nicht", sondern um einzelne Zwecke – Suche, Agent, Training –, die technisch aber oft im selben Bot zusammenlaufen.
Warum Cloudflare das jetzt ändert
Cloudflare hat parallel sein Vergütungsmodell umgebaut: Aus "Pay per Crawl" – einer Gebühr pro abgerufener Seite – wird ein Modell, das stärker danach unterscheidet, wie ein KI-Anbieter Inhalte tatsächlich nutzt. Hintergrund sind zwei Beobachtungen, die Cloudflare selbst veröffentlicht hat:
- Nach Cloudflare-Angaben entfällt mehr als 50 Prozent des Crawling-Verkehrs von KI-Bots auf das wiederholte Abrufen von Seiten, die sich seit dem letzten Besuch gar nicht verändert haben.
- In einer Auswertung von Cloudflare für eine Woche im Juni 2025 kamen auf Anthropics Claude-Crawler rund 70.900 abgerufene Seiten pro einem einzigen Besucher, der über einen Link von Anthropic auf die Seite zurückkam. Cloudflare weist selbst darauf hin, dass dieser Wert eher zu hoch als zu niedrig geschätzt ist, weil Zugriffe aus Apps ohne Referrer-Kennung in der Messung fehlen.
Für Website-Betreiber heißt das: Ein Teil des KI-Crawler-Verkehrs bringt praktisch keinen Gegenwert in Form von Besuchern zurück – die Inhalte werden gelesen und verwertet, ohne dass etwas an die Seite zurückfließt.
Betrifft mich das?
Sie laufen über Cloudflare
Dann lohnt sich vor dem 15. September ein Blick in die Einstellungen zu KI-Crawlern ("AI Crawl Control" bzw. Bot-Regeln). Zwei Fragen sind entscheidend: Läuft auf der Seite Werbung? Und soll erlaubt sein, dass KI-Systeme die Inhalte für Training verwenden, auch wenn das nicht zu einem Besuch führt? Je nach Antwort stellt man Training, Agenten und Suche einzeln ein, statt sich auf die Voreinstellung zu verlassen.
Sie laufen nicht über Cloudflare
Dann ändert sich am 15. September technisch nichts an der eigenen Seite. Die Frage bleibt trotzdem relevant, nur auf anderem Weg: Über die robots.txt – eine kleine Textdatei im Stammverzeichnis jeder Website, mit der sich einzelnen Bots der Zugriff erlauben oder verbieten lässt – kann man auch ohne Cloudflare für die bekannten KI-Crawler (etwa GPTBot, ClaudeBot, PerplexityBot) einzeln regeln, wer welche Bereiche lesen darf. Fehlt ein Eintrag, gilt in der Regel: alles erlaubt.
Was Sie konkret prüfen sollten
- Welche KI-Crawler aktuell zugelassen sind – pauschal oder einzeln nach Suche, Agent, Training.
- Ob die robots.txt überhaupt Regeln für KI-Crawler enthält oder die Entscheidung bislang beim Hoster bzw. CDN-Anbieter liegt.
- Ob eine Sitemap vorhanden ist, damit Bots die Seiten zuverlässig finden.
- Ob wichtige Inhalte auch ohne JavaScript lesbar sind – viele KI-Crawler führen kein JavaScript aus und sehen sonst eine leere Seite.
- Ob strukturierte Daten (z. B. Schema.org-Markup) vorhanden sind, die Inhalte maschinenlesbar einordnen.
Was ein Check zeigt – und was nicht
Diese Punkte lassen sich technisch prüfen, unabhängig davon, ob eine Seite hinter Cloudflare liegt oder nicht. Zur Einordnung: Ein solcher Check stellt fest, ob die Voraussetzungen stimmen – robots.txt je KI-Crawler, Sitemap, strukturierte Daten, Lesbarkeit ohne JavaScript, eine Frage-Antwort-Struktur der Inhalte. Er zeigt nicht, ob eine Marke tatsächlich in einer konkreten KI-Antwort genannt wird, und ersetzt keinen Vergleich mit dem Wettbewerb. Das eine ist Technik, das andere ist Ergebnis – dazwischen liegen Faktoren, die niemand vollständig kontrolliert.
Wer wissen will, wo die eigene Website bei diesen technischen Voraussetzungen steht, kann das kostenlos hier prüfen lassen. Das dauert wenige Minuten und liefert eine konkrete Liste, was infrage kommt.