Cloudflare AI-Crawler Googlebot blockieren: Das müssen Sie bis 15. September prüfen
Eine wichtige Neuerung bei Cloudflare könnte weitreichende Folgen für die Sichtbarkeit Ihrer Website in Suchmaschinen haben. Wie Search Engine Journal am 2. Juli 2026 berichtet, hat Cloudflare seine Regeln für AI-Crawler aktualisiert. Diese Änderungen treten am 15. September 2026 in Kraft und können unter Umständen dazu führen, dass der Googlebot, und damit die Grundlage für Ihr Ranking, blockiert wird.
Website-Betreiber, die Cloudflare nutzen, sollten ihre Einstellungen deshalb noch vor dem Stichtag prüfen und bei Bedarf anpassen. Andernfalls riskieren Sie, dass Ihre Inhalte nicht mehr korrekt von Google indexiert werden.
- Letzte Aktualisierung: 03.07.2026
- Lesezeit: 5 Minuten
Die Cloudflare-Änderungen im Detail: Was passiert am 15. September?
Cloudflare hat seine Methode zur Identifizierung und Blockierung von AI-Crawlern überarbeitet. Ab dem 15. September 2026 werden Multi-Purpose-Crawler, die sowohl für die Suche als auch für das AI-Training aktiv sind, nach der strengsten Regel behandelt, die für sie gilt. Das bedeutet konkret: Wenn Ihre Website das AI-Training blockiert, kann dies auch Googlebot, Applebot und Bingbot betreffen, da diese Crawler für beide Zwecke eingesetzt werden. Diese Neuerung betrifft insbesondere Websites, die bereits die ältere Einstellung „Block AI bots“ aktiviert haben und ihre Konfiguration seitdem nicht angepasst haben.
Zusätzlich ändern sich die Standardeinstellungen: Bei neuen Kunden und neuen Websites bestehender Kunden blockiert Cloudflare Training- und Agent-Crawler künftig standardmäßig auf Seiten, die Werbung anzeigen. Die Kategorie Search bleibt dabei erlaubt. Bestehende Kunden im kostenlosen Tarif, die ihre Einstellungen bis zum 15. September nicht ändern, werden auf diese neuen Standardwerte umgestellt.
Die vollständige Meldung dazu finden Sie im Artikel von Search Engine Journal.
Drei Kategorien für AI-Crawler: Search, Agent und Training
Cloudflare unterscheidet AI-Crawler nun nicht mehr pauschal, sondern sortiert sie danach, was sie auf der Website tun. Diese Einteilung ermöglicht eine differenziertere Steuerung:
- Search: Crawler, die eine Website indexieren, um später Fragen beantworten zu können. Cloudflare verknüpft dieses Verhalten mit Referral-Traffic.
- Agent: Echtzeit-Bots, die im Auftrag einer Person agieren, etwa ChatGPT-User oder Browser-Agenten wie Gemini oder Claude, die Chrome steuern.
- Training: Crawler, die Inhalte einsammeln, um damit ein KI-Modell zu trainieren oder feinabzustimmen (Fine-Tuning).
Die neuen Kontrollen sind bereits für alle Cloudflare-Kunden verfügbar, einschließlich des kostenlosen Tarifs. Die Standardeinstellungen, die am 15. September wirksam werden, können jedoch dazu führen, dass Googlebot blockiert wird, wenn das Training blockiert wird.
Warum die Blockade von Googlebot Ihre SEO beeinträchtigt
Wenn Ihre Website das Training von KI-Modellen blockiert und diese Einstellung auch auf Multi-Purpose-Crawler wie den Googlebot angewendet wird, kann dies erhebliche Auswirkungen auf Ihre Sichtbarkeit in den Suchergebnissen haben. Eine Cloudflare-Blockade auf Netzwerkebene ist weitreichender als eine Anweisung in der robots.txt, die lediglich eine Empfehlung an Crawler darstellt.
Ein eingeschränkter Zugriff des Googlebots bedeutet, dass Ihre Website nicht mehr so effektiv gecrawlt und indexiert werden kann. Dies kann langfristig dazu führen, dass Ihre Inhalte weniger prominent in den Suchergebnissen erscheinen oder sogar ganz verschwinden. Für Unternehmen, deren Erfolg stark von der organischen Sichtbarkeit abhängt, ist dies ein kritisches Szenario.
Handlungsempfehlung: Prüfen Sie Ihre Cloudflare-Einstellungen bis 15. September
Um potenzielle negative Auswirkungen auf Ihre Suchmaschinenoptimierung zu vermeiden, sollten Sie Ihre Cloudflare-Einstellungen umgehend überprüfen. Insbesondere wenn Sie in der Vergangenheit die Option „Block AI bots“ aktiviert haben, sind Sie von den Änderungen betroffen. Kostenlose Cloudflare-Nutzer, die keine Anpassungen vornehmen, werden automatisch auf die neuen Standardeinstellungen umgestellt.
Stellen Sie sicher, dass Crawler der Kategorie „Search“ weiterhin Zugriff auf Ihre Website haben. Dies ist entscheidend, um die Indexierung durch Googlebot und andere Suchmaschinen-Crawler zu gewährleisten und Ihre SERP-Positionen zu erhalten.
Neue Signale und BotBase: Weitere Cloudflare-Entwicklungen
Cloudflare testet zudem ein neues „Content-Use Signal“, das die Content Signals in der robots.txt erweitert. Diese Signale geben an, wie Bots mit Inhalten umgehen sollen: „immediate“ (nichts speichern), „reference“ (indexieren und verlinken, der neue Standardwert) und „full“ (zusammenfassen und reproduzieren). Wichtig: Diese Signale drücken eine Präferenz aus und blockieren für sich genommen nichts.
Auch die Definition von „Verified“ für Bots wurde überarbeitet. Ein verifizierter Bot erhält nicht mehr automatisch überall Zugriff, sondern sein Zugang hängt von seiner Kategorie ab. Für Enterprise-Bot-Management-Nutzer gibt es nun das durchsuchbare Verzeichnis „BotBase“, das Klassifizierung und Erkennungs-ID jedes getrackten Bots anzeigt.
Das sollten Sie jetzt tun
Überprüfen Sie Ihre Cloudflare-Einstellungen für AI-Crawler bis zum 15. September 2026. Stellen Sie sicher, dass die Kategorie „Search“ nicht blockiert ist, um Crawling und Indexierung Ihrer Website durch Googlebot und andere Suchmaschinen sicherzustellen.
Unsere Empfehlung: Priorisieren Sie die Aufrechterhaltung der Suchmaschinen-Sichtbarkeit. Auch wenn der Schutz Ihrer Inhalte vor AI-Training wichtig ist, darf dies nicht zu Lasten Ihrer Auffindbarkeit in Suchmaschinen geschehen. Prüfen Sie deshalb im Cloudflare-Dashboard, welche Regel bei Ihnen für die Kategorie Training gilt, und stellen Sie sicher, dass Search erlaubt bleibt. Bei Unsicherheiten oder komplexen Konfigurationen kann eine professionelle SEO-Beratung sinnvoll sein, um Fehlkonfigurationen zu vermeiden.
Häufige Fragen zu den neuen Cloudflare-Regeln
Kann Cloudflare den Googlebot wirklich blockieren?
Ja. Ab dem 15. September 2026 behandelt Cloudflare Multi-Purpose-Crawler nach der strengsten Regel, die für sie gilt. Blockiert eine Website das AI-Training, kann das auch Googlebot, Applebot und Bingbot treffen, da diese Crawler sowohl für die Suche als auch für das Training eingesetzt werden.
Wer ist von den neuen Standardeinstellungen betroffen?
Websites, die die ältere Einstellung „Block AI bots“ aktiviert und seitdem nicht angepasst haben, außerdem neue Kunden, neue Websites bestehender Kunden sowie Nutzer im kostenlosen Tarif, die ihre Einstellungen bis zum 15. September 2026 nicht ändern.
Was sollten Website-Betreiber jetzt tun?
Die Cloudflare-Einstellungen noch vor dem Stichtag prüfen und sicherstellen, dass Crawler der Kategorie „Search“ weiterhin Zugriff auf die Website haben. So bleibt die Indexierung durch Googlebot und andere Suchmaschinen-Crawler gewährleistet.
Welche Kategorien von AI-Crawlern unterscheidet Cloudflare?
Drei Kategorien: Search (indexiert Inhalte, um Fragen beantworten zu können), Agent (Echtzeit-Bots, die im Auftrag einer Person agieren) und Training (sammelt Inhalte, um KI-Modelle zu trainieren oder feinabzustimmen).
