Cloudflare hat ein neues Tool namens Bot Preference Sync veröffentlicht, mit dem Website-Betreiber KI-Crawler steuern können. Laut dem Cloudflare Blog (veröffentlicht am August 21, 2026 und aktualisiert am August 22, 2026) schreibt die Funktion Ihre KI-Einstellungen aus dem Dashboard direkt in die robots.txt-Datei Ihrer Website.
So funktioniert die neue Synchronisierung
Statt Textdateien manuell zu bearbeiten, wählen Sie einfach die Einstellungen in Ihrem Cloudflare-Dashboard aus. Die Synchronisierung fügt die generierten Regeln automatisch ganz oben in Ihre bestehende robots.txt-Datei ein.
Das Tool unterteilt den Bot-Traffic in drei übersichtliche Kategorien:
- Search: Wählen Sie Allow, Block on pages that serve ads oder Block everywhere.
- Agent: Wählen Sie Allow, Block on pages with ads oder Block everywhere.
- Training: Wählen Sie Disallow, um KI-Entwicklern mitzuteilen, dass Ihre Daten nicht für das Modelltraining gescrapt werden dürfen.
Bestehende Disallow-Zeilen bleiben in Ihrer Datei erhalten. Sie können die Synchronisierung jederzeit deaktivieren. Bei Neukunden aktiviert Cloudflare die Synchronisierung standardmäßig. Das Publisher-Onboarding ermöglicht es Ihnen, sofort einen Standardwert für Training Disallow festzulegen, während das Standard-Onboarding ohne Blockierungen startet.
Cloudflare stellt das Feature für Tarife von Free bis Enterprise bereit, wobei der Rollout schrittweise über weitere Zonen hinweg ausgeweitet wird.
Was Sie noch nicht voraussetzen sollten
Diese Angaben stammen direkt aus der Ankündigung von Cloudflare – keine unabhängige dritte Partei hat bisher die Einhaltung durch Crawler, die Auswirkungen auf den Traffic oder Sicherheitsvorteile überprüft. Beachten Sie, dass die robots.txt lediglich eine Bitte ist. Sie zwingt schädliche Bots nicht dazu, sich daran zu halten. Das Blockieren von Edge-Anfragen beweist zudem nicht, dass Unternehmen bereits zuvor gescrapte Daten nicht mehr weiterverwenden.
Cloudflare formulierte außerdem eine Wunschliste für mehr Crawler-Transparenz: die Beachtung von No-Training-Tags, Opt-out-Möglichkeiten für Websites bei KI-Zusammenfassungen und Traffic-Metriken auf URL-Ebene. Dabei handelt es sich jedoch um Richtlinienziele von Cloudflare und nicht um Branchenregeln, an die sich derzeit jeder Bot hält.
Warum das für Website-Betreiber wichtig ist
Bot-Regeln manuell zu pflegen, ist mühsam. Jedes neue KI-Startup bringt einen weiteren Crawler-Namen mit. Bot Preference Sync bietet Ihnen zentrale Schalter für Search-, Agent- und Training-Bots.
Es gibt jedoch einen Kompromiss. Die Synchronisierung verarbeitet keine komplexen benutzerdefinierten Regeln. Wenn Sie spezielle Pfadfilter verwenden, müssen Sie prüfen, ob der generierte oberste Block nicht mit Ihrem Setup in Konflikt gerät.
Auf einer Staging-Site testen
Aktivieren Sie die Option nicht sofort auf Ihrer Hauptdomain. Probieren Sie stattdessen diesen Weg:
- Laden Sie Ihre aktuelle
robots.txt-Datei aus einer Test-Zone herunter. - Aktivieren Sie Bot Preference Sync. Setzen Sie Search auf Allow, Agent auf Allow und Training auf Disallow.
- Laden Sie die
robots.txterneut herunter, um sicherzustellen, dass Ihre bisherigen benutzerdefinierten Zeilen noch unberührt sind. - Überprüfen Sie Ihre Edge-Logs, um zu sehen, wie Cloudflare eingehende Crawler einstuft.
Es ist eine praktische Erleichterung. Denken Sie jedoch daran, dass eine Textzeile eine aktive Log-Überwachung nicht ersetzen kann.