Cloudflare a lancé un nouvel outil appelé Bot Preference Sync pour aider les propriétaires de sites web à contrôler les robots d’indexation d’IA. D’après le Cloudflare Blog (publié le 21 août 2026 et mis à jour le 22 août 2026), cette fonctionnalité inscrit directement vos choix d’IA du tableau de bord dans le fichier robots.txt de votre site.
Comment fonctionne la nouvelle synchronisation
Au lieu de modifier des fichiers texte manuellement, vous choisissez vos réglages dans votre tableau de bord Cloudflare. La synchronisation ajoute automatiquement les règles générées en haut de votre fichier robots.txt existant.
L’outil classe le trafic des robots en trois catégories bien distinctes :
- Search : Choisissez Allow, Block on pages that serve ads ou Block everywhere.
- Agent : Choisissez Allow, Block on pages with ads ou Block everywhere.
- Training : Choisissez Disallow pour demander aux concepteurs d’IA de ne pas scraper vos données pour l’entraînement de modèles.
Les lignes Disallow existantes restent dans votre fichier. Vous pouvez désactiver la synchronisation à tout moment. Pour les nouveaux clients, Cloudflare active la synchronisation par défaut. L’intégration pour les éditeurs vous permet de définir immédiatement un Disallow par défaut pour Training, tandis que l’intégration standard commence sans blocage.
Cloudflare destine cette fonctionnalité aux forfaits Free jusqu’à Enterprise, avec un déploiement progressif sur l’ensemble des zones.
Ce qu’il ne faut pas encore tenir pour acquis
Ces affirmations proviennent directement de l’annonce de Cloudflare — aucun tiers indépendant n’a vérifié la conformité des robots d’indexation, l’impact sur le trafic ou les gains de sécurité. N’oubliez pas que robots.txt ne constitue qu’une simple requête. Il ne force pas les mauvais robots à obéir. Le blocage des requêtes à l’edge ne prouve pas non plus que les entreprises cesseront d’utiliser des données préalablement collectées.
Cloudflare a également présenté sa liste de souhaits concernant la transparence des robots d’indexation : respecter les balises interdisant l’entraînement, permettre aux sites de refuser les résumés d’IA et fournir des métriques de trafic au niveau des URL. Il s’agit des objectifs stratégiques de Cloudflare, et non de règles du secteur appliquées par tous les robots à l’heure actuelle.
Pourquoi c’est important pour les propriétaires de sites
Rédiger des règles pour les robots à la main est fastidieux. Chaque nouvelle startup d’IA apporte un nouveau nom de robot d’indexation. Bot Preference Sync met à votre disposition un ensemble unique de commandes pour les robots de type Search, Agent et Training.
Il y a un compromis. La synchronisation ne lit pas les règles personnalisées complexes. Si vous appliquez des filtres de chemins spécifiques, vous devez vérifier que le bloc généré en haut du fichier n’entre pas en conflit avec votre configuration.
Testez la fonctionnalité sur un site de préproduction
N’activez pas cette option directement sur votre domaine principal. Essayez plutôt ceci :
- Téléchargez votre fichier
robots.txtactuel depuis une zone de test. - Activez Bot Preference Sync. Réglez Search sur Allow, Agent sur Allow et Training sur Disallow.
- Téléchargez à nouveau
robots.txtpour vérifier que vos anciennes lignes personnalisées sont toujours intactes. - Consultez vos journaux edge pour observer comment Cloudflare classe les robots entrants.
C’est un raccourci bien pratique. Rappelez-vous simplement qu’une ligne de texte ne remplacera jamais une surveillance active des journaux.