Cloudflare ha lanciato un nuovo strumento chiamato Bot Preference Sync per aiutare i proprietari di siti web a controllare i crawler AI. Secondo il Cloudflare Blog (pubblicato il 21 agosto 2026 e aggiornato il 22 agosto 2026), la funzionalità inserisce le scelte relative all’AI configurate nella dashboard direttamente nel file robots.txt del tuo sito.
Come funziona la nuova sincronizzazione
Invece di modificare i file di testo manualmente, puoi scegliere le impostazioni direttamente nella dashboard di Cloudflare. La sincronizzazione aggiunge automaticamente le regole generate all’inizio del file robots.txt esistente.
Lo strumento suddivide il traffico dei bot in tre categorie chiare:
- Search: Scegli Allow, Block on pages that serve ads o Block everywhere.
- Agent: Scegli Allow, Block on pages with ads o Block everywhere.
- Training: Scegli Disallow per indicare a chi sviluppa modelli AI di non raccogliere i tuoi dati per l’addestramento.
Le righe Disallow esistenti rimangono nel tuo file. Puoi disattivare la sincronizzazione quando vuoi. Per i nuovi clienti, Cloudflare attiva la sincronizzazione per impostazione predefinita. L’onboarding per gli editori consente di selezionare subito l’opzione Training Disallow come predefinita, mentre l’onboarding standard inizia senza blocchi.
Cloudflare rende disponibile la funzionalità dai piani Free fino a quelli Enterprise, con una distribuzione graduale su tutte le zone.
Cosa non bisogna dare per scontato
Queste affermazioni provengono direttamente dall’annuncio di Cloudflare: nessuna terza parte indipendente ha verificato la conformità dei crawler, l’impatto sul traffico o i vantaggi in termini di sicurezza. Tieni presente che robots.txt è solo una richiesta. Non costringe i bot dannosi a rispettare le regole. Inoltre, bloccare le richieste all’edge non garantisce che le aziende smettano di utilizzare i dati raccolti in precedenza.
Cloudflare ha inoltre delineato i propri obiettivi per la trasparenza dei crawler: rispettare i tag no-training, consentire ai siti di rifiutare i riepiloghi AI e fornire metriche di traffico a livello di URL. Si tratta di obiettivi di policy di Cloudflare, non di standard di settore seguiti attualmente da ogni bot.
Perché è importante per i proprietari di siti
Creare manualmente le regole per i bot è complicato. Ogni nuova startup di AI introduce un nuovo crawler. Bot Preference Sync offre un unico insieme di opzioni per i bot di tipo Search, Agent e Training.
C’è un compromesso. La sincronizzazione non interpreta regole personalizzate complesse. Se utilizzi filtri specifici per i percorsi, devi verificare che il blocco generato in cima non sia in conflitto con la tua configurazione.
Fai un test su un sito di staging
Non attivare subito la funzione sul tuo dominio principale. Prova invece a seguire questi passaggi:
- Scarica il tuo attuale file
robots.txtda una zona di test. - Attiva Bot Preference Sync. Imposta Search su Allow, Agent su Allow e Training su Disallow.
- Scarica nuovamente
robots.txtper verificare che le tue vecchie righe personalizzate siano ancora intatte. - Controlla i log edge per vedere come Cloudflare classifica i crawler in arrivo.
È una comoda scorciatoia. Ricorda solo che una riga di testo non può sostituire un monitoraggio attivo dei log.