A Cloudflare lançou uma nova ferramenta chamada Bot Preference Sync para ajudar proprietários de sites a controlar rastreadores de IA. De acordo com o Cloudflare Blog (publicado em 21 de agosto de 2026 e atualizado em 22 de agosto de 2026), o recurso grava as escolhas de IA do seu painel diretamente no arquivo robots.txt do seu site.
Como funciona a nova sincronização
Em vez de editar arquivos de texto manualmente, você escolhe as configurações no painel da Cloudflare. A sincronização adiciona automaticamente as regras geradas ao topo do seu arquivo robots.txt existente.
A ferramenta agrupa o tráfego de bots em três categorias claras:
- Search: Escolha Allow, Block on pages that serve ads ou Block everywhere.
- Agent: Escolha Allow, Block on pages with ads ou Block everywhere.
- Training: Escolha Disallow para informar aos criadores de IA para não coletarem seus dados para treinamento de modelos.
As linhas Disallow existentes permanecem no seu arquivo. Você pode desativar a sincronização quando quiser. Para novos clientes, a Cloudflare ativa a sincronização por padrão. A integração para publicadores permite escolher um padrão de Training Disallow imediatamente, enquanto a integração padrão começa sem bloqueios.
A Cloudflare disponibiliza o recurso para planos do Free ao Enterprise, com a distribuição sendo expandida entre as zonas.
O que você ainda não deve presumir
Essas afirmações vêm diretamente do anúncio da Cloudflare — nenhum terceiro independente verificou a conformidade dos rastreadores, o impacto no tráfego ou os ganhos de segurança. Lembre-se de que o robots.txt é apenas uma solicitação. Ele não obriga bots maliciosos a obedecerem. Bloquear requisições na borda também não garante que as empresas deixarão de usar dados coletados anteriormente.
A Cloudflare também destacou sua lista de desejos para a transparência de rastreadores: respeitar tags de não treinamento, permitir que sites recusem resumos de IA e fornecer métricas de tráfego a nível de URL. Essas são metas de políticas da Cloudflare, não regras do setor que todos os bots seguem atualmente.
Por que isso é importante para proprietários de sites
Criar regras de bots manualmente é complicado. Cada nova startup de IA traz outro nome de rastreador. O Bot Preference Sync oferece um conjunto único de opções para bots de Search, Agent e Training.
Há um porém. A sincronização não interpreta regras personalizadas complexas. Se você usa filtros de caminho especiais, deve verificar se o bloco superior gerado não entra em conflito com sua configuração.
Teste em um site de staging
Não ative o recurso no seu domínio principal de imediato. Em vez disso, tente o seguinte:
- Baixe seu arquivo
robots.txtatual de uma zona de teste. - Ative o Bot Preference Sync. Defina Search como Allow, Agent como Allow e Training como Disallow.
- Baixe o
robots.txtnovamente para verificar se suas linhas personalizadas antigas ainda estão intactas. - Verifique seus logs de borda para ver como a Cloudflare classifica os rastreadores recebidos.
É um atalho útil. Apenas lembre-se de que uma linha de texto não substitui o monitoramento ativo de logs.