Cloudflare가 웹사이트 소유자의 AI 크롤러 제어를 돕기 위해 Bot Preference Sync라는 새로운 도구를 출시했습니다. Cloudflare Blog(2026년 8월 21일 게시, 2026년 8월 22일 업데이트)에 따르면, 이 기능은 대시보드에서 선택한 AI 설정을 사이트의 robots.txt 파일에 직접 작성합니다.
새로운 동기화 작동 방식
텍스트 파일을 일일이 수동으로 편집하는 대신 Cloudflare 대시보드에서 설정을 선택할 수 있습니다. 동기화 기능은 기존 robots.txt 파일 상단에 생성된 규칙을 자동으로 추가합니다.
이 도구는 봇 트래픽을 세 가지 명확한 범주로 분류합니다:
- Search: Allow, Block on pages that serve ads 또는 Block everywhere 중 선택합니다.
- Agent: Allow, Block on pages with ads 또는 Block everywhere 중 선택합니다.
- Training: AI 개발사에 모델 학습용 데이터 스크래핑을 하지 않도록 요청하려면 Disallow를 선택합니다.
기존의 Disallow 행은 파일에 그대로 유지됩니다. 언제든지 동기화를 끌 수 있습니다. 신규 고객의 경우 Cloudflare는 동기화 기능을 기본으로 활성화합니다. 퍼블리셔 온보딩에서는 Training Disallow 기본값을 즉시 선택할 수 있는 반면, 일반 온보딩은 차단 없이 시작됩니다.
Cloudflare는 이 기능을 Free부터 Enterprise 요금제까지 제공하며, 여러 zone에 걸쳐 점진적으로 배포하고 있습니다.
아직 속단해서는 안 되는 점
이러한 내용은 Cloudflare의 공식 발표 내용이며, 독립적인 제3자가 크롤러 준수 여부, 트래픽 영향 또는 보안상 이점을 검증하지는 않았습니다. robots.txt는 단순한 요청일 뿐이라는 점을 유념해야 합니다. 악성 봇에게 준수를 강제하지는 못합니다. 또한 엣지 요청을 차단한다고 해서 기업들이 이전에 스크래핑한 데이터의 사용을 중단한다는 보장도 없습니다.
Cloudflare는 no-training 태그 준수, 사이트의 AI 요약 제외 옵션 제공, URL 수준의 트래픽 지표 제공 등 크롤러 투명성을 위한 희망 사항도 제시했습니다. 이는 Cloudflare의 정책적 목표일 뿐, 현재 모든 봇이 따르는 업계 표준 규칙은 아닙니다.
사이트 소유자에게 중요한 이유
봇 규칙을 수작업으로 관리하는 것은 번거롭습니다. 새로운 AI 스타트업이 등장할 때마다 또 다른 크롤러 이름이 생겨납니다. Bot Preference Sync는 Search, Agent, Training 봇을 제어할 수 있는 단일 스위치 세트를 제공합니다.
트레이드오프도 존재합니다. 이 동기화 기능은 복잡한 사용자 정의 규칙을 읽지 못합니다. 특별한 경로 필터를 사용하고 있다면, 상단에 생성된 규칙 블록이 기존 설정과 충돌하지 않는지 확인해야 합니다.
스테이징 사이트에서 먼저 테스트하세요
메인 도메인에서 바로 스위치를 켜지 마세요. 대신 다음 단계를 따르는 것이 좋습니다:
- 테스트 zone에서 현재
robots.txt파일을 다운로드합니다. - Bot Preference Sync를 켭니다. Search는 Allow, Agent는 Allow, Training은 Disallow로 설정합니다.
robots.txt를 다시 다운로드하여 이전의 사용자 정의 행이 그대로 유지되는지 확인합니다.- 엣지 로그를 확인하여 Cloudflare가 유입되는 크롤러를 어떻게 분류하는지 살펴봅니다.
이는 유용한 지름길이지만, 텍스트 한 줄이 능동적인 로그 모니터링을 대신할 수는 없다는 점을 기억하세요.