Cloudflare đã ra mắt một công cụ mới mang tên Bot Preference Sync để giúp các chủ sở hữu trang web kiểm soát các trình thu thập dữ liệu AI. Theo Cloudflare Blog (đăng ngày August 21, 2026 và cập nhật ngày August 22, 2026), tính năng này sẽ ghi trực tiếp các tùy chọn AI trên bảng điều khiển của bạn vào tệp robots.txt của trang web.
Cách tính năng đồng bộ mới hoạt động
Thay vì chỉnh sửa các tệp văn bản theo cách thủ công, bạn chỉ cần chọn các thiết lập trong bảng điều khiển Cloudflare. Quá trình đồng bộ sẽ tự động thêm các quy tắc được tạo vào đầu tệp robots.txt hiện có của bạn.
Công cụ này phân chia lưu lượng bot thành ba nhóm rõ ràng:
- Search: Chọn Allow, Block trên các trang có phân phối quảng cáo hoặc Block trên toàn bộ trang.
- Agent: Chọn Allow, Block trên các trang có quảng cáo hoặc Block trên toàn bộ trang.
- Training: Chọn Disallow để yêu cầu các nhà phát triển AI không thu thập dữ liệu của bạn nhằm phục vụ việc huấn luyện mô hình.
Các dòng Disallow hiện có vẫn được giữ nguyên trong tệp của bạn. Bạn có thể tắt tính năng đồng bộ bất kỳ lúc nào nếu muốn. Đối với khách hàng mới, Cloudflare sẽ bật tính năng đồng bộ theo mặc định. Quy trình thiết lập ban đầu cho nhà xuất bản cho phép bạn chọn mặc định Training Disallow ngay lập tức, trong khi quy trình thiết lập tiêu chuẩn bắt đầu mà không có lệnh chặn nào.
Cloudflare định vị tính năng này cho các gói từ Free đến Enterprise, với lộ trình triển khai mở rộng trên nhiều zone.
Những điều bạn chưa nên vội khẳng định
Những thông tin này xuất phát trực tiếp từ thông báo của Cloudflare — chưa có bên thứ ba độc lập nào xác minh mức độ tuân thủ của trình thu thập dữ liệu, tác động lưu lượng truy cập hay các cải thiện về bảo mật. Hãy lưu ý rằng robots.txt chỉ là một yêu cầu. Nó không có khả năng bắt buộc các bot xấu phải tuân theo. Việc chặn các yêu cầu ở biên cũng không chứng minh được rằng các công ty sẽ ngừng sử dụng dữ liệu đã thu thập từ trước.
Cloudflare cũng phác thảo danh sách kỳ vọng về tính minh bạch của trình thu thập dữ liệu: tôn trọng các thẻ no-training, cho phép các trang web từ chối tóm tắt AI và cung cấp số liệu lưu lượng truy cập ở cấp độ URL. Đó là những mục tiêu chính sách của Cloudflare, chứ không phải các quy định toàn ngành mà mọi bot hiện đang tuân theo.
Tại sao điều này quan trọng với chủ sở hữu trang web
Việc tự thiết lập các quy tắc bot bằng tay rất phức tạp. Mỗi startup AI mới xuất hiện lại đi kèm một tên trình thu thập dữ liệu khác. Bot Preference Sync cung cấp cho bạn một bộ công tắc duy nhất dành cho các bot Search, Agent và Training.
Tuy nhiên luôn có sự đánh đổi. Tính năng đồng bộ này không đọc các quy tắc tùy chỉnh phức tạp. Nếu bạn sử dụng các bộ lọc đường dẫn đặc biệt, bạn cần kiểm tra để đảm bảo khối quy tắc được tạo ở đầu tệp không xung đột với thiết lập của bạn.
Hãy thử nghiệm trên một trang staging
Đừng vội bật công tắc ngay trên tên miền chính của bạn. Thay vào đó, hãy thực hiện theo các bước sau:
- Tải xuống tệp
robots.txthiện tại của bạn từ một test zone. - Bật Bot Preference Sync. Đặt Search thành Allow, Agent thành Allow và Training thành Disallow.
- Tải xuống
robots.txtmột lần nữa để kiểm tra xem các dòng tùy chỉnh cũ của bạn có còn nguyên vẹn hay không. - Kiểm tra nhật ký edge logs của bạn để xem cách Cloudflare phân loại các trình thu thập dữ liệu gửi đến.
Đây là một lối tắt tiện lợi. Chỉ cần nhớ rằng một dòng văn bản không thể thay thế cho việc chủ động theo dõi nhật ký.