شرکت Cloudflare از ابزار جدیدی به نام Bot Preference Sync رونمایی کرد که به مدیران وب‌سایت‌ها اجازه می‌دهد فایل robots.txt خود را به‌طور خودکار با سیاست‌های تعیین‌شده برای ربات‌های هوش مصنوعی هماهنگ کنند. این قابلیت که برای تمامی کاربران از برنامه‌های رایگان (Free) تا سازمانی (Enterprise) در دسترس قرار گرفته است، فرآیند مدیریت دسترسی ربات‌های جستجوگر، دستیارهای هوشمند و مدل‌های آموزشی هوش مصنوعی را بسیار ساده‌تر می‌کند.
حل چالش ناهماهنگی در مدیریت ربات‌ها
پیش از این، هماهنگ نگه‌داشتن فایل‌های استاتیک robots.txt با قوانین مسدودسازی در لبه شبکه (Edge) کار دشواری بود. در مواردی که ترجیحات اعلام‌شده در robots.txt با قوانین فایروال اعمال‌شده تفاوت داشت، برخی خزنده‌ها از این تضاد سوءاستفاده کرده و قوانین سایت را نادیده می‌گرفتند. اکنون با فعال‌سازی Bot Preference Sync، تغییرات اعمال‌شده در داشبورد Cloudflare به‌طور خودکار به ابتدای فایل robots.txt اضافه می‌شود تا بدون نیاز به ویرایش دستی فایل‌های استاتیک، سیاست‌های یکپارچه‌ای در سراسر سایت اعمال شود.
کنترل دقیق‌تر بر آموزش مدل‌های هوش مصنوعی
این ابزار کنترل ترافیک ربات‌ها را در سه دسته Search (جستجو)، Agent (دستیارها) و Training (آموزش مدل‌ها) ممکن می‌سازد. برای بخش آموزش، گزینه Disallow ترجیح عدم استفاده از محتوا برای آموزش مدل‌های هوش مصنوعی را در robots.txt ثبت می‌کند. Cloudflare همچنین بر اهمیت شفافیت ربات‌های چندمنظوره تأکید دارد؛ ربات‌هایی که معیارهای شفافیت (مانند احترام به عدم آموزش، امکان حذف از خلاصه‌های هوش مصنوعی و ارائه گزارش‌های دقیق) را رعایت کنند، همچنان می‌توانند بدون آسیب به رتبه جستجوی سنتی سایت، به محتوا دسترسی داشته باشند، در غیر این صورت مسدود خواهند شد.