کلادفلر رفتار ربات‌های تأییدشده را به‌طور مداوم ارزیابی می‌کند

کلادفلر سامانه‌ای برای ارزیابی مستمر رفتار ربات‌های تأییدشده معرفی کرده است؛ سامانه‌ای که فقط به احراز هویت ربات اکتفا نمی‌کند و میزان پایبندی آن به خواسته‌های وب‌سایت‌ها را نیز می‌سنجد. به گزارش Cloudflare، مدیران وب‌سایت و کارشناسان زیرساخت با این روش دید دقیق‌تری از قابل‌اعتمادبودن ترافیک خودکار خواهند داشت.

اعتماد ربات‌ها با robots.txt و HTTP 429 سنجیده می‌شود

قرارگرفتن یک ربات در فهرست Verified Bots به این معناست که هویت گرداننده آن مشخص شده، اما این تأیید لزوماً رفتار مسئولانه آینده را تضمین نمی‌کند. یک ربات شناخته‌شده ممکن است بر اثر تنظیم نادرست یا خطای نرم‌افزاری، ترجیحات سایت را نادیده بگیرد یا بار زیادی به سرور مبدأ تحمیل کند. سامانه جدید الگوهای رفتاری ربات را در طول زمان بررسی می‌کند و به‌جای صدور یک حکم دائمی، آن را در یک «بازه اعتماد» قابل توضیح قرار می‌دهد. دو نشانه اولیه این ارزیابی، رعایت دستورهای مالک سایت و واکنش ربات به بازخورد مستقیم است. یکی از معیارها، تطابق ترافیک مشاهده‌شده با قواعد منتشرشده در فایل robots.txt است. کلادفلر می‌گوید تخلف‌های پراکنده لزوماً تعیین‌کننده نیستند و تمرکز سامانه بر الگوهای تکرارشونده‌ای است که بی‌اعتنایی به خواسته‌های وب‌سایت را نشان می‌دهند. معیار دیگر، نحوه واکنش به پاسخ HTTP 429 یا «درخواست‌های بیش از حد» است. کاهش سرعت یا توقف درخواست‌ها پس از دریافت این پاسخ، اعتماد را افزایش می‌دهد؛ ادامه مکرر ترافیک با همان شدت، امتیاز اعتماد را پایین می‌آورد.

اثر این تغییر بر مدیریت ترافیک سازمانی

کلادفلر در حال حاضر این سامانه را به‌صورت داخلی برای ارزیابی Verified Bots به کار می‌گیرد و قصد دارد پس از تکمیل سابقه رفتاری و بهبود مدل ارزیابی، آن را در اختیار همه مشتریان قرار دهد. در آن مرحله، مشتریان می‌توانند آستانه اعتماد مورد استفاده برای تصمیم‌گیری درباره نحوه مدیریت ترافیک ربات‌های تأییدشده را انتخاب کنند. همچنین قرار است امتیازها در Cloudflare Radar به‌صورت عمومی منتشر شوند و معیارهای سنجش در آینده گسترش یابند. این سازوکار در کنار Bot Preference Sync و Bot Management یک چرخه پاسخ‌گویی برای ترافیک خودکار می‌سازد: ترجیحات سایت منتشر می‌شوند، پایبندی ربات‌ها به آن‌ها سنجیده می‌شود و مالک سایت درباره نحوه برخورد با ترافیک تصمیم می‌گیرد. برای کسب‌وکارهایی که با خزش گسترده، فشار روی سرور یا ترافیک ربات‌های هوش مصنوعی روبه‌رو هستند، این رویکرد می‌تواند تفکیک ربات صرفاً شناخته‌شده از ربات واقعاً قابل‌اعتماد را آسان‌تر کند. در مجموع، تغییر جدید کلادفلر مفهوم اعتماد را از یک تأیید هویت یک‌باره به ارزیابی مستمر رفتار تبدیل می‌کند؛ رویکردی که می‌تواند کنترل ترافیک خودکار و حفاظت از منابع زیرساختی را دقیق‌تر کند.