کلودفلر خزنده‌های وب شرکت‌های هوش مصنوعی را فیلتر می‌کند

کلودفلر اعلام کرده است که به‌صورت خودکار خزنده‌های وب با کاربری ترکیبی را مسدود خواهد کرد. این نوع خزنده‌ها هم وب‌سایت‌ها را برای موتورهای جست‌وجو ایندکس می‌کنند و هم به‌عنوان ایجنت‌های هوش مصنوعی و ابزارهای جمع‌آوری داده برای آموزش مدل‌های هوش مصنوعی عمل می‌کنند.

به گزارش انگجت، این شرکت پیش‌تر نیز به مشتریان خود امکان می‌داد به‌صورت اختیاری از جمع‌آوری محتوای سایتشان توسط خزنده‌های چت‌بات‌های هوش مصنوعی جلوگیری کنند، اما اکنون رویکرد کلودفلر به طور پیش‌فرض حالت دفاعی‌تری به خود گرفته است.

کلودفلر رویکرد سخت‌گیرانه‌ای نسبت به خزنده‌های هوش مصنوعی اتخاذ کرد

«متیو پرینس»، مدیرعامل و هم‌بنیان‌گذار کلودفلر، در بیانیه‌ای گفت: «اکنون که بخش عمده ترافیک اینترنت دیگر توسط انسان‌ها ایجاد نمی‌شود، باید گام‌های بزرگ‌تر و سریع‌تری برداریم تا یک اکوسیستم پایدار شکل بگیرد. ابزارها و همکاری‌های جدید کلودفلر به صاحبان وب‌سایت‌ها دید و فرصت‌های تجاری بیشتری می‌دهد و درعین‌حال به شرکت‌های هوش مصنوعی که ربات‌هایشان هدفی شفاف و مشخص دارند نیز کمک می‌کند. امیدواریم تغییرات پیش‌فرض ما، خزنده‌های ترکیبی را تشویق کند تا فعالیت‌های مربوط به جست‌وجو را از استفاده به‌عنوان ایجنت هوش مصنوعی و آموزش مدل‌ها جدا کنند.»

از ۱۵ سپتامبر ۲۰۲۶ (۲۴ شهریور ۱۴۰۵)، برای مشتریان جدید و همچنین وب‌سایت‌های جدید کاربران، تنظیمات پیش‌فرض به این صورت خواهد بود که اجازه ایندکس شدن برای موتورهای جست‌وجو داده می‌شود، اما استفاده از صفحات دارای تبلیغات برای آموزش مدل‌های هوش مصنوعی یا فعالیت ایجنت‌های هوش مصنوعی مسدود خواهد شد.

همچنین، خزنده‌هایی که کاربری ترکیبی دارند و به صاحبان سایت اجازه انتخاب نمی‌دهند، به طور پیش‌فرض در صفحات دارای تبلیغات مسدود می‌شوند. به گفته کلودفلر، کاربران نسخه رایگان نیز تا تاریخ ۲۴ شهریور فرصت دارند از این تغییر انصراف دهند، در غیر این صورت به همین تنظیمات پیش‌فرض منتقل خواهند شد.

به نظر می‌رسد کلودفلر با رویکرد جدید خود به طور غیرمستقیم گوگل را نیز هدف قرار داده است. خزنده اصلی گوگل با نام Googlebot هم وب‌سایت‌ها را برای موتورهای جست‌وجوی این شرکت ایندکس می‌کند و هم داده‌های لازم برای آموزش جمینای و قابلیت‌هایی مانند AI Overviews و AI Mode را جمع‌آوری می‌کند.