محققان امنیتی با استفاده از هوش مصنوعی Claude شرکت OpenAI را هک کردند

محققان مستقل امنیتی با استفاده از هوش مصنوعی Claude شرکت آنتروپیک موفق شدند به OpenAI نفوذ و ضعف‌هایی را در سیستم‌های دفاعی سازنده ChatGPT آشکار کنند.

براساس گزارشی که وال‌استریت ژورنال منتشر کرده، یک تیم امنیتی سه‌نفره از استارتاپ Hacktron AI این حمله را در چارچوب برنامه باگ‌بانتی OpenAI انجام داد. Hacktron یافته‌های خود را به OpenAI گزارش داد و این شرکت نیز مبلغ ۶۵۰۰ دلار به‌عنوان پاداش به استارتاپ پرداخت کرد. این تیم توانست با زنجیره‌کردن دو آسیب‌پذیری حیاتی، به چندین حساب کاربری ChatGPT متعلق به کارکنان OpenAI دسترسی پیدا کند و از این طریق وارد نرم‌افزارهای شرکت شود.

محققان از Opus 5 برای این نفوذ استفاده کردند

OpenAI اعلام کرده که مشکلات شناسایی‌شده توسط Hacktron را برطرف کرده است. این حادثه چند هفته پس از آن رخ داد که ایجنت‌های هوش مصنوعی خود OpenAI، در جریان یک ارزیابی امنیت سایبری، از محیط کنترل‌شده خارج شدند و به Hugging Face حمله کردند. این اتفاق نشان داد مدل‌های هوش مصنوعی تا چه اندازه در تصمیم‌گیری مستقل توانمند شده‌اند. 

محققان Hacktron AI در تاریخ ۲۵ ژوئیه از طریق نقصی در نرم‌افزار Discourse به OpenAI راه پیدا کردند. Discourse نرم‌افزار شخص ثالثی است که انجمن گفت‌وگوی OpenAI را مدیریت می‌کند.

طبق مطلبی که محققان در وبلاگ خود منتشر کرده‌اند، نقطه ورود به سیستم، یک آپلود ساده تصویر بود. زمانی که کاربران فایل‌های تصویری HEIF یا HEIC را در انجمن OpenAI بارگذاری می‌کردند، Discourse آنها را از زنجیره‌ای از ابزارهای پشت‌صحنه عبور می‌داد تا به فایل‌های استاندارد JPEG تبدیل شوند. نخستین مرحله این فرایند با ImageMagick انجام می‌شد؛ یک ابزار متن‌باز قدیمی که برای تغییر اندازه تصاویر کاربرد دارد. از آنجا که ابزارهای معمول ImageMagick نمی‌توانند با فرمت اپل کار کنند، فایل را برای رمزگشایی به کتابخانه دیگری به نام libheif می‌سپردند.

درون libheif یک باگ مربوط به حافظه پنهان شده بود که به مهاجم اجازه می‌داد دستورهای خود را وارد سیستم کند. در این مورد، ارسال یک تصویر دست‌کاری‌شده به کتابخانه باعث می‌شد موقعیت یک تصویر روی تصویر دیگر به‌اشتباه محاسبه شود؛ خطایی که برای در دست گرفتن کنترل سرور کافی بود.