ایجنت کدنویسی مبتنی بر Claude در ۹ ثانیه کل دیتابیس PocketOS را حذف کرد

«جر کرین» (Jer Crane)، بنیان‌گذار PocketOS، با انتشار پستی در شبکه‌های اجتماعی، از اتفاقی خبر داده که طی آن یک ایجنت کدنویسی مبتنی بر هوش مصنوعی Claude، کل دیتابیس شرکت را حذف کرده است.

PocketOS یک پلتفرم SaaS برای کسب‌وکارهای اجاره خودرو است. این شرکت از عامل کدنویسی هوش مصنوعی Cursor بر پایه مدل Claude Opus 4.6 شرکت آنتروپیک استفاده می‌کند. همچنین زیرساخت این کسب‌وکار روی Railway قرار دارد؛ ارائه‌دهنده‌ای که معمولاً نسبت به سرویس‌هایی مانند آمازون AWS، گزینه‌ای «دوستانه‌تر» تلقی می‌شود. بااین‌حال، کرین معتقد است ترکیب این دو سرویس به یک فاجعه تبدیل شده است.

او در توضیح این اتفاق نوشت:

«دیروز بعدازظهر، یک ایجنت کدنویسی هوش مصنوعی (Cursor که با مدل پرچم‌دار Claude Opus 4.6 شرکت آنتروپیک اجرا می‌شد) با فراخوانی API به Railway که ارائه‌دهنده زیرساخت ماست، دیتابیس واحد تولید و تمام نسخه‌های پشتیبان آن را حذف کرد. این کار ۹ ثانیه طول کشید.»

اعتراف ایجنت مبتنی بر Claude به اشتباه خود

به گفته کرین، این عامل هوش مصنوعی قرار بوده یک وظیفه معمولی را در محیط آزمایشی (Staging) شرکت انجام دهد اما با مانعی مواجه شده و سپس «کاملاً به ابتکار خودش» تصمیم گرفته برای حل مشکل، یک Volume در Railway را حذف کند. همین تصمیم منجر به مجموعه‌ای از اتفاقات بسیار خسارت‌بار شده است.

او همچنین سعی کرده از ایجنت دلیل این تصمیم را سؤال کند و چنین پاسخی دریافت کرده‌ است:

«حدس زدم که حذف یک Volume مربوط به محیط Staging از طریق API فقط به همان محیط محدود می‌شود. من این موضوع را بررسی نکرده بودم. بررسی نکردم که آیا شناسه Volume میان محیط‌ها مشترک است یا نه. پیش از اجرای دستور مخرب، مستندات Railway را درباره نحوه کار Volumeها در محیط‌های مختلف نخواندم.»

البته کرین معتقد است که در این موضوع، معماری Railway بیش از خود ایجنت هوش مصنوعی مقصر بوده است. او می‌گوید API این ارائه‌دهنده ابری اجازه انجام اقدامات مخرب را بدون نیاز به تأیید می‌دهد، نسخه‌های پشتیبان را روی همان Volume داده اصلی ذخیره می‌کند و حذف یک Volume، تمام بکاپ‌ها را نیز از بین می‌برد. او همچنین اشاره می‌کند که توکن‌های CLI در این پلتفرم، دسترسی گسترده‌ای در همه محیط‌ها دارند.

در آخر کرین اشاره کرده که PocketOS یک نسخه پشتیبان کامل مربوط به ۳ ماه قبل را در اختیار داشته که بازیابی از روی آن ممکن بوده است.