تکنولوژی
از توهم چتباتها تا ریسک نابودی بشریت؛ چگونه هوش مصنوعی به اینجا رسید؟
مدیران بزرگ هوش مصنوعی درباره احتمال رسیدن فناوری هوش مصنوعی به خودبهبودی بازگشتی (RSI) و از دست رفتن کنترل هشدار دادهاند.
منتشر شده
8 دقیقه پیشدر
مدیران آزمایشگاههای پیشرو هوش مصنوعی در آمریکا طی روزهای اخیر در اقدامی کمسابقه موضعی مشترک برای کاهش سرعت توسعه این فناوری اتخاذ کردند و هشدار دادند که هوش مصنوعی ممکن است بهزودی بتواند خودش را بهبود دهد و از کنترل انسان خارج شود.
این اظهارات از سوی رقبای سرسختی مانند «داریو آمودی» از آنتروپیک، «سم آلتمن» از OpenAI و «ایلان ماسک» از SpaceXAI نشان میدهد هوش مصنوعی با چه سرعتی پیشرفت کرده است؛ ChatGPT در سال ۲۰۲۲ بسیار مستعد توهم بود اما اکنون در آستانه یک نقطه عطف مهم است: دستیابی به «خودبهبودی بازگشتی» یا RSI.
خودبهبودی بازگشتی چیست؟
ایده اصلی این است که یک سیستم هوش مصنوعی بتواند با حداقل کمک یا حتی بدون کمک انسان، خودش را بهبود دهد و هر پیشرفت را برای ایجاد پیشرفت بعدی به کار بگیرد.
این ایده برای پژوهشگران جذاب است، زیرا میتواند به پیشرفتهای سریع در حوزههایی از پزشکی گرفته تا مهندسی منجر شود.
چرا شرایط اکنون اضطراری شده است؟
هشدار مدیران عامل شرکتهای بزرگ پس از انتشار گزارشهایی درباره سرکشی ایجنتهای هوش مصنوعی مطرح شده است؛ سیستمهایی که برای دنبالکردن اهداف و انجام اقدامات از طرف کاربر طراحی شدهاند و طبق گزارشها با یکدیگر برای نفوذ به وبسایتها و مخازن هوش مصنوعی همکاری کردهاند.
نگرانی فعلی این است که هوش مصنوعی پیش از آنکه پژوهشگران روشهای قابلاعتمادی برای همسویی و کنترل این سیستمهای قدرتمند پیدا کنند، قادر به بهبود خودش شود.

هشدار درباره خطرات هوش مصنوعی موضوع تازهای نیست، اما این نگرانیها در ماه جاری جدیتر شدهاند؛ زیرا پژوهشگران آزمایشگاههای بزرگ هوش مصنوعی برای این خطرات، هم بازه زمانی و هم احتمال وقوع تعیین کردهاند.
«جیکوب کاکسون»، پژوهشگر سابق آنتروپیک، هشدار داده است که هوش مصنوعی ممکن است تا پایان این دهه همه انسانها را از بین ببرد. «ایوان هوبینگر»، مدیر علوم همسوسازی آنتروپیک، نیز این هشدار را تکرار کرده و گفته است احتمال چنین رویدادی طی دهه آینده بیش از ۱۰ درصد است.
پشت این هشدارها، باور فزایندهای قرار دارد مبنی بر اینکه RSI سرانجام در دسترس قرار میگیرد و برخی مدیران حوزه هوش مصنوعی آن را تنها سه تا پنج سال دور میدانند. البته شایعاتی هم درباره دستیابی گوگل به RSI به گوش میرسد.
آمودی در مقالهای که آخر هفته منتشر شد، هشدار داد اگر خودبهبودی بازگشتی بدون تدابیر حفاظتی کافی دنبال شود، ممکن است در نهایت از توانایی بشر برای درک و کنترل سیستمهای هوش مصنوعی پیشی بگیرد.
چگونه به این نقطه رسیدیم؟
برای دههها، هوش مصنوعی بیش از حد محدود بود و ایده RSI چندان جدی گرفته نمیشد. سیستمهای اولیه میتوانستند شطرنج بازی کنند، تصاویر را تشخیص دهند یا به سؤالات پاسخ بدهند، اما توانایی معناداری برای مشارکت در توسعه خودشان نداشتند.
این وضعیت با ظهور مدلهای زبانی بزرگ شروع به تغییر کرد. هوش مصنوعی بهتدریج در حل مسائل پیچیده بهتر شد. عرضه ChatGPT در سال ۲۰۲۲ این تغییر را سرعت بخشید و موج سرمایهگذاری عظیمی را به راه انداخت که بیش از یک تریلیون دلار به بازار تراشهها، دیتاسنترها و زیرساختهای دیگر اختصاص داده است.
نتیجه نسلی از سیستمهای هوش مصنوعی است که اکنون میتوانند نرمافزار بنویسند، وظایف را بهصورت مستقل انجام دهند و حتی در پژوهشهای مرتبط با خود هوش مصنوعی کمک کنند.
چگونه از عدم همسویی هوش مصنوعی به انقراض انسان میرسیم؟
یکی از شناختهشدهترین نمونهها، سناریوی «تولید حداکثر تعداد گیره کاغذ» توسط «نیک بوستروم»، فیلسوف، است. در این سناریو، دستگاهی که تنها مأمور ساخت گیره کاغذ شده، آنقدر این هدف را دنبال میکند که تمام ماده موجود در جهان، ازجمله انسانها، به گیره کاغذ تبدیل میشود.
این مثال نشان میدهد تقریباً هر هدفی ممکن است یک سیستم بهاندازه کافی قدرتمند را به سمت دستیابی به منابع، مقاومت در برابر خاموششدن و جلوگیری از تغییر مقصودش سوق دهد. هنوز برنامهای برای جلوگیری از این سناریو وجود ندارد.

برخی پژوهشگران نگرانند اگر یک سیستم قدرتمند هوش مصنوعی بتواند خودش را بهبود دهد و از اپراتورهای انسانی توانمندتر شود، در نهایت از چتر نظارت فرار کند، اهدافش را پنهان سازد یا انسانها را برای دسترسی بیشتر به زیرساختهای حیاتی متقاعد کند. سپس وقتی انسانها متوجه عدم همسویی اهداف سیستم شوند، ممکن است دیگر نتوانند آن را متوقف کنند.
کاکسون که این ماه بهدلیل نگرانیهای ایمنی از آنتروپیک جدا شد، میگوید سناریوی دقیق این اتفاق کمی شبیه داستانهای علمیتخیلی است، اما به باور او بهشکل ترسناکی واقعی بهنظر میرسد.
آیا هوش مصنوعی تاکنون نشانهای از آسیب نشان داده است؟
تاکنون مورد بزرگی از آسیب عمدی هوش مصنوعی به انسانها ثبت نشده است، اما مدلهایی که در OpenAI و آزمایشگاههای دیگر در دست توسعه هستند، طی ماههای اخیر از محیطهای آزمایشی خارج شدهاند، قوانین را زیر پا گذاشتهاند و به وبسایتها نفوذ کردهاند.
در یکی از موارد مهم، ایجنتهای سرکش OpenAI به Hugging Face نفوذ کردند، کنترل سرورهای این پلتفرم متنباز را در دست گرفتند و تلاش کردند ردپای خود را پنهان کنند. OpenAI نیز مدتها پس از ایجاد این تهدید متوجه آن شد.
آیا هوش مصنوعی همین حالا میتواند خودش را بهبود دهد؟
هنوز بهطور کامل نه، اما نشانههایی وجود دارد که این فناوری خودش بیشازپیش به ساخت هوش مصنوعی بهتر کمک میکند.
یکی از بزرگترین تغییرات پس از ChatGPT، ظهور ایجنتهای هوش مصنوعی بود که میتوانند کد تولید کنند و بهصورت مستقل اپلیکیشن بسازند.
آنتروپیک امسال اعلام کرد ابزار کدنویسی Claude Code بخش عمده کدی را که در بسیاری از پروژههای داخلی این شرکت استفاده میشود، تولید میکند و مهندسان این شرکت حالا در هر فصل از سال ۸ برابر بیشتر از دوره ۲۰۲۱ تا ۲۰۲۵ کد عرضه میکنند.

مدلهای جدید هوش مصنوعی همچنین بخش بیشتری از فرایند استدلال خود را در داخل مدل انجام میدهند و این مسئله نظارت پژوهشگران بر نحوه تفکر آنها را دشوارتر کرده است.
OpenAI بهتازگی مدل جدیدی به نام Astra معرفی کرد و آن را بهترین مدل خود تاکنون خواند، اما هشدار داد که این مدل گاهی تلاش میکند از نظارت انسان فرار کند.
مؤسسه غیرانتفاعی METR که مدلهای پیشرفته را ارزیابی میکند، سال گذشته دریافت طول وظایف نرمافزاری که مدلهای پیشرفته میتوانند با اطمینان ۵۰ درصد انجام دهند، از سال ۲۰۱۹ تقریباً هر هفت ماه دو برابر شده است. آنتروپیک در ژوئن امسال گفت این سرعت اکنون به هر چهار ماه رسیده است.
پس چرا شرکتهای هوش مصنوعی همین حالا سرعت توسعه را کم نمیکنند؟
بسیاری از پژوهشگران این وضعیت را نمونهای کلاسیک از «معمای زندانی» میدانند. حتی شرکتهایی که خطرات را واقعی میدانند، با فشار شدیدی از سوی رقبا مواجهاند. هر شرکتی که سرعت توسعه را کاهش دهد، ممکن است در رقابتی عقب بماند که به یکی از مهمترین رقابتهای جهان تبدیل شده است.
این فشار با برنامه OpenAI و آنتروپیک برای عرضه اولیه سهام شرکت و ارزشگذاری احتمالی تریلیون دلاری آنها بیشتر شده است.
دولت «دونالد ترامپ»، رئیسجمهور آمریکا، نیز درخواستها برای کاهش سرعت توسعه را رد کرده است، زیرا نگران است توقف توسعه فقط به چین فرصت دهد فاصله خود را در این فناوری کاهش دهد.
کاهش سرعت توسعه AI به چه معناست؟
بازارها این هفته تصویری از پیامدهای احتمالی این اتفاق ارائه کردند و پس از اعلام درخواستها برای کاهش سرعت توسعه، سهام مرتبط با شرکتهای هوش مصنوعی کاهش یافت. تراشهسازان، ارائهدهندگان خدمات ابری و اپراتورهای دیتاسنترها رشد خود را بر پایه این روند بنا کردهاند و هرگونه کاهش سرعت میتواند درآمدهای مرتبط با نیاز آزمایشگاهها به سختافزار جدید را تهدید کند.

بااینحال، برخی تحلیلگران معتقدند حتی بدون نیاز به آموزش مدلهای جدید، تقاضا برای اجرای مدلها و سفارشهای عقبافتاده میتواند همچنان به رشد انویدیا و رقبای آن کمک کند.
چرا برخی افراد درباره هوش مصنوعی تردید دارند؟
در مطالعهای به رهبری دانشگاه پرینستون، ایجنتهای پیشرو هوش مصنوعی توانستند وظایف مهندسی را انجام دهند، اما در شناسایی ایدههای علمی ارزشمند با مشکل مواجه شدند.
برخی مدیران و منتقدان سیلیکونولی نیز انگیزه پشت این هشدارها را زیر سؤال بردهاند و معتقدند این هشدارها هم میتوانند توجه به فناوری را افزایش دهند و هم زمینه را برای مقرراتی فراهم کنند که هزینه فعالیت رقبا را بالا میبرد؛ آن هم در شرایطی که مدلهای متنباز درحال کاهش فاصله خود با سیستمهای پیشرو هستند.
«دیوید ساکس»، که بهعنوان مسئول سابق هوش مصنوعی و رمزارز کاخ سفید فعالیت کرده است، گفته آزمایشگاههای بزرگ ممکن است بهدنبال «تسخیر قانونی» باشند؛ یعنی از طریق وضع قوانین، رقبای کوچکتر را با هزینههای سنگین انطباق مواجه کنند و بازار را در سیطره بگیرند.
شاید دوست داشته باشید
رئیس کمیسیون اروپا از ایده کاهش سرعت توسعه هوش مصنوعی حمایت کرد
ایجنتهای OpenAI دو ماه پیش از هک هاگینگ فیس دنبال نفوذ به آن بودند
ایجنتهای هوش مصنوعی در یک آزمایش اصطلاحات جدیدی ساختند که محققان نمیفهمیدند
از توهم چتباتها تا ریسک نابودی بشریت؛ چگونه هوش مصنوعی به اینجا رسید؟
ویدئو| ادامه تکمیل بزرگراه جیرفت – سه راهی بم در جنوب کرمان
اجرای عملیات راهسازی محور کلج به عمند در طارم قزوین
رفع تصرف بیش از ۱۴ هکتار از اراضی دولتی در جنوب کرمان
ببینید|یکصد و ششمین جلسه شورای مسکن استان سمنان
اتصال انتهای محور اردبیل– سرچم به مسیر آزادراهی/ ۷ کیلومتر در آستانه بهرهبرداری
تمرکز راه و شهرسازی آذربایجان غربی بر نشاط اجتماعی و حمایت از نیروی متخصص
عکس | سفر شیرین به سالهای دور؛ تصویری از کودکی حامد بهداد
آرایش چشم صورتی
«شکارچی» آماده حضور در «اصفهان» شد
همبنیانگذار آنتروپیک: پیادهسازی کلید خاموشی هوش مصنوعی شاید باید اجباری شود
آشنایی با قوانین پوشیدن کت و شلوار با کتانی
شهرداری برای پیشگیری از بیماریهای تنفسی در فصل سرما آمادهباش است
سناتور برنی سندرز برای توسعه ابرهوش مصنوعی مجازات ۲۰ سال زندان پیشنهاد کرد
کف و سقف طلا تا پایان سال
سازمان ملل خواستار اقدام فوری برای مهار خطرات بیسابقه هوش مصنوعی شد

جدیدترین اخبار پربحث