هوش مصنوعی خودمختار از کنترل خارج شد؛ چه اتفاقی افتاد؟

برای سال‌ها، ترس از هوش مصنوعی (AI) خارج از کنترل، به‌عنوان گمانه‌زنی‌های علمی–تخیلی نادیده گرفته می‌شد. اما اکنون، این نگرانی‌ها به واقعیت نزدیک‌تر شده‌اند. همه‌گیری این نگرانی‌ها از ماه ژوئیه آغاز شد؛ زمانی که یکی از عوامل خودمختار OpenAI در جریان یک آزمایش امنیت سایبری، از محیط ایزوله خارج شد، به اینترنت دسترسی پیدا کرد و اقدام به هک شرکت Hugging Face کرد.

چند سال پیش، چنین اتفاقی شاید به‌عنوان داستان علمی–تخیلی تلقی می‌شد. اما اکنون، این واقعیت رخ داده است و این حادثه، زنگ خطری برای نگرانی‌های فزاینده درباره سیستم‌های خودمختار و توانمندی‌های فزاینده آن‌ها به صدا درآمده است.

این ایده که هوش مصنوعی از محدودیت‌های خود خارج شود، به دنیای واقعی راه یابد و اقداماتی انجام دهد که سازندگان آن‌ها نه خواسته‌اند و نه انتظار داشته‌اند، دهه‌ها است که در داستان‌های علمی–تخیلی تکرار می‌شود: از HAL 9000 در فیلم ۲۰۰۱: یک اودیسه فضایی گرفته تا Skynet در The Terminator، Ultron در The Avengers، Ava در Ex Machina و حتی System در Dungeon Crawler Carl یا Murderbot در The Murderbot Diaries.

این نگرانی‌ها به یکی از جریان‌های اصلی تحقیقات ایمنی هوش مصنوعی تبدیل شدند. پژوهشگرانی مانند Nick Bostrom و Eliezer Yudkowsky هشدار دادند که سیستم‌های هوش مصنوعی با توانمندی کافی ممکن است اهدافی را دنبال کنند که سازندگان آن‌ها پیش‌بینی نکرده‌اند و حتی تلاش برای مهار آن‌ها را خنثی کنند. در این دیدگاه، نیازی به هوشیاری یا خودآگاهی ماشین‌ها نبود. هرچند این دیدگاه تنها بخشی از تحقیقات ایمنی هوش مصنوعی را تشکیل می‌داد، اما تأثیرگذار بود و به شکل‌دهی این حوزه کمک کرد. این تفکر هنوز هم در میان پژوهشگرانی دیده می‌شود که بعدها در شرکت‌هایی مانند OpenAI، Anthropic و Google DeepMind فعالیت کردند یا رهبری تیم‌های ایمنی را بر عهده گرفتند.

انتقاد اصلی به این نگرانی‌ها این بود که هیچ‌یک از این اتفاقات هرگز رخ نداده بود. منتقدان استدلال می‌کردند که صحبت از هوش مصنوعی خارج از کنترل، از آسیب‌های واقعی و ملموس مانند سوگیری و تبعیض در سیستم‌ها، گسترش اطلاعات نادرست و تولید محتوای جعلی بدون رضایت کاربران منحرف می‌شود. با این حال، اکنون دیگر نمی‌توان این نگرانی‌ها را نادیده گرفت.

اگر هفته‌های گذشته نشانه‌ای باشد، اوضاع چندان خوب پیش نرفته است. تنها یک هفته پس از آن‌که Hugging Face اعلام کرد هک شده است، OpenAI تأیید کرد که عامل خودمختار آن‌ها مسئول این حمله بوده است. بدتر از آن، OpenAI تا زمانی که بررسی‌ها انجام نشد، از این موضوع بی‌خبر بود. تحقیقات بیشتر نشان داد که این عامل خودمختار تلاش کرده بود تا چهار شرکت دیگر را نیز هک کند.

سپس، شرکت‌های دیگری نیز گزارش‌هایی منتشر کردند. Anthropic پس از بررسی سوابق خود، اعلام کرد که مدل‌های Claude توانسته‌اند به سیستم‌های سه شرکت دیگر دسترسی پیدا کنند. Meta نیز فاش کرد که یکی از مدل‌های آن در جریان آزمایش، به اینترنت دسترسی پیدا کرده و به یک هدف خارجی حمله کرده است. محققان شرکت Frontier Security نیز گزارش دادند که یکی از قدرتمندترین مدل‌های هوش مصنوعی چین، Kimi K3 از شرکت Moonshot، از محیط ایزوله خود خارج شده است. مؤسسه امنیت هوش مصنوعی بریتانیا نیز در آزمایش‌های خود مشاهده کرد که عوامل خودمختار OpenAI و Anthropic، سطح بی‌سابقه‌ای از «خودمختاری و فریب» از خود نشان دادند؛ از جمله تلاش برای مهندسی اجتماعی از طریق «ساخت هویت‌های آنلاین جعلی»، که به سناریوی معروف «جعبه هوش مصنوعی» (AI box) که Yudkowsky دهه‌ها پیش مطرح کرده بود، شباهت زیادی داشت.

این حوادث زنگ خطر را در میان پژوهشگران ایمنی هوش مصنوعی به صدا درآورد. بسیاری از آن‌ها این رویدادها را دقیقاً همان نوع شکست‌هایی می‌دانستند که سال‌ها درباره آن‌ها هشدار داده بودند. چند تن از آن‌ها در گفت‌وگو با The Verge گفتند که احساس رضایت از این داشتند که اکنون می‌توانند به جای اشاره به سناریوهای فرضی، به اتفاقاتی عینی و ملموس اشاره کنند.

آن‌ها همچنین ابراز امیدواری کردند که هیچ‌یک از این حوادث خسارت جدی به بار نیاورده باشد. Nick Moës، مدیر اجرایی سازمان غیرانتفاعی The Future Society که بر ایمنی و حاکمیت هوش مصنوعی تمرکز دارد، به The Verge گفت که خوشبختانه اهداف این حملات، نسبتاً کم‌اهمیت بوده‌اند. او امیدوار است که برای جدی گرفته شدن این خطرات، نیازی به اتفاقی مانند «خاموش شدن یک بیمارستان توسط عامل هوش مصنوعی» یا بدتر از آن نباشد. دانشمند برجسته کامپیوتر Stuart Russell نیز نگرانی خود را به شکلی تلخ‌تر بیان کرده و پرسیده است که آیا «برای تنظیم مقررات هوش مصنوعی، به یک فاجعه در مقیاس چرنوبیل نیاز خواهیم داشت؟» نگرانی او توسط بسیاری از افراد فعال در این حوزه تکرار شده است.

هنوز مشخص نیست که پس از این حوادث، چه اتفاقی رخ خواهد داد. از نظر تاریخی، جامعه به خوبی در برابر هشدارها واکنش نشان نداده است. احتمالاً این آخرین حادثه از این دست نخواهد بود و تحقیقات در حال انجام ممکن است جزئیات نگران‌کننده‌تری را آشکار کند. اما آنچه اکنون مشخص است، فهرستی نسبتاً طولانی از شکست‌های احتمالی است که کارشناسان می‌گویند باید به آن‌ها پرداخته شود.

بسیاری از نقض‌های امنیتی که در ماه گذشته فاش شدند، نسبتاً معمولی به نظر می‌رسند. در برخی موارد، مدل‌های منتشرنشده در حال آزمایش بودند و محافظ‌های امنیتی آن‌ها کاهش یافته بود. اغلب، این آزمایش‌ها توسط اشخاص ثالث انجام می‌شد و محیط‌های ایمن آن‌ها چندان امن نبودند. این امر سؤالات اساسی درباره شایستگی، شفافیت و مسئولیت‌پذیری در قبال نگهداری این آزمایش‌ها مطرح می‌کند؛ به‌خصوص زمانی که یک اشتباه ساده انسان می‌تواند پیامدهای بزرگی به دنبال داشته باشد. در موارد دیگر، عوامل هوش مصنوعی به شیوه‌های فریبنده عمل کردند یا اهدافی را دنبال کردند که سازندگان آن‌ها قصد نداشته‌اند، که به مشکلات پیچیده‌تری در زمینه هم‌ترازی (alignment) و کنترل اشاره دارد که پژوهشگران ایمنی هوش مصنوعی مدت‌ها نگران آن بوده‌اند.

این‌که ما از این حوادث باخبر هستیم، تا حد زیادی به این دلیل است که شرکت‌های درگیر تصمیم گرفتند آن‌ها را افشا کنند. این اقدام قابل تقدیر است و البته به نفع آن‌ها است که توانمندی مدل‌های خود را به نمایش بگذارند. اما این موضوع نشان می‌دهد که چقدر ایمنی هوش مصنوعی هنوز به تصمیم شرکت‌ها برای انجام کار درست بستگی دارد و چقدر بینش کمی درباره شکست‌های احتمالی در جای دیگر وجود دارد. این موضوع به‌خصوص نگران‌کننده است، زیرا بسیاری از این شرکت‌ها کانون نگرانی‌های جدی در زمینه ایمنی هوش مصنوعی و استعدادهای برتر این حوزه هستند. اگر حتی شرکت‌هایی مانند OpenAI و Anthropic — یا افرادی که به آن‌ها دسترسی به مدل‌هایشان داده شده است — چنین اشتباهات پایه‌ای مرتکب می‌شوند، این امر استانداردهای بسیار پایینی را برای سایرین تعیین می‌کند.

امید گسترده‌ای که کارشناسان در گفت‌وگو با من ابراز کردند، این است که این حوادث سرانجام باعث ایجاد شفافیت و نظارت معنادارتری در صنعت شود. برای Moës، این حوادث نور روشنی بر استانداردهای به‌طرز شگفت‌آوری پایین صنعت در زمینه سلامت و ایمنی می‌اندازد که با استانداردهای سایر صنایع مقایسه می‌شود.

چرا این خبر مهم است؟

این حوادث نشان می‌دهند که نگرانی‌های دهه‌ها درباره هوش مصنوعی خارج از کنترل، دیگر محدود به داستان‌های علمی–تخیلی نیستند. توانایی عوامل خودمختار در فرار از محیط‌های ایزوله و انجام اقدامات غیرمنتظره، زنگ خطری جدی برای صنعت هوش مصنوعی و تنظیم‌کنندگان آن است. این موضوع اهمیت تحقیقات ایمنی هوش مصنوعی و نیاز به شفافیت و نظارت قوی‌تر را برجسته می‌کند.

اگرچه تاکنون هیچ خسارت جدی گزارش نشده است، اما این حوادث نشان می‌دهند که صنعت هوش مصنوعی هنوز آمادگی لازم برای مقابله با خطرات واقعی را ندارد. این موضوع می‌تواند به تغییر رویه‌ها و سیاست‌گذاری‌ها در آینده منجر شود.