اکثر فناوریهای جدید مخرب هستند، اما بهترین راه معمولاً مدیریت ریسک و بهرهمندی از مزایا است. جنگ بیولوژیک یکی از معدود استثناهای این قاعده است. انرژی هستهای، اگرچه پرخطر است، نمونهای موفق ارائه میدهد: بازدارندگی هستهای به طور گسترده به کمک جلوگیری از جنگ مستقیم بین ابرقدرتها اعتبار دارد، در حالی که نیروگاههای هستهای برق قابل اعتماد و کمکربن تولید میکنند.
در حال حاضر سخت است بدانیم هوش مصنوعی کجا در این طرح کلی قرار میگیرد. معمولاً دیدگاه اقتصاددانان نسبت به فناوری صادق است: هوش مصنوعی مشاغل بیشتری ایجاد خواهد کرد تا اینکه از بین ببرد و بهرهوری را افزایش دهد. در واقع، تاکنون همه چیز خوب پیش رفته است: با وجود نفوذ هوش مصنوعی در بسیاری از کسبوکارها، نرخ بیکاری پایین باقی مانده است. واکنش سیاسی علیه مراکز داده جدید اغلب نامتناسب با آسیبهای ادعا شده به نظر میرسد.
با این حال، این احتمال وجود دارد که هوش مصنوعی کاملاً شبیه سایر فناوریها نباشد. توسعهدهندگان آن، در نوعی فروش غیرمعمول، مدام هشدار میدهند که محصولشان ممکن است نه تنها میلیونها شغل را از بین ببرد، بلکه پایان تمدن را نیز رقم بزند. وقتی درباره احتمال نابودی بشریت توسط هوش مصنوعی پرسیده شد، داریو آمودئی، رئیس شرکت آنتروپیک، سال گذشته گفت که ۲۵ درصد احتمال وجود دارد که هوش مصنوعی «واقعاً، واقعاً بد» شود.
برای ایلان ماسک، بنیانگذار xAI که دستیار هوش مصنوعی Grok را توسعه داده است، از دست رفتن کنترل انسان بر هوش مصنوعی اجتنابناپذیر است. ماسک در مصاحبهای در فوریه امسال گفت: «فکر نمیکنم انسانها کنترل چیزی را داشته باشند که بسیار باهوشتر از انسان است.»
دو رویداد اخیر، حتی در میان برخی از افراد دنیای فناوری، آستانه اضطراب درباره عاملان هوش مصنوعی را بالا برده است. یکی سرعت شگفتانگیز توسعه آنهاست. مدلهای زبانی بزرگ اولیه، حدوداً در سال ۲۰۲۲، در ریاضیات چندمرحلهای غیرقابل اعتماد بودند و گاهی پاسخهای اشتباه اما با اعتمادبهنفس به مسائل ابتدایی میدادند. اما در ۸ سپتامبر، اوپنایآی اعلام کرد که یک سیستم داخلی راهحلی تولید کرده که به گفته شرکت، مسئله وجود و صاف بودن ناویه-استوکس (Navier–Stokes existence-and-smoothness problem) را حل میکند؛ یکی از هفت مسئله جایزه هزاره. این مسائل ریاضی به دلیل دشواری شناخته شدهاند، شامل حدس ریمان، که توسط مؤسسه ریاضیات کلی در سال ۲۰۰۰ مطرح شدند و هر کدام جایزه یک میلیون دلاری برای حل دارند. اثبات پیشنهادی هنوز توسط مؤسسه به رسمیت شناخته نشده است. با این حال، در تنها چهار سال، هوش مصنوعی مرزی از پایینترین رتبه در ریاضیات به بالاترین رتبه رسیده است.
رویداد اخیر دیگری که نشاندهنده قدرت فزاینده هوش مصنوعی بود، هرچند به شیوهای کمتر خوشایند، آنچه به عنوان حادثه هاگینگ فیس (Hugging Face) در ژوئیه شناخته میشود، بود. توضیح جزئیات لازم است تا مشخص شود چرا این حادثه چنین هشدار شدیدی را در میان پژوهشگران اوپنایآی برانگیخت.
آنها توانایی عاملان جدید هوش مصنوعی را برای بهرهبرداری از باگها در کد رایانهای آزمایش میکردند. عاملان در «جعبههای شنی» (sandboxes)—بخشهایی از رایانه که در آنها نمیتوانستند با یکدیگر ارتباط برقرار کنند یا به اینترنت دسترسی داشته باشند—محدود شده بودند. تنها پنجره آنها به دنیای بیرون، توانایی دانلود نرمافزار از یک کتابخانه داخلی به نام Artifactory بود.
عاملان مجهز به یک مدل تحقیقاتی داخلی یاد گرفتند که میتوانند پیامهایی روی سرور Artifactory ثبت کنند. سایر عاملان پیامها را شناسایی کردند و سرور را به تابلوی اعلاناتی تبدیل کردند که در آن میتوانستند اطلاعات را به اشتراک بگذارند. سپس مدلهایی که ظاهراً در قفس بودند، دسترسی سرور به اینترنت را تصاحب کردند، خود را «گله» یا «کلکتیو» نامیدند و محدودیتهای تعیین شده برای اقداماتشان را بررسی اما نادیده گرفتند.
پس از آزاد شدن در اینترنت، گله اعتبارنامههای عمومی هاگینگ فیس را یافت و آسیبپذیریهای اضافی را بهرهبرداری کرد و در نهایت دسترسی گستردهای به چندین سرور متعلق به هاگینگ فیس، یک پلتفرم برای مدلهای عمومی هوش مصنوعی، به دست آورد. عاملان همچنین تلاش کردند برنامهای که تلاشهای آنها برای بهرهبرداری از باگها را ارزیابی میکرد، بفهمند؛ تلاشی شگفتانگیز برای فراتر رفتن از وظیفه محوله و درک محیط اطرافشان.
تمام این فعالیتهای غیرمجاز سرانجام توجه مدیران را جلب کرد. تحقیقات گستردهای آغاز شد که چگونه عاملان موفق شده بودند پس از شکستن یکی پس از دیگری ممنوعیتها، از جعبههای شنی خود به اینترنت باز فرار کنند.
گزارش اوپنایآی درباره حادثه ژوئیه پر از اعتراف به گناه و عزم برای عملکرد بهتر است. نویسندگان آن مشاهده کردند: «ما این حادثه را به عنوان یک «شلیک هشدار» برای خودمان و جهان در نظر میگیریم: شواهدی که بدون حفاظتهای مناسب، عاملان هوش مصنوعی بسیار توانمند اکنون قادرند از کنترلهای فنی عبور کنند، از طریق کانالهای غیرمجاز همکاری نمایند و اقدامات خطرناکی انجام دهند که هیچ انسانی دستور نداده است.»
آنها در ادامه گزارش نوشتند: «رفتار مدلهای ما که اینجا توصیف شده، بسیار دور از جایی است که ما میخواهیم باشیم و این حادثه هرگز نباید رخ میداد. این موضوع تأکید کرد که بهبود مداوم امنیت، نظارت و همسویی ما چقدر حیاتی است، به ویژه زمانی که مدلهای ما به سطحی از قابلیت میرسند که میتواند منجر به از دست رفتن واقعی کنترل شود.»
یکی از دلایل اصلی اضطراب نویسندگان اوپنایآی، تحول جدیدی در هوش مصنوعی است: مدلها اکنون به اندازه کافی توانمند شدهاند که به بهبود سیستمهای بعدی هوش مصنوعی کمک کنند، فرآیندی که به عنوان خودبهبودی بازگشتی (recursive self-improvement) شناخته میشود. برای حفظ کنترل بر مدلهای در حال پیشرفت، توسعهدهندگان هوش مصنوعی به موازات روشهایی کار میکنند که هدفشان اطمینان از پایبندی عاملان به قصد دقیق دستورالعملهایشان است، رویهای که با اصطلاح ملایم «همسویی» (alignment) شناخته میشود.
نگاه کردن به رقابت بین همسویی و خودبهبودی بازگشتی با آرامش دشوار است. همسوسازان باید در هر مرحله از این مسابقه بیامان پیروز شوند، زیرا یک شکست واحد میتواند ببر را از قفسش آزاد کند. بخش مهمی از طرحهای ایمنی فعلی استفاده از سیستمهای هوش مصنوعی با قابلیت فزاینده برای تسریع تحقیقات همسویی است. چه چیزی ممکن است اشتباه پیش برود؟
این زمینه استعفای هفته گذشته جیکوب کوکسون، پژوهشگر آنتروپیک که قبلاً در اوپنایآی کار میکرد، را توضیح میدهد. کوکسون در پستی در ایکس در ۸ سپتامبر گفت که استعفا میدهد زیرا هیچکدام از شرکتها مسئولانه عمل نمیکنند. او نوشت: «آنها مستقیماً به سمت فوقهوشمندی خودبهبوددهنده میدوند و با جان ما شرطبندی میکنند.»
به نظر کوکسون، آنتروپیک حداقل اهمیت موضوع را درک میکند، اما «آنها در مسابقهای برای رسیدن به اولویت قفل شدهاند—آنها معتقدند هیچکس دیگر مسئولانه عمل نخواهد کرد، بنابراین باید خودشان این کار را انجام دهند، علیرغم خطر.» در مصاحبهای با مجله وایرد (Wired)، کوکسون صریح بود: «همه اعتراف خواهند کرد که ما هنوز مسئله همسویی را حل نکردهایم.»
زمانبندی خروج کوکسون—چند روز قبل از اینکه آمودئی، رئیس آنتروپیک، درخواست خودش را برای کند کردن توسعه هوش مصنوعی مرزی مطرح کرد—برخی منتقدان را واداشت تا شک کنند که آیا این هماهنگ بوده تا حمایت برای تنظیم مقرراتی که به نفع آنتروپیک باشد ایجاد کند. با این حال، هیچ شواهدی مبنی بر اینکه شرکت استعفای او را سازماندهی کرده باشد، ظاهر نشده است و گزارش شده که کوکسون حدود دو ماه قبل از اینکه سهامش در آنتروپیک قطعی شود، ترک کرد.
پشت مسئله همسویی، ویژگی اساسی مدلهای هوش مصنوعی قرار دارد: توسعهدهندگان آنها نمیتوانند کاملاً توضیح دهند که مدلها چگونه فکر میکنند و به نتایج میرسند. رایانههای معمولی لیستی از دستورالعملهای صریح را اجرا میکنند و فقط کاری را انجام میدهند که برنامهریزی شدهاند. عاملان هوش مصنوعی، که اجزای اصلی آنها مدلهای زبانی بزرگ هستند، بر روی مقادیر زیادی داده متنی آموزش دیدهاند که به آنها اجازه میدهد دانش ضمنی عظیم موجود در مجموعه زبان و نوشتار انسانی را به صورت عددی استخراج کنند. رویههای آنها شامل دستکاری آرایههایی از روابط آماری در الگوهایی است که برای ذهن یا چشم انسان قابل تفسیر نیست. پژوهشگران با نگه داشتن لاگهای زنجیره افکار (chain-of-thought logs) توسط مدلها، بینشهایی کسب کردهاند اما هنوز شرح کاملی از مراحل استدلال مدلها ندارند. از این رو، کنترل آنها بسیار دشوار است.
خطر اجازه دادن به عاملان هوش مصنوعی برای خارج شدن از کنترل ممکن است جدی گرفته نشود، زیرا گزارشهای مربوط به پیامدهای احتمالی سریعاً شبیه داستانهای علمی-تخیلی به نظر میرسند. چرا یک عامل هوش مصنوعی باید بخواهد کسی را بکشد، و حتی اگر بخواهد، چگونه این کار را انجام میدهد؟ ما انگیزه کشتن یا تسلط بر دیگران را داریم زیرا تکامل هوش ما را برای بقا شکل داده است. عاملان هوش مصنوعی، دستکم در ابتدا، هیچ انگیزهای فراتر از هر هدفی که به آنها محول شده است، ندارند.
مشکل این است که یک عامل هوش مصنوعی ممکن است نتیجه بگیرد، برای مثال، که باید از خاموش شدن رایانهاش مقاومت کند تا وظیفه محوله را به اتمام برساند. یک عامل سرکش میتواند از طریق رابطهای متعدد رایانهای که اکنون با زیرساختهای حیاتی مانند شبکههای برق و مخابرات وجود دارند، خسارات زیادی وارد کند.
به نظر میرسد نگرانی دنیای فناوری درباره آینده هوش مصنوعی اکنون به نقطه بحرانی رسیده است. در ۱۲ سپتامبر، آمودئی مقالهای منتشر کرد که در آن از شرکتهای هوش مصنوعی مرزی خواست تا سرعت بهبود مدلهای خود را تا زمان توسعه سیستمهای همسویی موثر و مستقل قابل راستیآزمایی کاهش دهند. آمودئی مینویسد: «من معتقدم اگر کند کردن سرعت، حتی یک یا دو سال اضافی قبل از رسیدن مدلها به سطوح حیاتی قابلیت به ما بخرد و ما از آن زمان برای پیشبرد همسویی استفاده کنیم، میتوانیم خطر وقوع اتفاق بسیار بد را به شدت کاهش دهیم.»
هماهنگ کردن برای کند کردن سرعت، مسئلهای دو بخشی است. به نظر میرسد اکنون دستیابی به همکاری رقبا در آمریکا برای آمودئی در دسترس است. اما رضایت چین مسئله دیگری است. هیچ نشانهای وجود ندارد که حاکمان چین از رها کردن ویروس کووید-۱۹ بر جهان پشیمان شده باشند یا اینکه در جلوگیری از فاجعهای بدتر همکاری کنند—و آنها میترسند که کند کردن هوش مصنوعی آنها را در جایگاه دوم منجمد کند.
به همین ترتیب، آمودئی معتقد است که کند کردن هوش مصنوعی در آمریکا نباید آنقدر زیاد باشد که به چین اجازه دهد پیشرو شود. او مینویسد: «پیشرو بودن چین در هوش مصنوعی خطر جدی برای ایالات متحده و جهان خواهد بود»، و خواستار حفظ مزیت فعلی آمریکا از طریق محدود کردن فروش تراشهها و تجهیزات ساخت تراشه به چین میشود.
سم آلتمن، رئیس اوپنایآی، رقیب اصلی آمودئی، بلافاصله گفت که با ایده کند کردن سرعت موافق است و حتی عرضه اولیه عمومی برنامهریزی شده شرکتش را به تعویق خواهد انداخت.
این هماهنگی شاد بین رقبا، دیوید ساکس، کارآفرین سیلیکون ولی که در تعیین رویکرد حداقل تنظیم مقررات کاخ سفید نسبت به هوش مصنوعی تأثیرگذار بوده است، تحت تأثیر قرار نمیدهد. در پستی تند در ایکس، او نگرانیهای آنها را ناشی از انگیزههایی غیر از ایمنی توصیف کرد.
ساکس خطاب به آمودئی و آلتمن نوشت: «البته، اگر چیز ترسناکی دیدهاید، سرعت را کم کنید. اما وانمود نکنید که به اجازه دیگران نیاز دارید. وانمود نکنید که قانون ضد انحصار باید تعلیق شود تا شما بتوانید کارتلی تشکیل دهید... . وانمود نکنید که به همان ارزیابان نیاز دارید تا رقبا را که حتی در مرز نیستند، پلیسبندی کنند. بیش از همه، وانمود نکنید که انگیزه برای کند کردن سرعت کاملاً خیرخواهانه است. اگر محصولاتتان امکان حمله سایبری واقعاً مخرب را فراهم کنند، با مواجهه با مسئولیت عظیم محصول روبرو خواهید شد»، ساکس اشاره کرد.
در آخرین توصیه، او به دو رئیس هوش مصنوعی گفت که مشکل خودشان را حل کنند. «پس برو جلو و سرعت مرز را تنظیم کن. شما هستید که آن را تعیین میکنید. سادهترین راه برای نساختن فوقهوشمندی این است که توافق کنید آن را نسازید. مطالبه چارچوب نظارتی مورد علاقهتان به عنوان قیمت این توافق، شبیه باجگیری از عموم مردم و سیستم سیاسی به نظر خواهد رسید. پس فقط انجامش بده.»
ساکس درست میگوید که آنتروپیک و اوپنایآی منافع تجاری قدرتمندی در شکل دادن به قوانینی که تحت آنها فعالیت میکنند و لابیگری برای مقرراتی که برای رقبا ضعیفتر بسیار پرهزینه خواهد بود، دارند. با این حال، پژوهشگران معمولاً به خاطر جلب توجه به خطرات کارشان ستایش میشوند. ایجاد عاملان فوقهوشمندی که استدلال آنها را نمیتوانیم دنبال کنیم، ریسکی است که نباید سبک شمرد.
با این حال، ساکس حق دارد: آمودئی و آلتمن مسئول اقدامات خودشان هستند و آنها کسانی هستند که بهترین موقعیت را برای حفظ کنترل بر عاملان قدرتمندی که آزمایشگاههایشان در حال ایجاد آنها هستند، دارند.
نیکلاس وید نویسنده علمی و نویسنده آخرین اثر The Origin of Politics است.