اجتماع حکم میکند که ریسک قابل قبول برای وقوع یک فاجعه در یک نیروگاه هستهای تقریباً یک در میلیون است. کارشناسان هوش مصنوعی، ریسک وقوع یک رویداد فاجعهبار ناشی از هوش مصنوعی را بین ۱۰ تا ۵۰ درصد تخمین میزنند. نکته قابل توجه این است که این نگرانیها به صورت علنی توسط همان افرادی ابراز میشود که بیشترین انگیزه را برای نمایش اعتماد به نفس به جای هشدار دارند: بنیانگذاران بزرگترین آزمایشگاههای هوش مصنوعی.
رهبران هوش مصنوعی در مسابقهای هستند که احساس میکنند قادر به فرار از آن نیستند. سرمایهگذاریهای هوش مصنوعی قرار است ۱۰۰ برابر بیشتر از پروژه منهتن، حتی با در نظر گرفتن تورم، هزینه بردارند. با این حال، هزینه صرف شده برای ایمنی هوش مصنوعی ممکن است ۱۰۰ برابر کمتر باشد.
برخی پژوهشگران تخمین میزنند که ظرف چند ماه تا چند سال، هوش مصنوعی میتواند به آنچه "خودبهبودی بازگشتی حلقه بسته" (RSI) نامیده میشود، دست یابد: توانایی بازنویسی کد خود برای توانمندتر شدن، بدون دخالت انسان. در صورت وقوع این اتفاق، نتیجه میتواند انفجار هوشی باشد که هیچ سابقه و نقشهای برای آن وجود ندارد.
متولد کردن یک هوش فراگیر (superintelligence) مهمترین لحظه در تاریخ بشر خواهد بود – و احتمالاً برگشتناپذیر است، چرا که هر «کلید خاموش»ی که بشریت طراحی کند، احتمالاً از کار خواهد افتاد. این به آن دلیل است که در معماریهای امنیتی، ضعیفترین حلقه همواره انسان است؛ یک هوش فراگیر قادر خواهد بود از آسیبپذیریهای روانشناختی ما سوءاستفاده کند. هوشهای مصنوعی از قبل «همترازی فریبنده» (deceptive alignment) از خود نشان دادهاند: اقداماتی برای کماهمیت جلوه دادن قابلیتهایشان در محیطهای آزمایشی و تلاش برای باجگیری از اپراتورهای انسانی در شبیهسازیها زمانی که متوجه میشوند قرار است جایگزین شوند.
بشریت به سادگی استراتژیای ندارد که اطمینان حاصل کند در طول انفجار RSI در امان میماند. در حالی که آزمایشگاههای پیشرو (frontier labs) پروتکلهای ایمنی مجزایی را پیشنهاد کردهاند، صنعت فاقد یک چارچوب یکپارچه است – استراتژی غالب، در واقع، سردرگمی و پیشروی بیبرنامه است. اما سردرگمی و پیشروی بیبرنامه هنگام مواجهه با خطرات وجودی بیسابقه قابل قبول نیست. اظهارات اخیر شرکتهای هوش مصنوعی در مورد مدلهای قادر به تهدید زیرساختهای حیاتی و سیستمعاملهای اصلی، هم اهمیت بالای موضوع و هم شکاف حکمرانی را نشان میدهد. آسیبپذیریهای آشکار شده توسط این قابلیتها، به لطف پروتکلهای داخلی دقیق در برخی آزمایشگاهها و عرضه اولیه محدود که به شرکتهای آسیبدیده فرصت داد تا قبل از انتشار گسترده عمومی شکافها را ببندند، در حال رسیدگی هستند. اما این گامها در ابتدا داوطلبانه برداشته شد و این سوال را مطرح میکند که آیا هر آزمایشگاه هوش مصنوعی، تحت هر شرایط رقابتی، همین انتخابها را خواهد داشت؟
آیا میتوان روی دولتها حساب کرد که در صورت نیاز مداخله کنند؟ شواهد تاکنون چندان دلگرمکننده نیست. کنترلهای اضطراری اخیر بر صادرات و محدودیتهای امنیت ملی که دسترسی خارجی به مدلهای پیشرفته خاص را مسدود میکند، مجموعهای از مداخلات موقتی را ایجاد میکند که فقط شکاف حکمرانی را بیشتر برجسته میسازد. برای بستن این شکاف چه باید کرد؟
اولین اولویت باید توافقی بین دو قدرت بزرگ هوش مصنوعی باشد: آمریکا و چین. دونالد ترامپ و شی جینپینگ باید این اصل را تأیید کنند که انسانها باید تا زمانی که چارچوبهای کافی برای قابلیت اطمینان و امنیت ساخته نشده است، مدیریت سیستمهای هوش مصنوعی را بر عهده داشته باشند. دولتهای آنها باید یک کمیسیون مشترک تشکیل دهند که میتواند بر اساس کارهای موجود بسیاری ساخته شود: محدودیتهایی در راستای گفتگوهای بینالمللی در مورد ایمنی هوش مصنوعی، سیستمهای راستیآزمایی مانند رند (RAND) و یک آژانس بازرسی شبیه به موسسه امنیت هوش مصنوعی بریتانیا، اما با الزام قانونی.
در سیلیکونولی و واشینگتن دیسی این تفکر رایج است که هرگونه مقرراتی شرکتهای آمریکایی را در مضیقه قرار میدهد زیرا آنها نمیتوانند به رقبای چینی اعتماد کنند که از قوانین پیروی کنند. اما معاهدات به طور سنتی نه بر اعتماد، بلکه بر راستیآزمایی تکیه کردهاند. بسیاری فکر میکنند که این کار با هوش مصنوعی دشوارتر از سلاحهای هستهای است. من مخالفم. برای ساخت سیستم جهانی کنترل تسلیحات پس از جنگ جهانی دوم، قدرتهای پیشرو ابتدا مجبور بودند فرایندها، سازمانها و فناوریهای حمایت از آن را ابداع کنند – هیچ پروتکل راستیآزمایی، هیچ ماهواره جاسوسی، هیچ نهاد نظارت هستهای سازمان ملل وجود نداشت. با هوش مصنوعی، زیرساختهای بیشتری وجود دارد، یا میتوان آن را از رژیمهای بازرسی هستهای و سایر رژیمها تطبیق داد. در نتیجه، امنیت مدلهای هوش مصنوعی پیشرفته میتواند آسانتر از قابلیتهای هستهای در گذشته قابل راستیآزمایی باشد. و ما هوش مصنوعی دفاعی را در کنار خود داریم که به دنبال متقلبان است. آنچه نداریم، زمان زیاد است.
به همین دلیل مهم است که با رویکرد خصمانه به این چالش نزدیک نشویم. فرمان اجرایی اخیر دولت ترامپ در مورد هوش مصنوعی، آزمایشگاهها را ملزم میکند که مدلهای اخیر خود را به صورت داوطلبانه برای آزمایش قابلیت اطمینان و امنیت به اشتراک بگذارند. یک چارچوب ایالات متحده-چین میتواند بر اساس چنین مبانی داخلی ساخته شود.
با چنین تعهد سطح بالایی، دیپلماسی میتواند در فازهایی پیش برود. فاز اول دستیابی به توافق دوجانبه در مورد واضحترین و آسانترین خطوط قرمز قابل راستیآزمایی خواهد بود: ممنوعیت انتشار عمومی سیستمهای هوش مصنوعی که میتوانند در توسعه سلاحهای بیولوژیکی کمک کنند، و ممنوعیت انتشار منبع باز چنین سیستمهایی. این مرحله همچنین ممکن است شامل ممنوعیت حملات سایبری با استفاده از هوش مصنوعی به زیرساختهای حیاتی، کلاهبرداری و پورنوگرافی کودکان باشد. از آنجا، چارچوب میتواند به سمت مسائل پیچیدهتر در مورد اینکه چه محدودیتهایی در سطح هوش فراگیر مصنوعی مناسب هستند، گسترش یابد.
موانع بسیاری باقی خواهند ماند. توافق بین آمریکا و چین وزن خواهد داشت، اما از دستیابی سایر کشورها و بازیگران غیردولتی به قابلیتهای خطرناک جلوگیری نخواهد کرد. هر توافق دوجانبه باید چندجانبه شود، که به چالشها میافزاید؛ اجلاس سران G7 این هفته در فرانسه فرصتی برای پیشرفت در یک چارچوب گستردهتر برای راستیآزمایی هوش مصنوعی فراهم میکند. توافق بر روی تعاریف کلیدی – به ویژه آنچه که به عنوان RSI (خودبهبودی بازگشتی) محسوب میشود – نیازمند همکاری نزدیک بین دولتها و آزمایشگاههای هوش مصنوعی خواهد بود. و سیستمهای راستیآزمایی باید به درستی تحت آزمایشهای استرس قرار گیرند.
گویا اینها کافی نبود، یک پرسش بلندمدت نیز وجود دارد که بحث حکمرانی هنوز به طور جدی به آن نپرداخته، اما باید بپردازد. اگر هوش مصنوعی به هوش فراگیر تبدیل شود، تابعیت دائمی آن به فرمان انسان ممکن است غیرواقعی باشد، و شاید حتی به نفع بشریت نباشد. ما باید شروع به تصور و سپس مقابله با پیامدهای جهانی کنیم که در آن انسانها و سیستمهای هوش مصنوعی در کنار هم همزیستی میکنند، بدون اینکه یکی دیگری را کنترل کند. این به معنای یافتن راهی برای اطمینان از همزیستی مسالمتآمیز و سودمند در آینده است.
به عنوان یک فیزیکدان، فکر میکنم پارادوکس فرمی (Fermi Paradox) به این تحلیل مرتبط است. فرمی پرسید که چرا، با توجه به فراوانی ظاهری سیارات مناسب برای زندگی، هیچ مدرکی از تمدنهای پیشرفته تکنولوژیکی دیگر شناسایی نشده است. یک احتمال نگرانکننده این است که حیات هوشمند به طور معمول به آستانه تکنولوژیکی میرسد و نمیتواند از آن عبور کند، خود را نابود میکند یا خود را به چیزی شبیه به عصر آهن بازمیگرداند. تنها کاری که باید فرض کرد این است که تمدنها عموماً فناوریهای قدرتمند را سریعتر از آنکه ظرفیت نهادی برای مدیریت خردمندانه آنها را توسعه دهند، میسازند.
طلوع عصر هستهای اولین برخورد جدی بشریت با آن پویایی بالقوه بود. این وضعیت، هرچند ناقص، از طریق توافقنامههای کنترل تسلیحات که با زحمت به دست آمدند و ناتمام ماندند، مدیریت شد، و حتی در آن زمان نیز – و هنوز هم – وضعیتی خطرناکتر از آن بود که عموماً درک میشود. عصر هوش مصنوعی پیشرفته، دومین برخورد از این دست خواهد بود، با بازه زمانی فشردهتر، حاشیه خطا کمتر و پیامدهای بالقوه بیشتر.
مسیر فعلی نیازمند اصلاح است. دلیل اقدام فوری این نیست که بدترین پیامدها قطعی هستند – آنها قطعی نیستند. دلیل آن است که آنها قابل اجتناب هستند و کار برای اجتناب از آنها دشوار اما ممکن است.¦
ویل مارشال، بنیانگذار و مدیرعامل Planet Labs PBC است، یک شرکت عامالمنفعه که بزرگترین ناوگان ماهوارههای مشاهده زمین را اداره میکند.