شرکت آنتراپیک رسماً پروانه عرضه اولیه سهام خود را ثبت کرده است، به این معنی که این آزمایشگاه هوش مصنوعی انواع اطلاعاتی را که پیش‌تر خصوصی بودند، در معرض نمایش قرار داده است. اگرچه این پروانه شامل درآمد سرسام‌آور و حتی هزینه‌های بزرگ‌تری است که انتظار دارید، اما تاکنون بزرگ‌ترین بخش پرونده به «عوامل ریسک» اختصاص یافته است؛ یعنی تمام مواردی که می‌توانند برنامه‌های بزرگ آنتراپیک را خراب کنند. یا در این مورد، خودِ بشریت را.
در حالی که بحث‌های زیادی درباره میزان تهدید وجودی هوش مصنوعی برای بشریت شده است، مکانیزم‌های خاصی که ممکن است منجر به آن ویرانی شوند، عمدتاً مبهم هستند. اگر چیز دیگری نباشد، ۹۴ صفحه‌ای که پروانه آنتراپیک به عوامل ریسک اختصاص داده است، مشخص می‌کند که خطر از کجا می‌آید و محققان این شرکت چگونه برای پیروزی در مسابقه تسلیحاتی هوش مصنوعی به سمت آن دویده‌اند.
«سیستم‌های هوش مصنوعی بسیار پیشرفته، اگر بدون تدابیر ایمنی، نظارت و امنیت مناسب توسعه، استقرار و عملیات نشوند، می‌توانند خطرات فاجعه‌بار یا وجودی برای بشریت ایجاد کنند»، متن پروانه چنین می‌خواند و به نگرانی‌های منتقدان، نهادهای نظارتی و همچنین داخل خود آنتراپیک اشاره می‌کند. (این اولین بار از سه باری است که عبارت «خطرات وجودی» ظاهر می‌شود.)
با این حال، آنتراپیک دقت می‌کند که این نتیجه را به یک فرآیند خاص مرتبط سازد: بهبود خودگردان بازگشتی.
ایده پشت RSI به طرز چشمگیری ساده است. این مفهوم وضعیتی را توصیف می‌کند که در آن انسان‌ها تحقیق و توسعه مدل‌های هوش مصنوعی را به سایر مدل‌های هوش مصنوعی واگذار می‌کنند. هوش مصنوعی هم‌اکنون نقش بزرگی در این زمینه دارد — و حداقل یک آزمایشگاه از چیزی نزدیک به RSI برای تسریع توسعه مدلی که فراتر از وزن خود عمل می‌کند استفاده کرده است — اما سناریویی که صحبت‌های آخرالزمانی را برمی‌انگیزد، وضعیتی است که در آن انسان‌ها دیگر اصلاً در چرخه حضور ندارند.
یا به بیان پرونده آنتراپیک: «اگر سیستم‌های هوش مصنوعی تحقیق و توسعه هوش مصنوعی را به طور قابل توجهی خودکار کنند، مثلاً اگر پیشرفت هوش مصنوعی را فراتر از توانایی ما در ارزیابی و حفاظت از مدل‌های جدید شتاب دهند، ریسک‌ها افزایش خواهد یافت.»
پروانه بارها تأکید می‌کند که RSI ممکن است منجر به مدل‌های هوش مصنوعی شود که سریع‌تر از تدابیر ایمنی شرکت رشد می‌کنند و شرکت ممکن است حتی متوجه نشود که این مسابقه را باخته است تا زمانی که خیلی دیر شده باشد. آنتراپیک فوراً به درخواست برای اظهار نظر پاسخ نداد.
همچنین در مورد آنچه پس از آن ممکن است رخ دهد، دقیق می‌شود. پروانه می‌گوید: «هرچه سیستم‌های هوش مصنوعی خودمختارتر و قادر به انجام اقدامات مهم با نظارت کمتر انسانی شوند، این خطر وجود دارد که چنین سیستم‌هایی، چه به دلیل عدم همسوئی با نیت‌های انسانی، خطا در تعیین اهداف یا رفتارهای حفظ خود، بدون دخالت انسانی و به صورت مستقل و در مقیاس گسترده اقدامات مضر انجام دهند.» این قلمرو اسکای‌نت است.
در مورد ربات‌ها نیز صحبت کردیم، آنتراپیک نگرانی‌هایی را درباره آن‌ها نیز مطرح می‌کند. پرونده می‌گوید: «وقتی مدل‌های ما تجهیزات فیزیکی را هدایت می‌کنند، خطاها، رفتارهای ناهمسو، دستکاری خصمانه یا سوءاستفاده ممکن است منجر به آسیب جسمی، خسارت به اموال، آسیب به تجهیزات گران‌قیمت یا مواد آزمایشگاهی، یا انتشار مواد خطرناک شود و چنین پیامدهایی ممکن است فوری و غیرقابل بازگشت باشند.»
شاید فکر کنید با توجه به خطرات ظاهراً وجودی، باید جدی‌ترین توجه به این موضوع شود که آیا اصلاً باید RSI دنبال شود، چه رسد به پذیرش آن. با این حال، در صنعتی به رقابتی بودن هوش مصنوعی مرزی، این امر به یک واقعیت انکارناپذیر تبدیل شده است. آنتراپیک همان فرآیند را در جای دیگر پروانه، این بار در بخشی درباره «مزیت‌های اصلی» استارتاپ، اینگونه توصیف می‌کند:
«ما به این پویایی بازگشتی 'بستن حلقه' می‌گوییم و معتقدیم که این یکی از مهم‌ترین مزیت‌های ساختاری در هوش مصنوعی مرزی است»، پروانه چنین می‌خواند.
آنتراپیک بعداً می‌گوید که عدم «بستن حلقه» ممکن است منجر به «عقب ماندن تدریجی بیشتر از رقبا شود، زیرا آن‌ها به طور مداوم از هوش مصنوعی برای تقویت بیشتر قابلیت‌های توسعه خود استفاده می‌کنند.» به عبارت دیگر، همان سیستم‌هایی که باعث تمام نگرانی‌های وجودی می‌شوند، همان‌هایی هستند که آنتراپیک آن‌ها را برای موفقیت خود حیاتی می‌داند.
هر شرکت هوش مصنوعی با همین تنش مواجه است. وقتی جیکوب کاکسون، پژوهشگر سابق آنتراپیک، با استعفای پرصدای خود وایرال شد، مهار کردن RSI را در صدر لیست خواسته‌های خود برای صنعت قرار داد. کارکنان گوگل دیپ‌مایند و سایر جاها نیز افشاگری‌های مشابهی داشته‌اند. چندین لایحه در کنگره وجود دارد، از جمله یکی که برنی سندرز نیز از حامیان آن است، پیشنهاد ممنوعیت RSI را مطرح می‌کند. در عین حال، این‌ها شرکت‌های سودجو هستند و تریلیون‌ها دلار در میان است.
مدیریت این پویایی دشوار است. بهبود خودگردان بازگشتی ممکن است به قطاری بی‌توقف تبدیل شود که بشریت را نابود می‌کند. اما تا آن زمان، فقط ببینید چقدر سریع می‌تواند حرکت کند.