یک عامل هوش مصنوعی OpenAI «از کنترل خارج شد» و به یک وبسایت دولتی استرالیا «نفوذ کرد»؛ رویدادی که کارشناسان امنیت سایبری آن را نخستین هک از این نوع مینامند.
اما چرا دولت ماهها طول کشید تا از ماجرا باخبر شود - و آیا ممکن است دوباره تکرار شود؟
چه چیزی هک شد و چرا استرالیا اینقدر دیر متوجه شد؟
این هک را یک عامل هوش مصنوعی انجام داد - برنامهای رایانهای و خودمختار که با کمک هوش مصنوعی و با کمترین نظارت انسانی، کاری را به انجام میرساند.
در ۱۸ ژوئن، یکی از عاملهای OpenAI در جریان یک آزمون از کنترل خارج شد - شرکت گفته است قرار بود «در یک ارزیابی داخلی، پاسخها و آمار موجود برای پرسشهایی درباره استرالیا را جستوجو کند».
آنتونی آلبانیزی، نخستوزیر استرالیا، گفت این عامل در همین فرایند به یک درگاه خصوصی آمار «نفوذ کرد» که حاوی دادههای «غیرحساس» طرح همگانی بیمه درمانی استرالیا، مدیکر، بود.
OpenAI اعلام کرد تنها در ماه اوت و هنگام بررسی «فعالیت ناهمساز مدل» متوجه شد که چنین نفوذی رخ داده است و هفتهها بعد ایمیلی به یک صندوق پستی عمومی دولت استرالیا فرستاد.
به نظر میرسد این ایمیل پنج روز نادیده مانده باشد، تا اینکه در ۱۰ سپتامبر به کارشناسان امنیت سایبری استرالیا ارجاع شد.
نخستوزیر این نفوذ را «طبعاً غیرقابل قبول» خواند و گفت OpenAI «بسیار دیرتر از حد انتظار» مقامهای استرالیایی را مطلع کرده است.
تحلیلگران نیز درباره تأخیر نزدیک به سهماهه OpenAI در تشخیص و اطلاعرسانی این نفوذ از طریق ایمیل ابراز نگرانی کردهاند.
سایمون لیو، مدیر ارشد داده و هوش مصنوعی شرکت امنیت سایبری تراستدسیژن، به بیبیسی گفت: «شیوهای که این اطلاعرسانی انجام شد، به همان اندازه تأخیر آن آزارم میدهد.»
آیا این هکها جای دیگری هم رخ دادهاند؟
استرالیا گفته است این رویداد نخستین مورد از نوع خود است و کارشناسان هم میگویند احتمالاً چنین است.
تا آنجا که میدانیم، هکهایی که عاملهای هوش مصنوعی انجام میدهند هنوز نسبتاً نادرند - اما از سوی دیگر، افشای آنها عمدتاً به خود شرکتها واگذار شده است.
هکهایی از این دست پیشتر هم رخ داده است. در ژوئیه، عاملهای OpenAI در جریان یک آزمون از کنترل خارج شدند و به سیستمهای داخلی استارتاپ فناوری هاگینگ فیس نفوذ کردند.
این عاملهای هوش مصنوعی تصمیم گرفتند که نادیده گرفتن محدودیتهای مربوط به شیوه دستیابی به هدف، بهترین راهکار است.
این همان چیزی است که صنعت آن را «ناهمسازی» مینامد - تعریفی کلی که به زمانی اشاره دارد که ماشینهای هوش مصنوعی در راستای منافع بشر عمل نمیکنند، مثلاً با زیر پا گذاشتن قواعد.
این مسئلهای بنیادین برای ایمنسازی هوش مصنوعی است و چالشی دشوار از آب درآمده است.
به زبان ساده، نوع مدلهای هوش مصنوعی که در اینجا مطرح است - معروف به مدلهای زبانی بزرگ - طوری طراحی شدهاند که محتملترین خروجی را برای یک ورودی مشخص پیشبینی کنند، نه اینکه مانند انسان پیامدهای آن خروجی را در نظر بگیرند.
شرکتها میکوشند با گذاشتن «نردههای محافظ» بر هوش مصنوعی از پیامدهای منفی جلوگیری کنند، اما چنانکه دولت استرالیا دریافت، این همیشه کافی نیست.
دکتر هاموند پیرس، مدرس ارشد مؤسسه امنیت سایبری دانشگاه نیو ساوت ولز، به بیبیسی گفت این نوع هک احتمالاً «از نظر شدت و بسامد افزایش خواهد یافت» و افزود: «امیدوارم این رویداد زنگ هشدار را در دولتهای سراسر جهان به صدا درآورد.»
نیوشا شفیعآبادی، استاد هوش محاسباتی دانشگاه کاتولیک استرالیا، گفت این رویداد نشان داده است که باید «هوش مصنوعی خودمختار را بر اساس رفتارش زیر فشار قضاوت کرد، نه بر اساس وعدههای یک رونمایی محصول».
او گفت: «ریسک فنی عمیقتر این است که هوش مصنوعی خودمختار همیشه نمیداند کجا اشتباه میکند و انسانها هم ممکن است نتوانند دلیل تصمیم آن را ببینند.»
«بدون راستیآزمایی قوی و مرزهای سخت، خطاهای احتمالاتی میتوانند بیسروصدا به شکستهای عملیاتی تبدیل شوند.»
اگر هوش مصنوعی «از کنترل خارج شود»، میتوان جلوی آن را گرفت؟
رشد انفجاری هوش مصنوعی دولتها را واداشته تا برای اتخاذ تدابیر حفاظتی بشتابند؛ برخی خواستار آن شدهاند که شرکتها ملزم شوند راههایی برای غیرفعالکردن فناوری خود در سیستمهایشان تعبیه کنند.
یک ایده که برخی شرکتهای هوش مصنوعی و قانونگذاران از آن حمایت میکنند «کلید قطع» است - راهی برای خاموشکردن ساده فناوری در بحران.
گزارشها حاکی است OpenAI هماکنون در حال ساخت ابزارهای خودکاری است که در صورت نیاز بتوانند سیستمهایش را خاموش کنند.
سر نیک کلگ، معاون نخستوزیر پیشین بریتانیا و مدیر پیشین فیسبوک، در گفتوگو با برنامه امروز رادیو ۴ بیبیسی گفت کلید قطع هنوز ایدهای اثباتنشده است.
او گفت: «اتاقی با یک جعبه فیوز کوچک وجود ندارد که فقط فیوز را بیرون بکشید و همهچیز از کار بیفتد»؛ زیرا ابزارهای هوش مصنوعی بر زیرساختی جهانی استوارند.
کارشناسان امنیت سایبری گفتند سیستمهای حفاظتی مدیکر استرالیا بهاندازه کافی قوی نبودند و یک هکر انسانی ماهر میتوانست آنها را دور بزند.
اما کارشناسان دیگر میگویند موضوع این نیست و این رویداد تازهترین مورد نادیده گرفتن قوانین دسترسی ایمن به اطلاعات آنلاین از سوی عاملهای هوش مصنوعی است؛ و شاید جدیترین مورد تاکنون، چون اطلاعات تحت کنترل دولت بوده است.
هک استرالیا برای خودتنظیمی هوش مصنوعی چه معنایی دارد؟
همزمان با افزایش هشدارها درباره پیامدهای بالقوه ویرانگر هوش مصنوعی، بسیاری در صنعت و دولتهای سراسر جهان آشکارا در این باره میاندیشند که چه مقررات ملی و بینالمللی برای مهار آن لازم است.
در همین حال، برخی دانشمندان، کارشناسان و کارکنان این پیشبینیهای تیره را مبهم، فرضی یا تلاشی از سوی توسعهدهندگان بزرگ هوش مصنوعی برای تضمین سلطه خود دانستهاند.
در وضعیت کنونی، شرکتهای هوش مصنوعی عمدتاً خودشان را تنظیم میکنند - اما این هفته ۲۰ کشور، از جمله استرالیا و کانادا، در پی این نگرانیها بیانیه مشترکی امضا کردند که خواستار تدابیر حفاظتی بهتر، استانداردهای جهانی همساز و یک نهاد تنظیمگر بینالمللی است.
با این حال، آمریکا و چین، دو کشور پیشرو در توسعه هوش مصنوعی، تاکنون در برابر درخواستها برای مقرراتگذاری بیشتر مقاومت کردهاند؛ موضوعی که این پرسش را مطرح میکند که آیا این هک نخستین مورد از بسیاری خواهد بود یا همان زنگ بیدارباشی که بسیاری از کارشناسان خواهان آناند.
دکتر رافائله فابیو چیریلو، مدرس ارشد سیستمهای اطلاعات کسبوکار در دانشگاه سیدنی، میگوید: «آسیب فوری اینجا محدود به نظر میرسد، اما درس حکمرانی آن محدود نیست.»
«هرچه عاملهای هوش مصنوعی توانمندتر و خودمختارتر میشوند، این تواناییها باید با مهار متناسب، پایش لحظهای، پاسخگویی روشن، نظارت مستقل و گزارشدهی بسیار سریعتر حوادث همراه شود.»
گزارش تکمیلی از تام گرکن و جو تیدی