بدبینان هوش مصنوعی همچنان نگران پتانسیل این فناوری برای فروپاشی جامعه هستند. اما محتمل‌ترین سناریو در حال حاضر این است که هکرهای خرده‌پا از این وضعیت نهایت استفاده را ببرند.
یووال فرنباخ، مدیر ارشد فناوری عملیات یادگیری ماشین در شرکت زنجیره تأمین نرم‌افزار JFrog، به بیزینس اینسایدر گفت که هکرها معمولاً سه هدف اصلی دارند: آن‌ها سیستم‌ها را از کار می‌اندازند، اطلاعات را می‌دزدند، یا خروجی یک وب‌سایت یا ابزار را تغییر می‌دهند.
کلاهبرداران و هکرها، مانند کارمندان هر کسب‌وکاری، پیشاپیش از هوش مصنوعی برای افزایش بهره‌وری خود استفاده می‌کنند. با این حال، به گفته فرنباخ، این خودِ مدل‌های هوش مصنوعی هستند که راه جدیدی را برای ورود عوامل مخرب به شرکت‌ها فراهم می‌کنند، زیرا کد مخرب به راحتی در مدل‌های زبان بزرگ منبع‌باز پنهان می‌شود.
او گفت: «ما شاهد حملات بسیار بسیار زیادی هستیم.» طبق گزارش JFrog، فشار بیش از حد به یک مدل به طوری که دیگر نتواند پاسخ دهد، به ویژه در حال افزایش است.
فرنباخ گفت: «رسیدن به جایی که یک مدل دیگر پاسخگو نباشد، بسیار آسان است.» رهبران صنعت در حال سازماندهی برای کاهش مدل‌های مخرب هستند. JFrog محصولی اسکنر دارد تا مدل‌ها را قبل از رفتن به مرحله تولید بررسی کند. اما تا حدودی مسئولیت همیشه بر عهده هر شرکت خواهد بود.
حمله مدل‌های مخرب
وقتی کسب‌وکارها می‌خواهند از هوش مصنوعی استفاده کنند، باید مدلی را از شرکتی مانند OpenAI، Anthropic یا Meta انتخاب کنند، زیرا اکثر آن‌ها هزینه هنگفت ساخت یک مدل داخلی از ابتدا را متحمل نمی‌شوند. دو شرکت اول مدل‌های اختصاصی ارائه می‌دهند، بنابراین امنیت تا حدودی بیشتر تضمین شده است. اما استفاده از مدل‌های اختصاصی هزینه بیشتری دارد و بسیاری از شرکت‌ها نگران به اشتراک گذاشتن داده‌های خود هستند.
استفاده از یک مدل منبع‌باز از Meta یا هر یک از هزاران مدل موجود، به طور فزاینده‌ای محبوب شده است. شرکت‌ها می‌توانند از APIها استفاده کنند یا مدل‌ها را دانلود کرده و به صورت محلی اجرا کنند. تقریباً نیمی از شرکت‌ها در یک نظرسنجی اخیر از 1400 کسب‌وکار توسط JFrog و InformationWeek، مدل‌های دانلود شده را روی سرورهای خود اجرا می‌کردند.
فرنباخ گفت، با بلوغ هوش مصنوعی، شرکت‌ها احتمالاً چندین مدل با مهارت‌ها و تخصص‌های مختلف را به هم متصل می‌کنند. بررسی کامل همه آن‌ها برای هر به‌روزرسانی، با مرحله آزمایش سریع و بی‌قید و بند هوش مصنوعی شرکت‌ها مغایرت دارد.
فرنباخ گفت که هر مدل جدید و هر به‌روزرسانی داده یا عملکرد در آینده، می‌تواند حاوی کد مخرب یا صرفاً تغییری در مدل باشد که بر نتیجه تأثیر بگذارد.
عواقب سهل‌انگاری می‌تواند قابل توجه باشد.
در سال 2024، دادگاهی در کانادا به ایر کانادا دستور داد تا به مسافری که اطلاعات نادرستی در مورد نحوه دریافت تخفیف سوگواری از چت‌بات شرکت دریافت کرده بود، این تخفیف را ارائه دهد، حتی پس از اینکه نمایندگان انسانی شرکت هواپیمایی آن را رد کرده بودند. شرکت هواپیمایی مجبور شد صدها دلار را بازپرداخت کند و هزینه‌های قانونی را پوشش دهد. فرنباخ گفت که در مقیاس بزرگ، این نوع اشتباه می‌تواند پرهزینه باشد. به عنوان مثال، بانک‌ها از قبل نگران هستند که هوش مصنوعی مولد سریع‌تر از آن چیزی که آن‌ها بتوانند پاسخ دهند، در حال پیشرفت است.
برای پی بردن به مقیاس مشکل، JFrog سال گذشته با Hugging Face، مخزن آنلاین مدل‌های هوش مصنوعی، همکاری کرد. چهارصد مدل از بیش از 1 میلیون مدل حاوی کد مخرب بودند - کمتر از 1٪ و تقریباً معادل شانس به دست آوردن چهار کارت مشابه در یک دست پنج کارتی پوکر.
از آن زمان، JFrog تخمین می‌زند که در حالی که تعداد مدل‌های جدید سه برابر شده است، حملات هفت برابر افزایش یافته است.
موضوع ناگوارتر اینکه، بسیاری از مدل‌های محبوب اغلب دارای جعل‌های مخربی هستند که نام‌هایشان اشتباهات املایی جزئی از مدل‌های معتبر است و مهندسان عجول را وسوسه می‌کنند.
پنجاه و هشت درصد از شرکت‌های مورد بررسی در همان نظرسنجی یا هیچ خط‌مشی شرکتی در مورد مدل‌های هوش مصنوعی منبع‌باز نداشتند یا نمی‌دانستند که آیا چنین خط‌مشی‌ای دارند. و 68 درصد از شرکت‌های پاسخ‌دهنده هیچ راهی برای بررسی استفاده توسعه‌دهندگان از مدل‌ها به جز بررسی دستی نداشتند.
با افزایش هوش مصنوعی عامل‌گرا (Agentic AI)، مدل‌ها نه تنها اطلاعات و تجزیه و تحلیل ارائه می‌دهند، بلکه وظایفی را نیز انجام خواهند داد و خطرات می‌توانند افزایش یابند.