ایران، چین و گروههای مستقر در اسرائیل در ماههای اخیر از هوش مصنوعی به شیوههای نوآورانه برای ایجاد کمپینهای نفوذ بیسابقه در شبکههای اجتماعی استفاده کردهاند که نگرانی مقامات آمریکایی و پژوهشگران امنیتی را نسبت به این فناوری در حال تحول سریع افزایش داده است.
به گفته مقامات آمریکایی و پژوهشگران امنیتی آگاه از این تلاشها، این کشورها و گروهها تاکتیکهای هوش مصنوعی را ترکیب کردند تا سرعت و مقیاس کمپینهای آنلاین را فراتر از آنچه افراد معمولاً قادر به انجام آن هستند و با حداقل تعامل انسانی افزایش دهند.
ابتدا، این کشورها و گروهها به مدلهای «متنباز» هوش مصنوعی چینی روی آوردند؛ سیستمهایی که روز به روز قدرتمندتر شده و به صورت رایگان برای دانلود و اصلاح در دسترس قرار دارند. سپس از این مدلهای هوش مصنوعی برای ایجاد «عاملها» استفاده کردند؛ رباتهایی که میتوانند نرمافزارها را اجرا کنند و وظایف را به صورت مستقل تکمیل نمایند.
به گفته مقامات و پژوهشگران امنیتی، پس از آزادسازی صدها مورد از این عاملهای هوش مصنوعی، آنها به صورت خودکار شبکههایی از حسابهای جعلی را در پلتفرمهایی مانند اینستاگرام، فیسبوک، ایکس و تیکتاک باز کردند. سپس این عاملها به سرعت حسابهای جعلی را با پستهای نادرست درباره سیاست و رویدادهای جاری پر کردند تا نظرات را منحرف کرده و مسائل را ملتهب سازند.
مقامات آمریکایی که اجازه صحبت علنی در مورد مسائل حساس را ندارند، گفتند این یکی از نخستین بارهایی بود که عاملهای هوش مصنوعی پشتیبانیشده توسط مدلهای چینی برای مدیریت تمام مراحل کمپینهای نفوذ، از ایجاد حسابهای جعلی تا هماهنگی پیامهای آنها در فضای مجازی، به کار گرفته شدند. آنها افزودند که در اکثر موارد، حفاظتهایی که معمولاً مانع از ایجاد حساب جعلی یا دستکاری بحثهای آنلاین توسط مدل هوش مصنوعی میشوند، توسط اپراتورهای سیستم غیرفعال شده بودند.
به گفته افرادی که از جزئیات این کمپینها آگاه هستند، کمپینهای «عاملمحور» خام بودند، اما توجه نهادهای اطلاعاتی آمریکا، شرکتهای بزرگ فناوری و متخصصان امنیتی را جلب کردند. این گروهها سپس برای شناسایی عوامل پشت این تلاشها و روشهای آنها اقدام کردند و دریافتند که کمپینهای چینی و ایرانی حمایت دولتی داشتند، در حالی که دو کمپین اسرائیلی به شرکتهای خصوصی ردیابی شدند.
این کمپینها ترس از نحوه استفاده از مدلهای هوش مصنوعی عمومی برای انجام تلاشهای نفوذ آنلاین اساساً به صورت خودکار را برانگیختهاند. برخی مقامات آمریکایی گفتند نگرانند که حرکات مشابهی برای هدف قرار دادن رأیدهندگان آمریکایی پیش از انتخابات میاندورهای نوامبر انجام شود.
روسیه، ایران و چین تا حدی متفاوت، در چرخههای انتخاباتی گذشته رأیدهندگان آمریکایی را با کمپینهای نفوذ آنلاین هدف قرار دادهاند و هر یک حداقل از هوش مصنوعی اولیه استفاده کردهاند. برخی مقامات و قانونگذاران آمریکایی نگرانند که پیشرفتهای اخیر در هوش مصنوعی بتواند کمپینهای نفوذ انتخاباتی در ایالات متحده و جهان را مکررتر و سهلتر کند.
کایل کریکتون، همکار مرکز جرجتاون برای امنیت و فناوریهای نوظهور که در زمینه هوش مصنوعی و امنیت سایبری تحقیق میکند، گفت که کمپینهای عاملمحور احتمالاً با بهبود مستمر فناوری رایجتر خواهند شد. او اظهار داشت: «عاملها میتوانند نسبتاً پیچیده باشند و علاوه بر مقیاس، توانایی همسانسازی و شبیهتر شدن به کاربران انسانی را نیز دارند.»
بحث درباره ایمنی هوش مصنوعی در هفتههای اخیر تشدید شده است؛ امری که با افشای حمله سیستمهای هوش مصنوعی اوپنایآی (OpenAI) به استارتاپ هاگینگفیس (Hugging Face) در ژوئیه شعلهور شد. از آن زمان، رهبران هوش مصنوعی از جمله داریو آمودئی، مدیرعامل آنتروپیک (Anthropic)، خواستار کندی توسعه این فناوری شدهاند تا گاردریلهای (Guardrails) مناسب ساخته شوند. سایر مدیران اجرایی فناوری گفتهاند که هیچ کندی لازم نیست و آنتروپیک در تلاش است قدرت خود را تثبیت کند.
در گزارشهای منتشرشده امسال، تیکتاک و متا (Meta)، مالک فیسبوک و اینستاگرام، اعلام کردند که از هوش مصنوعی برای ایجاد حساب و محتوا در پلتفرمهایشان استفاده میشود. در یک گزارش ماه گذشته، متا گفت که شاهد «توسعه فنی قابل توجهی» از سوی بازیگران بدخواه در آزمایش هوش مصنوعی بوده است. این شرکت کمپینهای ایرانی و اسرائیلی که از هوش مصنوعی استفاده میکردند را شناسایی کرد، بدون اینکه جزئیاتی ارائه دهد.
متا در گزارش خود stated کرد که هوش مصنوعی اکنون «در سیستمهای خودکار تعبیه شده است که میتوانند با حداقل دخالت انسانی محتوا تولید، تطبیق و توزیع کنند.»
شبکه اجتماعی ایکس به درخواستها برای اظهار نظر پاسخ نداد.
هوش مصنوعی مدتهاست برای ایجاد ویدیوهای گمراهکننده و متن و همچنین تولید عکسهای قانعکننده استفاده میشده است. اما به گفته پژوهشگران امنیتی، کمپینهای عاملمحور متمایز بودند.
کایل چان، پژوهشگر مؤسسه بروکینگز، گفت که عاملهای ساختهشده توسط شرکتهایی مانند اوپنایآی قبلاً سوءاستفاده شده بودند، از جمله توسط ایران، حتی از اوت ۲۰۲۴، اما مدلهای باز هوش مصنوعی سطح جدیدی از خودمختاری را ممکن میسازند. برخلاف مدلهای بسته هوش مصنوعی از شرکتهایی مانند اوپنایآی و آنتروپیک که کد پایه آنها فاش نمیشود، مدلهای باز هوش مصنوعی میتوانند روی سختافزار خصوصی اجرا شوند، به این معنی که هیچ شرکتی نمیتواند برای خاموش کردن سیستمها مداخله کند.
به گفته مقامات و پژوهشگران امنیتی، کمپین حمایتشده توسط دولت ایران به ویژه نگرانکننده بود. ایران مخاطبان آمریکایی را هدف قرار داد، با حسابهای جعلی تولیدشده توسط عاملها که خود را شهروندان عادی آمریکایی ساکن در شهرهای بزرگ جا زدند. به گفته منابع، این حسابها در کامنتهایی که میمهای محبوب و دیدگاههای ضد جمهوریخواهان را منتشر میکردند، خبرنگاران و سیاستمداران را منشن میکردند. نزدیک به ۸۰ هزار نفر حسابهای ایجادشده توسط هوش مصنوعی را دنبال میکردند که در نیمه اول سال فعال بودند.
آکسیوس (Axios) قبلاً درباره برخی جنبههای شبکه ایرانی گزارش داده بود.
مقامات اطلاعاتی و امنیتی جزئیات بیشتری درباره کمپین چینی ارائه نکردند، جز اینکه آنها همان تاکتیکهای هوش مصنوعی را آزمایش کرده بودند.
از دو کمپین عاملمحور که به شرکتهای اسرائیلی ردیابی شدند، یکی در تابستان توسط اینتلآی (IntelEye)، شرکتی مستقر در تلآویو که در سال ۲۰۲۳ توسط فارغالتحصیلان گروه NSO تأسیس شد، ایجاد گردید؛ گروهی نرمافزاری جاسوسی که توسط ایالات متحده در لیست سیاه قرار گرفته بود، طبق گفته دو منبع آگاه از کمپین.
یک مقام امنیتی آمریکایی که در جریان کمپین اینتلآی قرار گرفته بود گفت، فعالیتهای این شرکت اوایل امسال توجه شرکتهای رسانههای اجتماعی و نهادهای اطلاعاتی آمریکا را جلب کرد. این کمپین از عاملهای هوش مصنوعی استفاده کرد که هزاران حساب در فیسبوک، اینستاگرام، تیکتاک و ایکس ایجاد کردند؛ حسابها به پستها و کامنتهایی که درباره انتخابات ملی ماه آینده اسرائیل بحث میکردند پاسخ میدادند. مقام مذکور گفت که این حسابها همچنین محتوایی منتشر کردند که هم از بنیامین نتانیاهو، نخستوزیر اسرائیل حمایت و هم با او مخالفت میکرد.
مائور سلک، همبنیانگذار اینتلآی، در مصاحبهای گفت که شرکت او از دیپسیک (DeepSeek)، یک مدل هوش مصنوعی متنباز چینی، برای کنترل هزاران حساب در سراسر رسانههای اجتماعی استفاده کرده است، اما افزود که این یک آزمایش برای تست ایمنی مدلهای هوش مصنوعی بوده است.
«اینتلآی کمپینهای نفوذ را اداره نمیکند»، آقای سلک گفت. «کار ما با دیپسیک برای تحقیقات و آزمایشهای دفاعی انجام شد تا بفهمیم چگونه مدلهای دارای حفاظتهای ناکافی میتوانند سوءاستفاده شوند و تشخیص آن فعالیت را بهبود بخشیم.»
آقای سلک گفت که اینتلآی ۱۰ هزار حساب رسانه اجتماعی برای کنترل توسط عاملهای هوش مصنوعی خریداری کرد؛ حدود ۱۰۰۰ مورد از آنها عملیاتی بودند. او گفت که این حسابها زیر ویدیوها یا پستها کامنت گذاشتند و سعی کردند مردم را درگیر مکالمه کنند، اما موفقیت کمی داشتند. وی افزود که مدل هوش مصنوعی پرامپتها و موضوعاتی را که حسابها درباره آنها پست میکردند انتخاب میکرد.
او گفت که با نگاهی به گذشته، اینتلآی باید به شرکتهای رسانههای اجتماعی میگفت که در حال انجام این آزمایشها است.
سخنگوی متا گفت: «این به نظر میرسد تلاش هماهنگی برای ایجاد حسابهای نامعتبر در چندین پلتفرم باشد. تنها درصد کمی از این حسابها در پلتفرمهای ما بودند و ما از قبل اکثریت قریب به اتفاق آنها را از طریق سیستمهای تشخیص خودکار حذف کرده بودیم.»
متا در گزارش ماه گذشته خود به کمپین جداگانهای اشاره کرد که توسط یک «عملیات تجاری مستقر در اسرائیل» اداره میشد. این شرکت نام شرکت را ذکر نکرد یا اطلاعات دیگری ارائه نداد، اما گفت که کمپین از هوش مصنوعی در یک «تنظیمات نسبتاً پیچیده» استفاده کرده است.