کیران نورتون، یک پرینسیپال (شریک) در Deloitte & Touche LLP و رهبر بخش هوش مصنوعی سایبری و اتوماسیون دیلویت در آمریکاست. کیران با بیش از ۲۵ سال تجربه گسترده و سابقه قوی در حوزه فناوری، در مواجهه با ریسکهای نوظهور و ارائه دیدگاههای استراتژیک و عملگرایانه در مدیریت امنیت سایبری و ریسک فناوری به مشتریان خود سرآمد است.
در دیلویت، کیران رهبری تلاشهای تحول هوش مصنوعی را برای بخش سایبری در آمریکا بر عهده دارد. او بر طراحی، توسعه و استقرار راهحلهای هوش مصنوعی و اتوماسیون در بازار نظارت میکند و به مشتریان کمک میکند تا قابلیتهای سایبری خود را افزایش دهند و فناوریهای هوش مصنوعی/هوش مصنوعی مولد را با مدیریت موثر ریسکهای مرتبط، پذیرفته و بهکار گیرند.
در خارج از دیلویت، کیران به مشتریان کمک میکند تا استراتژیهای امنیتی سنتی خود را برای پشتیبانی از تحول دیجیتال، نوینسازی زنجیرههای تأمین، سرعت بخشیدن به زمان عرضه محصولات به بازار، کاهش هزینهها و دستیابی به سایر اهداف کلیدی کسبوکار تکامل بخشند.
با توجه به افزایش استقلال عاملهای هوش مصنوعی، چه دستههای جدیدی از تهدیدات امنیت سایبری در حال ظهور هستند که کسبوکارها ممکن است هنوز بهطور کامل آنها را درک نکرده باشند؟
ریسکهای مرتبط با استفاده از فناوریهای جدید مرتبط با هوش مصنوعی برای طراحی، ساخت، استقرار و مدیریت عاملها ممکن است درک شده باشند – اما عملیاتیسازی آنها موضوع دیگری است.
عاملیت و استقلال عامل هوش مصنوعی – توانایی عاملها در درک، تصمیمگیری، عمل و عملیات مستقل از انسان – میتواند در حفظ دید و کنترل بر روابط و تعاملات مدلها/عاملها با کاربران، دادهها و سایر عاملها چالش ایجاد کند. هرچه عاملها در سطح سازمانی افزایش یابند و چندین پلتفرم و سرویس را با استقلال و حقوق تصمیمگیری فزاینده به هم متصل کنند، این موضوع بهطور فزایندهای دشوارتر خواهد شد. تهدیدات مرتبط با عاملیت/استقلال هوش مصنوعی که ضعیف محافظت شده، بیش از حد است یا در سایه عمل میکند، متعدد هستند. این تهدیدات میتواند شامل نشت داده، دستکاری عامل (از طریق تزریق پرامپت و غیره) و زنجیرههای حمله عامل به عامل باشد. همه این تهدیدات فوری نیستند، اما شرکتها باید نحوه مدیریت این تهدیدات را همزمان با پذیرش و بلوغ قابلیتهای مبتنی بر هوش مصنوعی در نظر بگیرند.
مدیریت هویت هوش مصنوعی نیز ریسک دیگری است که باید با دقت در نظر گرفته شود. شناسایی، ایجاد و مدیریت هویتهای ماشینی عاملهای هوش مصنوعی با استقرار و استفاده بیشتر عاملها در سطح سازمانها پیچیدهتر خواهد شد. ماهیت زودگذر مدلهای هوش مصنوعی/اجزای مدل که بارها در شرایط مختلف راهاندازی و خاموش میشوند، چالشهایی را در حفظ این شناسههای مدل ایجاد خواهد کرد. شناسههای مدل برای نظارت بر فعالیت و رفتار عاملها هم از منظر امنیتی و هم از منظر اعتماد مورد نیاز هستند. اگر این شناسهها به درستی پیادهسازی و نظارت نشوند، تشخیص مشکلات بالقوه (عملکرد، امنیت و غیره) بسیار چالشبرانگیز خواهد بود.
تا چه حد باید در مورد حملات مسمومیت داده در خطوط آموزش هوش مصنوعی نگران باشیم و بهترین استراتژیهای پیشگیری کدامند؟
مسمومیت داده یکی از چندین روش برای تأثیرگذاری/دستکاری مدلهای هوش مصنوعی در چرخه عمر توسعه مدل است. مسمومیت معمولاً زمانی رخ میدهد که یک عامل مخرب دادههای مضر را به مجموعه آموزشی تزریق کند. با این حال، مهم است توجه داشته باشیم که مسمومیت داده، فراتر از بازیگران مخرب صریح، میتواند به دلیل اشتباهات یا مسائل سیستمی در تولید داده رخ دهد. هرچه سازمانها نیاز بیشتری به داده پیدا میکنند و به دنبال دادههای قابل استفاده در مکانهای بیشتر میگردند (مانند تفسیر دستی برونسپاری شده، مجموعه دادههای ترکیبی خریداری شده یا تولید شده و غیره)، احتمال مسمومیت ناخواسته دادههای آموزشی افزایش مییابد و ممکن است همیشه به راحتی تشخیص داده نشود.
هدف قرار دادن خطوط آموزش یکی از بردارهای اصلی حمله است که توسط مهاجمان برای تأثیرگذاریهای ظریف و آشکار استفاده میشود. دستکاری مدلهای هوش مصنوعی میتواند منجر به پیامدهایی شامل مثبت کاذب، منفی کاذب و سایر تأثیرگذاریهای پنهانتر شود که میتوانند پیشبینیهای هوش مصنوعی را تغییر دهند.
استراتژیهای پیشگیری از پیادهسازی راهحلهای فنی، رویهای و معماری متغیر است. استراتژیهای رویهای شامل اعتبارسنجی/پاکسازی داده و ارزیابی اعتماد است؛ استراتژیهای فنی شامل استفاده از بهبودهای امنیتی با تکنیکهای هوش مصنوعی مانند یادگیری فدرال است؛ استراتژیهای معماری شامل پیادهسازی خطوط تولید با رویکرد صفر اعتماد (Zero-Trust) و پیادهسازی نظارت/هشدار قوی است که میتواند به تشخیص ناهنجاری کمک کند. این مدلها فقط به اندازه دادههایشان خوب هستند، حتی اگر یک سازمان از جدیدترین و بهترین ابزارها استفاده کند، بنابراین مسمومیت داده میتواند پاشنه آشیل برای کسانی باشد که آماده نیستند.
بازیگران مخرب چگونه میتوانند مدلهای هوش مصنوعی را پس از استقرار دستکاری کنند و چگونه شرکتها میتوانند خرابکاری را در مراحل اولیه تشخیص دهند؟
دسترسی به مدلهای هوش مصنوعی پس از استقرار معمولاً از طریق دسترسی به یک رابط برنامهنویسی کاربردی (API)، یک برنامه کاربردی از طریق یک سیستم جاسازی شده، و/یا از طریق یک پورت-پروتکل به یک دستگاه لبه (edge device) امکانپذیر است. تشخیص زودهنگام نیازمند کار اولیه در چرخه عمر توسعه نرمافزار (SDLC)، درک تکنیکهای مربوط به دستکاری مدل و همچنین بردارهای تهدید اولویتبندی شده برای طراحی روشهای تشخیص و حفاظت است. برخی از روشهای دستکاری مدل شامل ربودن API، دستکاری فضاهای حافظه (در زمان اجرا) و مسمومیت آهسته/تدریجی از طریق انحراف مدل (model drift) است. با توجه به این روشهای دستکاری، برخی از استراتژیهای تشخیص زودهنگام ممکن است شامل استفاده از تلهمتری/نظارت نقطه پایانی (از طریق تشخیص و پاسخ نقطه پایانی و تشخیص و پاسخ توسعهیافته)، پیادهسازی خطوط استنتاج امن (مانند محاسبات محرمانه و اصول صفر اعتماد) و فعالسازی نشانگذاری مدل/امضای مدل باشد.
تزریق پرامپت (Prompt injection) مجموعهای از حملات به مدل است که پس از استقرار رخ میدهد و میتواند برای اهداف مختلفی استفاده شود، از جمله استخراج دادهها به روشهای ناخواسته، افشای پرامپتهای سیستمی که برای کاربران عادی در نظر گرفته نشدهاند، و القای پاسخهایی از مدل که ممکن است وجهه یک سازمان را خدشهدار کنند. ابزارهای محافظ مختلفی در بازار وجود دارند که به کاهش ریسک تزریق پرامپت کمک میکنند، اما مانند بقیه حوزههای سایبری، این یک مسابقه تسلیحاتی است که در آن تکنیکهای حمله و اقدامات متقابل دفاعی بهطور مداوم بهروز میشوند.
چگونه چارچوبهای سنتی امنیت سایبری در مقابله با ریسکهای منحصر به فرد سیستمهای هوش مصنوعی کاستی دارند؟
ما معمولاً 'چارچوب امنیت سایبری' را با راهنماییها و استانداردها – مثلاً NIST، ISO، MITRE و غیره – مرتبط میدانیم. برخی از سازمانهای پشت این چارچوبها راهنماییهای بهروز شدهای را منتشر کردهاند که بهطور خاص به حفاظت از سیستمهای هوش مصنوعی میپردازند و میتوانند بسیار مفید باشند.
هوش مصنوعی این چارچوبها را بیاثر نمیکند – شما همچنان باید به همه حوزههای سنتی امنیت سایبری بپردازید – آنچه ممکن است نیاز داشته باشید، بهروزرسانی فرآیندها و برنامههای خود (مانند SDLC خود) برای پرداختن به ظرافتهای مرتبط با حجم کاری هوش مصنوعی است. جاسازی و خودکارسازی (در صورت امکان) کنترلها برای محافظت در برابر تهدیدات ظریفی که در بالا توضیح داده شد، کارآمدترین و مؤثرترین راه رو به جلو است.
در سطح تاکتیکی، شایان ذکر است که دامنه کامل ورودیها و خروجیهای ممکن اغلب بسیار بزرگتر از برنامههای غیرهوش مصنوعی است که مشکلی از نظر مقیاس برای تست نفوذ سنتی و تشخیصهای مبتنی بر قوانین ایجاد میکند، از این رو تمرکز بر اتوماسیون است.
چه عناصر کلیدی باید در یک استراتژی امنیت سایبری که به طور خاص برای سازمانهایی که هوش مصنوعی مولد یا مدلهای زبان بزرگ را مستقر میکنند، گنجانده شود؟
هنگام تدوین استراتژی امنیت سایبری برای استقرار هوش مصنوعی مولد (GenAI) یا مدلهای زبان بزرگ (LLMs)، رویکرد واحدی وجود ندارد. بسیاری از مسائل به اهداف کلی کسبوکار سازمان، استراتژی فناوری اطلاعات، تمرکز صنعت، ردپای نظارتی، تحمل ریسک و غیره و همچنین موارد استفاده خاص از هوش مصنوعی که در دست بررسی هستند، بستگی دارد. یک چتبات فقط برای استفاده داخلی، پروفایل ریسک بسیار متفاوتی نسبت به عاملی دارد که میتواند بر نتایج سلامت بیماران تأثیر بگذارد.
با این حال، اصول اساسی وجود دارند که هر سازمانی باید به آنها بپردازد:
- انجام ارزیابی آمادگی—این ارزیابی یک خط مبنا از قابلیتهای فعلی ایجاد میکند و همچنین شکافهای بالقوه را با در نظر گرفتن موارد استفاده اولویتبندی شده از هوش مصنوعی شناسایی میکند. سازمانها باید تشخیص دهند که کجا کنترلهای موجود میتوانند برای پرداختن به ریسکهای ظریف مرتبط با GenAI و نیاز به پیادهسازی فناوریهای جدید یا بهبود فرآیندهای فعلی گسترش یابند.
- ایجاد یک فرآیند حکمرانی هوش مصنوعی—این فرآیند ممکن است جدید باشد یا اصلاحی بر برنامههای مدیریت ریسک فعلی. این باید شامل تعریف وظایف توانمندسازی هوش مصنوعی در سطح سازمانی و مشارکت دادن ذینفعان از بخشهای مختلف کسبوکار، فناوری اطلاعات، محصول، ریسک، امنیت سایبری و غیره به عنوان بخشی از ساختار حکمرانی باشد. علاوه بر این، تعریف/بهروزرسانی سیاستهای مرتبط (سیاستهای استفاده قابل قبول، سیاستهای امنیت ابری، مدیریت ریسک فناوری طرف سوم و غیره) و همچنین تعیین الزامات آموزش و توسعه برای پشتیبانی از سواد هوش مصنوعی و امنیت/ایمنی هوش مصنوعی در سراسر سازمان باید گنجانده شود.
- ایجاد یک معماری هوش مصنوعی قابل اعتماد—با راهاندازی پلتفرمهای هوش مصنوعی/GenAI و محیطهای آزمایشی، فناوری موجود و همچنین راهحلهای جدید (مانند فایروالهای هوش مصنوعی/امنیت زمان اجرا، محافظها، مدیریت چرخه عمر مدل، قابلیتهای بهبود یافته IAM و غیره) باید به روشی قابل تکرار و مقیاسپذیر در محیطهای توسعه و استقرار ادغام شوند.
- بهبود چرخه عمر توسعه نرمافزار (SDLC)—سازمانها باید ادغامهای محکمی بین توسعهدهندگان هوش مصنوعی و تیمهای مدیریت ریسک که برای حفاظت، ایمنسازی و ایجاد اعتماد در راهحلهای هوش مصنوعی کار میکنند، ایجاد کنند. این شامل ایجاد مجموعهای یکنواخت/استاندارد از روشهای توسعه نرمافزار امن و الزامات کنترل، با همکاری تیمهای گستردهتر توسعه و پذیرش هوش مصنوعی است.
آیا میتوانید مفهوم «فایروال هوش مصنوعی» را به زبان ساده توضیح دهید؟ چه تفاوتی با فایروالهای شبکه سنتی دارد؟
فایروال هوش مصنوعی یک لایه امنیتی است که برای نظارت و کنترل ورودیها و خروجیهای سیستمهای هوش مصنوعی – بهویژه مدلهای زبان بزرگ – طراحی شده است تا از سوءاستفاده جلوگیری کند، از دادههای حساس محافظت کند و رفتار مسئولانه هوش مصنوعی را تضمین نماید. برخلاف فایروالهای سنتی که با فیلتر کردن ترافیک بر اساس آدرسهای IP، پورتها و تهدیدات شناخته شده از شبکهها محافظت میکنند، فایروالهای هوش مصنوعی بر درک و مدیریت تعاملات زبان طبیعی تمرکز دارند. آنها با اعمال سیاستها، فیلترهای آگاه از متن و محافظهای خاص مدل، مواردی مانند محتوای مضر، نشت داده، تزریق پرامپت و استفاده غیراخلاقی از هوش مصنوعی را مسدود میکنند. در اصل، در حالی که فایروال سنتی از شبکه شما محافظت میکند، فایروال هوش مصنوعی از مدلهای هوش مصنوعی و خروجیهای آنها محافظت مینماید.
آیا استانداردهای صنعتی فعلی یا پروتکلهای نوظهوری وجود دارند که استفاده از فایروالها یا محافظهای مختص هوش مصنوعی را قانونگذاری کنند؟
پروتکل ارتباط مدل (MCP) یک استاندارد جهانی نیست، اما در حال کسب کشش در سراسر صنعت است تا به مقابله با بار فزاینده پیکربندی بر روی شرکتهایی که نیاز به مدیریت تنوع راهحلهای هوش مصنوعی-هوش مصنوعی مولد دارند، کمک کند. MCP نحوه تبادل اطلاعات (از جمله یادگیری) مدلهای هوش مصنوعی را شامل یکپارچگی و تأیید قانونگذاری میکند. میتوانیم MCP را به عنوان پشته پروتکل کنترل انتقال (TCP)/پروتکل اینترنت (IP) برای مدلهای هوش مصنوعی در نظر بگیریم که بهویژه در موارد استفاده متمرکز، فدرال شده یا توزیع شده مفید است. MCP در حال حاضر یک چارچوب مفهومی است که از طریق ابزارها، تحقیقات و پروژههای مختلف محقق میشود.
این فضا به سرعت در حال حرکت است و میتوان انتظار داشت که در چند سال آینده تغییرات زیادی داشته باشد.
هوش مصنوعی چگونه حوزه تشخیص و پاسخ به تهدید را امروز در مقایسه با پنج سال پیش متحول کرده است؟
ما شاهد نوینسازی پلتفرمهای مراکز عملیات امنیتی (SOC) تجاری در درجات مختلف بودهایم که از مجموعه دادههای عظیم با کیفیت بالا همراه با مدلهای پیشرفته هوش مصنوعی/یادگیری ماشین برای بهبود تشخیص و طبقهبندی تهدیدات استفاده میکنند. علاوه بر این، آنها از قابلیتهای اتوماسیون، گردش کار و ترمیم خودکار برای کاهش زمان از تشخیص تا کاهش آسیب استفاده میکنند. در نهایت، برخی از آنها قابلیتهای دستیار هوش مصنوعی (copilot) را برای پشتیبانی بیشتر از اولویتبندی و پاسخ معرفی کردهاند.
همچنین، عاملها برای ایفای نقشهای انتخابی در SOC در حال توسعه هستند. به عنوان یک مثال عملی، ما یک عامل "تحلیلگر دیجیتال" برای استقرار در خدمات مدیریت شده خود ساختهایم. این عامل به عنوان یک تحلیلگر سطح یک عمل میکند، هشدارهای ورودی را اولویتبندی میکند، زمینه را از اطلاعات تهدید و سایر منابع اضافه میکند، و مراحل پاسخ را (بر اساس سابقه گسترده موارد) برای تحلیلگران انسانی ما که سپس آنها را بررسی، در صورت نیاز تغییر میدهند و اقدام میکنند، توصیه مینماید.
رابطه بین هوش مصنوعی و امنیت سایبری را در ۳ تا ۵ سال آینده چگونه میبینید – آیا هوش مصنوعی بیشتر یک ریسک خواهد بود یا یک راهحل؟
همانطور که هوش مصنوعی در ۳-۵ سال آینده تکامل مییابد، میتواند به امنیت سایبری کمک کند، اما در عین حال، میتواند ریسکهایی را نیز معرفی کند. هوش مصنوعی سطح حمله را گسترش داده و از منظر دفاعی چالشهای جدیدی ایجاد خواهد کرد. علاوه بر این، هوش مصنوعی مخرب (adversarial AI) قابلیت بقا، سرعت و مقیاس حملات را افزایش خواهد داد که چالشهای بیشتری ایجاد میکند. از سوی دیگر، استفاده از هوش مصنوعی در زمینه امنیت سایبری فرصتهای قابل توجهی را برای بهبود اثربخشی، کارایی، چابکی و سرعت عملیات سایبری در اکثر حوزهها ارائه میدهد – که در نهایت منجر به سناریوی «مبارزه با آتش با آتش» میشود.
از شما برای مصاحبه عالی سپاسگزاریم. خوانندگان ممکن است مایل باشند از دیلویت نیز بازدید کنند.