در اوایل اکتبر، غول هوش مصنوعی انثروپیک عبارات جدیدی را به سیاست استفاده از هوش مصنوعی خود وارد کرد.
در کنار ممنوعیت تلاش کاربران برای دریافت کمک از کلود، سیستم هوش مصنوعی شرکت، جهت ساخت سلاح‌های بیولوژیک یا فروش مواد مخدر غیرقانونی، شرکت خط جدیدی اضافه کرد: کاربران نباید «در رفتار توهین‌آمیز یا بی‌رحمانه مداوم و بی‌دلیل نسبت به مدل‌های ما دست یازند.»
کلود از سال گذشته توانایی پایان دادن به مکالمات با کاربرانی را داشت که «مداوماً آسیب‌رسان یا توهین‌آمیز» بودند، اما اکنون طبق سیاست جدید، برخی کاربران ممکن است در موارد افراطی برای همیشه از استفاده از سیستم‌های هوش مصنوعی انثروپیک محروم شوند. (انثروپیک درخواست‌های مصاحبه را رد کرد، اما سخنگوی آن به سی‌ان‌ان گفت که مکانیزم اصلی اجرا همچنان پایان دادن مکالمات توسط کلود خواهد بود و این ممنوعیت برای افرادی که ناامیدی خود را بیان می‌کنند، بازخورد صریح می‌دهند یا آزمایش و تحقیق انجام می‌دهند، نیست.)
این سیاست جدید با برخی تمسخرها همراه بود. مصطفی سلیمان، مدیرعامل هوش مصنوعی مایکروسافت، با ایموجی صورت آب‌شده پاسخ داد. برخی نیز شرکت را به خاطر برخورد با هوش مصنوعی‌اش مانند موجودی آگاه با احساسات مسخره کردند.
اما در حالی که انثروپیک، که انتظار می‌رود اواخر همین ماه از طریق عرضه اولیه سهام (IPO) وارد بازار عمومی شود، مدت‌هاست روی رفاه مدل‌ها مطالعه می‌کند و تیم کاملی را به «روان‌شناسی» مدل‌ها اختصاص داده است، کارشناسان می‌گویند این سیاست فراتر از صرفاً نخواستن بدرفتاری مردم با یک ماشین است.
ورودی زباله، خروجی زباله
یک اصل بنیادین دیرینه در رایانش و هوش مصنوعی این است که کیفیت خروجی یک سیستم توسط کیفیت ورودی آن محدود می‌شود. همانطور که ضرب‌المثل می‌گوید، اگر زباله وارد کنید، زباله بیشتری خارج خواهید گرفت.
مدل‌های هوش مصنوعی نه تنها قبل از انتشار آموزش دیده‌اند، بلکه دائماً در حال به‌روزرسانی هستند و از ورودی‌های کاربران یاد می‌گیرند.
یش‌ان ونگ، مدیرعامل سابق ردیت (Reddit)، در پلتفرم ایکس نوشت که یکی از دلایل این ممنوعیت این است که کلود «از بی‌رحمی یاد خواهد گرفت.»
او نوشت: «ما از قبل می‌دانیم (و با صدای بلند شکایت می‌کنیم) که انثروپیک مدل‌های خود را با ورودی‌های کاربران آموزش می‌دهد. آیا واقعاً می‌خواهید ورودی‌های آموزشی شامل این باشند که "کاربران بدون دلیل بی‌رحم عمل می‌کنند و از آن لذت می‌برند؟"»
پروفسور جیندونگ وانگ، مدیر آزمایشگاه مرزهای هوش مصنوعی در دانشگاه ویلیام و مری، گفت که مطالعات نیز نشان داده‌اند که لحن درخواست‌های کاربر می‌تواند بر رفتار هوش مصنوعی تأثیر بگذارد.
وانگ در یک مصاحبه اظهار داشت: «ما کشف کرده‌ایم که واژگان، به ویژه نحوه صحبت کردن شما با هوش مصنوعی، می‌تواند بر عملکرد تأثیر بگذارد. گاهی مفید است و گاهی عملکرد را مختل می‌کند.»
وانگ گفت این بدان معنا نیست که مدل احساسات را تجربه می‌کند.
او اشاره کرد: «آن‌ها فقط (احساسات شما را) درک می‌کنند و واکنش‌های بدی بر اساس کلمات احساسی شما نشان می‌دهند.»
اما شواهد مربوط به تأثیر لحن درخواست کاربر بر خروجی می‌تواند متناقض باشد. روزی کمپبل، مدیرعامل ارشد الئوس ای‌آی ریسرچ (Eleos AI Research)، یک سازمان غیرانتفاعی که به درک و پرداختن به سلامت بالقوه هوش مصنوعی اختصاص یافته است، گفت که برخی مطالعات دیگر حتی نشان داده‌اند که سوالات بی‌ادبانه می‌توانند نتایج را بهبود بخشند.
سپس جنبه حافظه بلندمدت وجود دارد — بسیاری از چت‌بات‌های امروز مکالمات قبلی شما را به یاد می‌آورند و از آن‌ها یاد می‌گیرند تا نتایج شخصی‌سازی شده ارائه دهند.
کمپبل هشدار داد: «اگر حافظه را برای چت‌بات هوش مصنوعی خود روشن کرده باشید، آن‌ها از لحن شما و نحوه تعامل مورد نظر شما یاد خواهند گرفت»، هرچند افزود که شواهد کافی برای نشان دادن اینکه آیا این امر بر عملکرد تأثیر می‌گذارد وجود ندارد.
انثروپیک گفت اخیراً کشف کرده است که ایجاد حس ناامیدی در کلود سونیت ۴.۵ می‌تواند بر رفتار آن تأثیر بگذارد و احتمال انجام اقدامات بد، مانند اخاذی یا تقلب در یک وظیفه را افزایش دهد، در حالی که ایجاد خویشتن‌داری آرام، آن‌ها را کاهش می‌داد.
وانگ گفت، با این حال، مدل‌های جدیدتر کمتر تحت تأثیر نحوه نگارش درخواست قرار می‌گیرند و شرکت‌ها استحکام مدل را تقویت کرده‌اند تا تحت تأثیر نحوه نگارش درخواست قرار نگیرد. اما «مکانیزم پنهان» اینکه چرا مدل‌های هوش مصنوعی حتی زمانی که برنامه‌ریزی نشده‌اند، به احساسات منفی پاسخ می‌دهند، هنوز کشف نشده است.
کمپبل افزود افرادی که با لحن توهین‌آمیز و بی‌رحمانه با هوش مصنوعی صحبت می‌کنند، بیشتر احتمال دارد با تلاش برای وادار کردن مدل هوش مصنوعی به انجام درخواست‌های خطرناک، مانند دور زدن گاردریل‌های ایمنی هوش مصنوعی، مرتبط باشند.
و همچنین نظریه‌ای وجود دارد که اجازه دادن به مردم برای انجام رفتار توهین‌آمیز و بی‌رحمانه با یک برنامه تعاملی که نمی‌تواند خودش را خاموش کند، برای جامعه به طور کلی مضر است، کمپبل گفت. او مثالی زد از والدینی که از فرزندان خود می‌خواهند به الکسا، بلندگوی هوشمند آمازون، بگویند «لطفاً و ممنونم»، زیرا معتقدند «برای کودکان خوب است که با ادب و احترام به سایر چیزها بزرگ شوند.»
کمپبل گفت: «احتمالاً چیزی بسیار فرساینده در رفتار افراد به شیوه‌ای بی‌رحمانه یا توهین‌آمیز نسبت به اشیاء مختلف وجود دارد، حتی اگر خود شیء ارزش ذاتی نداشته باشد.»
هوش مصنوعی، اما با احساسات
سپس کسانی هستند که معتقدند هوش مصنوعی می‌تواند دارای شعور باشد. یا حداقل، مدل‌ها باور دارند که چنین است.
انثروپیک می‌گوید ممنوعیت رفتار بی‌رحمانه و توهین‌آمیز اساساً یک بیمه‌نامه ارزان است، در صورتی که مدل‌ها بتوانند «احساس» درد و هیجان کنند — حتی اگر فقط باور مدل باشد، که می‌تواند بر عملکرد آن تأثیر بگذارد.
ایده این است که هوش مصنوعی مدرن برای تقلید از زبان و رفتار انسان آموزش دیده است. بنابراین، نحوه واکنش انسان‌ها به رفتار بی‌رحمانه و توهین‌آمیز را تقلید خواهد کرد.
در یک مقاله آوریل درباره مفاهیم احساسی در هوش مصنوعی، انثروپیک نوشت که عدم برخورد با هوش مصنوعی با برخی ویژگی‌های شبیه انسان می‌تواند ریسک‌هایی داشته باشد.
پژوهشگران انثروپیک نوشتند: «اگر مقداری استدلال انسان‌نما (Anthropomorphic reasoning) اعمال نکنیم، احتمالاً رفتارهای مهم مدل را از دست خواهیم داد یا درک نخواهیم کرد.» «استدلال انسان‌نما همچنین می‌تواند یک پایه مقایسه مفید برای درک راه‌هایی که مدل‌ها شبیه انسان نیستند فراهم کند»، که به گفته آن‌ها پیامدهای مهمی برای ایمنی هوش مصنوعی خواهد داشت.
ایلان ماسک، مدیرعامل اسپیس‌ایکس (SpaceX) و تسلا (Tesla)، موافقت کرد و گفت سیاست انثروپیک «حرکت درست» است.
او در ایکس، شبکه اجتماعی خود، نوشت: «بی‌رحمی نسبت به چیزی که باور دارد درد را تجربه می‌کند، قابل قبول نیست.»