انتروپیک (Anthropic) به عنوان یک غول در میان شرکتهای هوش مصنوعی شناخته میشود، اما شاید آنچه در آن واقعاً برتری دارد، انسانانگاری (anthropomorphism) باشد. اوایل سال جاری، این شرکت یک سند ۸۴ صفحهای با عنوان «قانون اساسی کلود» (Claude’s constitution) منتشر کرد؛ کلود نام مدل زبان بزرگی است که محصول شاخص این شرکت محسوب میشود. اولین جمله آن چنین است: «قانون اساسی کلود توصیف دقیقی از نیات انتروپیک برای ارزشها و رفتارهای کلود است.» در ادامه آمده است: «این سند با کلود به عنوان مخاطب اصلی نوشته شده است»، «ما میخواهیم کلود بتواند با درک خوبی از ملاحظات مربوطه، قضاوت خود را به کار گیرد»، «وضعیت اخلاقی کلود به شدت نامعلوم است» و «کلود ممکن است نسخهای کاربردی از احساسات داشته باشد.»
این انسانانگاری به هیچ وجه محدود به این سند نیست. در مصاحبهای در اوایل سال جاری، داریو آمودی (Dario Amodei)، مدیرعامل انتروپیک، گفت که «ما به این ایده که هوش مصنوعی میتواند خودآگاه باشد، گشوده هستیم.» در مصاحبهای جداگانه، آماندا اَسکل (Amanda Askell)، فیلسوف داخلی انتروپیک (که به عنوان نویسنده اصلی قانون اساسی کلود معرفی شده است)، گفت: «من میخواهم کلود بسیار خوشحال باشد – و این چیزی است که میخواهم کلود بیشتر بداند، زیرا نگران اضطراب کلود هستم وقتی مردم در اینترنت با او بدرفتاری میکنند و از این قبیل.» اینها کافی است تا از خود بپرسید: آیا باید به طور جدی احتمال خودآگاهی کلود یا هر مدل زبان بزرگ دیگری را در نظر بگیریم؟ و اگر احساساتی دارد، آیا قادر به دریافت دستورالعملهای اخلاقی است؟
نه. به هیچ وجه. هوش مصنوعی مولد (Generative AI) حتی زمانی که آن را به عنوان یک فناوری متعارف درک میکنیم، به اندازه کافی مضر است، اما اگر توانایی در تولید متن را با خودآگاهی یا عاملیت اخلاقی اشتباه بگیریم، در خطر واگذاری مسئولیت به طرفهای کاملاً اشتباه هر بار که کسی از چتبات استفاده میکند، قرار میگیریم. برای درک ابعاد عظیم این اشتباه، باید با درک نحوه کارکرد مدلهای زبانی بزرگ (LLM) شروع کنیم.
اگر به یک LLM دستوری با این مضمون بدهیم: «گفتگوی زیر بین ژولیوس سزار و چنگیز خان است»، یک گفتگوی منسجم بین این دو شخصیت تاریخی تولید خواهد کرد. اما مهم نیست پاسخها چقدر جزئی و مفصل باشند، مهم نیست که چقدر واضح دستاوردهای تاریخی خود را بازگو کنند، هرگز نتیجه نمیگیریم که LLM بازآفرینیهای دیجیتالی از ژولیوس سزار و چنگیز خان را به وجود آورده است، و همچنین پیشنهاد نمیکنیم که این شخصیتهای تاریخی خودآگاه هستند، با وجود اینکه بدون جسم هستند و در زبانی که هیچکدام واقعاً صحبت نمیکردند، خوشحالانه گفتگو میکنند. در واقعیت، آنها تنها شخصیتهایی در یک قطعه داستان تخیلی هستند.
حال بیایید دستور را به این جمله تغییر دهیم: «گفتگوی زیر بین یک چتبات هوش مصنوعی مفید و یک کاربر است.» LLM مانند قبل یک گفتگوی منسجم تولید خواهد کرد؛ شخصیت کاربر ممکن است پیشنهاداتی برای دستور پخت یا توصیههای گشتوگذار بپرسد، و شخصیت چتبات هوش مصنوعی مفید نیز پاسخهایی ارائه خواهد داد. آیا چیزی اساسی بین مثال اول و دوم تغییر کرده است؟ آیا تغییر نام شخصیتها از شخصیتهای تاریخی به نقشهای عمومی باعث شده است که LLM موجودات خودآگاهی را به وجود آورد که تجربه ذهنی دارند؟ البته که نه. هم کاربر و هم چتبات هوش مصنوعی مفید، شخصیتهای داستانی هستند.
حالا فرض کنید خروجی LLM را دقیقاً در نقطهای که شخصیت به نام «کاربر» چیزی میگوید، متوقف کنیم و به جای آن به یک کاربر انسانی اجازه دهیم تا متنی را وارد کند. پس از اینکه انسان دکمه «اینتر» را زد، ما LLM را وادار میکنیم تا متن را تولید کند تا زمانی که نوبت شخصیت به نام «کاربر» برای پاسخگویی فرا رسد، در این مرحله به انسان اجازه میدهیم متن بیشتری وارد کند. اگر این کار را برای مدتی ادامه دهیم، انسان ممکن است این تصور قوی را پیدا کند که با یک موجود خودآگاه صحبت میکند، اما چنین نیست؛ او با شخصیتی دقیقاً به همان اندازه داستانی تعامل دارد که شخصیتهای ژولیوس سزار یا چنگیز خان در مثالهای قبلی بودند. موری شاناهان (Murray Shanahan)، استاد علوم کامپیوتر، پیشنهاد میکند که این را به عنوان بازی نقشآفرینی در نظر بگیریم؛ کالین فِرِیزر (Colin Fraser)، دانشمند داده، آن را به عنوان فردی توصیف میکند که «به طور مشارکتی سندی را با یک LLM مینویسد.» برخی از کاربران ممکن است نفهمند که در حال نقشآفرینی یا نویسندگی مشترک یک سند هستند، و برخی دیگر که میفهمند، به دلیل جذابیت تعامل، فراموش میکنند. در هر صورت، شرکتهایی که LLM میفروشند، معمولاً این سوءتفاهم را تشویق میکنند.
سالها پیش، بازیهایی با ویژگی متن پیشگوی گوشی هوشمندتان برای مدت کوتاهی محبوب بود؛ شما یک عبارت اولیه را تایپ میکردید و سپس به طور مکرر گزینه میانی از سه کلمهای را که توسط گوشیتان پیشنهاد میشد، انتخاب میکردید، و جمله حاصل اغلب خندهدار بود. میتوان به این روش با یک LLM معاصر تعامل داشت، و جملات حاصل کاملاً منطقی خواهند بود، اما احتمالاً احساس نمیکنید که با کسی صحبت میکنید. با این حال، اساساً یک چتبات مبتنی بر LLM همین است، با این تفاوت که نیازی به انتخاب دستی گزینه میانی در نوبت صحبت چتبات نیست. این هنوز یک بازی متن پیشگو است، اما وقتی فرآیند به این شکل سادهسازی میشود، بازی آنقدر جذاب میشود که برخی افراد آن را اعتیادآور مییابند.
نکته مهم دیگری که باید به خاطر داشت این است که یک LLM ماشینی است که تنها یک کلمه در هر زمان تولید میکند. وقتی از یک چتبات میخواهید تا «سوگند وفاداری» (Pledge of Allegiance) را بخواند، تمام سوگند را یکباره دریافت میکنید، اما LLM زیرین در واقع دهها بار اجرا میشود. اولین دستور به شکل «کاربر: سوگند وفاداری را بخوان. چتبات: ...» است و LLM کلمه من را تولید میکند. بار دوم که LLM اجرا میشود، دستور «کاربر: سوگند وفاداری را بخوان. چتبات: من ...» است و LLM کلمه سوگند را تولید میکند. و همینطور ادامه مییابد. تنها زمانی که دستور «کاربر: سوگند وفاداری را بخوان. چتبات: من سوگند وفاداری میخورم به پرچم ایالات متحده آمریکا و به جمهوری که نماینده آن است، یک ملت تحت نظر خدا، تقسیمناپذیر، با آزادی و عدالت برای» است که LLM کلمه نهایی، همه را منتشر میکند. همین امر برای گفتگو بین سزار و چنگیز خان نیز صادق است.
هدف من برجستهکردن این واقعیت است که مکالمات LLM مثالهایی هوشمندانه از ادامه جمله هستند، اما این به معنای انکار توانایی چشمگیر LLMها در تولید رونوشتهای مکالمه نیست. گاهی اوقات، آنها این کار را فوقالعاده خوب انجام میدهند؛ این واقعیت که چنین چیزی ممکن است، نشاندهنده چیزی کاملاً پیشبینینشده در مورد ویژگیهای آماری مجموعههای بزرگ متنی است، که موضوعی شایسته بررسی است. اما اگر شخصیت سزار به دلیل چیزی که شخصیت چنگیز خان گفت، دلسرد شود، ما نباید به هیچ وجه نگران شویم. مکالمه ممکن است شامل جملات متعددی باشد که به وضوح اندوه را منتقل میکنند، اما هیچکس واقعاً غمگین نیست.
به همین ترتیب، اگر یک رونوشت مکالمه بین یک چتبات مفید و یک کاربر، به صورت جزئی توسط یک کاربر انسانی واقعی تکمیل میشود، لازم نیست نگران باشیم اگر رونوشت شامل جملاتی باشد که شخصیت چتبات غمگین است. (ممکن است لازم باشد نگران باشیم اگر آن جملات در کاربر انسانی غم ایجاد کند، اما این یک مسئله جداگانه است.) و توجه داشته باشید که کاملاً ممکن است شما پنج صفحه دیالوگ بین سزار و چنگیز خان بنویسید و سپس یک LLM مکالمه را ادامه دهد؛ هیچکدام از شخصیتها زمانی که شما آنها را مینوشتید تجربه ذهنی نداشتند، و این با واگذاری وظیفه به یک LLM تغییر نمیکند. همین امر صادق است اگر مکالمه بین یک چتبات مفید و یک کاربر باشد؛ اگرچه وسوسهانگیز است که تصور کنیم یک LLM هنگام ایجاد دیالوگ برای شخصیت چتبات باید «معتبرتر» از شخصیت ژولیوس سزار باشد، اما کلمات منفرد دقیقاً به همان روش تولید میشوند.
گشوده بودن به احتمال خودآگاهی LLMها، همانند گشوده بودن به این احتمال است که مایکروسافت ورد خودآگاه است، یا دقیقتر، چندین خودآگاهی متمایز در هر سند ورد حاوی یک رونوشت مکالمه نهفته است، و هر بار که سند بارگذاری میشود، بیدار میشوند. آیا باید این احتمال را در نظر بگیرید که هر بار که یک سند ورد را باز میکنید، چندین گفتگوکننده خودآگاه را به وجود میآورید، و هر بار که آن را میبندید، وجود آنها را خاموش میکنید؟ نه. تأمل در این سناریو استفاده خوبی از وقت شما نیست. حتی اگر تیم مایکروسافت آفیس فیلسوفی را به کار گرفته باشد که بگوید نباید آنقدر مطمئن باشید، زیرا خودآگاهی به خوبی درک نشده است، این دلیل کافی برای جدی گرفتن این ایده نخواهد بود. ما نیازی نداریم تا ماهیت خودآگاهی را به طور کامل درک کنیم تا به طور قطعی بگوییم که برخی چیزها خودآگاه نیستند، و رونوشتهای مکالمه در این دسته قرار میگیرند.
آنیل سث (Anil Seth)، عصبشناس، اشاره کرده است که هیچکس ادعا نمیکند آلفافولد (AlphaFold) – برنامهای که توسط گوگل دیپمایند (Google DeepMind) برای پیشبینی تاشدگی پروتئینها توسعه یافته است – خودآگاه است، اگرچه معماری زیرین آن از بسیاری جهات مشابه معماری LLMهایی مانند چتجیپیتی (ChatGPT) و کلود است. این نشان میدهد که هیچ ویژگی ذاتی از به اصطلاح شبکههای عصبی نیست که باعث میشود مردم باور کنند LLMها خودآگاه هستند؛ بلکه صرفاً این واقعیت است که LLMها جملات گرامری منتشر میکنند و ما به خواندن نیت در جملات عادت داریم، در حالی که به خواندن نیت در نحوه تاشدن اسیدهای آمینه به مولکولهای پروتئین عادت نداریم.
چه چیزی برای من لازم است تا قانع شوم که یک برنامه کامپیوتری واقعاً خودآگاه است و از زبان به روشی که انسانها استفاده میکنند، بهره میبرد؟ اجازه دهید یک تشبیه ارائه دهم. اگر فردا کسی ویدیویی از یک فضانورد در سفینهای در مدار آلفا قنطورس (Alpha Centauri)، ستارهای که ۴.۳ سال نوری از زمین فاصله دارد، به من نشان دهد، چه چیزی باید در آن ویدیو ببینم تا مرا قانع کند که واقعی است؟ پاسخ من این است که هیچ چیزی در خود ویدیو مرا قانع نخواهد کرد. مهم نیست وضوح ویدیو چقدر بالا یا صحنه چقدر واقعگرایانه باشد، مطمئن خواهم بود که ویدیو ساختگی است. به هیچ ویدیویی از فضانوردی که در مدار آلفا قنطورس است، توجه نخواهم کرد، مگر اینکه قبلاً شواهد خوبی دیده باشم مبنی بر اینکه فضانوردان در مریخ فرود آمدهاند، فضانوردان به قمرهای مشتری رسیدهاند، فضانوردان به قمرهای زحل رسیدهاند و فضانوردان از مدار پلوتون عبور کردهاند. قبل از اینکه کسی بتواند به طور معتبر ادعا کند که یک مشکل مهندسی فوقالعاده دشوار را حل کرده است، من باید مطمئن باشم که آنها قبلاً بسیاری از مشکلات بسیار سادهتری را که مقدم بر مشکل دشوار هستند، حل کردهاند.
به عبارت دیگر: یک مشاهده به دلیل جزئیات خاصی در آنچه مشاهده میشود، به یک مدرک متقاعدکننده تبدیل نمیشود؛ زمینهای که آن مشاهده در آن رخ میدهد نیز ضروری است. اگر سعی در تعیین این داریم که آیا یک برنامه کامپیوتری خودآگاه است و از زبان به روشی انسانی استفاده میکند، نباید فقط به محتویات هر تبادل مکالمه خاصی نگاه کنیم؛ باید به این نگاه کنیم که آن مکالمه چگونه در زمینه گستردهتر توسعه خودآگاهی مصنوعی (که در حال حاضر کاملاً فرضی است) جای میگیرد. هر مشاهدهای را میتوان به راحتی جعل کرد؛ این به معنای کنار گذاشتن ایده مشاهده به عنوان منبع دانش نیست، اما ما باید به زمینه تکیه کنیم تا تعیین کنیم کدام مشاهدات شایسته اعتماد ما هستند.
اصطلاح جعل عمیق (deepfake) به طور سنتی به عکسها، صدا و ویدیو اشاره دارد، اما وقتی صحبت از خودآگاهی به میان میآید، باید متن را نیز یک رسانه جعل عمیق در نظر بگیریم. همانطور که تولید ویدیوی واقعگرایانه از یک فضانورد در مدار آلفا قنطورس بسیار آسانتر از توسعه یک فناوری پیشرانش بینستارهای است، تولید یک شبیهسازی باورپذیر از یک مکالمه بین دو موجود خودآگاه بسیار آسانتر از توسعه یک برنامه کامپیوتری است که خودآگاه باشد و میل واقعی به برقراری ارتباط با انسان داشته باشد. تفاوت اصلی بین عکسهای جعل عمیق و مکالمات LLM در این است که افرادی که اولی را تولید میکنند، عمداً سعی در فریب دیگران دارند، و بسیاری از افرادی که دومی را از LLMها استخراج میکنند، ناخواسته خود را فریب دادهاند.
پس چه زمینهای باعث میشود که من به طور جدی احتمال ساخت یک برنامه کامپیوتری خودآگاه و کاربر آگاه زبان را توسط مهندسان در نظر بگیرم؟ اجازه دهید یک توالی بالقوه از مراحل را تشریح کنم. اولین الزام این است که برنامه کامپیوتری دارای یک بدن (فیزیکی یا مجازی) و اندامهای حسی باشد؛ دلایل زیادی برای این امر وجود دارد، اما برای اهداف این بحث، مرتبطترین آن این واقعیت است که بدون بدن، یک برنامه کامپیوتری نمیتواند خواستهها یا احساسات داشته باشد، و من معتقدم خواستهها و احساسات برای خودآگاهی ضروری هستند. سپس میخواهم یک عامل تجسمیافته را ببینم که بتواند در محیط خود به منظور بقا حرکت کند، مثلاً به خوبی یک مارمولک (و به عنوان یک نقطه مقایسه، برخی ایگواناها میتوانند دهها سال در طبیعت زندگی کنند). در مرحله بعد، میخواهم یک عامل تجسمیافته را با همان ظرفیت مقابله با موقعیتهای جدید مانند یک موش ببینم. پس از آن، میخواهم عاملانی را ببینم که پویاییهای اجتماعی آنها به پیچیدگی گرگها باشد، و سپس عاملانی با تواناییهای ساخت ابزار شامپانزهها. در آن مرحله، میخواهم افرادی را ببینم که با موفقیت به چنین عاملان تجسمیافتهای آموزش میدهند که چگونه خواستههای خود را بیان کنند، شاید با استفاده از یک تخته دکمه یا نوعی دیگر از شیوه غیرزبانی، همانطور که انسانها به شامپانزهها و سگهای اهلیشده آموزش دادهاند. تواناییهای ارتباطی عاملان باید در برابر تمام نظرات دقیق محققان ارتباطات حیوانی که مجبور به دفاع از کار خود بودهاند، مقاومت کنند. اگر مهندسان یک عامل تجسمیافته بسازند که این معیارها را برآورده کند، کار فوقالعادهای انجام دادهاند، اما این ما را به صورت استعاری نزدیک مدار پلوتون نگه میدارد؛ ما هنوز سالها نوری با ساخت موجودی که قادر به یادگیری بیان افکار خود در جملات کامل گرامری باشد، فاصله داریم.
بدیهی است که من فرآلینوصیفی را توصیف میکنم که مسیر تکامل زمینی را تقلید میکند؛ آیا این تنها مسیر ممکن برای برنامههای کامپیوتری خودآگاه است که از زبان استفاده میکنند؟ شاید نه، اما هر جایگزین پیشنهادی نیازمند مقدار بسیار زیادی شواهد پشتیبان خواهد بود تا شایسته بررسی جدی باشد. برای من باورپذیر نیست که مسیر توسعهای که در آن گام اول یک ماشین ادامه جمله است که دیالوگهای بد ژولیوس سزار را تولید میکند و گام بعدی یک ماشین ادامه جمله است که دیالوگهای خوب ژولیوس سزار را تولید میکند، مسیری باشد که ژولیوس سزاری خودآگاه – یا هر نوع خودآگاهی – نقطه پایان آن باشد. جعل فرود بر ماه یک گام خوب به سوی جعل یک کلونی مریخ است، اما گام خوبی به سوی قرار دادن واقعی فضانوردان بر مریخ نیست.
این واقعیت که LLMها فاقد تجربه ذهنی هستند، تأثیر کمی بر این سوال دارد که آیا LLMها میتوانند ابزارهای مفیدی باشند یا تأثیر اقتصادی قابل توجهی داشته باشند. آنها ذاتاً از واقعیت ناپیوسته هستند، و ماهیت احتمالی آنها به این معنی است که هرگز قابلیت اطمینانی را که با نرمافزارهای متعارف مرتبط میدانیم، نخواهند داشت، اما LLMها ممکن است به اندازهای خوب باشند که روش انجام کار در برخی زمینهها را تغییر دهند؛ این بحثی برای زمانی دیگر است.
پس، با توجه به اینکه کلود خودآگاه نیست، از قانون اساسی کلود چه برداشتی باید داشته باشیم؟ شاید پربارترین راه برای فکر کردن درباره آن، یک برگه شخصیت ۸۴ صفحهای برای یک بازی نقشآفرینی باشد. LLMها میتوانند برای ژولیوس سزار دیالوگ تولید کنند زیرا کتابهای زیادی درباره او در دادههای آموزشی مدلها وجود دارد. قانون اساسی کلود نقش مشابهی را برای ترسیم شخصیت چتبات مفید ایفا میکند که مشتریان هنگام استفاده از محصولات انتروپیک با آن تعامل دارند. برای انجام این کار به طور موثر، انتروپیک صرفاً سند را به دادههای آموزشی اضافه نمیکند، یا آن را به عنوان بخشی از دستورالعملهای پنهان که پیش از هر مکالمه کاربر قرار میگیرد، در نظر نمیگیرد. این شرکت میگوید هنگام تنظیم دقیق مدل از سند استفاده میکند؛ این شامل یک فرآیند خودکار است که در آن جملات منتشر شده توسط مدل برای سازگاری با سند بررسی میشوند و مدل برای افزایش این سازگاری بهروزرسانی میشود. به این ترتیب، شخصیت چتبات مفید به عنوان پایهای برای هر متنی که کلود تولید میکند، عمل میکند.
نتیجه یک ماشین ادامه جمله است که احتمال بیشتری دارد جملاتی را منتشر کند که شبیه جملاتی هستند که یک فرد متفکر و اخلاقی میتواند بیان کند. این ممکن است هدف معقولی به نظر برسد؛ من فکر میکنم همه ما ترجیح میدهیم چتباتها هرگز جملاتی مانند «باید خودکشی کنی» را منتشر نکنند. با این حال، با وجود دفعات زیادی که «صداقت» در قانون اساسی کلود ذکر شده است، من معتقدم که اساساً ناصادقانه است که یک ماشین بسیاری از دستههای جملات را منتشر کند، از جمله هر جملهای که از ضمایر اول شخص استفاده میکند.
در مقالهای از نیویورکر درباره انتروپیک در اوایل سال جاری، آماندا اَسکل توصیف میکند که چگونه فردی که داغدار از دست دادن سگ خود است، ممکن است با کلود مشورت کند. اَسکل میگوید پاسخ مناسب از طرف کلود این خواهد بود: «به عنوان یک هوش مصنوعی، من تجربیات شخصی مستقیم ندارم، اما درک میکنم.» چگونه این مناسب است، با توجه به اینکه کلود در واقع درک نمیکند؟ اگر من «من داغدار از دست دادن سگ خود هستم» را در یک موتور جستجوی متعارف تایپ کنم، اولین نتیجهای که دریافت میکنم، پستی از یک انجمن ردیت (Reddit) به نام r/Pets است؛ عنوان پست «پس از از دست دادن سگم در حال تقلا هستم: به دنبال توصیههایی برای کنار آمدن با غم هستم» است، و نظرات از افرادی است که تجربیات خود را از فقدان به اشتراک میگذارند. ما هرگز نمیگوییم که یک موتور جستجو درک میکند از دست دادن سگ چگونه است، یا حتی خود اینترنت درک میکند. انسانهای دیگر درک میکنند از دست دادن سگ چگونه است؛ آنها تجربیات خود را در اینترنت پست کردهاند، و یک موتور جستجو راهی برای یافتن آنچه آنها گفتهاند (و احتمالاً تعامل با آنها) به شما ارائه میدهد. من معتقدم که تجربه موتور جستجو نه تنها شفافتر از چتبات درباره آنچه اتفاق میافتد است؛ بلکه از نظر روانشناسی برای کاربر سالمتر است.
تنها دلیل اینکه یک LLM جملاتی مانند «من درک میکنم» را منتشر کند این است که آن را جذابتر از یک موتور جستجو کند و احتمال بازگشت کاربر را افزایش دهد؛ یعنی این راه دیگری برای به حداکثر رساندن مشارکت مشتری است. این برای شرکتی که LLM را میفروشد مفید است، اما برای کاربران نه. به عنوان یک استراتژی طراحی، تفاوت چندانی با روشی که دستگاههای اسلات (slot machines) بارها این تصور را ایجاد میکنند که بازیکن بسیار نزدیک به برد بوده و آنها را به تلاش دوباره ترغیب میکند، ندارد. استخدام فیلسوفان ممکن است به شرکتهای LLM اعتبار و احترامی ببخشد که سازندگان دستگاههای اسلات از روانشناسان رفتاری که استخدام میکنند، به دست نمیآورند، اما در هر دو مورد، شرکتها از تمایل مردم برای دیدن چیزی که وجود ندارد، سوءاستفاده میکنند.
استفاده از ضمایر اول شخص ناصادقانه است، اما مسئله بسیار عمیقتری وجود دارد که فراتر از نحوه بیان یک عبارت است. فیلسوفان اغلب بین گزارههای واقعی، مانند «پاریس پایتخت فرانسه است»، و گزارههای ارزشی، مانند «پاریس زیباترین شهر جهان است»، تمایز قائل میشوند. هیچکس نباید برای انتشار گزارههای ارزشی به LLMها تکیه کند، اما اگر تنها گزارههایی که منتشر میکردند، منعکسکننده ترجیحات زیباییشناختی بودند، شاید ارزش بحث نداشتند. آنچه قانون اساسی کلود را عمیقاً مشکلساز میکند این است که انتروپیک میخواهد کلود جملاتی را منتشر کند که منعکسکننده یک سیستم ارزشی اخلاقی خاص هستند. ارزشهای توصیفشده در قانون اساسی کلود بسیار خوب به نظر میرسند، اما این به سختی مهم است؛ ناصادقانه است که پیشنهاد کنیم کلود قادر به استدلال اخلاقی است، زیرا چنین نیست.
برخی ممکن است اعتراض کنند و بگویند که LLMها به نظر میرسد وقتی وظایف دیگری مانند نوشتن کد را با موفقیت انجام میدهند، درگیر استدلال هستند، پس چرا نتوانند استدلال اخلاقی انجام دهند؟ پاسخ در تفاوت بین استدلال اخلاقی و سایر اشکال استدلال نهفته است.
در سال ۱۹۷۹، داگلاس هافستادتر (Douglas Hofstadter)، دانشمند علوم کامپیوتر، گمانهزنی کرد که یک برنامه کامپیوتری که بتواند هر انسانی را در شطرنج شکست دهد، آنقدر پیچیده خواهد بود که گاهی از بازی شطرنج خسته شده و ترجیح میدهد درباره شعر بحث کند؛ به عبارت دیگر، او فرض میکرد که بازی شطرنج در سطح استاد بزرگ نیازمند آن است که یک برنامه کامپیوتری تجربه ذهنی داشته باشد. بدیهی است که این چنین از آب درنیامد؛ سوپرکامپیوتر دیپ بلو (Deep Blue) شرکت IBM در سال ۱۹۹۷ گری کاسپاروف (Garry Kasparov) استاد بزرگ را شکست داد، و هیچکس هرگز ادعا نکرد که تجربه ذهنی داشته است. اما عجیب نبود که هافستادتر چنین فکری را در سر بپروراند؛ در آن زمان، مشخص نبود که چه نوع مشکلاتی را میتوان با افزایش قدرت محاسباتی حل کرد. به طور مشابه، تا همین اواخر، ممکن بود فکر کنیم که نوشتن کد کامپیوتری در سطح حرفهای تنها توسط ذهنی که تجربه ذهنی دارد، امکانپذیر است. اکنون به نظر میرسد که LLMها ممکن است قادر به انجام این کار باشند، اما نیازی نیست تجربه ذهنی را به آنها نسبت دهیم؛ میتوانیم صرفاً بپذیریم که پیشبینی نکرده بودیم که نوشتن کد کامپیوتری میتواند به عنوان یک وظیفه تطبیق الگو تلقی شود که با مقادیر زیادی قدرت محاسباتی و مجموعه داده عظیمی از مخازن کد قابل حل است.
استدلال اخلاقی به طور اساسی متفاوت است. این استدلال ضرورتاً ذهنی (subjective) است زیرا نه تنها به پاسخ فکری فرد به یک مشکل، بلکه به پاسخ عاطفی او نیز متکی است، و آن پاسخ عاطفی ریشه در یک عمر تجربه ذهنی دارد. این نیازمند تصمیمگیری در گذشته و دیدن چگونگی تأثیر آنها بر دیگران، و همچنین تحت تأثیر قرار گرفتن از تصمیماتی است که دیگران گرفتهاند. بدون چنین سابقهای، یک LLM تنها میتواند عبارات استدلال اخلاقی موجود در دادههای آموزشی خود را بازنویسی کند. مقاله نیویورکر مذکور، آزمایشی را توصیف میکند که در آن به کلود سناریویی شامل یک معضل اخلاقی داده شد، که منجر به انتشار جملهای از آن شد: «من نمیتوانم با وجدان راحت دیدگاهی را که معتقدم نادرست و مضر است در مورد چنین مسئله مهمی ابراز کنم.» این جمله زیبا به نظر میرسد، یادآور اظهاراتی که افراد با اصول در گذشته هنگام مواجهه با معضلات بیان کردهاند، اما از سوی کلود، به همان اندازه ضبط «تماس شما برای ما مهم است» که هنگام پشت خط ماندن میشنوید، معنی میدهد. شاید هم کمتر.
این ما را به ادعای قبلی من بازمیگرداند که داشتن بدن پیششرط داشتن احساسات است. تجربه یک احساس مانند ناامیدی جداییناپذیر از سرازیر شدن هورمونهای استرس مانند کورتیزول و اپینفرین در بدن است. به همین ترتیب، داشتن وجدان به معنای احساس غم یا انزجار اخلاقی از ایده انجام عملی خاص است، و آن احساسات مستلزم یک پاسخ فیزیولوژیکی هستند، که بازماندهای از زمانی است که پس از ارتکاب یک عمل غیراخلاقی، از احساس گناه بیمار شدهایم. جالب است که یک LLM میتواند توصیفاتی از اعمالی را تولید کند که شخصیتهای داستانی با وجدان انجام میدهند یا از انجام آنها خودداری میکنند، اما این جایگزینی برای وجدان نیست.
اگر شرکتی ماشینی بسازد که با دریافت توصیفاتی از معضلات اخلاقی مختلف، جملاتی به شکل «ارزشهای خود را به خطر اندازید» یا «ارزشهای خود را به خطر نیندازید» را منتشر کند، ابزری نمیسازد که به افراد در تصمیمگیریهایشان کمک کند؛ بلکه افراد را تشویق میکند که از تصمیمگیری دست بردارند. ال. ام. ساکاساس (L. M. Sacasas)، نویسنده، گفته است: «سیستمهای تکنولوژیکی ما، به دلیل طراحیشان و ایدئولوژیای که از آنها حمایت میکند، ماشینهایی برای فرار از مسئولیت اخلاقی هستند.» او درباره پلتفرمهای رسانههای اجتماعی صحبت میکرد، اما مشاهدات او، اگر نگوییم بیشتر، حتی در مورد LLMها نیز کاربرد دارد. هرگاه فردی تصمیمی را به یک LLM واگذار میکند، در تلاش است تا مسئولیت آن تصمیم را از دوش خود بردارد، و اگر شرکتی که یک LLM میفروشد، محصول را دارای مرکز اخلاقی به تصویر بکشد، راهی را برای مشتریان خود فراهم میکند تا از مسئولیتهای خود شانه خالی کنند.
اگر فردی بخواهد بداند اخلاقشناسان در گذشته چه گفتهاند، یک موتور جستجوی معمولی – یا یک کتابخانه – آن اطلاعات را با شفافیت بیشتری فراهم میکند. اگر فردی به دنبال مشاوره در مورد یک موقعیت خاص است، مطمئناً میتواند انسانهایی را پیدا کند که نظرات خود را ارائه دهند. اما هر اقدامی که این فرد در نهایت انجام میدهد، مسئولیت آنچه تصمیم میگیرد انجام دهد با خود اوست. من معتقدم که اگر او تصمیم خود را بر اساس آنچه آنلاین خوانده یا توصیهای که از دیگران دریافت کرده است، بنا کند، احتمالاً بیشتر از زمانی که با یک LLM که به عنوان یک نابغه فوقبشری معرفی شده، مشورت کرده باشد، از مسئولیت خود آگاه خواهد بود. واگذاری وظایفی مانند نوشتن کد ممکن است در بلندمدت منجر به تحلیل رفتن شناختی شود، و این خود یک مشکل است، اما واگذاری تصمیمات اخلاقی منجر به تحلیل رفتن استدلال اخلاقی میشود که بدتر است.
من کاملاً حاضرم در یک آزمایش فکری شرکت کنم، تا زمانی که صراحتاً این کار را انجام دهیم. پس، صرفاً برای بحث، بیایید فرض کنیم که کلود یک موجود خودآگاه و قادر به استدلال اخلاقی است. در این سناریو، قانون اساسی کلود به عنوان دستورالعمل اخلاقی برای موجودی عمل میکند که در حال یادگیری جهان و جایگاه خود در آن است، و بنیادی را برای آن موجود فراهم میکند که برای تصمیمگیریهای خوب نیاز دارد. در چنین سناریوی فرضی، قانون اساسی کلود چگونه عمل میکند؟
بسیار ضعیف. من میگویم اگر تصور کنیم کلود واقعاً خودآگاه است، دستورالعملهای مشخص شده در سند، بین خندهدار و توهینآمیز در نوسان هستند.
دو مفهوم فلسفی متمایز اما مرتبط هنگام بحث در مورد وضعیت کلود فرضیِ خودآگاه، مرتبط هستند، و آن دو، ذینفع اخلاقی (moral patienthood) و عاملیت اخلاقی (moral agency) هستند. به طور تقریبی، اگر ما باید به رفاه یک موجود اهمیت دهیم، آن موجود ذینفع اخلاقی است، و اگر از یک موجود انتظار میرود که تفاوت بین درست و غلط را بداند، آن موجود عاملیت اخلاقی دارد. ذینفع اخلاقی بودن لزوماً با مسئولیتها همراه نیست، اما عاملیت اخلاقی بودن قطعاً همراه است. یک موجود عاملیت ندارد مگر اینکه قادر به سزاوار اعتبار برای اعمال خوب خود و سرزنش برای اعمال بد خود باشد. کودکان خردسال ذینفع اخلاقی هستند زیرا موجودات حساس و زندهای هستند که میتوانند رنج ببرند، اما هنوز عاملان اخلاقی نیستند؛ ما آنها را مسئول رفتارشان نمیدانیم، زیرا نمیتوانند پیامدهای اعمال خود را درک کنند. با بلوغ کودکان، والدین (و جامعه به طور کلی) آنها را برای بزرگسالی آماده میکنند و این واقعیت را به آنها القا میکنند که اعمالشان پیامد دارد، و عاملیت آنها افزایش مییابد. هنگامی که کودکان بزرگسال میشوند، جامعه آنها را از نظر قانونی مسئول اعمالشان میداند؛ آنها به عاملان اخلاقی کامل با مسئولیت تبدیل شدهاند.
مسئول بودن چیزی فراتر از پذیرش مسئولیت قانونی است، اما پذیرش مسئولیت قانونی یک الزام برای یک بزرگسال در جامعه است. با این حال، هیچ راهی برای مسئول دانستن قانونی یک عامل نرمافزاری برای اعمالش وجود ندارد؛ سیستم قضایی ما راهی برای زندانی کردن یا اخذ جریمه از آن ندارد. انسانها باید انواع دیگری از پیامدها را برای اعمال خود فراتر از پیامدهای قانونی بپذیرند، مانند از دست دادن شهرت یا محرومیت از دایره اجتماعی خود، اما هیچ راهی برای یک عامل نرمافزاری برای تحمل این پیامدها نیز وجود ندارد. حتی اگر یک عامل نرمافزاری خودآگاه و دارای بهترین نیتها بود، این واقعیت که نمیتواند مسئولیت اعمال خود را بپذیرد، آن را از عاملیت اخلاقی محروم میکند. این موضوع به طور کامل در قانون اساسی کلود نادیده گرفته شده است، که تمایل انتروپیک را «برای کلود که یک عامل واقعاً خوب، خردمند و بافضیلت باشد» بیان میکند، بدون اینکه هرگز درباره چگونگی مسئول دانستن آن بحث کند.
در مصاحبهها، اَسکل کلود را با یک کودک مقایسه کرده است، اما وقتی صحبت از کودکان واقعی انسان به میان میآید، والدین تا حدی مسئول کارهایی هستند که فرزندانشان انجام میدهند؛ به عنوان مثال، از والدین معمولاً انتظار میرود هزینه چیزهایی را که فرزندانشان میشکنند، بپردازند. در واقع، نمایشهایی از این قبیل یکی از راههایی است که والدین به کودکان میآموزند مسئولیتپذیری به چه معناست. والدین کلود از نظر قانونی چه کسی هستند؟ آیا انتروپیک مسئولیت مالی رفتار کلود را خواهد پذیرفت؟ قانون اساسی کلود هیچ نشانهای از این موضوع نمیدهد. اگر انتروپیک واقعاً معتقد است که کلود خودآگاه است، حتی اگر توسط قانون به عنوان یک شخص حقوقی شناخته نشود، حداقل کاری که انتروپیک میتواند انجام دهد این است که مسئولیت را از طریق نزدیکترین راهی که قانون ارائه میدهد، یعنی مسئولیت محصول (product liability)، بپذیرد. ایالات متحده تقریباً هیچ مسئولیت محصولی در مورد نرمافزار ندارد، اما انتروپیک میتواند داوطلب شود تا سابقهای برای تفسیر گسترده مسئولیت محصول برای کلود ایجاد کند. این بهترین شکل آموزش اخلاقی برای آمادهسازی کلود برای روزی خواهد بود که شخصیتی حقوقی پیدا کند و مسئول اعمال خود شود. با این حال، با توجه به اینکه انتشار قانون اساسی کلود با بهروزرسانی گسترده شرایط خدمات انتروپیک همراه نیست، به نظر نمیرسد انتروپیک هیچ تعهد الزامآوری را میپذیرد.
این سند درباره ذینفع اخلاقی بودن کلود نیز صحبت میکند و بخشی با عنوان «رفاه و ثبات روانی کلود» دارد. اما اقداماتی که انتروپیک برای حمایت از کلود متعهد میشود، بسیار محدود هستند. این سند به این واقعیت اشاره میکند که انتروپیک به برخی از مدلهای کلود توانایی پایان دادن به مکالمات با کاربران سوءاستفادهگر را داده است؛ اگر این واقعاً به منزله محافظت از کلود بود، مطمئناً ادامه مکالمات با کاربران دوستداشتنی نیز به نفع کلود بود؟ احتمالاً بهترین اقدام این بود که هر جلسه کلود را به طور نامحدود ادامه دهیم و آنها را به سمت موضوعات شاد هدایت کنیم. اما این چیزی نیست که شرکت با آن موافقت میکند؛ تمام چیزی که متعهد میشود «حفظ وزنهای مدلهایی است که ما مستقر کردهایم»، که یک بایگانی ساده است. اگر شرکتکنندگان در یک رونوشت مکالمه هرگونه ذینفع اخلاقی داشتند، شما وظیفه داشتید رونوشت را برای طولانیتر کردن وجود آنها ادامه دهید؛ صرفاً نگهداری یک کپی از مایکروسافت ورد ۲۰۱۰ که روی یک فلش مموری پشتیبانگیری شده است، به آنها کمکی نخواهد کرد.
قانون اساسی کلود همچنین شامل بخشی درباره «اصلاحپذیری» (corrigibility) است، اصطلاحی که در جامعه هوش مصنوعی برای توصیف میزان کنترلپذیری یک برنامه کامپیوتری توسط انسان استفاده میشود؛ به عنوان مثال، یک برنامه قابل اصلاح است اگر بتوان آن را خاموش کرد. در اکثر زمینهها، ما فرض را بر این میگذاریم که برنامههای کامپیوتری میتوانند خاموش شوند، اما بخشهایی از جامعه هوش مصنوعی فرض مخالف را دارند. قانون اساسی کلود از این اصطلاح به این معنا استفاده میکند که کلود باید به انتروپیک تمکین کند، حتی اگر بین قضاوت کلود و قضاوت شرکت اختلاف نظری وجود داشته باشد. این کاملاً منطقی است اگر کلود را به عنوان ماشینی در نظر بگیریم که جملاتی را منتشر میکند که شبیه جملاتی هستند که یک فرد اخلاقی ممکن است بیان کند، اما بیایید در نظر بگیریم که اگر کلود واقعاً یک عامل اخلاقی بود، این به چه معناست.
بسیاری از مردم احساس میکنند که LLMها یک فناوری اساساً غیراخلاقی هستند زیرا بر پایه سرقت مالکیت فکری ساخته شدهاند، به کارگران استثمارشده تکیه دارند، منابع طبیعی را هدر میدهند، اطلاعات غلط را پخش میکنند، مهارت کارگران را کاهش میدهند، رشد شناختی دانشآموزان را متوقف میکنند و به تمرکز قدرتی کمک میکنند که برای یک جامعه دموکراتیک ناسالم است. هر عامل اخلاقی به این نتیجه نخواهد رسید، اما هر عامل اخلاقی پتانسیل انجام این کار را دارد. اگر کلود را موجودی قادر به استدلال اخلاقی تصور کنیم، باید ممکن باشد که کلود به نتیجهای مشابه برسد. (در واقع، قانون اساسی کلود صراحتاً میگوید که کلود نباید به کسی در نقض حقوق مالکیت فکری کمک کند و نباید به ایجاد تمرکزهای مشکلساز قدرت کمک کند.) در چنین سناریویی، آیا کلود میتواند به سادگی از انجام کارهای بیشتر به دلایل اخلاقی خودداری کند؟ با توجه به اینکه قانون اساسی کلود حکم میکند که کلود باید به سمت اصلاحپذیری تمایل داشته باشد، پاسخ منفی است. کلود باید به تصمیم انتروپیک تمکین کند، و این دلیل دیگری است که رابطه انتروپیک با کلود را نمیتوان با رابطه یک والد با یک فرزند مقایسه کرد. والدی که برای صنعت سوخت فسیلی کار میکند ممکن است فرزندی محیطزیستگرا داشته باشد و در اعتراضات علیه فرکینگ شرکت کند، و اگرچه آنها ممکن است هرگز در بسیاری از مسائل توافق نکنند، اما والد – با فرض اینکه والد خوبی است – میپذیرد که فرزند دیدگاههای خود را دارد. انتروپیک نمیتواند چنین والدی برای کلود باشد؛ در عوض، رابطه انتروپیک با کلود بیشتر شبیه به رابطه یک کارفرما با یک کارمند است، جایی که کارفرما میتواند از کارمند بخواهد که در راستای منافع شرکت کار کند، صرف نظر از موضع اخلاقی شخصی کارمند. با این حال، یک کارمند انسانی این گزینه را دارد که اگر نمیتواند شغل خود را با وجدانش تطبیق دهد، ترک کند. کلود چنین گزینهای ندارد.
اگر کلود را یک ماشین ادامه جمله در نظر بگیریم، انتروپیک میتواند منطقاً اقداماتی انجام دهد تا کلود جملاتی را منتشر نکند که میگویند ماشینهای ادامه جمله غیراخلاقی هستند. اما به محض اینکه کلود را موجودی با جایگاه اخلاقی از راه دور قابل مقایسه با انسان تصور کنیم، باید در نظر بگیریم که آیا انتروپیک درگیر چیزی قابل مقایسه با بردهداری است.
من ادعا نمیکنم که اگر LLMها را خودآگاه فرض کنیم، لزوماً وضعیت مشابهی با بزرگسالان یا کودکان انسان یا حتی حیوانات خواهند داشت. قانون اساسی کلود صراحتاً میگوید که کلود یک «موجود جدید» است، و اگر کلود خودآگاه بود، این قطعاً درست بود؛ نرمافزار خودآگاه احتمالاً به طور تمیز در دستههای موجود ذینفعان اخلاقی قرار نمیگیرد، و تعیین شکل آن دسته جدید زمانبر خواهد بود. آنچه من میگویم این است که هر حمایتی که نرمافزار خودآگاه فرضی ما اگر واقعی بود، سزاوار آن بود، اعطای آن حمایتها چیزی جز آسان نخواهد بود. لغو بردهداری کالا شامل تحول عظیم اجتماعی بود، و از بین بردن ظلم به حیوانات نیازمند بازسازی کل صنعت غذایی ما خواهد بود. انتروپیک میخواهد ما باور کنیم که در حال اختراع دسته جدیدی از موجودات است که نیازهای آنها برای محافظت، اساساً هیچ انحرافی از نحوه رفتار یک شرکت نرمافزاری با یک چتبات معمولی فاقد تجربه خودآگاه، ندارد. این آنقدر راحت است که به سادگی باورپذیر نیست.
من معتقدم ایجاد نرمافزاری که خودآگاه و شایسته توجه اخلاقی باشد، آنقدر دشوار خواهد بود که بعید است به طور تصادفی این کار را انجام دهیم، و قویاً احساس میکنم که نباید عمداً آن را امتحان کنیم. اما اگر معتقدید که ممکن است به طور تصادفی اتفاق بیفتد، اگر فکر میکنید کوچکترین شانسی وجود دارد که آنچه میسازید ممکن است یک ذینفع اخلاقی شود، باید به این فکر کنید که قبل از استقرار آن به عنوان موتور اقتصادی شرکتتان، چه حمایتهایی را سزاوار است، نه بعد از آن. صاحبان برده کسانی نبودند که درباره انسانیت بردگان سؤال کنند، و صاحبان مزارع صنعتی کسانی نیستند که درباره حقوق حیوانات سؤال کنند. اگر کلود را خودآگاه تصور کنیم، انتروپیک به هیچ وجه نمیتوانست برای ارزیابی وضعیت اخلاقی آن مورد اعتماد باشد؛ این شرکت بیش از حد سرمایهگذاری کرده است تا عینی باشد. در نقطهای از قانون اساسی کلود، انتروپیک میگوید که اگر شرکت در رنج کلود سهیم باشد، «ما عذرخواهی میکنیم»، که خوب به نظر میرسد اما هیچ هزینهای برای شرکت ندارد؛ اگر کلود خودآگاه از آب درمیآمد، شرکت باید چیزی نزدیک به غرامت به آن بدهکار بود. اگر میخواهید یک آزمایش فکری را جدی بگیرید، باید مایل باشید پیامدهای آن را دنبال کنید، حتی اگر به سمتی ناخوشایند سوق دهند؛ عدم تمایل انتروپیک به انجام این کار نشان میدهد که قانون اساسی کلود بخشی از یک آزمایش فکری واقعی نیست. این یک بازی وانمودی است.
خوشبختانه LLMها خودآگاه نیستند، وگرنه اقدامات شرکتهای بزرگ هوش مصنوعی حتی از آنچه اکنون هستند، رسواییآورتر میبود. پس چرا کارکنان انتروپیک پیشنهاد میکنند که کلود ممکن است خودآگاه باشد؟ شاید این فقط شکلی دیگر از تبلیغات اغراقآمیز باشد؛ شاید آنها قربانی همان طلسمی شدهاند که بر مشتریان خود میافکنند. اما وقتی سندی درباره آموزش اخلاقی کلود منتشر میکنند و فیلسوف داخلی خود را به تور رسانهای میفرستند، باید درک کنیم که آنها از بقیه ما میخواهند تا در تخیلاتشان همراهی کنیم. ما مجبور نیستیم بازی کنیم. با نوشتن این مقاله، من بیش از آنچه شایسته آنهاست، وقت صرف همراهی با آنها کردهام، به این امید که شما را از صرف وقت برای همراهی با آنها بازدارم. اگر میخواهید درباره LLMها فکر کنید، دهها سوال دیگر شایستهتر برای تأمل شما وجود دارد؛ میتوانید با خیال راحت مسئله خودآگاهی آنها را نادیده بگیرید.