پژوهشگران دانشگاه فودان یک چارچوب توسعه دادهاند به نام SocioVerse، که یک مدل جهانی مبتنی بر عاملهای LLM برای شبیهسازی اجتماعی است.
این چارچوب شامل چهار جزء و یک مجموعه کاربر از 10 میلیون فرد واقعی است. جزء محیط اجتماعی، اطلاعات خارجی بهروز شده را به شبیهسازی وارد میکند. اجزای موتور کاربر و موتور سناریو به ترتیب زمینه کاربری واقعی را فراهم میکنند و شبیهسازی را با دنیای واقعی همسو میکنند. علاوه بر این، موتور رفتار باعث میشود عاملها رفتارهای انسانی را بازتولید کنند.
هدف این چارچوب جایگزینی روشهای سنتی مانند نظرسنجیها، مصاحبهها و مشاهدات است که چالشهای متعددی از جمله هزینههای بالا، حجم نمونه محدود و نگرانیهای اخلاقی را به همراه دارند.
پژوهشگران با استفاده از عاملهای خودکار هوش مصنوعی که رفتار انسانی را شبیهسازی میکنند، قصد دارند الگوهای تأثیر تصمیمات در سطح خرد را مشاهده و پویاییهای اجتماعی بالقوه را پیشبینی کنند.
برای آزمایش این چارچوب، پژوهشگران آزمایشهای شبیهسازی در مقیاس بزرگ را در حوزههای مختلف از جمله سیاست، اخبار و اقتصاد انجام دادند. مدلهایی مانند Llama-3-70b-Instruct، Qwen2.5-72b-Instruct، DeepSeek-V3، GPT-4o mini، GPT-4o و DeepSeek-R1-671b برای این آزمایشها استفاده شدند.
ابتدا، عاملهای LLM بر پیشبینی نتایج در سطح ایالتی در انتخابات ریاستجمهوری ایالات متحده متمرکز شدند. مشخص شد که GPT-4o-mini و Qwen2.5-72b عملکرد رقابتی را با توجه به معیار ارزیابی نشان میدهند و بیش از 90٪ از نتایج رأیگیری ایالتی را به درستی پیشبینی میکنند. مشاهده شد که DeepSeek-R1-671b بیش از حد فکر میکند و در نتیجه نتایج دقت کمتری دارد.
دوم، یک شبیهسازی برای ارزیابی واکنش عمومی به اخبار فوری، با استفاده از مثال انتشار ChatGPT انجام شد. مشاهده شد که GPT-4o و Qwen2.5-72b در مقایسه با سایر مدلها با دیدگاههای دنیای واقعی همسوتر هستند.
در نهایت، در یک آزمایش شبیهسازی شده برای درک رفتارها از یک نظرسنجی اقتصادی ملی چین، Llama3-70b نسبت به سایر مدلها در این نظرسنجی برتری خود را ثابت کرد و توانست عادات مخارج افراد را به طور دقیق بازتولید کند.
در این مقاله تحقیقاتی آمده است: «یافتههای ما نشان میدهد که LLMهای پیشرفته توانایی قابل توجهی در شبیهسازی پاسخهای انسانی در زمینههای اجتماعی پیچیده نشان میدهند، اگرچه هنوز شکافهایی بین پاسخ شبیهسازی شده و نتایج مشاهده شده در دنیای واقعی وجود دارد.»
علاوه بر این، پژوهشگران قصد دارند طیف گستردهتری از سناریوها را برای گسترش قابلیتهای شبیهسازی LLMها بررسی کنند.