از ژن تا نبوغ: تکامل مدل‌های زبانی بزرگ با طرح طبیعت

مدل‌های زبانی بزرگ (LLM) با عملکرد برتر خود در وظایف مختلف، از جمله درک زبان طبیعی و استدلال پیچیده، هوش مصنوعی را متحول کرده‌اند. با این حال، تطبیق این مدل‌ها با وظایف جدید یک چالش مهم است، زیرا روش‌های تنظیم دقیق سنتی شامل مجموعه‌های داده برچسب‌گذاری شده بزرگ و منابع محاسباتی سنگین است. روش‌های موجود برای ترکیب چند LLM فاقد انعطاف‌پذیری لازم هستند و با چالش‌هایی در تعمیم به وظایف جدید روبرو هستند. علاوه بر این، وابستگی به بهینه‌سازی مبتنی بر گرادیان، کارایی و مقیاس‌پذیری را محدود می‌کند و انطباق در زمان واقعی را غیرممکن می‌سازد. بنابراین، نیاز فوری به یک رویکرد مؤثرتر وجود دارد که به LLM‌ها اجازه می‌دهد به طور پویا تطبیق پیدا کنند، برای تطبیق به حداقل داده نیاز داشته باشند و عملکرد را بدون پرداخت هزینه محاسباتی سنگین بهبود بخشند.

روش‌های متعددی برای تقویت انطباق LLM پیشنهاد شده‌اند، اما هر کدام دارای معایب اساسی هستند. Expert Fusion مدل‌های تنظیم‌شده دقیق را با میانگین‌گیری پارامترهای آن‌ها مطابق با قوانین از پیش تعریف‌شده ادغام می‌کند، اما این روش نمی‌تواند به طور پویا با یک وظیفه خاص تطبیق پیدا کند. روش‌های دیگر، مانند LoraHub و Model Swarms، از الگوریتم‌های تکاملی مانند برنامه‌نویسی ژنتیکی یا بهینه‌سازی ازدحام ذرات برای ترکیب تطبیقی مدل‌ها استفاده می‌کنند. با این حال، آن‌ها به داده‌های انطباق برچسب‌گذاری شده نیاز دارند و هنگامی که در چندین کار مقیاس‌بندی می‌شوند، عملکرد آن‌ها کاهش می‌یابد. روش‌های ادغام پارامتر مانند DARE، TIES و Pack of LLMs وزن‌های مدل‌های مختلف را تراز و ادغام می‌کنند، اما نمی‌توانند به طور پویا با تغییرات تقاضا تطبیق پیدا کنند. معایب مشترک این روش‌ها، پیچیدگی محاسباتی بالا، مکانیسم‌های تطبیق ثابت و توانایی تعمیم ضعیف در تنظیمات صفر شات است. این معایب نیاز به یک راه حل پیچیده‌تر را برجسته می‌کند که می‌تواند به طور مداوم تکامل یابد و بدون نیاز به آموزش مجدد گسترده، با وظایف تطبیق پیدا کند.

محققان دانشگاه Northeastern و آزمایشگاه هوش مصنوعی شانگهای GENOME (بهینه‌سازی ژنتیکی برای تکامل مدل) را پیشنهاد می‌کنند، یک چارچوب تکاملی مبتنی بر جمعیت که برای افزایش انطباق LLM طراحی شده است. این رویکرد از مکانیسم‌هایی از ژنتیک، یعنی تقاطع، جهش، انتخاب و جانشینی، برای تکامل پویای جمعیت مدل‌ها استفاده می‌کند. برخلاف تنظیم دقیق معمولی مبتنی بر یادگیری مبتنی بر گرادیان، GENOME امکان تکامل موفقیت‌آمیز تحت داده‌های پراکنده را فراهم می‌کند. تقاطع اجازه می‌دهد تا مدل‌های با عملکرد بالا ادغام شوند تا فرزندانی با قابلیت‌های بهتر ایجاد شوند، در حالی که جهش تصادف را برای کشف قابلیت‌های جدید اضافه می‌کند. انتخاب فقط کارآمدترین مدل‌ها را حفظ می‌کند و مدل‌های زیربهینه را رد می‌کند، و جانشینی انتقال دانش را با فعال کردن مدل‌های تازه توسعه یافته برای به ارث بردن نقاط قوت و ضعف نسخه‌های قبلی امکان‌پذیر می‌کند. یک نوع به نام GENOME+ یک مکانیسم ensemble را اضافه می‌کند که پیش‌بینی‌های مدل‌های با عملکرد برتر را برای بهبود استحکام و دقت ترکیب می‌کند. این نوآوری‌ها به LLMها اجازه می‌دهد تا به سرعت با وظایف جدید تطبیق پیدا کنند و در عین حال منابع محاسباتی را به حداقل برسانند، و یک جایگزین بهبود یافته و مقیاس‌پذیر برای رویکردهای تطبیق مدل معمولی ارائه می‌دهند.

مدل تکاملی با جمعیتی از LLM‌ها که از gemma-2-2b-it بذرافشانی شده‌اند، اعمال می‌شود، که در 10 دامنه با استفاده از مجموعه داده Tulu-v2-SFT تنظیم دقیق شده است. عملیات تکاملی به طور مکرر در طول 10 نسل اعمال می‌شود، و پارامترهای مدل را با بهینه‌سازی آن‌ها با استفاده از یک تابع برازش که دقت اعتبارسنجی را نظارت می‌کند، تنظیم می‌کند. این سیستم با اندازه‌های جمعیتی بین 10 تا 40 مدل، با نرخ تقاطع 30٪ و احتمال جهش 20٪ اجرا می‌شود. دقت، تطابق دقیق، امتیاز F1 و امتیاز BLEU به عنوان معیارهای ارزیابی برای وظایف چند زبانه استفاده می‌شوند. این رویکرد از نظر محاسباتی کارآمد است و روی یک GPU RTX 4090 اجرا می‌شود، و آن را به یک جایگزین عملی و قابل دوام برای رویکردهای تنظیم دقیق سنتی تبدیل می‌کند.

ارزیابی‌های در مقیاس بزرگ تأیید می‌کنند که این رویکرد از نظر دقت، ظرفیت استدلال و مقیاس‌پذیری، از روش‌های انطباق و ترکیب مدل‌های پیشرفته در چندین معیار فراتر می‌رود. این سیستم به طور متوسط 24.06٪ نسبت به مدل خبره واحد با عملکرد برتر و 10.75٪ نسبت به Model Swarms افزایش می‌یابد، با افزایش قابل توجه در وظایف استدلال سنگین از نظر منابع. در مقابل سایر روش‌های تطبیقی، که هنگام مواجهه با چندین کار دچار مشکل می‌شوند، این رویکرد تکاملی عملکرد ثابتی را در طیف گسترده‌ای از دامنه‌ها نشان می‌دهد. علاوه بر این، به تعمیم قوی صفر شات دست می‌یابد، و با موفقیت نمایش‌های آموخته شده را بدون نیاز به داده‌های آموزشی اضافی به وظایف جدید منتقل می‌کند. آزمایش‌های مقیاس‌پذیری تأیید می‌کنند که افزایش اندازه جمعیت از 10 به 40 مدل منجر به بهبود بیشتر در عملکرد می‌شود. مطالعات Ablation اهمیت هر فرآیند تکاملی را تأیید می‌کنند، به طوری که مکانیسم‌های انتخاب و ensemble نقش مهمی در اثربخشی کلی ایفا می‌کنند.

این مقاله با پیاده‌سازی تکامل مبتنی بر جمعیت برای LLMها، یک روش بهینه‌سازی بدون گرادیان، تطبیقی و مقیاس‌پذیر ارائه می‌کند که امکان بهبود مستمر در شرایط داده کم را فراهم می‌کند. این روش با پیروی از اصول الگوریتم‌های ژنتیکی، به مدل‌ها اجازه می‌دهد تا به طور پویا تکامل یابند، عملکرد بهتری نسبت به روش‌های تطبیق سنتی داشته باشند و به خوبی به وظایف جدید تعمیم دهند. GENOME+ با پیاده‌سازی مقرون به صرفه بر روی سخت‌افزار فعلی، یک راه‌حل اقتصادی و دنیای واقعی برای روش‌های تنظیم دقیق و ادغام مدل سنتی ارائه می‌دهد و سیستم‌های هوش مصنوعی را قادر می‌سازد تا به طور مداوم بهبود یافته و تطبیق پیدا کنند.