مدل‌های پایه دیگر نیازی به دستور یا برچسب ندارند

مدل‌های پایه (Foundation models)، که اغلب شبکه‌های عصبی عظیمی هستند که بر روی داده‌های متنی و تصویری گسترده آموزش داده شده‌اند، تغییر چشمگیری در نحوه برخورد سیستم‌های هوش مصنوعی با وظایف زبانی و بینایی ایجاد کرده‌اند. این مدل‌ها برای یک وظیفه واحد طراحی نشده‌اند، بلکه با استفاده از دانش پیش‌آموزشی خود، در طیف گسترده‌ای از وظایف تعمیم می‌یابند. پس از آموزش، آن‌ها می‌توانند پاسخ‌های منسجم تولید کنند، تصاویر را طبقه‌بندی کنند یا مسائل را بدون نیاز به آموزش وظیفه‌محور جدید حل کنند. مقیاس‌پذیری و استفاده مجدد آن‌ها در حوزه‌های مختلف، آن‌ها را به سنگ بنای توسعه هوش مصنوعی تبدیل کرده است.

با وجود قابلیت‌های گسترده‌شان، یک مسئله مداوم در نحوه انطباق این مدل‌ها برای وظایف جدید و دیده‌نشده نهفته است. در بیشتر سناریوها، دستیابی به عملکرد قوی مستلزم ارائه دستورهای دست‌ساز یا نمونه‌های برچسب‌گذاری‌شده است که مدل را در نحوه رفتار راهنمایی می‌کند. با این حال، این فرآیند سربار ایجاد می‌کند، زیرا ساخت دستورها شامل آزمون و خطا است و جمع‌آوری نمونه‌های برچسب‌گذاری‌شده می‌تواند پرهزینه و زمان‌بر باشد. علاوه بر این، در کاربردهای دنیای واقعی، چنین داده‌های پشتیبانی ممکن است همیشه به راحتی در دسترس نباشند و قابلیت استفاده از مدل‌های پایه را در تنظیمات صفر-شات محدود کند.

محققان مؤسسه فناوری فدرال سوئیس لوزان (EPFL) یک چارچوب استنتاج مشترک معرفی کردند که از انطباق بدون نظارت پشتیبانی می‌کند. این چارچوب مدل‌های پایه را قادر می‌سازد تا پیش‌بینی‌های هماهنگ را بر روی چندین ورودی بدون نیاز به داده‌های حقیقت زمینی یا دستورهای دستی انجام دهند. تیم تحقیقاتی دو تکنیک خاص را در این چارچوب ارائه کرد: تنظیم دقیق بدون نظارت و یادگیری در متن بدون نظارت. این روش‌ها به مدل‌ها، از جمله مدل‌های وزن‌بسته مانند GPT-4، اجازه می‌دهند تا دقت را بدون راهنمایی خارجی بهبود بخشند.

این کار یک تغییر معنادار در نحوه انطباق مدل‌های پایه را نشان می‌دهد. محققان با معرفی یک استراتژی خودنظارتی قوی و مقیاس‌پذیر، با موفقیت به محدودیت اصلی - تکیه بر داده‌های برچسب‌گذاری‌شده و پیکربندی دستی - پرداختند. چارچوب استنتاج مشترک آن‌ها یک رویکرد عملی و تعمیم‌پذیر است که مرزهای یادگیری بدون نظارت را برای مدل‌های هوش مصنوعی در مقیاس بزرگ دوباره تعریف می‌کند.