محققان MIT یک جدول تناوبی ایجاد کردهاند که نشان میدهد چگونه بیش از 20 الگوریتم کلاسیک یادگیری ماشین به هم متصل هستند. این چارچوب جدید نشان میدهد که چگونه دانشمندان میتوانند استراتژیهایی را از روشهای مختلف برای بهبود مدلهای هوش مصنوعی موجود یا ارائه مدلهای جدید ترکیب کنند.
به عنوان مثال، محققان از چارچوب خود برای ترکیب عناصر دو الگوریتم مختلف استفاده کردند تا یک الگوریتم طبقهبندی تصویر جدید ایجاد کنند که 8 درصد بهتر از رویکردهای پیشرفته فعلی عمل میکند.
جدول تناوبی از یک ایده کلیدی ناشی میشود: همه این الگوریتمها نوع خاصی از رابطه بین نقاط داده را یاد میگیرند. در حالی که هر الگوریتم ممکن است این کار را به روشی کمی متفاوت انجام دهد، ریاضیات اصلی پشت هر رویکرد یکسان است.
محققان با تکیه بر این بینشها، یک معادله یکپارچه را شناسایی کردند که اساس بسیاری از الگوریتمهای کلاسیک هوش مصنوعی است. آنها از آن معادله برای بازسازی روشهای محبوب و مرتب کردن آنها در یک جدول استفاده کردند و هر کدام را بر اساس روابط تقریبی که یاد میگیرند، دستهبندی کردند.
درست مانند جدول تناوبی عناصر شیمیایی، که در ابتدا حاوی مربعهای خالی بود که بعداً توسط دانشمندان پر شدند، جدول تناوبی یادگیری ماشین نیز دارای فضاهای خالی است. این فضاها پیشبینی میکنند که الگوریتمها کجا باید وجود داشته باشند، اما هنوز کشف نشدهاند.
شادن الشمری، دانشجوی فارغالتحصیل MIT و نویسنده اصلی مقاله در مورد این چارچوب جدید میگوید: این جدول به محققان ابزاری برای طراحی الگوریتمهای جدید میدهد بدون اینکه نیازی به کشف مجدد ایدهها از رویکردهای قبلی باشد.
الشمری میافزاید: «این فقط یک استعاره نیست. ما شروع به دیدن یادگیری ماشین به عنوان سیستمی با ساختار میکنیم که فضایی است که میتوانیم آن را کشف کنیم تا اینکه فقط راه خود را از طریق آن حدس بزنیم.»
جان هرشی، محقق در Google AI Perception؛ اکسل فلدمن، دانشجوی فارغالتحصیل MIT؛ ویلیام فریمن، استاد مهندسی برق و علوم کامپیوتر توماس و گرد پرکینز و عضو آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL)؛ و نویسنده ارشد مارک همیلتون، دانشجوی فارغالتحصیل MIT و مدیر ارشد مهندسی در مایکروسافت، در این مقاله به او پیوستهاند. این تحقیق در کنفرانس بینالمللی ارائه یادگیری ارائه خواهد شد.
یک معادله تصادفی
محققان قصد نداشتند یک جدول تناوبی از یادگیری ماشین ایجاد کنند.
الشمری پس از پیوستن به آزمایشگاه فریمن، شروع به مطالعه خوشهبندی کرد، یک تکنیک یادگیری ماشین که تصاویر را با یادگیری سازماندهی تصاویر مشابه در خوشههای نزدیک طبقهبندی میکند.
او متوجه شد که الگوریتم خوشهبندی که مطالعه میکرد شبیه به یک الگوریتم کلاسیک دیگر یادگیری ماشین به نام یادگیری متضاد است و شروع به کندوکاو عمیقتر در ریاضیات کرد. الشمری دریافت که این دو الگوریتم مجزا را میتوان با استفاده از یک معادله زیربنایی بازسازی کرد.
همیلتون میگوید: «ما تقریباً به طور تصادفی به این معادله یکپارچه رسیدیم. هنگامی که شادن کشف کرد که این معادله دو روش را به هم متصل میکند، ما فقط شروع به رویابافی روشهای جدید برای آوردن به این چارچوب کردیم. تقریباً هر کدام را که امتحان کردیم میتوانستیم اضافه کنیم.»
چارچوبی که آنها ایجاد کردند، یادگیری متضاد اطلاعات (I-Con)، نشان میدهد که چگونه میتوان انواع الگوریتمها را از طریق لنز این معادله یکپارچه مشاهده کرد. این شامل همه چیز از الگوریتمهای طبقهبندی که میتوانند هرزنامه را شناسایی کنند تا الگوریتمهای یادگیری عمیق که به LLMها قدرت میدهند.
این معادله توصیف میکند که چگونه چنین الگوریتمهایی ارتباطاتی بین نقاط داده واقعی پیدا میکنند و سپس آن ارتباطات را به صورت داخلی تقریب میزنند.
هدف هر الگوریتم به حداقل رساندن میزان انحراف بین ارتباطاتی است که یاد میگیرد تا تقریب بزند و ارتباطات واقعی در دادههای آموزشی آن است.
آنها تصمیم گرفتند I-Con را در یک جدول تناوبی سازماندهی کنند تا الگوریتمها را بر اساس نحوه اتصال نقاط در مجموعه دادههای واقعی و روشهای اصلی که الگوریتمها میتوانند آن اتصالات را تقریب بزنند، دستهبندی کنند.
الشمری میگوید: «کار به تدریج پیش رفت، اما هنگامی که ساختار کلی این معادله را شناسایی کردیم، افزودن روشهای بیشتر به چارچوب ما آسانتر شد.»
ابزاری برای کشف
همانطور که جدول را مرتب میکردند، محققان شروع به دیدن شکافهایی کردند که الگوریتمها میتوانستند در آن وجود داشته باشند، اما هنوز اختراع نشده بودند.
محققان یک شکاف را با قرض گرفتن ایدهها از یک تکنیک یادگیری ماشین به نام یادگیری متضاد و اعمال آنها بر خوشهبندی تصویر پر کردند. این منجر به یک الگوریتم جدید شد که میتوانست تصاویر بدون برچسب را 8 درصد بهتر از یک رویکرد پیشرفته دیگر طبقهبندی کند.
آنها همچنین از I-Con برای نشان دادن اینکه چگونه یک تکنیک رفع سوگیری داده که برای یادگیری متضاد توسعه یافته است، میتواند برای افزایش دقت الگوریتمهای خوشهبندی استفاده شود.
علاوه بر این، جدول تناوبی انعطافپذیر به محققان اجازه میدهد تا ردیفها و ستونهای جدیدی را برای نشان دادن انواع اضافی اتصالات نقطه داده اضافه کنند.
همیلتون میگوید: در نهایت، داشتن I-Con به عنوان یک راهنما میتواند به دانشمندان یادگیری ماشین کمک کند تا خارج از چارچوب فکر کنند و آنها را تشویق کند تا ایدهها را به روشهایی ترکیب کنند که لزوماً در غیر این صورت به آن فکر نمیکردند.
او میافزاید: «ما نشان دادهایم که فقط یک معادله بسیار ظریف، ریشه در علم اطلاعات، الگوریتمهای غنی را به شما میدهد که 100 سال تحقیق در یادگیری ماشین را در بر میگیرد. این راههای جدید بسیاری را برای کشف باز میکند.»
یایر وایس، استاد دانشکده علوم کامپیوتر و مهندسی در دانشگاه عبری اورشلیم، که در این تحقیق شرکت نداشت، میگوید: «شاید چالشبرانگیزترین جنبه محقق یادگیری ماشین بودن در این روزها، تعداد ظاهراً نامحدود مقالاتی است که هر سال منتشر میشوند. در این زمینه، مقالاتی که الگوریتمهای موجود را متحد و به هم متصل میکنند، از اهمیت زیادی برخوردار هستند، اما بسیار نادر هستند. I-Con یک مثال عالی از چنین رویکرد یکپارچهای ارائه میدهد و امیدوارم الهامبخش دیگران باشد تا رویکردی مشابه را در سایر حوزههای یادگیری ماشین به کار گیرند.»
این تحقیق تا حدی توسط شتابدهنده هوش مصنوعی نیروی هوایی، موسسه ملی علوم هوش مصنوعی برای هوش مصنوعی و تعاملات اساسی و Quanta Computer تامین شد.