موسسه آلن قصد دارد با ابزار جدید OLMoTrace خود، رفتار مدل زبانی را رمزگشایی کند.
موسسه هوش مصنوعی آلن (Ai2)، OLMoTrace را راهاندازی کرده است، یک ویژگی جدید که به محققان اجازه میدهد خروجیهای مدل زبانی را به دادههای آموزشی خود ردیابی کنند. این ابزار در حال حاضر از طریق Ai2 Playground در دسترس است و با چندین مدل OLMo کار میکند.
هدف OLMoTrace این است که عملکرد مدلهای زبانی بزرگ را شفافتر کند. کاربران میتوانند تعیین کنند که آیا پاسخ یک مدل از دانش حفظ شده، ترکیبات خلاقانه یا توهم محض ناشی میشود. Ai2 میگوید این رویکرد میتواند هم تحقیقات را پیش ببرد و هم اعتماد عمومی را به هوش مصنوعی مولد جلب کند، که توسط تعهد این تیم به مدلها، مجموعهدادهها و کد منبع کاملاً باز پشتیبانی میشود.
OLMoTrace چگونه دادههای آموزشی را در زمان واقعی تجزیه و تحلیل میکند
این ابزار به دنبال توالیهای طولانی و منحصر به فرد کلمات میگردد که عیناً در دادههای آموزشی ظاهر میشوند. این بخشها با رنگهای مختلف برجسته شده و به گزیدههای سند مربوطه در یک پنل کناری پیوند داده میشوند. کاربران میتوانند بر روی هر متن یا سند کلیک کنند تا نمای مورد نظر را متمرکز کنند و تغییرات رنگ نشان دهنده ارتباط هر مطابقت است.
فرآیند انتخاب از چندین مرحله پیروی میکند. اول، OLMoTrace فقط توالیهای کلماتی را در نظر میگیرد که به طور کامل در دادههای آموزشی بدون شکستگی جمله یا خط ظاهر میشوند. سپس نادر بودن نشانه (token rarity) را ارزیابی میکند تا قسمتهای خاص را برجسته کند. حداکثر ده سند برای هر توالی کلمه نشان داده میشود و توالیهای همپوشانی برای تمیز نگه داشتن صفحه نمایش ادغام میشوند.
مثالهای این تیم چندین کاربرد عملی را نشان میدهد: در یک مورد، OLMoTrace نشان داد که چگونه اطلاعات نادرست در مورد قطع دانش یک مدل از نمونههایی در دادههای تنظیم دقیق ناشی میشود. در نمونهای دیگر، نشان داد که یک راه حل ریاضی برای یک مسئله حفظ شده است. کاربران همچنین میتوانند بررسی کنند که آیا پاسخها از ترکیبات خلاقانه یا دانش عمومی ناشی میشوند. این ابزار از دادههای آموزشی متشکل از تقریباً 4.6 تریلیون نشانه در پنج مجموعه داده استفاده میکند.
این ابزار را میتوان در Ai2 Playground امتحان کرد.
خلاصه
- موسسه هوش مصنوعی آلن از OLMoTrace رونمایی کرد، ابزاری که نشان میدهد آیا خروجی متن از مدلهای زبانی بزرگ بر اساس دادههای آموزشی آموخته شده، ترکیب خلاقانه یا تخیل است.
- OLMoTrace میلیاردها نشانه را در زمان واقعی تجزیه و تحلیل میکند و به معنای واقعی کلمه قسمتهای متنی مطابق با دادههای آموزشی را علامتگذاری میکند. کاربران اسناد منطبق را میبینند و اطلاعات مربوطه را دریافت میکنند.
- این ابزار مبتنی بر مدلها و مجموعهدادههای کاملاً باز است. این ابزار برای تسهیل تحقیقات و افزایش اعتماد به هوش مصنوعی مولد با ردیابی منشاء و کیفیت پاسخهای مدل طراحی شده است.