چالش پالایش داده برای آموزش مدل‌های زبانی لبه

مقدمه و انگیزه

توسعه سریع مدل‌های زبانی (LM) کاتالیزوری برای پیشرفت‌ها در حوزه‌های مختلف، از جمله درک زبان طبیعی، رباتیک و تعامل انسان دیجیتال بوده است. در مقایسه با مدل‌های زبانی بزرگ عمومی که استقرار آنها در دستگاه‌های لبه‌ای با منابع محدود دشوار است، مدل‌های زبانی لبه که برای وظایف پایین‌دستی هدف‌گذاری شده تنظیم دقیق شده‌اند، این پتانسیل را دارند که هم به کارایی بیشتر و هم به دقت بالاتر وظیفه دست یابند. با این حال، این تنظیم دقیق به در دسترس بودن مجموعه داده‌های متنوع و با کیفیت بالا بستگی دارد.

چالش پالایش داده برای آموزش مدل‌های زبانی لبه به دنبال متحد کردن محققان دانشگاهی، کارشناسان صنعت و علاقه‌مندان به هوش مصنوعی برای توسعه تکنیک‌های پالایش داده است که مجموعه داده‌هایی را اصلاح می‌کنند که نسل بعدی مدل‌های زبانی لبه را هدایت می‌کنند.

این چالش از شرکت‌کنندگان دعوت می‌کند تا تکنیک‌های پالایش داده را ایجاد و مجموعه‌داده‌های اصلاح‌شده توسط این روش‌ها را ارسال کنند، با هدف افزایش قابل‌توجه عملکرد قابل دستیابی مدل‌های زبانی لبه در وظایف پایین‌دستی مستقر در دستگاه‌های لبه‌ای. با تمرکز بر بهبود دقت مدل و کاربرد در حوزه‌های حیاتی، شرکت‌کنندگان این فرصت را خواهند داشت که مرز مدل‌های زبانی لبه را به پیش ببرند و در جامعه هوش مصنوعی شناخته شوند. برای تکنیک تنظیم دقیق، ما بر روشی به نام انطباق با رتبه پایین (LoRA) تمرکز می‌کنیم، که امکان ایجاد مدل‌های زبانی لبه‌ای خاص وظیفه کارآمد از مدل‌های از پیش آموزش‌دیده با استفاده از منابع کمتر را فراهم می‌کند و آن را برای دستگاه‌هایی مانند تلفن‌های هوشمند و ربات‌های قابل‌حمل ایده‌آل می‌کند.

دامنه این چالش

از شرکت‌کنندگان دعوت می‌شود تا تکنیک‌های پالایش داده را برای انتخاب مجموعه‌داده‌های بهینه‌سازی‌شده برای موارد استفاده کلیدی در استقرار مدل زبانی لبه توسعه دهند و به کار گیرند. هدف این مجموعه‌داده‌ها افزایش عملکرد مدل‌های زبانی لبه در سناریوهای متنوع، از جمله موارد زیر است:

نقش‌آفرینی در محیط‌های دیجیتال تعاملی
فراخوانی عملکرد بر روی دستگاه‌های تلفن همراه
رباتیک برای وظایف مستقل
وظایف تولید تقویت‌شده با بازیابی (RAG)

هدف این است که اطمینان حاصل شود مدل‌های زبانی لبه که به‌طور مداوم روی این مجموعه‌داده‌های انتخاب‌شده آموزش داده می‌شوند، بهبودهای قابل‌توجهی را در این موارد استفاده نشان می‌دهند. به‌ویژه، شرکت‌کنندگان باید برجسته کنند که چگونه این مجموعه‌داده‌ها، همراه با مدل‌های تقویت‌شده با LoRA، عملکرد را بهبود می‌بخشند.

جزئیات بیشتر را می‌توانید در صفحه مسئله بیابید.