پس از انتشار یک مدل کوچک متنباز از موسسه هوش مصنوعی آلن (Ai2) و هوش مصنوعی زمینهای در این هفته، توسعهدهندگان راه جدیدی برای آزمایش توسعه برنامههای هوش مصنوعی برای دستگاههای iOS دارند.
مدل زبانی جدید، به نام OLMoE، روی آیفون 15 پرو یا جدیدتر کار میکند (به دلیل محدودیتهای سختافزاری، روی نسخههای قبلی کار نخواهد کرد)، و همچنین آیپدها و مکهای سری M. شرکت اضافه کرد که مدلهای کوچکتر در هفتههای آینده در دسکتاپها و نسخههای دیگر تلفنهای اپل در دسترس خواهند بود.
از این هوش مصنوعی میتوان برای آزمایش مدلها به صورت محلی و ادغام مدل OLMoE در سایر برنامههای iOS استفاده کرد. یا میتوانید فقط با آن بازی کنید.
این انتشار دو بخش دارد. اول، یک برنامه متنباز وجود دارد که تحت مجوز Apache 2.0 در دسترس است و در فروشگاه App Apple موجود است. این برنامه توسط Ai2 و GenUI ساخته شده است. دوم، مدل زبانی OLMoE وجود دارد که به توسعهدهندگان اجازه میدهد تا با هوش مصنوعی در یک دستگاه iOS آزمایش کنند.
Ai2 در پستی که از برنامه OLMoE رونمایی کرد، نوشت: «برای ساخت این برنامه، ما بهترین دستورالعملهای کاملاً باز خود را ترکیب کردیم. نقطه شروع OLMoE، کارآمدترین مدل زبانی کاملاً باز ما است.»
یک هوش مصنوعی خصوصی
OLMoE یک مدل ترکیبی از متخصصان (MoE) است، که یک تکنیک یادگیری ماشینی است که چندین زیرمدل تخصصی به نام «متخصص» را برای حل یک مسئله پیچیده ترکیب میکند.
Ai2 اضافه کرد که تعاملات خصوصی هستند، زیرا هرگز دستگاه را ترک نمیکنند و هر تعامل پس از شروع یک مکالمه جدید حذف میشود. هوش مصنوعی دادهها را ردیابی نمیکند یا آن را به ابر نمیفرستد، مگر اینکه کاربر اجازه دهد دادهها برای اهداف تحقیقاتی ارسال شوند.
لوکا سولدینی، دانشمند تحقیقاتی Ai2، گفت: «توسعهدهندگان ممکن است انتخاب کنند که از مدلهای هوش مصنوعی کاملاً محلی استفاده کنند که برای حریم خصوصی، زمینه دستگاه و عملکرد به ابر متصل نیستند. «حریم خصوصی عامل مهمی در هنگام کار با دادههای حساس کاربر مانند پیامهای متنی، اطلاعات مالی یا سایر محتوای شخصی است - نگه داشتن همه چیز روی دستگاه و عدم نیاز به اتصال به ابر، ایمن و مطمئن بودن این دادهها را تضمین میکند.»
ایجاد یک مدل کوچک
OLMoE میتواند متن را با سرعت بیش از 40 توکن در ثانیه پردازش کند. Ai2 توضیح داد که چگونه نسخه جدید allenai/OLMoE-1B-7B-0125-Instruct را با استفاده از ترکیب Dolmino معرفی شده در OLMo 2 ایجاد کرده است - OLMo خانوادهای از مدلهای زبانی کاملاً باز است - برای آموزش میانی و دستورالعمل آموزش پس از Tülu 3.
بر اساس یک مقاله تحقیقاتی در مورد این مدل، این مدل 7 میلیارد (B) پارامتر دارد اما فقط از 1B در هر توکن ورودی استفاده میکند. این مدل روی 5 تریلیون توکن آموزش داده شده است و برای ایجاد OLMoE-1B-7B-Instruct بیشتر تطبیق داده شده است.
نیکلاس مونینگوف، محقق هوش مصنوعی برای هوش مصنوعی زمینهای، نوشت: «OLMoE یک مدل MoE پراکنده با 1 میلیارد پارامتر فعال و 7 میلیارد پارامتر کل است که به آن اجازه میدهد به راحتی روی دستگاههای لبهای معمولی (به عنوان مثال، آخرین آیفون) اجرا شود و در مقایسه با مدلهای بسیار بزرگتر، عملکرد MMLU مشابه یا بهتری داشته باشد.»
MMLU مخفف Massive Multitask Language Understanding است و توانایی یک مدل را برای انجام چندین کار در زمینههای مختلف ارزیابی میکند.
نتیجه یک نسخه کوانتیزه شده 4 بیتی است که برای عملکرد تلفن همراه بهینه شده است. کوانتیزاسیون یک تکنیک در یادگیری ماشینی برای کاهش دقت اعدادی است که برای نمایش وزنهای مدل (پارامترها) استفاده میشوند. این کار برای کوچکتر و سریعتر کردن اجرای مدل انجام میشود. کوانتیزاسیون چهار بیتی به این معنی است که هر عدد اکنون با استفاده از تنها 4 بیت نمایش داده میشود، که به طور چشمگیری اندازه مدل و نیازهای محاسباتی را کاهش میدهد.
دستگاه به عنوان زمینه
سولدینی اضافه کرد که زمینه دستگاه یکی دیگر از ملاحظات مهم برای مدل است.
سولدینی گفت: «برخی از برنامهها به دادههایی متکی هستند که فقط به صورت محلی در دسترس هستند، مانند آلبوم عکس یا فایلهای شخصی کاربر. «اگر یک توسعهدهنده در حال ساخت برنامهای است که از تولید افزوده بازیابی (RAG) روی دادههای ذخیره شده روی دستگاه استفاده میکند، ارسال آن گیگابایتها به ابر برای پردازش عملی نخواهد بود.»
آنها اضافه کردند، در عوض، توسعهدهندگان میتوانند از برنامه OLMoE به عنوان نقطه شروع برای انجام همه کارها در جایی که دادهها از قبل ذخیره شدهاند، استفاده کنند.
تأخیر و در دسترس بودن نقش مهمی در تجربه کاربر ایفا میکنند.
آنها گفتند: «مدلهای روی دستگاه که به ابر متصل نیستند، میتوانند بدون تأخیر ناشی از ارتباطات شبکه کار کنند و حتی در محیطهایی با اتصال ضعیف یا بدون اتصال نیز عملکرد خود را حفظ کنند. «برای بسیاری از کارهای سادهتر هوش مصنوعی، اجتناب از رفت و برگشت به ابر میتواند به طور قابل توجهی پاسخگویی و قابلیت اطمینان را بهبود بخشد.»
این شرکت توضیح داد که این مدل میتواند به صورت آفلاین کار کند و به توسعهدهندگان اجازه میدهد در هر زمان به هوش مصنوعی دسترسی داشته باشند. کاربران میتوانند انتخاب کنند که دادهها را برای اهداف تحقیقاتی با Ai2 به اشتراک بگذارند، اما مجبور نیستند.
Ai2 اظهار داشت: «از آنجایی که سیستمهای هوشمند روی دستگاه به طور گستردهتری مورد استفاده قرار میگیرند، محققان و توسعهدهندگان میتوانند OLMoE را در سایر برنامههای iOS ادغام کنند، یا میتوان از آن برای تجربه این که مدلهای پیشرفته روی دستگاه چه وظایف دنیای واقعی را قادر به انجام آن هستند، استفاده کرد. «همچنین میتوان از آن برای بهبود مدلهای هوش مصنوعی محلی کارآمد یا آزمایش مدل خود به صورت محلی با استفاده از پایگاه کد متنباز Ai2 استفاده کرد.»
درباره نویسنده
Loraine Lawson یک گزارشگر فناوری باسابقه است که به مدت 25 سال مسائل مربوط به فناوری از ادغام دادهها تا امنیت را پوشش داده است. قبل از پیوستن به The New Stack، او به عنوان ویراستار سایت فناوری بانکی Bank Automation News خدمت میکرد. او دارای...