متا از سری مدل‌های هوش مصنوعی Llama 4 با معماری جدید مبتنی بر تخصص رونمایی کرد

سری Llama 4 اولین سری است که از "معماری ترکیب متخصصان (MoE)" استفاده می‌کند، جایی که تنها چند بخش از شبکه عصبی، "متخصصان"، برای پاسخ دادن به یک ورودی استفاده می‌شوند.

متا در تاریخ ۵ آوریل از سری مدل‌های هوش مصنوعی جدید خود، Llama 4، رونمایی کرد. این سری شامل Llama 4 Maverick و Llama 4 Scout است که به ترتیب برای مکالمه و پردازش فایل‌های بزرگ طراحی شده‌اند. همچنین، یک مدل "معلم" منتشرنشده به نام Llama 4 Behemoth نیز در این سری وجود دارد.

Llama 4 اولین سری از متا است که معماری "ترکیب متخصصان (MoE)" را به کار می‌گیرد. در این روش، تنها بخش‌های خاصی از شبکه عصبی، که به عنوان "متخصصان" شناخته می‌شوند، برای انجام وظایف فرعی خاص فعال می‌شوند. وظیفه به وظایف فرعی تقسیم می‌شود و هر کدام به مناسب‌ترین متخصصان هدایت می‌شوند، که این امر باعث بهبود کارایی منابع می‌شود.

Llama 4 Maverick دارای ۱۲۸ متخصص و ۱۷ میلیارد پارامتر فعال است. این پارامترها نشان‌دهنده بخشی از دانش یک مدل هستند که برای پردازش یک ورودی معین استفاده می‌شود. متا این مدل را "مدل کارآمد برای موارد استفاده عمومی دستیار و چت" توصیف می‌کند و تخصص آن در تفسیر تصویر و نوشتن خلاقانه است.

جالب اینجاست که شرکت مارک زاکربرگ ادعا می‌کند که Maverick "بهترین نسبت عملکرد به هزینه" را در زمینه مکالمات ارائه می‌دهد. از زمان انتشار غیرمنتظره DeepSeek در ژانویه، که تنها ۵.۶ میلیون دلار برای آموزش آن هزینه شد، هزینه برای غول‌های هوش مصنوعی اهمیت پیدا کرده است.

با این حال، متخصصان هوش مصنوعی متوجه شده‌اند که نسخه Llama 4 Maverick منتشر شده در LMArena، که مدل‌های زبانی بزرگ اصلی را در وظایف مختلف رتبه‌بندی می‌کند، برای "مکالمه بهینه شده" و عملکرد متفاوتی نسبت به نسخه عمومی موجود دارد. این نشان می‌دهد که متا نسخه تغییر یافته‌ای را به LMArena ارائه کرده است تا در رتبه‌بندی آن جایگاه بالاتری کسب کند.

Llama 4 Scout نیز دارای ۱۷ میلیارد پارامتر فعال و تنها ۱۶ متخصص است، اما متا می‌گوید که این مدل "بهترین مدل چندوجهی در جهان در کلاس خود" است. این مدل دارای یک پنجره زمینه بسیار بزرگ ۱۰ میلیون توکنی است که نشان‌دهنده میزان اطلاعاتی است که می‌تواند در یک درخواست پردازش کند، بنابراین در خلاصه‌سازی اسناد بزرگ و در استدلال ترتیبی عملکرد خوبی دارد.

متا می‌گوید که Scout و Maverick به دلیل تقطیر شدن از Llama 4 Behemoth، با ۲۸ میلیارد پارامتر فعال و ۱۶ متخصص، "بهترین مدل‌های تاکنون" هستند. در حالی که این مدل در حال حاضر در LMArena رتبه بالایی دارد، هنوز در حال آموزش است و منتشر نشده است. به گفته The Information، اعلامیه Llama 4 حداقل دو بار به دلیل عملکرد ضعیف مدل‌ها در معیارهای فنی و مکالمه به تأخیر افتاد.

Scout و Maverick را می‌توان در Llama.com و Hugging Face دانلود کرد یا از طریق ربات‌هایMeta AI در واتس‌اپ، مسنجر و اینستاگرام در ۴۰ کشور استفاده کرد. در حال حاضر، ویژگی‌های چندوجهی فقط در ایالات متحده و به زبان انگلیسی قابل استفاده است.

برخی از شرکا از قبل ادغام‌هایی را اعلام کرده‌اند؛ توسعه‌دهندگان می‌توانند برنامه‌های هوش مصنوعی را با مدل‌های Llama 4 در Azure AI Foundry و Azure Databricks مایکروسافت ایجاد و مستقر کنند.

متا اعلام کرده است که به طور خاص برای "حذف سوگیری" از مدل‌های Llama 4 تلاش کرده است. نرخ امتناع برای سؤالات در مورد "موضوعات سیاسی و اجتماعی مورد بحث" بیش از ۵٪ کمتر از Llama 3.3 است و در میان سؤالاتی که رد می‌کند، پاسخ‌های آن به عنوان "به طور چشمگیری متعادل‌تر" توصیف شده است.

تیم دونالد ترامپ، رئیس جمهور ایالات متحده، نسبت به بی‌طرفی مدل‌های هوش مصنوعی ابراز تردید کرده است، و دیوید ساکس، تزار هوش مصنوعی و رمزنگاری او، پیشنهاد کرده است که ChatGPT OpenAI "برنامه‌ریزی شده است تا" در یک پادکست "هوشیار" باشد. متخصصان هوش مصنوعی می‌گویند که سوگیری در نهایت از داده‌های آموزشی ناشی می‌شود و می‌تواند منجر به گرایش‌های سیاسی در هر جهتی، نه فقط چپ، شود.

با این وجود، شرکت زاکربرگ اخیراً تعدادی اقدام انجام داده است که نشان می‌دهد می‌خواهد در کنار دولت ایالات متحده بماند. جوئل کاپلان، استراتژیست جمهوری‌خواه، اندکی پس از تصدی ترامپ به عنوان مسئول سیاست‌گذاری متا استخدام شد. او مقررات رسانه‌های اجتماعی را یک چالش مستقیم برای آزادی بیان می‌داند.

در ژانویه، متا فاش کرد که این شرکت برنامه بررسی واقعیت شخص ثالث خود را متوقف می‌کند و تیم‌های تعدیل محتوای خود را از کالیفرنیا به تگزاس منتقل می‌کند تا "به رفع این نگرانی کمک کند که کارمندان مغرضانه بیش از حد محتوا را سانسور می‌کنند." متا همچنین پس از انتقاد ترامپ از چنین برنامه‌هایی، ابتکارات تنوع، برابری و شمول خود را حذف کرده است.

علاوه بر این، متا گفت که مدل‌های Llama 4 با "گرایش سیاسی قوی" در مورد موضوعات "اختلافی" با نرخی مشابه Grok، ربات گپ تولید شده توسط xAI، شرکتی متعلق به ایلان ماسک، مشاور فعلی کاخ سفید، پاسخ می‌دهند.

بر اساس سیاست استفاده قابل قبول Llama 4، افراد "ساکن" یا شرکت‌هایی که "محل اصلی کسب و کار" آنها در اتحادیه اروپا است، نمی‌توانند از مدل‌ها استفاده یا توزیع کنند. با این حال، این افراد یا شرکت‌ها می‌توانند از مدل‌های Llama 4 استفاده کنند، اگر در یک محصول یا خدماتی که در این منطقه به آن دسترسی دارند، گنجانده شده باشند.

این احتمالاً نتیجه مشکلات متا با قوانین اتحادیه اروپا است، به ویژه وقتی صحبت از هوش مصنوعی به میان می‌آید. در ژوئن ۲۰۲۴، متا آموزش مدل‌های زبانی بزرگ خود را بر روی محتوای عمومی به اشتراک گذاشته شده در فیس‌بوک و اینستاگرام به تعویق انداخت، پس از اینکه تنظیم‌کننده‌های اتحادیه اروپا پیشنهاد کردند که ممکن است به رضایت صریح صاحبان محتوا نیاز باشد. متا AI هنوز در داخل بلوک منتشر نشده است.

متا نامه‌ای سرگشاده امضا کرد و از تنظیم‌کننده‌های اروپایی خواست تا به "تصمیم‌گیری‌های نظارتی ناسازگار" و خواسته‌های انطباق غیرقابل پیش‌بینی رسیدگی کنند. سپس، در ماه فوریه، متا اعلام کرد که آماده است نگرانی‌های خود را در مورد آنچه شرکت آن را مقررات ناعادلانه اتحادیه اروپا می‌داند مستقیماً به ترامپ منتقل کند.

محدودیت‌های دیگری نیز در مورد استفاده از Llama 4 وجود دارد، زیرا نهادهای تجاری با بیش از ۷۰۰ میلیون کاربر فعال ماهانه باید قبل از استفاده از مدل‌های خود از متا اجازه بگیرند. ابتکار متن باز گفته است که چنین محدودیتی هوش مصنوعی را "از دسته "متن باز"" خارج می‌کند، علی‌رغم اینکه متا ادعای دیگری دارد.