وبلاگ سایمون ویلیسون - انتشار OLMo 2 32B

امروز ما OLMo 2 32B را منتشر می‌کنیم، که تواناترین و بزرگترین مدل در خانواده OLMo 2 است، و دستورالعمل آموزش OLMo 2 را که برای مدل‌های 7B و 13B ما که در ماه نوامبر منتشر شد استفاده شده بود، مقیاس‌بندی می‌کند. این مدل با استفاده از Tulu 3.1 تا 6 تریلیون توکن آموزش داده شده و پس از آموزش، پردازش شده است. OLMo 2 32B اولین مدل کاملاً باز (تمام داده‌ها، کد، وزن‌ها و جزئیات به صورت رایگان در دسترس هستند) است که در مجموعه‌ای از معیارهای آکادمیک محبوب و چند مهارتی، عملکردی بهتر از GPT3.5-Turbo و GPT-4o mini دارد.