معرفی gpt-oss

ما gpt-oss-120b و gpt-oss-20b را منتشر می‌کنیم – دو مدل زبان با وزن باز (open-weight) پیشرفته که عملکرد قوی در دنیای واقعی با هزینه کم ارائه می‌دهند. این مدل‌ها که تحت مجوز منعطف آپاچی ۲.۰ (Apache 2.0) در دسترس هستند، در وظایف استدلال، عملکرد بهتری نسبت به مدل‌های باز با اندازه مشابه دارند، قابلیت‌های قوی در استفاده از ابزار نشان می‌دهند و برای استقرار کارآمد بر روی سخت‌افزار مصرف‌کننده بهینه‌سازی شده‌اند. آن‌ها با ترکیبی از یادگیری تقویتی (reinforcement learning) و تکنیک‌های برگرفته از پیشرفته‌ترین مدل‌های داخلی OpenAI، از جمله o3 و سایر سیستم‌های پیشرو، آموزش دیده‌اند.

مدل gpt-oss-120b در معیارهای اصلی استدلال، تقریباً به برابری با OpenAI o4-mini دست می‌یابد، در حالی که به طور کارآمد بر روی یک GPU تکی ۸۰ گیگابایتی اجرا می‌شود. مدل gpt-oss-20b نتایج مشابهی را با OpenAI o3-mini در معیارهای متداول ارائه می‌دهد و می‌تواند بر روی دستگاه‌های لبه (edge devices) با تنها ۱۶ گیگابایت حافظه اجرا شود، که آن را برای موارد استفاده روی دستگاه، استنتاج محلی، یا تکرار سریع بدون نیاز به زیرساخت پرهزینه ایده‌آل می‌سازد. هر دو مدل همچنین در استفاده از ابزار، فراخوانی تابع با چند نمونه (few-shot function calling)، استدلال CoT (همانطور که در نتایج مجموعه ارزیابی عامل‌گرا Tau-Bench دیده می‌شود) و HealthBench عملکرد قوی دارند (حتی از مدل‌های اختصاصی مانند OpenAI o1 و GPT-4o نیز بهتر عمل می‌کنند).

این مدل‌ها با API پاسخ‌های ما سازگار هستند و برای استفاده در گردش کارهای عامل‌گرا (agentic workflows) با قابلیت‌های استثنایی در پیروی از دستورالعمل، استفاده از ابزار مانند جستجوی وب یا اجرای کد پایتون، و قابلیت‌های استدلال طراحی شده‌اند – از جمله توانایی تنظیم میزان تلاش استدلال برای کارهایی که به استدلال پیچیده نیاز ندارند و/یا خروجی‌های نهایی با تأخیر بسیار کم را هدف قرار می‌دهند. آن‌ها کاملاً قابل سفارشی‌سازی هستند، زنجیره کامل استدلال (Chain-of-Thought - CoT) را ارائه می‌دهند و از خروجی‌های ساختاریافته پشتیبانی می‌کنند.

ایمنی زیربنای رویکرد ما برای انتشار همه مدل‌هایمان است و در مورد مدل‌های باز اهمیت ویژه‌ای دارد. علاوه بر آموزش جامع ایمنی و ارزیابی مدل‌ها، ما یک لایه ارزیابی اضافی را نیز با آزمایش نسخه‌ای از gpt-oss-120b که به صورت خصمانه (adversarially) بهینه‌سازی شده بود، تحت چهارچوب آمادگی ما معرفی کردیم. مدل‌های gpt-oss در معیارهای ایمنی داخلی ما، عملکردی مشابه با مدل‌های پیشرو ما دارند و همان استانداردهای ایمنی مدل‌های اختصاصی اخیر ما را به توسعه‌دهندگان ارائه می‌دهند. ما نتایج این کار و جزئیات بیشتر را در یک مقاله تحقیقاتی و در کارت مدل به اشتراک می‌گذاریم. روش‌شناسی ما توسط کارشناسان خارجی مورد بررسی قرار گرفت و گامی رو به جلو در تعیین استانداردهای ایمنی جدید برای مدل‌های با وزن باز محسوب می‌شود.

ما همچنین با شرکای اولیه مانند AI Sweden، Orange، و Snowflake همکاری کرده‌ایم تا در مورد کاربردهای واقعی مدل‌های باز خود، از میزبانی این مدل‌ها به صورت محلی برای امنیت داده‌ها تا بهینه‌سازی آن‌ها بر روی مجموعه‌داده‌های تخصصی، اطلاعات کسب کنیم. ما هیجان‌زده‌ایم که این مدل‌های باز برتر را برای توانمندسازی همه – از توسعه‌دهندگان فردی گرفته تا شرکت‌های بزرگ و دولت‌ها – برای اجرا و سفارشی‌سازی هوش مصنوعی بر روی زیرساخت‌های خودشان فراهم کنیم. همراه با مدل‌های موجود در API ما، توسعه‌دهندگان می‌توانند عملکرد، هزینه و تأخیر مورد نیاز خود را برای تقویت گردش کارهای هوش مصنوعی انتخاب کنند.

مدل‌های gpt-oss با استفاده از پیشرفته‌ترین تکنیک‌های پیش‌آموزش (pre-training) و پس‌آموزش (post-training) ما، با تمرکز ویژه بر استدلال، کارایی و قابلیت استفاده در دنیای واقعی در طیف گسترده‌ای از محیط‌های استقرار، آموزش دیده‌اند. در حالی که ما مدل‌های دیگری از جمله Whisper و CLIP را به صورت باز در دسترس قرار داده‌ایم، مدل‌های gpt-oss اولین مدل‌های زبان با وزن باز ما از زمان GPT-2^[1] هستند.

هر مدل یک ترانسفورمر (Transformer) است که از معماری «مخلوطی از متخصصان» (Mixture-of-Experts - MoE^[2]) برای کاهش تعداد پارامترهای فعال مورد نیاز برای پردازش ورودی استفاده می‌کند. gpt-oss-120b به ازای هر توکن ۵.۱ میلیارد پارامتر را فعال می‌کند، در حالی که gpt-oss-20b ۳.۶ میلیارد را فعال می‌نماید. این مدل‌ها به ترتیب مجموعاً ۱۱۷ میلیارد و ۲۱ میلیارد پارامتر دارند. مدل‌ها از الگوهای توجه متراکم و پراکنده باند محلی، مشابه GPT-3^[3]، به صورت متناوب استفاده می‌کنند. برای کارایی استنتاج (inference) و حافظه، مدل‌ها همچنین از توجه چندپرسشی گروه‌بندی شده (grouped multi-query attention) با اندازه گروه ۸ استفاده می‌کنند. ما از جاسازی موقعیتی چرخشی (Rotary Positional Embedding - RoPE^[4]) برای کدگذاری موقعیتی استفاده می‌کنیم و به طور بومی از طول‌های متن (context lengths) تا ۱۲۸k پشتیبانی می‌کنیم.

ما مدل‌ها را بر روی یک مجموعه‌داده تقریباً انگلیسی، فقط متنی، با تمرکز بر STEM، برنامه‌نویسی و دانش عمومی آموزش دادیم. داده‌ها را با استفاده از یک ابرمجموعه از توکنایزر (tokenizer) خود که برای OpenAI o4-mini و GPT-4o استفاده می‌شود، یعنی o200k_harmony، توکن‌سازی کردیم، که امروز آن را نیز به صورت متن باز (open-source) منتشر می‌کنیم.

برای اطلاعات بیشتر در مورد معماری و آموزش مدل‌های ما، کارت مدل را مطالعه کنید.

مدل‌ها با استفاده از فرآیندی مشابه با آنچه برای o4-mini استفاده می‌شود، پس‌آموزش (post-trained) شدند، از جمله مرحله بهینه‌سازی دقیق با نظارت (supervised fine-tuning) و مرحله RL با محاسبات بالا. هدف ما همسوسازی مدل‌ها با مشخصات مدل OpenAI و آموزش آن برای اعمال استدلال CoT و استفاده از ابزار قبل از تولید پاسخ بود. با استفاده از همان تکنیک‌های مدل‌های استدلال اختصاصی پیشرفته (SoTA) ما، مدل‌ها پس از پس‌آموزش قابلیت‌های استثنایی از خود نشان می‌دهند.

مشابه مدل‌های استدلال سری o اوپن‌ای‌آی در API، دو مدل با وزن باز از سه سطح تلاش استدلال – کم، متوسط و زیاد – پشتیبانی می‌کنند که بین تأخیر (latency) و عملکرد تعادل برقرار می‌کنند. توسعه‌دهندگان می‌توانند به راحتی سطح تلاش استدلال را با یک جمله در پیام سیستم (system message) تنظیم کنند.

ما gpt-oss-120b و gpt-oss-20b را در معیارهای آکادمیک استاندارد برای اندازه‌گیری قابلیت‌های آن‌ها در کدنویسی، ریاضیات رقابتی، سلامت و استفاده از ابزار عامل‌گرا (agentic tool use) در مقایسه با سایر مدل‌های استدلال OpenAI از جمله o3، o3-mini و o4-mini ارزیابی کردیم.

gpt-oss-120b از OpenAI o3-mini بهتر عمل می‌کند و در کدنویسی رقابتی (Codeforces)، حل مسئله عمومی (MMLU و HLE) و فراخوانی ابزار (TauBench) با OpenAI o4-mini برابری می‌کند یا از آن فراتر می‌رود. علاوه بر این، حتی در پرسش‌های مرتبط با سلامت (HealthBench) و ریاضیات رقابتی (AIME 2024 و 2025) نیز از o4-mini بهتر عمل می‌کند. gpt-oss-20b با وجود اندازه کوچک خود، در همین ارزیابی‌ها با OpenAI o3-mini برابری می‌کند یا از آن فراتر می‌رود و حتی در ریاضیات رقابتی و سلامت، عملکرد بهتری دارد.

مدل‌های gpt-oss از رویکردهای پیشرفته ما برای آموزش ایمنی استفاده می‌کنند. در طول پیش‌آموزش، ما داده‌های مضر خاصی مربوط به مواد شیمیایی، بیولوژیکی، رادیولوژیکی و هسته‌ای (CBRN) را فیلتر کردیم. در طول پس‌آموزش، ما از همسوسازی مبتنی بر تعمق و سلسله مراتب دستورالعمل‌ها برای آموزش مدل به منظور رد درخواست‌های ناامن و دفاع در برابر تزریق‌های درخواست (prompt injections) استفاده کردیم.

هنگامی که یک مدل با وزن باز منتشر می‌شود، ممکن است مهاجمان بتوانند مدل را برای اهداف مخرب بهینه‌سازی دقیق (fine-tune) کنند. ما این خطرات را مستقیماً با بهینه‌سازی دقیق مدل بر روی داده‌های تخصصی زیست‌شناسی و امنیت سایبری، ایجاد یک نسخه خاص دامنه که از رد کردن خودداری می‌کند (non-refusing version) برای هر دامنه به روشی که یک مهاجم ممکن است انجام دهد، ارزیابی کردیم. سپس سطح قابلیت این مدل‌ها را از طریق آزمایش‌های داخلی و خارجی ارزیابی کردیم. این آزمایش‌ها، همانطور که در مقاله ایمنی همراه ما توضیح داده شده است، نشان دادند که حتی با بهینه‌سازی دقیق قوی که از پشته آموزش پیشرو OpenAI در این زمینه بهره می‌برد، این مدل‌های بهینه‌سازی شده مخرب نتوانستند به سطوح قابلیت بالا بر اساس چهارچوب آمادگی ما دست یابند. این روش‌شناسی بهینه‌سازی دقیق مخرب توسط سه گروه کارشناسی مستقل مورد بررسی قرار گرفت که توصیه‌هایی برای بهبود فرآیند آموزش و ارزیابی‌ها ارائه دادند که بسیاری از آنها را پذیرفتیم. ما این توصیه‌ها را در کارت مدل جزئیات می‌دهیم. این فرآیندها نشان‌دهنده پیشرفت معناداری برای ایمنی مدل‌های باز هستند. این یافته‌ها به تصمیم ما برای انتشار مدل‌های gpt-oss کمک کردند. امیدواریم این مدل‌ها به تسریع تحقیقات آموزش ایمنی و همسوسازی در سراسر صنعت کمک کنند.

برای کمک به اکوسیستم متن باز ایمن‌تر، ما یک چالش تیم قرمز (Red Teaming Challenge) برگزار می‌کنیم تا محققان، توسعه‌دهندگان و علاقه‌مندان از سراسر جهان را تشویق کنیم تا به شناسایی مسائل ایمنی جدید کمک کنند. این چالش دارای صندوق جایزه ۵۰۰,۰۰۰ دلاری است که بر اساس بررسی هیئتی از داوران متخصص از OpenAI و سایر آزمایشگاه‌های پیشرو اهدا خواهد شد. در پایان چالش، ما گزارشی منتشر کرده و یک مجموعه‌داده ارزیابی مبتنی بر یافته‌های معتبر را به صورت متن باز منتشر خواهیم کرد تا جامعه گسترده‌تر بتواند بلافاصله از آن بهره‌مند شود. اطلاعات بیشتر و مشارکت اینجا است.

وزن‌های هر دو gpt-oss-120b و gpt-oss-20b به صورت رایگان برای دانلود در Hugging Face در دسترس هستند و به صورت بومی با کوانتیزه MXFP4 ارائه می‌شوند. این امکان را فراهم می‌کند که مدل gpt-oss-120B با ۸۰ گیگابایت حافظه اجرا شود، در حالی که gpt-oss-20b تنها به ۱۶ گیگابایت نیاز دارد.

این مدل‌ها بر اساس فرمت درخواست هارمونی ما پس‌آموزش دیده‌اند، و ما یک رندرکننده هارمونی را هم در پایتون و هم در راست (Rust) به صورت متن باز منتشر می‌کنیم تا پذیرش آن آسان‌تر شود. همچنین پیاده‌سازی‌های مرجع برای اجرای استنتاج با PyTorch و بر روی پلتفرم Metal اپل، به همراه مجموعه‌ای از ابزارهای نمونه برای مدل، منتشر می‌کنیم.

ما این مدل‌ها را به گونه‌ای طراحی کرده‌ایم که انعطاف‌پذیر و آسان برای اجرا در هر مکانی باشند – به صورت محلی، روی دستگاه، یا از طریق ارائه‌دهندگان استنتاج شخص ثالث. برای پشتیبانی از این امر، قبل از راه‌اندازی با پلتفرم‌های استقرار پیشرو مانند Azure، Hugging Face، vLLM، Ollama، llama.cpp، LM Studio، AWS، Fireworks، Together AI، Baseten، Databricks، Vercel، Cloudflare و OpenRouter همکاری کردیم تا مدل‌ها به طور گسترده برای توسعه‌دهندگان قابل دسترسی باشند. در زمینه سخت‌افزار، با رهبران صنعت از جمله NVIDIA، AMD، Cerebras و Groq همکاری کردیم تا از عملکرد بهینه در طیف وسیعی از سیستم‌ها اطمینان حاصل کنیم.

به عنوان بخشی از انتشار امروز، مایکروسافت همچنین نسخه‌های بهینه‌سازی شده برای GPU از مدل gpt-oss-20b را به دستگاه‌های ویندوز می‌آورد. این مدل‌ها که توسط ONNX Runtime تقویت شده‌اند، از استنتاج محلی پشتیبانی می‌کنند و از طریق Foundry Local و AI Toolkit برای VS Code در دسترس هستند، که ساخت و ساز با مدل‌های باز را برای توسعه‌دهندگان ویندوز آسان‌تر می‌کند.

برای توسعه‌دهندگانی که مدل‌های کاملاً قابل سفارشی‌سازی می‌خواهند که بتوانند آنها را بهینه‌سازی و در محیط‌های خود مستقر کنند، gpt-oss یک گزینه عالی است. برای کسانی که به پشتیبانی چندوجهی (multimodal)، ابزارهای داخلی و یکپارچگی بی‌نقص با پلتفرم ما نیاز دارند، مدل‌های موجود از طریق پلتفرم API ما بهترین گزینه باقی می‌مانند. ما همچنان به بازخورد توسعه‌دهندگان گوش می‌دهیم و ممکن است در آینده پشتیبانی API برای gpt-oss را در نظر بگیریم.

اگر می‌خواهید مدل‌ها را امتحان کنید، به زمین بازی مدل باز ما مراجعه کنید. برای کسب اطلاعات بیشتر در مورد نحوه استفاده از مدل‌ها با استفاده از ارائه‌دهندگان مختلف اکوسیستم یا نحوه بهینه‌سازی دقیق مدل‌ها، راهنماهای ما را بررسی کنید.

انتشار gpt-oss-120b و gpt-oss-20b گامی مهم رو به جلو برای مدل‌های با وزن باز است. با این اندازه، این مدل‌ها پیشرفت‌های معناداری را هم در قابلیت‌های استدلال و هم در ایمنی ارائه می‌دهند. مدل‌های باز مکمل مدل‌های میزبانی‌شده ما هستند و طیف وسیع‌تری از ابزارها را به توسعه‌دهندگان می‌دهند تا تحقیقات پیشرو را تسریع بخشند، نوآوری را ترویج کنند و توسعه هوش مصنوعی ایمن‌تر و شفاف‌تر را در طیف وسیعی از موارد استفاده ممکن سازند.

این مدل‌های باز همچنین موانع را برای بازارهای نوظهور، بخش‌های با منابع محدود، و سازمان‌های کوچک‌تر که ممکن است بودجه یا انعطاف‌پذیری لازم برای پذیرش مدل‌های اختصاصی را نداشته باشند، کاهش می‌دهند. با ابزارهای قدرتمند و قابل دسترس در دستشان، مردم سراسر جهان می‌توانند برای خود و دیگران فرصت‌های جدیدی بسازند، نوآوری کنند و خلق کنند. دسترسی گسترده به این مدل‌های توانمند با وزن باز که در ایالات متحده ساخته شده‌اند، به گسترش ریل‌های دموکراتیک هوش مصنوعی کمک می‌کند.

یک اکوسیستم مدل باز سالم، یک بعد برای کمک به دسترس‌پذیری گسترده و سودمندی هوش مصنوعی برای همه است. ما از توسعه‌دهندگان و محققان دعوت می‌کنیم تا از این مدل‌ها برای آزمایش، همکاری و پیشبرد مرزهای ممکن استفاده کنند. مشتاقانه منتظر دیدن آنچه شما می‌سازید هستیم.

• ۲۰۲۵