هزینه راه‌اندازی یک شرکت هوش مصنوعی چقدر است؟
پاسخ این است که هر روز کمتر و کمتر می‌شود، زیرا مدل‌های زبانی بزرگ برای مبالغ کمتر و کمتری ایجاد می‌شوند.
هزینه محاسبات هوش مصنوعی در حال کاهش است. به علاوه، تکنیکی به نام تقطیر (Distillation) برای ساخت مدل‌های زبانی بزرگ (LLM) مناسب با قیمت‌های تخفیف‌خورده در حال گسترش است. این موضوع جرقه‌ای را در بخش‌هایی از اکوسیستم هوش مصنوعی و سرمای شدیدی را در بخش‌های دیگر ایجاد کرده است.
تقطیر یک مفهوم قدیمی است که اهمیت جدیدی پیدا می‌کند. برای اکثر افراد، این خبر خوبی است. برای تعداد معدودی، پیچیده است. و برای آینده هوش مصنوعی، مهم است.
تعریف تقطیر
توسعه‌دهندگان و کارشناسان هوش مصنوعی می‌گویند که تقطیر در هسته خود، استفاده از یک مدل برای بهبود مدل دیگر است. یک مدل "معلم" بزرگتر برای تولید پاسخ‌ها و مسیرهای استدلال هدایت می‌شود، و یک مدل "دانش‌آموز" کوچکتر رفتار آن را تقلید می‌کند.
شرکت چینی DeepSeek با مدل‌های رقابتی OpenAI که گزارش شده با حدود 5 میلیون دلار آموزش داده است، جنجال به پا کرد. این موضوع باعث وحشت در بازار سهام شد و Nvidia را با از دست دادن 600 میلیارد دلار ارزش بازار به دلیل کاهش احتمالی تقاضا برای تراشه‌ها مجازات کرد. (چنین کاهشی هنوز محقق نشده است.)
یک تیم تحقیقاتی از دانشگاه کالیفرنیا، برکلی، که بیشتر به صورت چراغ خاموش فعالیت می‌کرد، دو مدل جدید را با کمتر از 1000 دلار هزینه محاسباتی آموزش داد، این تحقیق در ژانویه منتشر شد.
در اوایل فوریه، محققان دانشگاه استنفورد، دانشگاه واشنگتن و مؤسسه هوش مصنوعی آلن توانستند یک مدل استدلال قابل استفاده را با کسری از آن آموزش دهند، این مطلب در یک مقاله تحقیقاتی آمده است.
تقطیر قفل همه این پیشرفت‌ها را باز کرد.
این ابزاری است که توسعه‌دهندگان استفاده می‌کنند، در کنار تنظیم دقیق، برای بهبود مدل‌ها در مرحله آموزش، اما با هزینه بسیار کمتر از سایر روش‌ها. هر دو تکنیک توسط توسعه‌دهندگان برای دادن تخصص یا مهارت‌های خاص به مدل‌ها استفاده می‌شوند.
این می‌تواند به معنای گرفتن یک مدل پایه عمومی مانند Llama متا و استفاده از مدل دیگری برای تقطیر آن به یک متخصص در قانون مالیات ایالات متحده (US) باشد، به عنوان مثال.
همچنین می‌تواند به این صورت باشد که از مدل استدلال R1 دیپ‌سیک برای تقطیر Llama استفاده شود تا قابلیت‌های استدلال بیشتری داشته باشد - به این معنی که وقتی هوش مصنوعی زمان بیشتری را صرف تولید پاسخ به سؤالی می‌کند، منطق خود را بررسی کرده و روند رسیدن به پاسخ را گام به گام بیان می‌کند.
تحلیلگران SemiAnalysis در ژانویه نوشتند: "شاید جالب‌ترین بخش مقاله R1 این بود که می‌توان مدل‌های کوچکتر غیر استدلالی را از طریق تنظیم دقیق آن‌ها با خروجی‌های یک مدل استدلال به مدل‌های استدلال تبدیل کرد."
علاوه بر برچسب قیمت مقرون به صرفه - حداقل برای هوش مصنوعی - دیپ‌سیک نسخه‌های تقطیر شده از سایر مدل‌های منبع باز را با استفاده از مدل استدلال R1 به عنوان معلم منتشر کرد. مدل‌های اندازه کامل دیپ‌سیک، همراه با بزرگ‌ترین نسخه‌های Llama، آنقدر بزرگ هستند که فقط سخت‌افزار خاصی می‌تواند آن‌ها را اجرا کند. تقطیر به این موضوع نیز کمک می‌کند.
سمیر کومار، یک شریک عمومی در Touring Capital، گفت: "آن مدل تقطیر شده ردپای کوچکتری دارد، پارامترهای کمتری، حافظه کمتری دارد. شما می‌توانید آن را روی تلفن خود اجرا کنید. می‌توانید آن را روی دستگاه‌های لبه‌ای اجرا کنید."
پیشرفت دیپ‌سیک این بود که مدل‌های تقطیر شده با کوچکتر شدن بدتر نشدند، همانطور که انتظار می‌رفت. در واقع، آن‌ها بهتر شدند.
تقطیر جدید نیست، اما تغییر کرده است
تکنیک تقطیر اولین بار در مقاله سال 2015 به نویسندگی جف دین و جفری هینتون، از پیشگامان برجسته هوش مصنوعی گوگل، و اوریول وینیالس، معاون تحقیقات DeepMind گوگل، مطرح شد.
وینیالس اخیراً گفت که این مقاله از کنفرانس معتبر NeurIPS رد شد زیرا تصور نمی‌شد که تأثیر زیادی بر این زمینه داشته باشد. یک دهه بعد، تقطیر ناگهان در خط مقدم بحث هوش مصنوعی قرار دارد.
چیزی که تقطیر را اکنون در مقایسه با آن زمان بسیار قدرتمند می‌کند، تعداد و کیفیت مدل‌های منبع باز برای استفاده به عنوان معلم است.
کیت سول، مدیر مدیریت فنی LLM Granite IBM، در ژانویه در پادکست "Mixture of Experts" این شرکت گفت: "من فکر می‌کنم با انتشار یک مدل بسیار توانمند - توانمندترین مدل تا به امروز - در منبع باز با مجوز MIT مجاز، دیپ‌سیک اساساً آن خندق رقابتی را که همه ارائه‌دهندگان مدل بزرگ تا به امروز مجبور بودند بزرگ‌ترین مدل‌های خود را پشت درهای بسته نگه دارند، از بین می‌برد."
تقطیر تا کجا می‌تواند پیش برود
سول گفت Hugging Face، یک مخزن اینترنتی برای LLMها، پر از نسخه‌های تقطیر شده Llama متا و Qwen علی‌بابا است، هر دو مدل سنتی منبع باز.
در واقع، از 1.5 میلیون مدلی که در Hugging Face موجود است، 30000 مورد از آن‌ها حاوی کلمه "تقطیر" در نام خود هستند که به طور متعارف نشان‌دهنده یک مدل تقطیر شده است. اما هیچ یک از مدل‌های تقطیر شده به تابلوی امتیازات سایت راه نیافته‌اند.
درست مانند خرید در فروشگاه یک دلاری در دنیای فیزیکی، تقطیر برخی از بهترین نسبت‌های هزینه به عملکرد را در بازار ارائه می‌دهد، اما انتخاب تا حدودی محدود است و معایبی وجود دارد.
ایجاد یک مدل به ویژه در یک نوع کار از طریق تقطیر می‌تواند عملکرد آن را در زمینه‌های دیگر از بین ببرد.
محققان اپل تلاش کردند تا یک "قانون مقیاس‌بندی تقطیر" ایجاد کنند که بتواند عملکرد یک مدل هوش مصنوعی تقطیر شده را بر اساس عواملی از جمله اندازه مدلی که ساخته می‌شود، اندازه مدل "معلم" و میزان قدرت محاسباتی مورد استفاده پیش‌بینی کند.
آن‌ها دریافتند که تقطیر می‌تواند بهتر از یادگیری نظارت شده سنتی در برخی موارد عمل کند، اما فقط زمانی که از یک مدل "معلم" با کیفیت بالا استفاده شود. معلم همچنین باید بزرگتر از مدلی باشد که آموزش داده می‌شود، اما نه فراتر از یک آستانه معین. با بزرگتر شدن مدل‌های معلم، بهبود متوقف می‌شود.
با این حال، این تکنیک می‌تواند، به عنوان مثال، فاصله بین ایده و نمونه اولیه را برای بنیانگذاران کاهش دهد و به طور کلی مانع ورود به ساخت هوش مصنوعی را کاهش دهد.
به گفته چندین متخصص هوش مصنوعی، یافتن میانبری به مدل‌های هوشمندتر و کوچکتر لزوماً نیاز به مدل‌های پایه بزرگ و گران‌قیمت را از بین نمی‌برد. اما این موضوع چشم‌اندازهای مالی شرکت‌هایی را که این مدل‌های بزرگ را می‌سازند، زیر سوال می‌برد.
آیا مدل‌های پایه محکوم به فنا هستند؟
جنسن هوانگ، مدیرعامل Nvidia، پس از آخرین انتشار درآمد فصلی این شرکت در CNBC گفت: "تقریباً هر توسعه‌دهنده هوش مصنوعی در جهان امروز" از R1 دیپ‌سیک برای تقطیر مدل‌های جدید استفاده می‌کند.
تقطیر فرصت‌هایی را به ارمغان آورده است، اما به دلیل تهدیدی که برای مدل‌های اختصاصی، عظیم و گران‌قیمت مانند مدل‌های ساخته شده توسط OpenAI و Anthropic ایجاد می‌کند، آماده است تا با مخالفت روبرو شود.
جاسپر ژانگ، یکی از بنیانگذاران پلتفرم ابری Hyperbolic، گفت: "من فکر می‌کنم مدل‌های پایه بیشتر و بیشتر به کالا تبدیل می‌شوند. یک محدودیتی وجود دارد که مدل‌های از پیش آموزش دیده می‌توانند به آن دست یابند، و ما بیشتر و بیشتر به آن دیوار نزدیک می‌شویم."
ژانگ گفت که پاسخ برای نام‌های بزرگ LLMها ایجاد محصولات دوست داشتنی است، نه مدل‌های دوست داشتنی - شاید به تصمیم متا برای تا حدودی باز کردن مدل‌های Llama خود اعتبار بخشد.
یک محقق Google DeepMind که به شرط ناشناس ماندن برای بحث در مورد سایر شرکت‌ها صحبت کرد، گفت که تاکتیک‌های تهاجمی‌تری نیز وجود دارد که شرکت‌های مدل پایه می‌توانند اتخاذ کنند.
شرکت‌های دارای مدل‌های استدلال می‌توانند مراحل استدلال یا "ردپاهایی" را که به کاربر نشان داده می‌شود، حذف یا کاهش دهند تا نتوان از آن‌ها برای تقطیر استفاده کرد. OpenAI مسیر استدلال کامل را در مدل استدلال بزرگ o1 خود پنهان می‌کند، اما از آن زمان نسخه کوچکتری به نام o3-mini منتشر کرده است که این اطلاعات را نشان می‌دهد.
دیوید ساکس، مشاور دونالد ترامپ، رئیس جمهور در امور ارزهای دیجیتال و سیاست هوش مصنوعی، به فاکس نیوز در ژانویه گفت: "یکی از چیزهایی که در چند ماه آینده خواهید دید این است که شرکت‌های پیشرو هوش مصنوعی ما سعی می‌کنند از تقطیر جلوگیری کنند."
با این حال، ممکن است دشوار باشد که با سرکوب تقطیر در غرب وحشی هوش مصنوعی منبع باز، جن را دوباره به بطری برگردانید.
سول در همان پادکست گفت: "هر کسی می‌تواند به Hugging Face برود و هزاران مجموعه داده را پیدا کند که از مدل‌های GPT تولید شده‌اند، که برای آموزش قالب‌بندی و طراحی شده‌اند و احتمالاً بدون حق انجام این کار گرفته شده‌اند. این مانند یک راز است که یک راز نیست که برای همیشه ادامه داشته است."
Anthropic و OpenAI به درخواست‌ها برای اظهار نظر پاسخ ندادند.