پرونا هوش مصنوعی، یک استارتاپ اروپایی که روی الگوریتمهای فشردهسازی برای مدلهای هوش مصنوعی کار میکند، چارچوب بهینهسازی خود را روز پنجشنبه متنباز میکند.
پرونا هوش مصنوعی در حال ایجاد چارچوبی است که چندین روش کارآمدی، مانند ذخیرهسازی موقت (caching)، هرس (pruning)، کوانتیزاسیون (quantization) و تقطیر (distillation) را برای یک مدل هوش مصنوعی معین اعمال میکند.
جان راچوان، یکی از بنیانگذاران و مدیر ارشد فناوری پرونا هوش مصنوعی، به تککرانچ گفت: «ما همچنین ذخیره و بارگذاری مدلهای فشردهشده، اعمال ترکیبی از این روشهای فشردهسازی و همچنین ارزیابی مدل فشردهشده خود پس از فشردهسازی آن را استاندارد میکنیم.»
به طور خاص، چارچوب پرونا هوش مصنوعی میتواند ارزیابی کند که آیا پس از فشردهسازی یک مدل، افت کیفیت قابلتوجهی وجود دارد یا خیر و چه دستاوردهای عملکردی به دست میآورید.
او افزود: «اگر بخواهم از یک استعاره استفاده کنم، ما شبیه به این هستیم که چگونه هاگینگ فیس ترانسفورمرها و دیفیوزرها را استاندارد کرد - چگونه آنها را فراخوانی کنیم، چگونه آنها را ذخیره کنیم، بارگیری کنیم و غیره. ما همین کار را برای روشهای کارآمدی انجام میدهیم.»
آزمایشگاههای بزرگ هوش مصنوعی قبلاً از روشهای مختلف فشردهسازی استفاده کردهاند. برای مثال، OpenAI برای ایجاد نسخههای سریعتر از مدلهای شاخص خود به تقطیر متکی بوده است.
احتمالاً این همان روشی است که OpenAI مدل GPT-4 Turbo، یک نسخه سریعتر از GPT-4 را توسعه داده است. به طور مشابه، مدل تولید تصویر Flux.1-schnell یک نسخه تقطیرشده از مدل Flux.1 از آزمایشگاه Black Forest است.
تقطیر یک تکنیک است که برای استخراج دانش از یک مدل بزرگ هوش مصنوعی با یک مدل "معلم-شاگرد" استفاده میشود. توسعهدهندگان درخواستهایی را به یک مدل معلم ارسال میکنند و خروجیها را ثبت میکنند. پاسخها گاهی اوقات با یک مجموعه داده مقایسه میشوند تا ببینند چقدر دقیق هستند. سپس از این خروجیها برای آموزش مدل شاگرد استفاده میشود که برای تقریب زدن رفتار معلم آموزش داده میشود.
راچوان گفت: «برای شرکتهای بزرگ، کاری که معمولاً انجام میدهند این است که این موارد را در داخل شرکت ایجاد میکنند. و آنچه که میتوانید در دنیای متنباز پیدا کنید، معمولاً مبتنی بر روشهای منفرد است. برای مثال، بگذارید بگوییم یک روش کوانتیزاسیون برای LLMها یا یک روش ذخیرهسازی موقت برای مدلهای انتشار. اما شما نمیتوانید ابزاری پیدا کنید که همه آنها را جمعآوری کند، استفاده و ترکیب همه آنها را آسان کند. و این ارزش بزرگی است که پرونا در حال حاضر ارائه میدهد.»
در حالی که پرونا هوش مصنوعی از هر نوع مدلی، از مدلهای بزرگ زبانی گرفته تا مدلهای انتشار، مدلهای تبدیل گفتار به متن و مدلهای بینایی کامپیوتر پشتیبانی میکند، این شرکت در حال حاضر به طور خاص بر روی مدلهای تولید تصویر و ویدیو تمرکز دارد.
برخی از کاربران فعلی پرونا هوش مصنوعی عبارتند از سناریو و فوتوروم. علاوه بر نسخه متنباز، پرونا هوش مصنوعی یک پیشنهاد سازمانی با ویژگیهای بهینهسازی پیشرفته از جمله یک عامل بهینهسازی دارد.
راچوان گفت: «هیجانانگیزترین ویژگیای که به زودی منتشر میکنیم، یک عامل فشردهسازی خواهد بود. اساساً، شما مدل خود را به آن میدهید، میگویید: "من سرعت بیشتری میخواهم اما دقت من را بیش از ۲٪ کاهش نده." و سپس، عامل فقط جادوی خود را انجام میدهد. بهترین ترکیب را برای شما پیدا میکند، آن را برای شما برمیگرداند. شما به عنوان یک توسعهدهنده مجبور نیستید هیچ کاری انجام دهید.»
پرونا هوش مصنوعی برای نسخه حرفهای خود به صورت ساعتی هزینه دریافت میکند. راچوان گفت: «این شبیه به این است که وقتی یک GPU را در AWS یا هر سرویس ابری اجاره میکنید، به یک GPU فکر کنید.»
و اگر مدل شما بخش مهمی از زیرساخت هوش مصنوعی شما باشد، در نهایت با مدل بهینهسازیشده، در هزینه استنتاج صرفهجویی زیادی خواهید کرد. برای مثال، پرونا هوش مصنوعی یک مدل Llama را با استفاده از چارچوب فشردهسازی خود، هشت برابر کوچکتر کرده است، بدون اینکه افت زیادی داشته باشد. پرونا هوش مصنوعی امیدوار است که مشتریانش به چارچوب فشردهسازی آن به عنوان سرمایهگذاریای فکر کنند که هزینه خود را پرداخت میکند.
پرونا هوش مصنوعی چند ماه پیش یک دور سرمایهگذاری اولیه ۶.۵ میلیون دلاری جمعآوری کرد. سرمایهگذاران در این استارتاپ شامل EQT Ventures، Daphni، Motier Ventures و Kima Ventures هستند.