مصاحبه با حمزه طاهر: بنیانگذار و مدیر ارشد فناوری ZenML

بیوگرافی: حمزه طاهر یک توسعه‌دهنده نرم‌افزار است که به مهندس ML (یادگیری ماشین) تبدیل شده است. او که یک هکر مستقل است، عاشق ایده‌پردازی، پیاده‌سازی و راه‌اندازی محصولات مبتنی بر داده است. پروژه‌های قبلی او شامل PicHance, Scrilys, BudgetML و you-tldr است. او بر اساس آموخته‌هایش از استقرار ML در تولید برای موارد استفاده از نگهداری پیش‌بینی‌کننده در استارت‌آپ قبلی‌اش، ZenML را به طور مشترک ایجاد کرد، یک چارچوب MLOps متن‌باز برای ایجاد خطوط لوله ML درجه تولید بر روی هر پشته زیرساختی.

پرسش: از پروژه‌های اولیه تا ZenML: با توجه به سابقه غنی شما در توسعه نرم‌افزار و مهندسی ML—از پروژه‌های پیشگامانه مانند BudgetML تا تأسیس مشترک ZenML و ساخت خطوط لوله تولید در maiot.io—چگونه سفر شخصی شما بر رویکرد شما در ایجاد یک اکوسیستم متن‌باز برای هوش مصنوعی آماده تولید تأثیر گذاشته است؟

سفر من از توسعه نرم‌افزار اولیه تا تأسیس مشترک ZenML عمیقاً بر نحوه رویکرد من به ساخت ابزارهای متن‌باز برای تولید هوش مصنوعی شکل داده است. کار بر روی BudgetML به من آموخت که دسترسی در زیرساخت ML بسیار مهم است – همه منابع در سطح سازمانی ندارند، اما همه شایسته دسترسی به ابزارهای قوی هستند.

در اولین استارت‌آپم maiot.io، من از نزدیک شاهد بودم که چشم‌انداز MLOps چقدر پراکنده بود، به طوری که تیم‌ها راه‌حل‌هایی را کنار هم قرار می‌دادند که اغلب در تولید از کار می‌افتادند. این پراکندگی نقاط دردناک واقعی تجاری ایجاد می‌کند – به عنوان مثال، بسیاری از شرکت‌ها به دلیل همین چالش‌ها با چرخه‌های طولانی زمان ورود به بازار برای مدل‌های ML خود دست و پنجه نرم می‌کنند.

این تجربیات من را بر آن داشت تا ZenML را با تمرکز بر تولید اول بودن، نه تولید احتمالی، ایجاد کنم. ما اکوسیستمی ساختیم که به هرج و مرج مدیریت مدل‌ها ساختار می‌بخشد و اطمینان حاصل می‌کند که آنچه در محیط آزمایشی شما کار می‌کند به آرامی به تولید منتقل می‌شود. رویکرد ما به طور مداوم به سازمان‌ها کمک کرده است تا زمان‌های استقرار را کاهش دهند و کارایی را در جریان‌های کاری ML خود افزایش دهند.

رویکرد متن‌باز صرفاً یک استراتژی توزیع نبود—بلکه بنیان باور ما بود که MLOps باید دموکراتیزه شود و به تیم‌ها در هر اندازه‌ای اجازه دهد از بهترین شیوه‌های توسعه یافته در سراسر صنعت بهره‌مند شوند. ما شاهد بوده‌ایم که سازمان‌ها در هر اندازه‌ای—از استارت‌آپ‌ها تا شرکت‌ها—با اتخاذ این شیوه‌های استاندارد و تولید اول، چرخه‌های توسعه ML خود را ۵۰ تا ۸۰ درصد تسریع می‌کنند.

پرسش: از آزمایشگاه تا پرتاب: آیا می‌توانید یک لحظه محوری یا چالش فنی را به اشتراک بگذارید که نیاز به یک چارچوب MLOps قوی را در انتقال شما از مدل‌های آزمایشی به سیستم‌های تولید برجسته کند؟

ZenML از تجربه ما در کار در نگهداری پیش‌بینی‌کننده رشد کرد. ما اساساً به عنوان مشاور عمل می‌کردیم و راه‌حل‌هایی را برای مشتریان مختلف پیاده‌سازی می‌کردیم. کمی بیش از چهار سال پیش که شروع کردیم، ابزارهای بسیار کمتری در دسترس بود و ابزارهای موجود در مقایسه با گزینه‌های امروزی از بلوغ کمتری برخوردار بودند.

ما به سرعت متوجه شدیم که مشتریان مختلف نیازهای بسیار متفاوتی دارند—برخی AWS را می‌خواستند، برخی دیگر GCP را ترجیح می‌دادند. در حالی که Kubeflow به عنوان یک راه‌حل که بر روی Kubernetes کار می‌کند در حال ظهور بود، هنوز چارچوب MLOps قوی نبود که ZenML اکنون ارائه می‌دهد.

چالش محوری این بود که خودمان را بارها و بارها در حال نوشتن کد چسب سفارشی برای هر پیاده‌سازی مشتری می‌دیدیم. این الگوی توسعه مداوم راه‌حل‌های مشابه اما خاص پلتفرم، نیاز واضح به یک رویکرد متحدتر را برجسته کرد. ما در ابتدا ZenML را بر روی TFX TensorFlow ساختیم، اما در نهایت آن وابستگی را حذف کردیم تا پیاده‌سازی خودمان را توسعه دهیم که بتواند به طور بهتری به محیط‌های تولید متنوع خدمت کند.

پرسش: متن‌باز در مقابل متن‌بسته در MLOps: در حالی که از راه‌حل‌های متن‌باز برای نوآوری تجلیل می‌شود، چگونه با گزینه‌های اختصاصی در جریان‌های کاری هوش مصنوعی تولید مقایسه می‌شوند؟ آیا می‌توانید به اشتراک بگذارید که چگونه مشارکت‌های جامعه توانایی‌های ZenML را در حل چالش‌های واقعی MLOps افزایش داده است؟

راه‌حل‌های MLOps اختصاصی تجربیات صیقلی را ارائه می‌دهند اما اغلب فاقد انطباق‌پذیری هستند. بزرگترین نقطه ضعف آنها مشکل "جعبه سیاه" است—وقتی چیزی در تولید از کار می‌افتد، تیم‌ها منتظر پشتیبانی فروشنده می‌مانند. با ابزارهای متن‌باز مانند ZenML، تیم‌ها می‌توانند خودشان ابزارها را بررسی، اشکال‌زدایی و گسترش دهند.

این شفافیت، چابکی را ممکن می‌سازد. چارچوب‌های متن‌باز نوآوری‌ها را سریع‌تر از نسخه‌های سه‌ماهه فروشندگان اختصاصی ادغام می‌کنند. برای LLMها، جایی که بهترین شیوه‌ها به صورت هفتگی تکامل می‌یابند، این سرعت ارزشمند است.

قدرت نوآوری مبتنی بر جامعه با یکی از متحول‌کننده‌ترین مشارکت‌های ما به نمایش گذاشته می‌شود—توسعه‌دهنده‌ای که یکپارچه‌سازی ارکستراتور "Vertex" را برای پلتفرم Google Cloud ساخت. این فقط یکپارچه‌سازی دیگری نبود—بلکه نشان‌دهنده یک رویکرد کاملاً جدید برای سازماندهی خطوط لوله در GCP بود که بازار کاملاً جدیدی را برای ما باز کرد.

قبل از این مشارکت، کاربران GCP ما گزینه‌های محدودی داشتند. یکی از اعضای جامعه یکپارچه‌سازی جامع Vertex AI را توسعه داد که سازماندهی یکپارچه را در 

پرسش: ادغام LLMها در تولید: با افزایش هوش مصنوعی مولد و مدل‌های زبانی بزرگ، موانع کلیدی که در LLMOps با آن مواجه شده‌اید چیست و ZenML چگونه به کاهش این چالش‌ها کمک می‌کند؟

LLMOps چالش‌های منحصربه‌فردی از جمله مدیریت مهندسی سریع، معیارهای ارزیابی پیچیده، افزایش هزینه‌ها و پیچیدگی خط لوله را ارائه می‌دهد.

ZenML با ارائه موارد زیر کمک می‌کند:

  • خطوط لوله ساختاریافته برای جریان‌های کاری LLM، ردیابی تمام اجزا از اعلان‌ها تا منطق پس از پردازش
  • ادغام با چارچوب‌های ارزیابی خاص LLM
  • مکانیسم‌های ذخیره‌سازی برای کنترل هزینه‌ها
  • ردیابی تبار برای اشکال‌زدایی زنجیره‌های پیچیده LLM

رویکرد ما MLOps سنتی و LLMOps را به هم متصل می‌کند و به تیم‌ها اجازه می‌دهد تا از شیوه‌های تثبیت‌شده استفاده کنند و در عین حال به چالش‌های خاص LLM رسیدگی کنند. معماری توسعه‌پذیر ZenML به تیم‌ها اجازه می‌دهد تا ابزارهای نوظهور LLMOps را در خود جای دهند و در عین حال قابلیت اطمینان و حاکمیت را حفظ کنند.

پرسش: ساده‌سازی گردش‌کارهای MLOps: چه بهترین شیوه‌هایی را برای تیم‌هایی که قصد دارند با استفاده از ابزارهای متن‌باز، خطوط لوله ML امن و مقیاس‌پذیر بسازند، توصیه می‌کنید و ZenML چگونه این فرآیند را تسهیل می‌کند؟

برای تیم‌هایی که خطوط لوله ML را با ابزارهای متن‌باز می‌سازند، توصیه می‌کنم:

  • با بازتولیدپذیری از طریق نسخه‌سازی دقیق شروع کنید
  • مشاهده‌پذیری را از روز اول طراحی کنید
  • مدولار بودن را با اجزای قابل تعویض در آغوش بگیرید
  • تست خودکار برای داده‌ها، مدل‌ها و امنیت
  • استانداردسازی محیط‌ها از طریق کانتینری‌سازی

ZenML این شیوه‌ها را با یک چارچوب Pythonic تسهیل می‌کند که بازتولیدپذیری را اجباری می‌کند، با ابزارهای محبوب MLOps ادغام می‌شود، از مراحل خط لوله مدولار پشتیبانی می‌کند، قلاب‌های تست را فراهم می‌کند و کانتینری‌سازی یکپارچه را فعال می‌کند.

ما شاهد بوده‌ایم که این اصول سازمان‌هایی مانند Adeo Leroy Merlin را متحول کرده است. پس از پیاده‌سازی این بهترین شیوه‌ها از طریق ZenML، آنها چرخه توسعه ML خود را ۸۰ درصد کاهش دادند، به طوری که تیم کوچک دانشمندان داده آنها اکنون موارد استفاده جدید ML را از تحقیق به تولید در عرض چند روز به جای ماه‌ها مستقر می‌کنند و ارزش تجاری ملموسی را در سراسر مدل‌های تولید متعدد ارائه می‌دهند.

نکته کلیدی: MLOps محصولی نیست که شما اتخاذ کنید، بلکه یک شیوه‌ای است که شما پیاده‌سازی می‌کنید. چارچوب ما پیروی از بهترین شیوه‌ها را به مسیر کمترین مقاومت تبدیل می‌کند و در عین حال انعطاف‌پذیری را حفظ می‌کند.

پرسش: مهندسی با علم داده ملاقات می‌کند: حرفه شما هم مهندسی نرم‌افزار و هم مهندسی ML را در بر می‌گیرد—چگونه این تخصص دوگانه بر طراحی شما از ابزارهای MLOps تأثیر گذاشته است که به چالش‌های تولید واقعی پاسخ می‌دهند؟

سابقه دوگانه من یک گسست اساسی بین فرهنگ‌های علم داده و مهندسی نرم‌افزار را آشکار کرده است. دانشمندان داده اولویت را به آزمایش و عملکرد مدل می‌دهند، در حالی که مهندسان نرم‌افزار بر قابلیت اطمینان و قابلیت نگهداری تمرکز می‌کنند. این شکاف هنگام استقرار سیستم‌های ML در تولید اصطکاک قابل توجهی ایجاد می‌کند.

ZenML به طور خاص برای پر کردن این شکاف با ایجاد یک چارچوب متحد طراحی شده است که در آن هر دو رشته می‌توانند رشد کنند. APIهای پایتون اول ما انعطاف‌پذیری مورد نیاز دانشمندان داده را فراهم می‌کنند و در عین حال بهترین شیوه‌های مهندسی نرم‌افزار مانند کنترل نسخه، مدولار بودن و بازتولیدپذیری را اعمال می‌کنند. ما این اصول را در خود چارچوب جاسازی کرده‌ایم و راه درست را به راه آسان تبدیل کرده‌ایم.

این رویکرد به ویژه برای پروژه‌های LLM ارزشمند بوده است، جایی که بدهی فنی انباشته شده در طول نمونه‌سازی می‌تواند در تولید فلج‌کننده شود. با ارائه یک زبان و جریان کار مشترک برای محققان و مهندسان، به سازمان‌ها کمک کرده‌ایم تا زمان ورود به تولید را کاهش دهند و در عین حال قابلیت اطمینان و حاکمیت سیستم را بهبود بخشند.

پرسش: MLOps در مقابل LLMOps: از نظر شما، MLOps سنتی در مقایسه با LLMOps با چه چالش‌های متمایزی روبرو است و چارچوب‌های متن‌باز چگونه باید تکامل یابند تا به این تفاوت‌ها رسیدگی کنند؟

MLOps سنتی بر مهندسی ویژگی، رانش مدل و آموزش مدل سفارشی تمرکز دارد، در حالی که LLMOps با مهندسی سریع، مدیریت زمینه، تولید تقویت‌شده با بازیابی، ارزیابی ذهنی و هزینه‌های استنتاج به طور قابل توجهی بالاتر سروکار دارد.

چارچوب‌های متن‌باز باید با ارائه موارد زیر تکامل یابند:

  • رابط‌های سازگار در هر دو پارادایم
  • بهینه‌سازی‌های هزینه خاص LLM مانند ذخیره‌سازی و مسیریابی پویا
  • پشتیبانی از ارزیابی سنتی و خاص LLM
  • نسخه‌سازی و حاکمیت سریع درجه یک

ZenML با گسترش چارچوب خط لوله خود برای جریان‌های کاری LLM و در عین حال حفظ سازگاری با زیرساخت سنتی، به این نیازها رسیدگی می‌کند. موفق‌ترین تیم‌ها MLOps و LLMOps را به عنوان رشته‌های جداگانه نمی‌بینند، بلکه به عنوان نقاطی در یک طیف می‌بینند و از زیرساخت مشترک برای هر دو استفاده می‌کنند.

پرسش: امنیت و انطباق در تولید: با توجه به اینکه حریم خصوصی و امنیت داده‌ها حیاتی است، ZenML چه اقداماتی را برای اطمینان از ایمن بودن مدل‌های هوش مصنوعی تولید، به ویژه هنگام برخورد با عملیات LLM پویا و داده‌محور، انجام می‌دهد؟

ZenML اقدامات امنیتی قوی را در هر سطح پیاده‌سازی می‌کند:

  • کنترل‌های دسترسی دانه‌بندی شده در سطح خط لوله با مجوزهای مبتنی بر نقش
  • ردیابی منشأ مصنوع جامع برای قابلیت ممیزی کامل
  • رسیدگی ایمن به کلیدهای API و اعتبارنامه‌ها از طریق ذخیره‌سازی رمزگذاری شده
  • ادغام حاکمیت داده برای اعتبارسنجی، انطباق و تشخیص PII
  • کانتینری‌سازی برای انزوا استقرار و کاهش سطح حمله

این اقدامات تیم‌ها را قادر می‌سازد تا امنیت را با طراحی پیاده‌سازی کنند، نه به عنوان یک فکر بعدی. تجربه ما نشان می‌دهد که جاسازی امنیت در جریان کار از ابتدا به طور چشمگیری آسیب‌پذیری‌ها را در مقایسه با مقاوم‌سازی امنیت بعداً کاهش می‌دهد. این رویکرد فعال به ویژه برای برنامه‌های LLM بسیار مهم است، جایی که جریان‌های داده پیچیده و حملات احتمالی تزریق سریع چالش‌های امنیتی منحصربه‌فردی ایجاد می‌کنند که سیستم‌های ML سنتی با آن مواجه نیستند.

پرسش: روندهای آینده در هوش مصنوعی: به نظر شما چه روندهای نوظهوری برای MLOps و LLMOps در چند سال آینده جریان‌های کاری تولید را دوباره تعریف می‌کنند و ZenML چگونه خود را برای رهبری این تغییرات قرار می‌دهد؟

عامل‌ها و جریان‌های کاری نشان‌دهنده یک روند نوظهور حیاتی در هوش مصنوعی هستند. Anthropic به طور قابل توجهی بین این رویکردها در وبلاگ خود در مورد عامل‌های Claude تفاوت قائل شد و ZenML به طور استراتژیک بر جریان‌های کاری در درجه اول برای ملاحظات قابلیت اطمینان تمرکز دارد.

در حالی که ممکن است در نهایت به نقطه‌ای برسیم که بتوانیم به LLMها اعتماد کنیم تا به طور مستقل برنامه‌ها را تولید کنند و به طور مکرر برای دستیابی به اهداف تلاش کنند، سیستم‌های تولید فعلی به قابلیت اطمینان قطعی که جریان‌های کاری تعریف‌شده ارائه می‌دهند، نیاز دارند. ما آینده‌ای را متصور هستیم که در آن جریان‌های کاری به عنوان ستون فقرات سیستم‌های هوش مصنوعی تولید باقی می‌مانند و عامل‌ها به عنوان اجزای با دقت محدود در یک فرآیند بزرگتر و کنترل‌شده‌تر عمل می‌کنند—ترکیب خلاقیت عامل‌ها با قابلیت پیش‌بینی جریان‌های کاری ساختاریافته.

صنعت شاهد سرمایه‌گذاری بی‌سابقه‌ای در پروژه‌های LLMOps و LLM محور است، به طوری که سازمان‌ها به طور فعال در حال آزمایش برای ایجاد بهترین شیوه‌ها هستند زیرا مدل‌ها به سرعت در حال تکامل هستند. روند قطعی نیاز فوری به سیستم‌هایی است که هم نوآوری و هم قابلیت اطمینان درجه سازمانی را ارائه می‌دهند—دقیقاً نقطه‌ای که ZenML در آن سال‌ها تجربه MLOps آزمایش شده خود را برای ایجاد راه‌حل‌های تحول‌آفرین برای مشتریان خود به کار می‌گیرد.

پرسش: تقویت تعامل جامعه: متن‌باز بر اساس همکاری رشد می‌کند—چه ابتکارات یا استراتژی‌هایی را مؤثرترین درگیر کردن جامعه در اطراف ZenML و تشویق مشارکت‌ها در MLOps و LLMOps یافته‌اید؟

ما چندین ابتکار عمل تعامل جامعه با تأثیر بالا را پیاده‌سازی کرده‌ایم که نتایج قابل اندازه‌گیری به دست آورده است. فراتر از درخواست فعالانه و ادغام مشارکت‌های متن‌باز برای اجزا و ویژگی‌ها، ما یکی از اولین مسابقات بزرگ MLOps را در سال ۲۰۲۳ میزبانی کردیم که بیش از ۲۰۰ شرکت‌کننده را جذب کرد و ده‌ها راه‌حل نوآورانه برای چالش‌های واقعی MLOps ایجاد کرد.

ما کانال‌های متعددی را برای همکاری فنی ایجاد کرده‌ایم، از جمله یک جامعه فعال Slack، جلسات منظم مشارکت‌کنندگان و مستندات جامع با دستورالعمل‌های مشارکت واضح. اعضای جامعه ما به طور مرتب در مورد چالش‌های پیاده‌سازی بحث می‌کنند، راه‌حل‌های آزمایش شده در تولید را به اشتراک می‌گذارند و از طریق ادغام‌ها و افزونه‌ها به گسترش اکوسیستم کمک می‌کنند. این ابتکارات استراتژیک جامعه نه تنها در رشد قابل توجه پایگاه کاربران ما، بلکه در پیشبرد دانش جمعی در مورد بهترین شیوه‌های MLOps و LLMOps در سراسر صنعت، نقش اساسی داشته است.

پرسش: توصیه به مهندسان مشتاق هوش مصنوعی: در نهایت، چه توصیه‌ای به دانش‌آموزان و متخصصان اوایل دوران حرفه‌ای خود دارید که مشتاق هستند وارد دنیای هوش مصنوعی متن‌باز، MLOps و LLMOps شوند و بر چه مهارت‌های کلیدی باید تمرکز کنند؟

برای کسانی که وارد MLOps و LLMOps می‌شوند:

  • سیستم‌های کامل بسازید، نه فقط مدل‌ها—چالش‌های تولید ارزشمندترین یادگیری را ارائه می‌دهند
  • مبانی قوی مهندسی نرم‌افزار را توسعه دهید
  • برای کسب تجربه در مورد مشکلات دنیای واقعی، در پروژه‌های متن‌باز مشارکت کنید
  • بر مهندسی داده تمرکز کنید—مشکلات کیفیت داده باعث خرابی‌های بیشتر در تولید نسبت به مشکلات مدل می‌شود
  • مبانی زیرساخت ابری را بیاموزید—مهارت‌های کلیدی برای توسعه شامل تسلط به پایتون، کانتینری‌سازی، مفاهیم سیستم‌های توزیع شده و ابزارهای نظارت است. برای پر کردن نقش‌ها، بر مهارت‌های ارتباطی و تفکر محصول تمرکز کنید. "تفکر سیستمی" را پرورش دهید—درک تعاملات اجزا اغلب ارزشمندتر از تخصص عمیق در هر زمینه واحد است. به یاد داشته باشید که این زمینه به سرعت در حال تکامل است. سازگار بودن و متعهد بودن به یادگیری مداوم مهمتر از تسلط بر هر ابزار یا چارچوب خاصی است.

پرسش: رویکرد ZenML به سازماندهی جریان کار چه تفاوتی با خطوط لوله ML سنتی هنگام رسیدگی به LLMها دارد و چه چالش‌های خاصی را برای تیم‌هایی که RAG یا سیستم‌های مبتنی بر عامل را پیاده‌سازی می‌کنند حل می‌کند؟

در ZenML، ما معتقدیم که سازماندهی جریان کار باید با سیستم‌های ارزیابی قوی جفت شود—در غیر این صورت، تیم‌ها اساساً کورکورانه پرواز می‌کنند. این امر به ویژه برای جریان‌های کاری LLM بسیار مهم است، جایی که رفتار می‌تواند بسیار کمتر از مدل‌های ML سنتی قابل پیش‌بینی باشد.

رویکرد ما بر "توسعه اول ارزیابی" به عنوان سنگ بنای سازماندهی مؤثر LLM تأکید دارد. این بدان معناست که ارزیابی به عنوان دروازه‌های کیفیت یا به عنوان بخشی از حلقه توسعه بیرونی اجرا می‌شود، بازخورد و حاشیه‌نویسی‌های کاربر را برای بهبود مداوم سیستم در خود جای می‌دهد.

به طور خاص برای سیستم‌های RAG یا مبتنی بر عامل، این رویکرد اول ارزیابی به تیم‌ها کمک می‌کند تا تشخیص دهند که آیا مشکلات از اجزای بازیابی، مهندسی سریع یا مدل‌های پایه ناشی می‌شوند یا خیر. چارچوب سازماندهی ZenML اجرای این نقاط بازرسی ارزیابی را در سراسر جریان کار شما آسان می‌کند و به تیم‌ها اطمینان می‌دهد که سیستم‌های آنها قبل از رسیدن به تولید طبق انتظار عمل می‌کنند.

پرسش: چه الگوهایی را می‌بینید که برای سیستم‌های ترکیبی موفقی که مدل‌های ML سنتی را با LLMها ترکیب می‌کنند ظاهر می‌شوند و ZenML چگونه از این معماری‌ها پشتیبانی می‌کند؟

ZenML رویکردی عمدی غیر تعصب‌آمیز نسبت به معماری اتخاذ می‌کند و به تیم‌ها اجازه می‌دهد تا الگوهایی را پیاده‌سازی کنند که به بهترین وجه برای موارد استفاده خاص آنها کار می‌کنند. الگوهای ترکیبی رایج شامل سیستم‌های RAG با مدل‌های جاسازی تنظیم شده سفارشی و مدل‌های زبانی تخصصی برای استخراج داده‌های ساختاریافته است.

این رویکرد ترکیبی—ترکیب مدل‌های آموزش داده شده سفارشی با مدل‌های پایه—نتایج بهتری را برای برنامه‌های خاص دامنه ارائه می‌دهد. ZenML با ارائه یک چارچوب سازگار برای سازماندهی هر دو اجزای ML سنتی و اجزای LLM در یک جریان کار متحد، از این معماری‌ها پشتیبانی می‌کند.

پلتفرم ما تیم‌ها را قادر می‌سازد تا با معماری‌های ترکیبی مختلف آزمایش کنند و در عین حال حاکمیت و قابلیت بازتولید را در هر دو پارادایم حفظ کنند و اجرای و ارزیابی این سیستم‌ها را قابل مدیریت‌تر کنند.

پرسش: همانطور که سازمان‌ها برای پیاده‌سازی راه‌حل‌های LLM هجوم می‌آورند، ZenML چگونه به تیم‌ها کمک می‌کند تا تعادل مناسب بین سرعت آزمایش و حاکمیت تولید را حفظ کنند؟

ZenML بهترین شیوه‌ها را خارج از جعبه مدیریت می‌کند—ردیابی فراداده، ارزیابی‌ها و کدی که برای تولید آنها استفاده می‌شود بدون اینکه تیم‌ها مجبور به ساخت این زیرساخت به تنهایی باشند. این بدان معناست که حاکمیت به قیمت سرعت آزمایش تمام نمی‌شود.

همانطور که نیازهای شما رشد می‌کند، ZenML با شما رشد می‌کند. ممکن است با سازماندهی محلی در طول مراحل اولیه آزمایش شروع کنید، سپس به طور یکپارچه به سازمان‌دهنده‌های مبتنی بر ابر و جریان‌های کاری برنامه‌ریزی‌شده هنگام حرکت به سمت تولید منتقل شوید—همه اینها بدون تغییر کد اصلی شما.

ردیابی تبار یک ویژگی کلیدی است که به ویژه با توجه به مقررات نوظهور مانند قانون هوش مصنوعی اتحادیه اروپا مرتبط است. ZenML روابط بین داده‌ها، مدل‌ها و خروجی‌ها را ثبت می‌کند و یک مسیر ممیزی ایجاد می‌کند که الزامات حاکمیت را برآورده می‌کند و در عین حال به تیم‌ها اجازه می‌دهد تا به سرعت حرکت کنند. این تعادل بین انعطاف‌پذیری و حاکمیت به جلوگیری از این که سازمان‌ها با سیستم‌های "هوش مصنوعی سایه" که در خارج از کانال‌های رسمی ساخته شده‌اند، به پایان برسند، کمک می‌کند.

پرسش: چالش‌های کلیدی ادغام که شرکت‌ها هنگام ادغام مدل‌های پایه در سیستم‌های موجود با آن مواجه هستند چیست و رویکرد جریان کار ZenML چگونه به این موارد رسیدگی می‌کند؟

یک چالش کلیدی ادغام برای شرکت‌ها این است که ردیابی کنند که کدام مدل پایه (و کدام نسخه) برای ارزیابی‌های خاص یا خروجی‌های تولید استفاده شده است. این ردیابی تبار و حاکمیت هم برای انطباق با مقررات و هم برای اشکال‌زدایی مشکلاتی که در تولید ایجاد می‌شوند، بسیار مهم است.

ZenML با حفظ تبار واضح بین نسخه‌های مدل، اعلان‌ها، ورودی‌ها و خروجی‌ها در سراسر جریان کار شما، به این موضوع رسیدگی می‌کند. این امر هم به ذینفعان فنی و هم به ذینفعان غیر فنی دیدی در مورد چگونگی استفاده از مدل‌های پایه در سیستم‌های سازمانی ارائه می‌دهد.

رویکرد جریان کار ما همچنین به تیم‌ها کمک می‌کند تا سازگاری محیط و کنترل نسخه را هنگام انتقال برنامه‌های LLM از توسعه به تولید مدیریت کنند. ZenML با کانتینری‌سازی جریان‌های کاری و ردیابی وابستگی‌ها، مشکلات "در دستگاه من کار می‌کند" را که اغلب برنامه‌های پیچیده را آزار می‌دهند، کاهش می‌دهد و اطمینان می‌دهد که برنامه‌های LLM به طور مداوم در محیط‌های مختلف رفتار می‌کنند.