انتخاب اولین پروژه هوش مصنوعی محلی شما

هوش مصنوعی به سرعت در حال فراتر رفتن از فضای ابری متمرکز و مراکز داده است و به ابزاری قدرتمند تبدیل می‌شود که مستقیماً بر روی ایستگاه‌های کاری حرفه‌ای قابل استقرار است. به لطف سخت‌افزار پیشرفته و نرم‌افزار بهینه‌سازی شده، می‌توانید مدل‌های هوش مصنوعی پیچیده را در میز کار یا در حال حرکت بسازید، اجرا کنید و آزمایش کنید. به دنیای توسعه هوش مصنوعی محلی خوش آمدید!

اجرا و توسعه محلی هوش مصنوعی بر روی یک ایستگاه کاری مزایای قابل توجهی برای توسعه‌دهندگان و سازمان‌ها ارائه می‌دهد – حفظ حریم خصوصی و امنیت داده‌ها بهبود یافته، داده‌های حساس در داخل سازمان باقی می‌مانند، صرفه‌جویی در هزینه‌ها در مقایسه با استفاده مداوم از فضای ابری، قابلیت‌های عملیاتی آفلاین برای برنامه‌ها، و یک محیط بی‌نظیر برای توسعه و تکرار عملی. این تغییر به سمت هوش مصنوعی محلی قدرتمند و قابل دسترس، توسط سخت‌افزارهای با عملکرد بالا مانند سری Blackwell NVIDIA RTX PRO و اکوسیستم نرم‌افزاری بهینه‌سازی شده برای استفاده از قابلیت‌های آن‌ها هدایت می‌شود.

این پست وبلاگ شما را در انتخاب یک پروژه هوش مصنوعی محلی قابل مدیریت همراهی می‌کند و از اکوسیستم NVIDIA که برای گردش کارهای حرفه‌ای طراحی شده است، استفاده می‌کند.

در هسته شتاب هوش مصنوعی حرفه‌ای، پردازنده‌های گرافیکی حرفه‌ای NVIDIA RTX قرار دارند که هر کدام تا ۹۶ گیگابایت VRAM، درایورهای کلاس سازمانی، گواهینامه‌های ISV، و عملکرد بهبود یافته NVIDIA Tensor Core را ارائه می‌دهند تا سرعت پردازش هوش مصنوعی را تا ۴۰۰۰ تریلیون عملیات در ثانیه فراهم کنند.

این ویژگی‌ها، آن‌ها را برای مدیریت مجموعه داده‌های بزرگتر، آموزش مدل‌های پیچیده‌تر و اجرای وظایف پیچیده استنتاج هوش مصنوعی ایده‌آل می‌سازد. پشتیبانی از طیف وسیعی از فرمت‌های داده پیشرفته – از انواع با دقت پایین مانند FP4 و INT8 تا FP16 و FP32 با دقت بالاتر – امکان اجرای کارآمد مدل‌های هوش مصنوعی را فراهم می‌کند، که برای چرخه‌های توسعه تکراری سریع بسیار حیاتی است.

با ایستگاه کاری RTX PRO خود، مرحله بعدی انتخاب یک پروژه اولیه مناسب است. این عوامل را در نظر بگیرید:

• حوزه تمرکز: بر تسلط بر یک قابلیت اصلی هوش مصنوعی تمرکز کنید، مانند تحلیل متن پیشرفته، پردازش تصویر با وضوح بالا، یا انواع خاصی از تولید داده.
• همسو با اهداف شما: یک حوزه مرتبط با علایق، کار یا صنعت خود را انتخاب کنید، مانند خودکارسازی تحلیل داده، بهبود گردش کارهای بصری، یا تولید محتوای تخصصی.
• ارزیابی منابع: اطمینان حاصل کنید که اهداف پروژه شما با قابلیت‌های ایستگاه کاری خاص شما (به ویژه GPU VRAM، قدرت CPU و فضای ذخیره‌سازی) و سطح فعلی مهارت هوش مصنوعی شما هماهنگ است. با پروژه‌ای شروع کنید که می‌توانید آن را کامل کنید و از آن یاد بگیرید.

در اینجا چند ایده پروژه برای شروع با ایستگاه‌های کاری NVIDIA RTX PRO آورده شده است.

پروژه ۱: چت‌بات مبتنی بر هوش مصنوعی

انتخاب نقطه شروع مناسب برای پروژه چت‌بات هوش مصنوعی محلی شما کلیدی است. فناوری اصلی که این چت‌بات‌ها را برای داده‌های خاص شما مفید می‌سازد، تولید تقویت شده با بازیابی (RAG) است. RAG به مدل زبان بزرگ (LLM) زیربنایی چت‌بات امکان دسترسی و ارجاع به اسناد یا پایگاه‌های دانش خاص شما را قبل از تولید پاسخ می‌دهد، که اطمینان حاصل می‌کند پاسخ‌ها دقیق، مرتبط و مبتنی بر زمینه شما هستند، نه داده‌های آموزشی عمومی LLM.

با NVIDIA ChatRTX برای ایجاد یک چت‌بات RAG بدون نیاز به کد شروع کنید. به سادگی برنامه را دانلود کنید، آن را به پوشه‌های فایل محلی خود مانند اسناد یا یادداشت‌های پروژه اشاره دهید، یک مدل سازگار را از منوی آن انتخاب کنید و شروع به پرسیدن سؤال کنید. ChatRTX فرآیند RAG بازیابی قطعات مرتبط و تغذیه آن‌ها به LLM را به صورت خودکار مدیریت می‌کند.

هنگامی که آماده کدنویسی و ساخت یک چت‌بات RAG سفارشی‌تر هستید، با منطق خاص یا برای یکپارچه‌سازی منابع داده مختلف، AI Workbench می‌تواند به شما در تنظیم محیط توسعه کمک کند.

نصب کننده AI Workbench را برای سیستم Windows یا Linux خود دانلود کنید. این نرم‌افزار مدیریت وابستگی‌های لازم مانند Git، نرم‌افزار کانتینر مانند Docker یا Podman، و حتی درایورهای GPU در سیستم‌عامل لینوکس را مدیریت می‌کند. کاربران ویندوز باید درایورها را به صورت دستی از صفحه NVIDIA Drivers نصب کنند.

برای تسریع توسعه، از مثال‌های از پیش ساخته شده مانند پروژه دستیار مجازی چندوجهی استفاده کنید. کلون کردن این پروژه در داخل AI Workbench به شما امکان شروع سریع می‌دهد، با یک پایپ‌لاین RAG کارآمد که می‌توانید اسناد، تصاویر یا ویدئوهای خاص خود را در آن یکپارچه کنید، روش‌های سفارشی بازیابی داده را تعریف کنید، LLM‌های مختلف را مدیریت کنید و بر روی طراحی برای یک تجربه هوش مصنوعی مکالمه‌ای واقعاً سفارشی شده تکرار کنید.

کاربردهای خاص چت‌بات‌های هوش مصنوعی که به صورت محلی اجرا می‌شوند، در صنایع مختلف در حال ظهور هستند. در معماری، مهندسی و ساخت و ساز (AEC)، شرکت‌ها در حال آزمایش با چت‌بات‌های سفارشی آموزش دیده بر روی درخواست‌های پیشنهاد (RFP) و مستندات پروژه تاریخی هستند تا به خلاصه کردن RFP‌های جدید یا یافتن سریع پاسخ‌ها در پاسخ‌های قبلی کمک کنند، و فرآیند پیشنهاد را ساده‌سازی کنند. در خدمات مالی، تیم‌های انطباق می‌توانند از چت‌بات‌های محلی آموزش دیده بر روی آرشیوهای گسترده مقرراتی و اسناد سیاست داخلی که به صورت ایمن در ایستگاه‌های کاری آن‌ها ذخیره شده‌اند، برای استعلام سریع و تأیید الزامات یا یافتن سوابق بدون اینکه داده‌های حساس محیط محلی را ترک کنند، استفاده کنند.

پروژه ۲: تبدیل PDF به پادکست

اسناد PDF خود، مانند مقالات تحقیقاتی یا کتابچه‌های راهنما، را به محتوای صوتی جذاب تبدیل کنید. این قابلیت تبدیل PDF به پادکست به صورت محلی بر روی یک ایستگاه کاری اجرا می‌شود و مزایایی را در زمینه‌های مختلف ارائه می‌دهد. به عنوان مثال، متخصصان حقوقی می‌توانند پرونده‌های طولانی و محرمانه پرونده یا اسناد کشف را به صوت برای بررسی تبدیل کنند، و اطمینان حاصل کنند که داده‌های حساس مشتری به صورت ایمن در دستگاه محلی آن‌ها باقی می‌ماند.

تیم‌های تحقیق و توسعه در مهندسی یا داروسازی می‌توانند مشخصات فنی متراکم، مقالات تحقیقاتی یا کتابچه‌های راهنمای داخلی را به فرمت‌های صوتی تبدیل کنند، تا کارشناسان اطلاعات پیچیده را در حین انجام چند کار یا دور از صفحه نمایش خود جذب کنند، همه اینها در حالی که از مالکیت فکری اختصاصی محافظت می‌کنند.

با کلون کردن این پروژه از مخزن GitHub آن در رابط AI Workbench شروع کنید، که با مدیریت پیکربندی محیط کانتینری و پیکربندی خودکار دسترسی GPU، راه‌اندازی را ساده می‌کند.

پیاده‌سازی پیش‌فرض از نقاط پایانی مبتنی بر ابر NVIDIA NIM استفاده می‌کند. با این حال، AI Workbench به شما انعطاف‌پذیری می‌دهد تا اجزای کلیدی – از جمله میکروسرویس‌های NIM – را مستقیماً بر روی ایستگاه کاری RTX PRO محلی خود اجرا کنید. این رویکرد تضمین می‌کند که داده‌های PDF اختصاصی شما ایمن و خصوصی باقی می‌مانند، زیرا تمام پردازش می‌تواند به جای ارسال به فضای ابری، بر روی دستگاه محلی شما باقی بماند.

این طرح اولیه انعطاف‌پذیر و قابل سفارشی‌سازی است، بنابراین می‌توانید قابلیت‌های اضافی مانند برندینگ، تحلیل‌ها، ترجمه بی‌درنگ، یا رابط انسان دیجیتال را برای تعمیق تعامل اضافه کنید. می‌توانید پایپ‌لاین PDF به پادکست را مستقیماً بر روی سخت‌افزار قدرتمند خود آزمایش، نمونه‌سازی و سفارشی کنید.

پروژه ۳: عامل جستجو و خلاصه‌سازی ویدئو

قابلیت جستجو و خلاصه‌سازی خودکار محتوای ویدئو بسیار ارزشمند است. کشف بینش‌هایی که پیشتر در کتابخانه‌های وسیعی از ضبط‌ها مانند نکات برجسته و پخش ورزشی، فیلم‌های امنیتی، آرشیوهای جلسات، یا سخنرانی‌های آموزشی پنهان بوده‌اند، می‌تواند ساعت‌ها بررسی دستی را صرفه‌جویی کند.

می‌توانید عامل جستجو و خلاصه‌سازی ویدئو (VSS) خود را به صورت محلی بر روی یک ایستگاه کاری RTX PRO با استفاده از NVIDIA AI Blueprint بسازید. این طرح اولیه یک معماری مرجع جامع ارائه می‌دهد، که از میکروسرویس‌های NIM برای عملکردهای کلیدی مانند ingest ویدئو، درک بینایی-زبان، استدلال LLM و RAG استفاده می‌کند که به صورت محلی مستقر شده‌اند.

پیکربندی پیش‌فرض برای این طرح اولیه از meta/llama-3.1-70b-instruct LLM استفاده می‌کند. اجرای این مدل با ۷۰ میلیارد پارامتر به صورت محلی به ۱۴۰ گیگابایت VRAM یا بیشتر نیاز دارد، که ممکن است از ظرفیت ایستگاه کاری RTX PRO بیشتر باشد. برای استقرار عملی محلی بر روی پردازنده‌های گرافیکی RTX PRO، پیکربندی طرح اولیه را تغییر دهید تا مدل ۷۰B را با نسخه کوچکتر meta/llama-3.1-8b-instruct جایگزین کنید، که الزامات حافظه به طور قابل توجهی پایین‌تری دارد و برای اجرای استنتاج مستقیماً بر روی ایستگاه کاری شما بسیار مناسب است.

برای شروع اولین پروژه هوش مصنوعی خود، پروژه‌ای را انتخاب کنید که با نیازهای حرفه‌ای شما هماهنگ باشد، با مراحل قابل مدیریت شروع کنید و از منابع موجود NVIDIA مانند برنامه توسعه‌دهنده بهره ببرید.

شروع اولین پروژه هوش مصنوعی محلی یک گام استراتژیک برای توسعه‌دهندگانی است که به دنبال استفاده از فناوری پیشرفته هستند. با استفاده از ایستگاه‌های کاری NVIDIA PRO RTX به عنوان ستون فقرات محاسباتی، NVIDIA AI Workbench برای توسعه ساده شده، و نرم‌افزار NVIDIA AI Enterprise برای ابزارها و پشتیبانی در سطح تولید، شما به طور کامل تجهیز شده‌اید.