LAI #66: تئوری اطلاعات برای افراد عجول

GraphRAG، تقطیر، پرداختن به داده‌های نامتوازن در تشخیص ناهنجاری، و موارد دیگر!

صبح بخیر، علاقه‌مندان به هوش مصنوعی! این هفته، من به سن خوزه، کالیفرنیا، برای Nvidia GTC، که از 17 تا 21 مارس برگزار می‌شود، می‌روم. در بسیاری از بحث‌ها شرکت خواهم کرد و هیجان‌زده‌ام که با برخی از شما در آنجا ملاقات کنم. اگر آن حوالی هستید، می‌توانید سر بزنید و سلام کنید!

اکنون، برای شماره این هفته، ما یک مقاله بسیار جالب در مورد تئوری اطلاعات داریم که به بررسی خود-اطلاعات، انتروپی، آنتروپی متقابل و واگرایی KL می‌پردازد - این مفاهیم تئوری احتمال را با کاربردهای دنیای واقعی پیوند می‌دهند. ما همچنین به چالش داده‌های نامتوازن در تشخیص ناهنجاری می‌پردازیم و روشی را معرفی می‌کنیم که از جاسازی‌های LLM برای شناسایی بی‌نظمی‌های ظریف استفاده می‌کند - به ویژه زمانی مفید است که تکنیک‌های سنتی مانند نمونه‌برداری بیش از حد یا نمونه‌برداری کمتر، کارساز نباشند.

به علاوه، آموزش‌های عملی در مورد GraphRAG، تقطیر دانش، RAG برای سیستم‌های تأیید و همکاری‌های هیجان‌انگیزتر و فرصت‌های مبتنی بر جامعه داریم. از خواندن لذت ببرید!

— لوئیس-فرانسوا بوشارد، بنیانگذار و رئیس انجمن Towards AI

تبلیغ Nvidia GTC

این شماره با تشکر از NVIDIA GTC برای شما آورده شده است:

تبلیغ Nvidia GTC

NVIDIA GTC بازگشته است و به نظر می‌رسد که یکی از بزرگترین رویدادهای هوش مصنوعی سال باشد! GTC از 17 تا 21 مارس در سن خوزه، کالیفرنیا برگزار می‌شود و توسعه‌دهندگان، محققان و رهبران تجاری را گرد هم می‌آورد تا پیشرفت‌های پیشرفته در هوش مصنوعی، محاسبات شتاب‌یافته و علم داده را بررسی کنند.

یک دستور کار فشرده وجود دارد، از جمله:

  • سخنرانی اصلی توسط مدیرعامل NVIDIA، جنسن هوانگ - پوشش نمایندگان هوش مصنوعی، رباتیک و آینده محاسبات شتاب‌یافته
  • ظهور ربات‌های انسان‌نما - بررسی اینکه چگونه هوش مصنوعی رباتیک را به جلو می‌برد
  • مرزهای هوش مصنوعی و محاسبات با یان لکون و بیل دالی - یک بررسی عمیق در مورد اینکه هوش مصنوعی به کجا می‌رود
  • هوش مصنوعی صنعتی و دیجیتالی‌سازی - چگونه هوش مصنوعی صنایع را در دنیای فیزیکی متحول می‌کند
  • کارگاه‌های عملی و آزمایشگاه‌های آموزشی - جلسات عملی در مورد هوش مصنوعی، برنامه‌نویسی GPU و موارد دیگر

به ما در NVIDIA GTC بپیوندید - رویداد هوش مصنوعی سال!

?? 17-21 مارس
?? سن خوزه، کالیفرنیا و آنلاین

نظرسنجی هوش مصنوعی هفته
میم هفته

بخش انجمن یادگیری هوش مصنوعی با هم!

پست انجمن ویژه از Discord

Hasshiloh_pendergraff یک پلتفرم منبع باز، Divora، ساخته است که به توسعه‌دهندگان این امکان را می‌دهد تا به طور کامل مدل‌های هوش مصنوعی خود را کنترل و آموزش دهند بدون اینکه به هیچ API یا سرویس خارجی وابسته باشند. کد شفاف است و می‌توانید بهبودهایی را برای بررسی انجمن ارسال کنید. می‌توانید استفاده از آن را به صورت رایگان از اینجا شروع کنید و از یکی از اعضای انجمن حمایت کنید. اگر سؤالی دارید یا بازخوردی دارید، آنها را در موضوع به اشتراک بگذارید!

نظرسنجی هوش مصنوعی هفته!

نظرسنجی هوش مصنوعی هفته

از آنجایی که اکثر شما ترجیح می‌دهید از ابتدا بسازید، من کنجکاو هستم که بدانم چگونه به این فرآیند نزدیک شده‌اید، اگر محیط‌هایی وجود دارند که به طور خاص به خوبی کار می‌کنند، در موضوع به من بگویید!

فرصت‌های همکاری

انجمن Learn AI Together Discord مملو از فرصت‌های همکاری است. اگر مشتاق هستید که در هوش مصنوعی کاربردی غوطه ور شوید، یک شریک مطالعه می‌خواهید یا حتی می‌خواهید شریکی برای پروژه پرشور خود پیدا کنید، به کانال همکاری بپیوندید! مراقب این بخش نیز باشید - ما هر هفته فرصت‌های جالب را به اشتراک می‌گذاریم!

1. Ayanb1827 در حال ساخت یک دستیار هوش مصنوعی تولیدی "مغز دوم" است و به دنبال همکار است. اگر به LLM یا RAG علاقه دارید یا فقط می‌خواهید یاد بگیرید و تمرین کنید پروژه‌های هوش مصنوعی جالب بسازید، در موضوع با او ارتباط برقرار کنید!

2. Ivy_kaye به دنبال چند نفر است که در هوش مصنوعی مبتدی هستند تا با هم مطالعه کنند. اگر شما هم تازه شروع کرده‌اید، این می‌تواند مکان خوبی برای شروع باشد. در موضوع با او تماس بگیرید!

میم هفته!

میم هفته

میم به اشتراک گذاشته شده توسط hitoriarchie

بخش انتخاب شده TAI

مقاله هفته

راهنمای عملی برای تقطیر مدل‌های بزرگ به مدل‌های کوچک: یک رویکرد جدید با تقطیر گسترده توسط Shenggang Li

این مقاله به بررسی یک رویکرد عملی برای تقطیر دانش، انتقال قابلیت‌های مدل‌های بزرگ به مدل‌های کوچکتر و کارآمدتر می‌پردازد. این مقاله تقطیر سنتی، که بر تقلید از خروجی نهایی متمرکز است، را با تقطیر گام به گام، که فرآیند استدلال مدل معلم را در بر می‌گیرد، مقایسه می‌کند. نویسنده یک روش گام به گام پیشرفته را معرفی می‌کند که یادگیری را از طریق افزایش تدریجی از دست دادن منطق، شباهت کسینوسی برای همسویی استدلال و تنظیم‌سازی قوی‌تر سازگاری تثبیت می‌کند. روش بهبود یافته محدودیت‌های رویکرد گام به گام اصلی را برطرف می‌کند و منجر به تعمیم و دقت پیش‌بینی بهتر می‌شود. آزمایش‌های کد با استفاده از رگرسیون لجستیک اثربخشی این تکنیک‌ها را نشان می‌دهد. نویسنده همچنین در مورد اینکه چگونه این پیشرفت‌ها را می‌توان برای مدل‌های زبانی بزرگ به کار برد، بحث می‌کند و قابلیت تفسیر و عملکرد را افزایش می‌دهد. نوآوری کلیدی از دست دادن شباهت کسینوسی مبتنی بر حاشیه برای تقطیر منطقی است.

مقالات ضروری ما

1. کاوش در GraphRAG: بازیابی دانش هوش مصنوعی هوشمندتر با Neo4j & LLM توسط Sridhar Sampath

این مقاله به جزئیات GraphRAG، تکنیکی که توسط مایکروسافت توسعه یافته است و نمودارهای دانش Neo4j را با مدل‌های زبانی بزرگ (LLM) ترکیب می‌کند تا دقت و استدلال هوش مصنوعی را بهبود بخشد. این مقاله محدودیت‌های LLMهای سنتی، مانند توهم و متن تکه تکه شده را با استفاده از بازیابی مبتنی بر نمودار ساختاریافته قبل از تولید پاسخ‌های هوش مصنوعی، برطرف می‌کند. نویسنده قابلیت‌های GraphRAG را با ساخت یک چت‌بات نمودار دانش فوتبال نشان می‌دهد و نشان می‌دهد که چگونه درک متنی، دقت و شفافیت را افزایش می‌دهد. این فرآیند شامل ساخت یک نمودار دانش Neo4j، تبدیل پرسش‌های کاربر به پرسش‌های Cypher برای بازیابی و استفاده از GPT برای قالب‌بندی دانش بازیابی شده به پاسخ‌های قابل خواندن توسط انسان است. نویسنده GraphRAG را با RAG سنتی مقایسه می‌کند و مزایای آن را در بازیابی واقعی، استدلال ساختاریافته، مقیاس‌پذیری و قابلیت کاربرد مستقل از دامنه برجسته می‌کند.

2. بازاندیشی در عدم تعادل: جاسازی‌های LLM برای تشخیص بی‌نظمی‌های ظریف توسط Elangoraj Thiruppandiaraj

این وبلاگ به چالش مداوم داده‌های نامتوازن در تشخیص ناهنجاری می‌پردازد. این مقاله یک روش با استفاده از جاسازی‌های LLM برای شناسایی بی‌نظمی‌های ظریف معرفی می‌کند، که به ویژه زمانی مفید است که تکنیک‌های استاندارد مانند نمونه‌برداری بیش از حد یا نمونه‌برداری کمتر کارساز نباشند. این مقاله توضیح می‌دهد که چگونه تبدیل داده‌ها به جاسازی‌ها امکان خوشه‌بندی رویدادهای مشابه و حفظ تفاوت‌های ظریفی را فراهم می‌کند که اغلب توسط روش‌های سنتی از دست می‌روند. ایده اصلی شامل مقایسه نقاط داده جدید با ناهنجاری‌های شناخته شده در فضای جاسازی برای تشخیص ویژگی‌های مشابه است. نویسنده همچنین در مورد چالش‌هایی مانند الزامات محاسباتی و به‌روزرسانی‌های مدل بحث می‌کند و پیشنهادات عملی برای پیاده‌سازی و کاربردهای بالقوه فراتر از تشخیص ناهنجاری، مانند تشخیص تقلب و تشخیص سلامت ارائه می‌دهد.

3. ساخت خطوط لوله تأیید قوی برای سیستم‌های RAG: اطمینان از پاسخ‌های دقیق و مرتبط LLM توسط Kaitai Dong

این وبلاگ به بررسی شش روش تأیید برای اطمینان از دقت و ارتباط پاسخ‌ها از سیستم‌های تولید تقویت‌شده با بازیابی (RAG) می‌پردازد. این مقاله به جزئیات تکنیک‌هایی مانند LLM-as-Judge، Retrieval Verification و Entity/Claim Verification می‌پردازد که دقت واقعی و همسویی منبع را ارزیابی می‌کنند. این مقاله همچنین همسویی پرسش و پاسخ را برای اطمینان از ارتباط، تخمین اطمینان برای تعیین کمیت عدم قطعیت و تأیید چند منظوره برای سازگاری در پاسخ‌های متعدد پوشش می‌دهد. نقاط قوت، ضعف‌ها و بهترین موارد استفاده هر روش تجزیه و تحلیل می‌شود و راهنمایی عملی برای ساخت خطوط لوله تأیید قوی برای افزایش قابلیت اطمینان برنامه‌های LLM ارائه می‌شود.

4. ?? تئوری اطلاعات برای افراد عجول توسط Eyal Kazin PhD

این وبلاگ به بررسی مفاهیم کلیدی از تئوری اطلاعات می‌پردازد: خود-اطلاعات، آنتروپی، آنتروپی متقابل و واگرایی KL. این مقاله توضیح می‌دهد که چگونه این معیارها تعجب، عدم قطعیت و عدم همسویی بین توزیع‌های احتمال را کمی می‌کنند. با استفاده از یک مثال پیش‌بینی آب و هوا، نشان می‌دهد که چگونه آنتروپی متقابل می‌تواند طول پیام را در فشرده‌سازی داده‌ها و ارتباطات کارآمد بهینه کند. همچنین کاربردهای عملی این مفاهیم را در یادگیری ماشین و تجزیه و تحلیل داده‌ها برجسته می‌کند و کد پایتون را برای محاسبات ارائه می‌دهد.

اگر علاقه‌مند به انتشار با Towards AI هستید، دستورالعمل‌های ما را بررسی کنید و ثبت نام کنید. اگر کار شما با سیاست‌ها و استانداردهای تحریریه ما مطابقت داشته باشد، ما کار شما را در شبکه خود منتشر خواهیم کرد.