یک تیم تحقیقاتی سازوکار جدید خارج از هسته (Out-of-Core) به نام کپسول (Capsule) را برای آموزش شبکههای عصبی گراف (GNN) در مقیاس بزرگ معرفی کرده است که میتواند تا 12.02 برابر بهبود در بازدهی زمان اجرا داشته باشد، در حالی که تنها از 22.24٪ حافظه اصلی در مقایسه با سیستمهای GNN خارج از هسته SOTA استفاده میکند. این کار در مجموعه مقالات ACM در مورد مدیریت دادهها منتشر شده است. این تیم شامل آزمایشگاه تاریکی داده (DDL) در مرکز تحقیقات هوش تصویربرداری پزشکی و رباتیک مؤسسه سوژو دانشگاه علم و فناوری چین (USTC) بود.
شبکههای عصبی گراف (GNN) در زمینههایی مانند سیستمهای توصیهگر، پردازش زبان طبیعی (Natural Language Processing)، شیمی محاسباتی (Computational Chemistry) و بیوانفورماتیک (Bioinformatics) نقاط قوت خود را نشان دادهاند. چارچوبهای آموزش محبوب برای GNNها، مانند DGL و PyG، از قدرت پردازش موازی GPU برای استخراج اطلاعات ساختاری از دادههای گراف استفاده میکنند.
علیرغم مزایای محاسباتی ارائه شده توسط GPUها در آموزش GNN، ظرفیت محدود حافظه GPU برای تطبیق دادههای گراف در مقیاس بزرگ دچار مشکل است و مقیاسپذیری را به یک چالش مهم برای سیستمهای GNN موجود تبدیل میکند. برای حل این مشکل، تیم DDL یک چارچوب آموزش GNN خارج از هسته (OOC) جدید به نام کپسول (Capsule) پیشنهاد کرده است که راه حلی برای آموزش GNN در مقیاس بزرگ ارائه میدهد.
برخلاف چارچوبهای GNN خارج از هسته موجود، کپسول با استفاده از استراتژیهای تقسیمبندی و هرس گراف، سربار ورودی/خروجی (I/O) بین CPU و GPU را در طول فرآیند انتشار به عقب (Backpropagation) حذف میکند، بنابراین اطمینان حاصل میکند که ساختارهای زیرگراف آموزشی و ویژگیهای آنها به طور کامل در حافظه GPU جای میگیرند. این امر عملکرد سیستم را افزایش میدهد.
علاوه بر این، کپسول با طراحی یک سازوکار بارگیری زیرگراف بر اساس کوتاهترین چرخه همیلتونی (Hamiltonian cycle) و یک استراتژی موازی خط لوله (Pipelined Parallel Strategy)، عملکرد را بیشتر بهینه میکند. علاوه بر این، کپسول یک سیستم plug-and-play است و میتواند به طور یکپارچه با چارچوبهای آموزش GNN متنباز (Open-source) اصلی ادغام شود.
در آزمایشها با استفاده از مجموعهدادههای گراف در مقیاس بزرگ و واقعی، کپسول از بهترین سیستمهای موجود عملکرد بهتری داشت و به بهبود عملکرد تا 12.02 برابر دست یافت، در حالی که تنها از 22.24 درصد حافظه استفاده میکرد. همچنین یک کران بالایی نظری برای واریانس جاسازیهای تولید شده در طول آموزش ارائه میدهد.
این کار رویکرد جدیدی را برای ساختارهای گرافیکی عظیم پردازش شده و ظرفیتهای حافظه محدود GPUها ارائه میدهد.
اطلاعات بیشتر:
یونگان شیانگ و همکاران، کپسول: یک سازوکار آموزش خارج از هسته برای GNNهای عظیمالجثه، مجموعه مقالات ACM در مورد مدیریت دادهها (2025). DOI: 10.1145/3709669
ارائه شده توسط دانشگاه علم و فناوری چین