مدلهای زبانی بزرگ (LLM) با تواناییهای خود در انجام وظایف پیچیده بدون نیاز به آموزش قبلی، انقلابی در پردازش زبان طبیعی ایجاد کردهاند. این توانایی به لطف دادههای آموزشی گسترده و پارامترهای فراوان آنها حاصل شده است. با این حال، LLMها اغلب در وظایف نیازمند دانش عمیق به دلیل محدودیت در دانش قبلی خاص وظیفه و قابلیتهای درک، با مشکل مواجه میشوند. LLMها برای استدلال مؤثر، نیازمند دسترسی به پایگاههای دانش قابل اعتماد و بهروز هستند و گرافهای دانش (KGs) به دلیل چارچوب معنایی ساختاریافته خود، کاندیدای ایدهآلی هستند. رویکردهای فعلی به استدلال LLM بر روی KGs با دو مانع روبرو است: نمایش محتوای KG به عنوان متن گسترده، قادر به انتقال روابط منطقی غنی در ساختار گراف نیست و فرایندهای بازیابی و استدلال، نیازمند فراخوانیهای متعدد LLM و توانایی استدلال قابل توجهی است.
مهندسی اعلان (Prompt engineering) به عنوان یک تکنیک حیاتی برای گسترش قابلیتهای LLM در برنامههای مختلف بدون تغییر پارامترهای مدل ظهور کرده است. این حوزه از اعلانهای ساده بدون نیاز به آموزش و با تعداد کمی نمونه، به رویکردهای پیچیدهتر مانند زنجیره تفکر (Chain-of-Thought - CoT)، درخت تفکر (Tree-of-Thoughts - ToT) و گراف تفکر (Graph-of-Thoughts - GoT) تکامل یافته است. استدلال LLM مبتنی بر KG به عنوان راهی برای ارائه دانش صریح و ساختاریافته که آگاهی دانش LLM را با ساختارهای منطقی واضح افزایش میدهد، مورد توجه قرار گرفته است. راه حلهای انعطافپذیرتر مانند KAPING، KGGPT، StructGPT، ToG و KnowledgeNavigator اعلانهای LLM را با استفاده از اطلاعات واقعی KG با تکنیکهای مختلف مانند بازیابی شباهت معنایی، چارچوبهای استدلال چند مرحلهای و جستجوی پرتو بر روی KGs برای افزایش قابلیتهای استدلال، ایجاد میکنند.
محققانی از دانشگاه پست و مخابرات پکن، دانشگاه هانگژو دیانزی، دانشگاه مدیریت سنگاپور، دانشگاه ملی سنگاپور، موسسه فناوری محاسباتی آکادمی علوم چین و دانشگاه شیان جیائوتنگ، لایت پروف (LightPROF) را پیشنهاد کردهاند، یک چارچوب استدلال یادگیری اعلان سبکوزن و کارآمد (Lightweight and efficient Prompt learning-ReasOning Framework). چارچوب RetrieveEmbed-Reason، مدلهای LLM کوچک را قادر میسازد تا بازیابی پایدار و استدلال کارآمدی را بر روی KGs انجام دهند. این چارچوب شامل سه جزء اصلی است: بازیابی، جاسازی و ماژولهای استدلال. بازیابی از روابط به عنوان واحدهای بازیابی اساسی استفاده میکند و دامنه را بر اساس معناشناسی سؤال محدود میکند، جاسازی از یک آداپتور دانش مبتنی بر ترانسفورمر فشرده استفاده میکند و استدلال، بردارهای نمایش جاسازی شده را با اعلانهای با دقت طراحی شده ترکیب میکند. لایت پروف از LLMها و KGs مختلف منبع باز پشتیبانی میکند و در طول آموزش فقط نیاز به تنظیم آداپتور دانش دارد.
لایت پروف بر روی دو مجموعه داده عمومی مبتنی بر Freebase ارزیابی میشود: WebQuestionsSP (WebQSP) و ComplexWebQuestions (CWQ). WebQSP به عنوان یک معیار با سؤالات کمتر (4737) اما KG بزرگتر عمل میکند و CWQ برای پاسخگویی به سؤالات پیچیده KG با 34689 جفت سؤال و پاسخ ساخته شده بر اساس WebQSP طراحی شده است. عملکرد با استفاده از دقت تطبیق (Hits@1) اندازه گیری میشود که ارزیابی میکند آیا پاسخ برتر مدل صحیح است یا خیر. لایت پروف با سه دسته از روشهای پایه مقایسه میشود: رویکردهای تنظیم دقیق کامل (شامل KV-Mem، EmbedKGQA، TransferNet، NSM و غیره)، روشهای LLM وانیلی (شامل مدلهای سری LLaMa) و روشهای LLM+KGs (مانند StructGPT، ToG، KnowledgeNavigator و AgentBench).
لایت پروف به طور قابل توجهی از مدلهای پیشرفته عملکرد بهتری دارد و به دقت 83.7٪ در مجموعه داده WebQSP و 59.3٪ در مجموعه داده CWQ که چالشبرانگیزتر است، دست مییابد. این نتایج، اثربخشی لایت پروف را در رسیدگی به چالشهای استدلال چند مرحلهای و پیچیده در پاسخگویی به سؤالات KG تأیید میکند. هنگام ادغام LLMهای مختلف در چارچوب، لایت پروف به طور مداوم عملکرد را بدون توجه به قابلیتهای خط پایه مدلهای اصلی افزایش میدهد. این استراتژی ادغام plug-and-play نیاز به تنظیم دقیق پرهزینه LLM را از بین میبرد. ارزیابیهای کارایی در برابر StructGPT نشان میدهد که لایت پروف از نظر استفاده از منابع برتری دارد و 30٪ کاهش در زمان پردازش، 98٪ کاهش در استفاده از توکن ورودی و توکنهای بسیار کمتری در هر درخواست دارد.
در نتیجه، محققان لایت پروف را معرفی کردند، یک چارچوب جدید که استدلال LLM را از طریق بازیابی دقیق و رمزگذاری کارآمد KGs افزایش میدهد. این چارچوب، دامنه بازیابی را با نمونهبرداری از KGs با استفاده از روابط پایدار به عنوان واحد محدود میکند. محققان یک آداپتور دانش پیچیده ایجاد کردند که به طور موثر ساختارهای گراف را تجزیه و تحلیل میکند و اطلاعات را برای فعال کردن استدلال کارآمد با LLMهای کوچکتر ادغام میکند. این چارچوب نمودارهای استدلال را به توکنهای کمتری متراکم میکند و در عین حال از طریق جزء Projector به همسویی جامع با فضای ورودی LLM دست مییابد. مسیرهای تحقیقاتی آینده شامل توسعه رمزگذارهای KG با قابلیتهای تعمیم قوی است که میتوانند بدون آموزش مجدد بر روی دادههای KG دیده نشده اعمال شوند و طراحی رمزگذارهای متقابل یکپارچه که قادر به رسیدگی به KGs چندوجهی هستند.