قابلیتهای استدلال برای مدلهای زبانی بزرگ (LLM) ضروری شدهاند، اما تحلیل این فرآیندهای پیچیده چالش بزرگی را به همراه دارد. در حالی که LLMها میتوانند خروجی استدلال متنی دقیقی تولید کنند، فقدان تجسم فرآیند، موانعی را برای درک، ارزیابی و بهبود ایجاد میکند. این محدودیت به سه شکل مهم خود را نشان میدهد: افزایش بار شناختی برای کاربرانی که تلاش میکنند مسیرهای استدلال پیچیده را تجزیه و تحلیل کنند؛ دشواری در تشخیص مغالطههای منطقی، استدلالهای دورهای و مراحل از دست رفته که در خروجیهای متنی طولانی پنهان میمانند؛ و محدودیتها در کاربردهای پاییندستی به دلیل عدم وجود چارچوبهای تجسم استاندارد. بنابراین، نیاز به راهحلهای تجسم یکپارچه وجود دارد که بتواند به طور موثر روشهای استدلال متنوع را در سراسر اکوسیستم رو به رشد ارائهدهندگان و مدلهای LLM نشان دهد.
روشهای موجود مانند استدلال متوالی، تجزیه گام به گام مسئله را نشان میدهند و از طریق چندین نوع مختلف تکامل یافتهاند. رویکردهای مبتنی بر درخت مانند Tree-of-Thoughts، شاخهبندی مبتنی بر حالت را برای اکتشاف مسیر موازی فعال میکنند، در حالی که استدلال Beam Search مسیرهای راهحل را بر اساس مکانیزمهای امتیازدهی ارزیابی میکند. علاوه بر این، رویکردهای تجسم فعلی به دو دسته تقسیم میشوند: تحلیل رفتار مدل و تصویرسازی فرآیند استدلال. ابزارهایی مانند BertViz و Transformers Interpret تجسمهای دقیقی از مکانیزمهای توجه ارائه میدهند، اما به رفتارهای سطح پایین مدل محدود میشوند. چارچوبهایی مانند LangGraph تجسم جریان اساسی را بدون پشتیبانی از روشهای استدلال متنوع ارائه میدهند، در حالی که ابزارهای عمومی مانند Graphviz و Mermaid فاقد سازگاریهای خاص برای تحلیل استدلال LLM هستند.
محققان دانشگاه کمبریج و دانشگاه موناش، ReasonGraph را پیشنهاد کردهاند، یک پلتفرم مبتنی بر وب برای تجسم و تحلیل فرآیندهای استدلال LLM. این پلتفرم از روشهای استدلال متوالی و مبتنی بر درخت پشتیبانی میکند و به طور یکپارچه با ارائهدهندگان اصلی LLM و بیش از پنجاه مدل پیشرفته ادغام میشود. ReasonGraph شامل یک رابط کاربری (UI) بصری با انتخاب روش فرااستدلال، پارامترهای تجسم قابل تنظیم و یک چارچوب مدولار است که توسعه کارآمد را تسهیل میکند. ReasonGraph با ارائه یک چارچوب تجسم یکپارچه، به طور موثر بار شناختی را در تحلیل مسیرهای استدلال پیچیده کاهش میدهد، تشخیص خطا را در فرآیندهای منطقی بهبود میبخشد و توسعه موثرتر برنامههای مبتنی بر LLM را ممکن میسازد.
ReasonGraph از یک چارچوب مدولار استفاده میکند که تجسم استدلال گسترشپذیر را از طریق جداسازی واضح اجزا فراهم میکند. لایه فرانتاند (Front-end) منطق تجسم و مدیریت مشارکت کاربر را انجام میدهد و یک ماژول مدیریت رویداد ناهمزمان را پیادهسازی میکند که در آن تعاملات کاربر با انتخاب روش و پیکربندی پارامترها باعث بهروزرسانیهای متناظر حالت میشود. چارچوب بکاند (Backend) حول سه ماژول اصلی سازماندهی شده است که در Flask پیادهسازی شدهاند: یک مدیر پیکربندی برای بهروزرسانیهای حالت، یک کارخانه API برای ادغام LLM و یک ماژول روشهای استدلال برای کپسولهسازی رویکرد استدلال. مدولاریت چارچوب در هر دو سطح API و روش استدلال وجود دارد، به طوری که کارخانه API یک رابط یکپارچه برای چندین ارائهدهنده LLM از طریق کلاس BaseAPI فراهم میکند.
ارزیابی ReasonGraph، استحکام پلتفرم را در سه جنبه کلیدی نشان میدهد. در قابلیت اطمینان تجزیه، رویکرد تجزیه XML مبتنی بر قانون به دقت تقریباً 100٪ در استخراج و تجسم مسیرهای استدلال از خروجیهای LLM با فرمت مناسب دست مییابد. برای کارایی پردازش، زمان تولید تجسم مبتنی بر Mermaid در مقایسه با زمان استدلال LLM ناچیز است و عملکرد ثابتی را در هر شش روش استدلال پیادهسازی شده در پلتفرم حفظ میکند. در مورد قابلیت استفاده از پلتفرم، بازخورد اولیه از کاربران پلتفرم متنباز نشان میدهد که تقریباً 90٪ از کاربران با موفقیت از پلتفرم بدون کمک استفاده کردهاند، اگرچه این معیارها با گسترش پایگاه کاربر و بهروزرسانیهای منظم پلتفرم به تکامل خود ادامه میدهند.
در این مقاله، محققان ReasonGraph را معرفی کردند، یک پلتفرم مبتنی بر وب که تجسم و تحلیل فرآیندهای استدلال LLM را در بین شش روش اصلی و بیش از 50 مدل فعال میکند. این پلتفرم از طریق چارچوب مدولار و قابلیتهای تجسم بلادرنگ خود، به قابلیت استفاده بالایی در برنامههای کاربردی متنوع در دانشگاه، آموزش و توسعه دست مییابد. کارهای آینده شامل (الف) استفاده از انجمن متنباز برای ادغام روشهای استدلال اضافی و گسترش پشتیبانی API مدل، (ب) توسعه پلتفرم بر اساس بازخورد انجمن و پیشنهادات کاربر، (ج) بررسی برنامههای کاربردی پاییندستی مانند ارزیابی استدلال، آموزشهای آموزشی و غیره، و (د) پیادهسازی گرههای قابل ویرایش در فلوچارتهای تجسم برای فعال کردن اصلاح مستقیم فرآیندهای استدلال است.