محققان دانشگاه راتگرز، گروه Ant و Salesforce Research یک چارچوب جدید پیشنهاد کردهاند که عوامل هوش مصنوعی را قادر میسازد تا با ادغام اطلاعات از محیط خود و ایجاد خاطرات مرتبط خودکار برای توسعه ساختارهای پیچیده، وظایف پیچیدهتری را انجام دهند.
این چارچوب که A-MEM نامیده میشود، از مدلهای زبان بزرگ (LLM) و جاسازیهای برداری برای استخراج اطلاعات مفید از تعاملات عامل و ایجاد بازنماییهای حافظه استفاده میکند که میتوانند به طور موثر بازیابی و استفاده شوند. با توجه به اینکه شرکتها به دنبال ادغام عوامل هوش مصنوعی در گردشهای کاری و برنامههای خود هستند، داشتن یک سیستم مدیریت حافظه قابل اعتماد میتواند تفاوت بزرگی ایجاد کند.
چرا حافظه LLM مهم است
حافظه در LLM و برنامههای کاربردی عامل بسیار مهم است زیرا تعاملات طولانی مدت بین ابزارها و کاربران را امکان پذیر میکند. با این حال، سیستمهای حافظه فعلی یا ناکارآمد هستند یا مبتنی بر طرحوارههای از پیش تعریفشده هستند که ممکن است با ماهیت در حال تغییر برنامهها و تعاملاتی که با آن روبرو هستند، مطابقت نداشته باشند.
محققان مینویسند: «چنین ساختارهای سفت و سختی، همراه با گردشهای کاری ثابت عامل، توانایی این سیستمها را برای تعمیم در محیطهای جدید و حفظ اثربخشی در تعاملات طولانیمدت به شدت محدود میکند. «همانطور که عوامل LLM وظایف پیچیدهتر و بازتری را انجام میدهند، این چالش به طور فزایندهای حیاتی میشود، جایی که سازماندهی دانش انعطافپذیر و انطباق مستمر ضروری است.»
A-MEM توضیح داده شد
به گفته محققان، A-MEM یک معماری حافظه عامل را معرفی میکند که مدیریت حافظه مستقل و انعطافپذیر را برای عوامل LLM امکان پذیر میکند.
هر بار که یک عامل LLM با محیط خود تعامل میکند - چه با دسترسی به ابزارها یا تبادل پیام با کاربران - A-MEM "یادداشتهای حافظه ساختاریافته" تولید میکند که هم اطلاعات صریح و هم فرادادهها مانند زمان، توضیحات متنی، کلمات کلیدی مرتبط و خاطرات مرتبط را ثبت میکنند. برخی از جزئیات توسط LLM تولید میشوند زیرا تعامل را بررسی میکند و اجزای معنایی ایجاد میکند.
هنگامی که یک حافظه ایجاد میشود، از یک مدل رمزگذار برای محاسبه مقدار جاسازی تمام اجزای آن استفاده میشود. ترکیب اجزای معنایی تولید شده توسط LLM و جاسازیها، هم زمینه قابل تفسیر برای انسان و هم ابزاری برای بازیابی کارآمد از طریق جستجوی شباهت را فراهم میکند.
ایجاد حافظه در طول زمان
یکی از اجزای جالب چارچوب A-MEM مکانیزمی برای پیوند دادن یادداشتهای مختلف حافظه بدون نیاز به قوانین از پیش تعریف شده است. برای هر یادداشت حافظه جدید، A-MEM نزدیکترین خاطرات را بر اساس شباهت مقادیر جاسازی آنها شناسایی میکند. سپس LLM محتوای کامل نامزدهای بازیابی شده را تجزیه و تحلیل میکند تا مناسبترین آنها را برای پیوند دادن به حافظه جدید انتخاب کند.
محققان مینویسند: «با استفاده از بازیابی مبتنی بر جاسازی به عنوان یک فیلتر اولیه، مقیاسپذیری کارآمد را در حین حفظ ارتباط معنایی فعال میکنیم. A-MEM میتواند به سرعت اتصالات بالقوه را حتی در مجموعههای حافظه بزرگ بدون مقایسه جامع شناسایی کند. مهمتر از آن، تجزیه و تحلیل مبتنی بر LLM امکان درک دقیق روابط را فراهم میکند که فراتر از معیارهای شباهت ساده است.»
پس از ایجاد پیوند برای حافظه جدید، A-MEM خاطرات بازیابی شده را بر اساس اطلاعات متنی و روابط آنها با حافظه جدید به روز میکند. با اضافه شدن خاطرات بیشتر در طول زمان، این فرآیند ساختارهای دانش سیستم را اصلاح میکند و امکان کشف الگوها و مفاهیم مرتبه بالاتر را در سراسر خاطرات فراهم میکند.
در هر تعامل، A-MEM از بازیابی حافظه آگاه به متن برای ارائه اطلاعات تاریخی مرتبط به عامل استفاده میکند. با توجه به یک اعلان جدید، A-MEM ابتدا مقدار جاسازی آن را با همان مکانیزمی که برای یادداشتهای حافظه استفاده میشود، محاسبه میکند. این سیستم از این جاسازی برای بازیابی مرتبطترین خاطرات از فروشگاه حافظه و افزایش اعلان اصلی با اطلاعات متنی استفاده میکند که به عامل کمک میکند تعامل فعلی را بهتر درک کرده و به آن پاسخ دهد.
محققان مینویسند: «زمینه بازیابیشده، فرآیند استدلال عامل را با اتصال تعامل فعلی با تجربیات گذشته مرتبط و دانش ذخیره شده در سیستم حافظه غنی میکند.»
A-MEM در عمل
محققان A-MEM را روی LoCoMo، مجموعه دادهای از مکالمات بسیار طولانی که چندین جلسه را در بر میگیرد، آزمایش کردند. LoCoMo شامل وظایف چالش برانگیزی مانند سوالات چند مرحلهای است که نیاز به سنتز اطلاعات در چندین جلسه چت دارد و سوالات استدلالی که نیاز به درک اطلاعات مربوط به زمان دارد. این مجموعه داده همچنین شامل سوالات دانشی است که نیاز به ادغام اطلاعات متنی از مکالمه با دانش خارجی دارد.
آزمایشها نشان میدهد که A-MEM در بیشتر دستههای وظیفه از سایر تکنیکهای حافظه عامل پایه بهتر عمل میکند، به خصوص هنگام استفاده از مدلهای منبع باز. به طور خاص، محققان میگویند که A-MEM با کاهش هزینههای استنتاج، عملکرد برتری را به دست میآورد و هنگام پاسخ دادن به سوالات به 10 برابر توکن کمتری نیاز دارد.
مدیریت حافظه موثر در حال تبدیل شدن به یک نیاز اصلی است زیرا عوامل LLM در گردشهای کاری پیچیده سازمانی در حوزهها و زیرسیستمهای مختلف ادغام میشوند. A-MEM - که کد آن در GitHub موجود است - یکی از چندین چارچوبی است که شرکتها را قادر میسازد تا عوامل LLM تقویتشده با حافظه را بسازند.