بهره‌گیری از RAG اسناد برای پرسش و پاسخ مبتنی بر تصویر

تولید تقویت‌شده با بازیابی (RAG) با ترکیب نقاط قوت مدل‌های بازیابی با هوش مصنوعی مولد برای ارائه پاسخ‌های روشنگرانه، یک تغییر دهنده بازی در پردازش اسناد بوده است. در این بلاگ، نحوه اعمال تکنیک‌های RAG را بر روی تصاویر اسناد بررسی می‌کنیم که به ما امکان می‌دهد اطلاعات مرتبط را به صورت پویا استخراج کنیم.

تولید تقویت‌شده با بازیابی اسناد (RAG) یک تکنیک پیشرفته هوش مصنوعی است که تولید متن را با ادغام یک مرحله بازیابی اطلاعات بهبود می‌بخشد. RAG به جای اتکای صرف به دانش از پیش آموزش‌دیده، مرتبط‌ترین اسناد را بر اساس یک پرس و جو واکشی می‌کند و سپس با استفاده از این داده‌های بازیابی‌شده، پاسخ‌هایی تولید می‌کند. این رویکرد به ویژه در مواردی مفید است که:

• اطلاعات مکرراً به‌روزرسانی می‌شوند (به عنوان مثال، اسناد حقوقی، پزشکی یا مالی).
• مجموعه داده آنقدر وسیع است که یک مدل نمی‌تواند تمام دانش را به طور مؤثر ذخیره کند.
• دقت متنی و صحت واقعی بسیار مهم است.

خط لوله کلی برای RAG سند شامل مراحل ایجاد پایگاه دانش و پردازش پرس و جو است.

اولین گام در ساخت یک سیستم RAG، ایجاد یک پایگاه دانش ساختاریافته است. این شامل پردازش تصاویر سند و ذخیره آنها به گونه‌ای است که امکان بازیابی کارآمد را فراهم کند.

ما از CLIP (Contrastive Language-Image Pretraining) برای ایجاد جاسازی‌هایی برای تصاویر اسناد استفاده می‌کنیم که امکان بازیابی مؤثر بر اساس پرس و جوهای متنی را فراهم می‌کند.

چرا از CLIP استفاده کنیم؟

• یادگیری بدون نمونه (Zero-shot learning): می‌تواند تصاویر و متن جدید را بدون آموزش صریح بر روی مجموعه داده‌های خاص درک کند.
• قابلیت‌های چندوجهی: از جاسازی‌های تصویر و متن پشتیبانی می‌کند و امکان بازیابی و رتبه‌بندی یکپارچه را فراهم می‌کند.
• امتیازدهی شباهت کارآمد: امتیازهای شباهت کسینوسی بین متن و تصاویر را برای یافتن بهترین مطابقت ارائه می‌دهد.

برای پردازش تصاویر سند، ابتدا آنها را بارگذاری و پیش‌پردازش می‌کنیم:

[قطعه کدها حذف شده‌اند - به مقاله اصلی مراجعه کنید]

برای افزایش کارایی بازیابی اسناد، می‌توانیم جاسازی‌ها را به جای نگهداری در حافظه، در یک پایگاه داده برداری ذخیره کنیم. یک فروشگاه برداری امکان جستجوی سریع شباهت را فراهم می‌کند و بازیابی را مقیاس‌پذیر و کارآمد می‌سازد. پایگاه‌های داده برداری محبوب عبارتند از:

• FAISS (Facebook AI Similarity Search) — برای جستجوی شباهت در مقیاس بزرگ بهینه شده است.
• ChromaDB — سبک وزن و آسان برای ادغام با برنامه‌های هوش مصنوعی.
• Weaviate — مقیاس‌پذیر است و قابلیت‌های جستجوی ترکیبی را فراهم می‌کند.
• Pinecone — مبتنی بر ابر، برای بازیابی بی‌درنگ بسیار بهینه شده است.
• Amazon OpenSearch — سرویس جستجو و تجزیه و تحلیل مدیریت شده توسط AWS که از جستجوی برداری و جستجوی متن کامل پشتیبانی می‌کند.

در حالی که CLIP یک انتخاب محبوب برای بازیابی تصویر-متن است، جایگزین‌های دیگری نیز وجود دارند:

1. BLIP (Bootstrapped Language-Image Pretraining): یک مدل پیشرفته‌تر که با استفاده از یادگیری دوطرفه برای هم‌ترازی بهتر متن-تصویر، CLIP را بهبود می‌بخشد.
2. ALIGN (A Large-scale ImaGe and Noisy-text embedding): توسعه‌یافته توسط گوگل، ALIGN بر جاسازی‌های تصویر-متن در مقیاس بزرگ تمرکز دارد، مشابه CLIP اما بر روی مجموعه داده‌های عظیم آموزش دیده است.
3. FLAVA (Facebook AI’s Multimodal Model): مدلی که برای درک عمومی بینایی و زبان طراحی شده است و از متن و تصاویر با یادگیری متنی قوی پشتیبانی می‌کند.

پس از ایجاد پایگاه دانش، می‌توانیم پرس و جوهای کاربر را برای بازیابی اسناد مرتبط و تولید پاسخ پردازش کنیم.

هنگامی که کاربر سؤالی می‌پرسد، CLIP با محاسبه امتیازهای شباهت بین پرس و جو و جاسازی‌های سند ذخیره‌شده، مرتبط‌ترین سند را شناسایی می‌کند:

[قطعه کدها حذف شده‌اند - به مقاله اصلی مراجعه کنید]

پس از بازیابی سند مرتبط، از Ollama برای استخراج و تولید یک پاسخ معنادار استفاده می‌کنیم.

Ollama یک چارچوب سبک وزن برای اجرای مدل‌های زبان بزرگ (LLM) به صورت محلی بر روی ماشین‌های شخصی است. این امکان را به کاربران می‌دهد تا بدون اتکا به خدمات مبتنی بر ابر، استنتاج را انجام دهند و آن را به یک انتخاب عالی برای برنامه‌های حساس به حریم خصوصی تبدیل می‌کند. Ollama برای کارایی بهینه شده است و موارد زیر را ارائه می‌دهد:

• استنتاج LLM محلی: مدل‌های قدرتمند را بدون وابستگی به اینترنت روی دستگاه خود اجرا کنید.
• پشتیبانی از مدل سفارشی: مدل‌های مناسب برای نیازهای خاص خود را بارگذاری و تنظیم دقیق کنید.
• پاسخ‌های با تأخیر کم: با پردازش همه چیز به صورت محلی از سربار شبکه جلوگیری کنید.
• حریم خصوصی پیشرفته: داده‌های خود را بدون اشتراک‌گذاری خارجی، روی دستگاه خود نگه دارید.

برای استخراج اطلاعات از سند بازیابی‌شده، ابتدا تصویر را با فرمت Base64 کدگذاری می‌کنیم:

[قطعه کدها حذف شده‌اند - به مقاله اصلی مراجعه کنید]

سپس از Ollama برای تولید پاسخ بر اساس سند استفاده می‌کنیم:

[قطعه کدها حذف شده‌اند - به مقاله اصلی مراجعه کنید]

این رویکرد نشان می‌دهد که چگونه می‌توان CLIP و مدل‌های مولد را برای پیاده‌سازی یک خط لوله RAG سند برای بازیابی مبتنی بر تصویر و پرسش و پاسخ ترکیب کرد. استفاده از یک فروشگاه برداری مانند FAISS بازیابی را کارآمدتر می‌کند و Ollama استنتاج خصوصی و محلی را امکان‌پذیر می‌سازد. با ادغام این فناوری‌ها، کاربران می‌توانند دقت و عملکرد گردش کار پردازش اسناد خود را افزایش دهند.