پیشرفتهای سریع در فناوریهای موتور جستجو که با مدلهای زبانی بزرگ (LLM) ادغام شدهاند، عمدتاً به نفع راهحلهای انحصاری مانند پیشنمایش جستجوی GPT-4o گوگل و Sonar Reasoning Pro پرپلکسیتی بودهاند. در حالی که این سیستمهای انحصاری عملکرد قدرتمندی ارائه میدهند، ماهیت متنبسته آنها چالشهای قابل توجهی را، بهویژه در مورد شفافیت، نوآوری و همکاری جامعه، ایجاد میکند. این انحصار، سفارشیسازی را محدود کرده و مانع مشارکت گستردهتر دانشگاهی و کارآفرینی با هوش مصنوعی بهبودیافته با جستجو میشود.
در پاسخ به این محدودیتها، پژوهشگرانی از دانشگاه واشنگتن، دانشگاه پرینستون و دانشگاه برکلی، جستجوی عمیق باز (ODS) را معرفی کردهاند - یک چارچوب هوش مصنوعی جستجوی متنباز که برای ادغام یکپارچه با هر مدل زبانی بزرگ (LLM) منتخب کاربر به صورت ماژولار طراحی شده است. ODS شامل دو جزء اصلی است: ابزار جستجوی باز و عامل استدلالگر باز. این اجزاء با هم، قابلیتهای مدل زبانی پایه را با افزایش بازیابی محتوا و دقت استدلال، به طور قابل توجهی بهبود میبخشند.
ابزار جستجوی باز از طریق یک خط لوله بازیابی پیشرفته متمایز میشود که دارای روش بازنویسی هوشمند پرسوجو است و با تولید چندین پرسوجوی مرتبط معنایی، قصد کاربر را بهتر درک میکند. این رویکرد به طور قابل توجهی دقت و تنوع نتایج جستجو را بهبود میبخشد. علاوه بر این، این ابزار از تکنیکهای قطعهبندی و رتبهبندی مجدد اصلاحشده برای فیلتر کردن سیستماتیک نتایج جستجو بر اساس ارتباط استفاده میکند. عامل استدلالگر باز که مکمل جزء بازیابی است، از طریق دو روش متمایز عمل میکند: عامل ReAct زنجیره-تفکر (Chain-of-thought) و عامل CodeAct زنجیره-کد (Chain-of-code). این عوامل پرسوجوهای کاربر را تفسیر میکنند، استفاده از ابزار - از جمله جستجوها و محاسبات - را مدیریت میکنند و پاسخهای جامع و دقیق از نظر متنی تولید میکنند.
ارزیابیهای تجربی بر اثربخشی ODS تأکید دارند. ODS-v2 که با DeepSeek-R1، یک مدل استدلالگر متنباز پیشرفته، ادغام شده است، به دقت ۸۸.۳٪ در بنچمارک SimpleQA و ۷۵.۳٪ در بنچمارک FRAMES دست مییابد. این عملکرد به طور قابل توجهی از گزینههای انحصاری مانند Sonar Reasoning Pro متعلق به Perplexity که به ترتیب امتیازات ۸۵.۸٪ و ۴۴.۴٪ را در این بنچمارکها کسب میکند، پیشی میگیرد. در مقایسه با پیشنمایش جستجوی GPT-4o متعلق به OpenAI، ODS-v2 مزیت قابل توجهی در بنچمارک FRAMES نشان میدهد و به دقت ۹.۷٪ بالاتری دست مییابد. این نتایج توانایی ODS را در ارائه عملکرد رقابتی، و در حوزههای خاص برتر، نسبت به سیستمهای انحصاری نشان میدهد.
یکی از ویژگیهای مهم ODS، استفاده تطبیقی آن از ابزارها است، همانطور که توسط تصمیمگیری استراتژیک در مورد جستجوهای وب اضافی نشان داده شده است. برای پرسوجوهای ساده، همانطور که در SimpleQA مشاهده شد، ODS جستجوهای اضافی را به حداقل میرساند و استفاده کارآمد از منابع را نشان میدهد. برعکس، برای پرسوجوهای پیچیده چند مرحلهای، مانند بنچمارک FRAMES، ODS به طور مناسب استفاده خود از جستجوهای وب را افزایش میدهد، بنابراین مدیریت هوشمند منابع متناسب با پیچیدگی پرسوجو را به نمایش میگذارد.
در نتیجه، جستجوی عمیق باز (ODS) پیشرفت قابل توجهی به سوی همگانیسازی هوش مصنوعی بهبودیافته با جستجو را نشان میدهد، زیرا یک چارچوب متنباز سازگار با مدلهای زبانی بزرگ (LLM) متنوع ارائه میدهد. این چارچوب نوآوری و شفافیت را در جامعه تحقیقاتی هوش مصنوعی تشویق میکند و از مشارکت گستردهتر در توسعه قابلیتهای پیچیده جستجو و استدلال پشتیبانی میکند. ODS با ادغام مؤثر تکنیکهای بازیابی پیشرفته با روشهای استدلال تطبیقی، به طور معناداری به توسعه هوش مصنوعی متنباز کمک میکند و استانداردی قوی برای کاوشهای آینده در مدلهای زبانی بزرگ ادغامشده با جستجو تعیین میکند.
مقاله و صفحه گیتهاب را بررسی کنید. تمام اعتبار این تحقیق متعلق به پژوهشگران این پروژه است. همچنین، ما را در توییتر دنبال کنید و فراموش نکنید که به سابردیت یادگیری ماشین با بیش از ۸۵ هزار عضو ما بپیوندید.