منبع: VentureBeat ساخته شده با Midjourney
منبع: VentureBeat ساخته شده با Midjourney

جستجوی عمیق باز (Open Deep Search) برای رقابت با Perplexity و جستجوی ChatGPT از راه می‌رسد

معماری ابزار جستجوی باز (Open Search Tool) در ODS

پژوهشگران در

، (ODS) را منتشر کرده‌اند؛ یک چارچوب متن‌باز که می‌تواند با کیفیت راهکارهای جستجوی هوش مصنوعی اختصاصی مانند و رقابت کند. ODS مدل‌های زبان بزرگ (LLM) را به عامل‌های استدلالگر پیشرفته‌ای مجهز می‌کند که می‌توانند از جستجوی وب و ابزارهای دیگر برای پاسخ به سؤالات استفاده کنند.

برای شرکت‌هایی که به دنبال ابزارهای جستجوی هوش مصنوعی قابل تنظیم هستند، ODS یک جایگزین جذاب و با کارایی بالا برای راهکارهای تجاری بسته ارائه می‌دهد.

چشم‌انداز جستجوی هوش مصنوعی

ابزارهای جستجوی هوش مصنوعی مدرن مانند Perplexity و جستجوی ChatGPT می‌توانند با ترکیب دانش و قابلیت‌های استدلال LLMها با جستجوی وب، پاسخ‌های به‌روز ارائه دهند. با این حال، این راهکارها معمولاً اختصاصی و متن‌بسته هستند و سفارشی‌سازی و تطبیق آن‌ها برای کاربردهای خاص را دشوار می‌سازند.

هیمانشو تیاگی، هم‌بنیان‌گذار Sentient، به VentureBeat گفت: «بیشتر نوآوری‌ها در جستجوی هوش مصنوعی پشت درهای بسته اتفاق افتاده است. تلاش‌های متن‌باز از لحاظ تاریخی در قابلیت استفاده و عملکرد عقب مانده‌اند.» وی افزود: «ODS قصد دارد این شکاف را پر کند و نشان دهد که سیستم‌های باز می‌توانند از نظر کیفیت، سرعت و انعطاف‌پذیری با همتایان بسته خود رقابت کنند و حتی از آن‌ها پیشی بگیرند.»

معماری عامل استدلالگر باز (Open Reasoning Agent) در ODS
معماری ODS - منبع: arXiv

معماری جستجوی عمیق باز (ODS)

جستجوی عمیق باز (ODS) به عنوان یک سیستم plug-and-play (آماده به کار) طراحی شده است که می‌تواند با مدل‌های متن‌باز مانند DeepSeek-R1 و مدل‌های بسته مانند GPT-4o و Claude ادغام شود.

ODS شامل دو جزء اصلی است که هر دو از LLM پایه انتخاب‌شده استفاده می‌کنند:

ابزار جستجوی باز (Open Search Tool): این جزء یک پرس‌وجو را دریافت کرده و اطلاعاتی را از وب بازیابی می‌کند که می‌تواند به عنوان زمینه (context) به LLM داده شود. ابزار جستجوی باز چندین اقدام کلیدی را برای بهبود نتایج جستجو و اطمینان از ارائه زمینه مرتبط به مدل انجام می‌دهد. ابتدا، پرس‌وجوی اصلی را به روش‌های مختلف بازنویسی می‌کند تا پوشش جستجو را گسترش داده و دیدگاه‌های متنوع را در بر گیرد. سپس این ابزار نتایج را از یک موتور جستجو واکشی می‌کند، زمینه را از نتایج برتر (بریده‌ها و صفحات پیوند داده شده) استخراج می‌کند و از تکنیک‌های تکه‌تکه کردن (chunking) و رتبه‌بندی مجدد (re-ranking) برای فیلتر کردن مرتبط‌ترین محتوا استفاده می‌کند. همچنین دارای مدیریت سفارشی برای منابع خاص مانند ویکی‌پدیا، ArXiv و PubMed است و می‌توان آن را طوری تنظیم کرد که هنگام مواجهه با اطلاعات متناقض، منابع معتبر را در اولویت قرار دهد.

عامل استدلالگر باز (Open Reasoning Agent): این عامل پرس‌وجوی کاربر را دریافت کرده و از LLM پایه و ابزارهای مختلف (از جمله ابزار جستجوی باز) برای فرمول‌بندی پاسخ نهایی استفاده می‌کند. Sentient دو معماری عامل متمایز را در ODS ارائه می‌دهد:

ODS-v1: این نسخه از یک

همراه با استدلال استفاده می‌کند. عامل‌های ReAct مراحل استدلال («افکار») را با اقدامات (مانند استفاده از ابزار جستجو) و مشاهدات (نتایج ابزارها) در هم می‌آمیزند. ODS-v1 از ReAct به صورت تکراری برای رسیدن به پاسخ استفاده می‌کند. اگر عامل ReAct با مشکل مواجه شود (که توسط یک مدل داور جداگانه تعیین می‌شود)، به حالت پیش‌فرض خود یعنی «خود-سازگاری CoT» (CoT Self-Consistency) برمی‌گردد که چندین پاسخ CoT را از مدل نمونه‌برداری کرده و پاسخی را که بیشتر تکرار شده است، استفاده می‌کند.

ODS-v2: این نسخه از «زنجیره-کد» (Chain-of-Code یا CoC) و یک عامل CodeAct استفاده می‌کند که با استفاده از کتابخانه

پیاده‌سازی شده است. CoC از توانایی LLM برای تولید و اجرای قطعه‌کدها برای حل مسائل استفاده می‌کند، در حالی که CodeAct از تولید کد برای برنامه‌ریزی اقدامات استفاده می‌کند. ODS-v2 می‌تواند چندین ابزار و عامل را هماهنگ کند و به آن اجازه می‌دهد تا وظایف پیچیده‌تری را که ممکن است به برنامه‌ریزی پیچیده و احتمالاً چندین تکرار جستجو نیاز داشته باشند، انجام دهد.

نتایج بنچمارک مقایسه‌ای ODS با سایر سیستم‌ها

عملکرد و نتایج عملی

Sentient با جفت کردن ODS با مدل متن‌باز

و آزمایش آن در برابر رقبای محبوب متن‌بسته مانند Perplexity AI و پیش‌نمایش جستجوی GPT-4o از OpenAI، و همچنین LLMهای مستقل مانند GPT-4o و Llama-3.1-70B، آن را ارزیابی کرد. آن‌ها از بنچمارک‌های پرسش و پاسخ FRAMES و SimpleQA استفاده کردند و آن‌ها را برای ارزیابی دقت سیستم‌های هوش مصنوعی مجهز به جستجو تطبیق دادند.

نتایج، رقابت‌پذیری ODS را نشان می‌دهد. هر دو ODS-v1 و ODS-v2، هنگامی که با DeepSeek-R1 ترکیب شدند، از محصولات پرچمدار Perplexity عملکرد بهتری داشتند. قابل ذکر است که ODS-v2 همراه با DeepSeek-R1 از پیش‌نمایش جستجوی GPT-4o در بنچمارک پیچیده FRAMES پیشی گرفت و تقریباً در SimpleQA با آن برابر بود.

پیامدها برای شرکت‌ها

برای شرکت‌هایی که به دنبال قابلیت‌های استدلال قدرتمند هوش مصنوعی مبتنی بر اطلاعات بلادرنگ هستند، ODS یک راهکار امیدوارکننده ارائه می‌دهد که جایگزینی شفاف، قابل تنظیم و با کارایی بالا برای سیستم‌های جستجوی هوش مصنوعی اختصاصی است. توانایی اتصال LLMها و ابزارهای متن‌باز ترجیحی، به سازمان‌ها کنترل بیشتری بر پشته هوش مصنوعی خود می‌دهد و از وابستگی به فروشنده (vendor lock-in) جلوگیری می‌کند.

تیاگی گفت: «ODS با در نظر گرفتن ماژولار بودن ساخته شده است.» وی افزود: «این سیستم به صورت پویا و بر اساس توضیحات ارائه شده در پرامپت، انتخاب می‌کند که از کدام ابزارها استفاده کند. این بدان معناست که می‌تواند با ابزارهای ناآشنا به صورت روان تعامل داشته باشد - تا زمانی که به خوبی توصیف شده باشند - بدون نیاز به آشنایی قبلی.»

با این حال، او اذعان کرد که عملکرد ODS ممکن است زمانی که مجموعه ابزارها بیش از حد بزرگ شود، کاهش یابد، «بنابراین طراحی دقیق اهمیت دارد.»

Sentient کد ODS را در

منتشر کرده است.

تیاگی گفت: «در ابتدا، نقطه قوت Perplexity و ChatGPT فناوری پیشرفته آن‌ها بود، اما با ODS، ما این میدان رقابت فناورانه را هموار کرده‌ایم.» وی افزود: «اکنون قصد داریم از طریق استراتژی 'ورودی‌های باز و خروجی‌های باز' خود، از قابلیت‌های آن‌ها فراتر رویم و به کاربران امکان دهیم تا عامل‌های سفارشی را به طور یکپارچه در Sentient Chat ادغام کنند.»