خرد متعارف حکم میکند که هوش مصنوعی باید زندگی را آسانتر کند، و هوش مصنوعی عاملدار باید آن را آسانتر هم بکند. با این حال، برخی از کاربران متوجه میشوند که آزمایش با جدیدترین LLMها فقط ظرافت و سادگی مدلهای قبلی را برجسته میکند.
حداقل، این تجربه ایان مکگیل، بنیانگذار سایت جستجوی مناقصه جهانی Open Opportunities است. این شرکت که توسط مکگیل تأسیس شده است تا یک مرکز مرکزی برای کسب و کارها برای بررسی فرصتهای خرید دولتی و بخش عمومی در سراسر جهان فراهم کند، روزانه تقریباً 10،000 سند را از ادارات محلی و ملی در سراسر جهان پردازش میکند.
علاوه بر این، این اسناد همیشه برای هضم آسان طراحی نشدهاند. زبان به طور طبیعی یک مسئله است، اما بسیاری نیز در اصطلاحات خود ناسازگار هستند و در برابر تجزیه و تحلیل ماشینی و تحمیل پروتکلهای جستجو مقاومت میکنند.
مکگیل میگوید: "آنها سعی نمیکنند دیده شوند." "آنها فقط چیزهایی را برای علامت زدن یک جعبه بیرون میگذارند." او میگوید: در دسترستر کردن این مطالب "کار سنتی، دشوار و پر زحمتی است."
همه اینها فرصتهای زیادی را برای شرکت او فراهم میکند تا برای کاربران خود ارزش افزوده ایجاد کند. و به نظر میرسد واضح است که هوش مصنوعی میتواند کمک کند.
در واقع، سالهاست که این موضوع واضح بوده است. مکگیل و تیمش از اولین پذیرندگان یادگیری ماشین بودند. در سال 2019، آنها شروع به استفاده از BERT، مدل زبان پیشگام گوگل برای طبقهبندی اسناد کردند. این LLM اولیه هنگام راه اندازی در سال 2018 الهام بخش بود و مدل پایه آن بیش از 100 میلیون پارامتر داشت. و همانطور که مکگیل توضیح میدهد، BERT برای نوع کارهایی که شرکت او انجام میدهد بهینه شده بود. Open Opportunities توانست آن را بیشتر تنظیم کند، زیرا "این یک مدل منبع باز بود و آنقدر کوچک بود که در زیرساخت ما قرار گیرد."
اما، البته، مدلهای متوالی از آن زمان به بعد بازی را بالا بردهاند، یا حداقل انتظارات را در مورد آنچه میتوان با هوش مصنوعی به دست آورد، افزایش دادهاند. بنابراین، در 18 ماه گذشته، مکگیل و تیمش در حال آزمایش ابزارها و مدلهای جدیدتر بودهاند.
مشکل این است که "آنها عجیب رفتار میکنند و با توهمات برمیگردند. آنها با ارجاعاتی برمیگردند که در پایگاه داده شما وجود ندارد."
یک پروژه از RAG برای پشتیبانی از یک ربات چت طراحی شده برای ترجمه زبان طبیعی به پرس و جو برای پایگاه داده Open Opportunities استفاده کرد. به درستی کار کردن آن به این معنی بود که ترجمه زبان به پرس و جو به فرآیندی چنان پیچیده تبدیل شد که "در واقع، ترجیح میدادید یک فرم را پر کنید."
مدل میخواهد چه کار کند؟
پروژه دیگری به دنبال استفاده از GenAI برای ساخت اسکریپتها برای جمعآوری دادهها، در واقع یک برنامه کاربردی از نوع هوش مصنوعی عاملدار بود. مکگیل به یاد میآورد: "ما فکر کردیم، باشه، ما لیستی از منابع را به شما میدهیم." "شما میتوانید بروید و رباتهایی بنویسید که این منابع را جمعآوری کنند، به شرطی که ورودیهای درستی را به شما بدهیم."
با این حال، مشخص شد که فقط میتوان به مدل دستور داد که در یک زمان یک اسکریپت بنویسد. مکگیل میگوید: "این خوب بود"، اما آزمایش و ارزیابی کد به این معنی بود که "ما واقعاً مقدار زیادی در زمان صرفهجویی نمیکردیم."
جایی که هوش مصنوعی به کار آمد، کمک به حل مسائل مربوط به اشکالات بود. "استفاده از آن به عنوان یک مثال برنامهنویسی جفتی به این معنی بود که ما زمان کمتری را برای چالشهای حل مسئله پر زحمت صرف میکردیم. اما نمیتوانستید یک کار کامل به آن بدهید."
تلاش دیگری برای استفاده از LLMها مانند Claude و ChatGPT برای نمودارسازی نیز به جایی نرسید.
او توضیح داد: "یکی از اولین مشکلاتی که پیدا کردیم این بود که برای دادههای یکسان نمودارهای متفاوتی دریافت میکردیم." مشکل دیگر قالببندی ناسازگار بود، به عنوان مثال، در برچسبگذاری محور یا مقیاسها.
تیم به دنبال حل این مشکل با تعریف یک الگو و سپس گفتن به LLM بود که چه دادههایی را در آن بریزد تا به صورت پویا نمودارهای جدید ایجاد کند. مکگیل به یاد میآورد: "این تا حدودی خوب بود، با این تفاوت که متوجه شدیم که سعی میکند کد را بازنویسی کند." "برخی از تفاوتهای ظریفی که یک انسان به تجسم داده میآورد، از بین میرفت."
همه آزمایشهای LLM Open Opportunities ناموفق نبودند. مکگیل میگوید: "ما در حال معرفی ترجمه پویا هستیم، که واقعاً موفقیتآمیز است." "ما در حال انجام پیشرفتهای بیشتری در دادهها هستیم."
اما به طور کلی، او گفت، برای به دست آوردن خروجیهای قابل اعتماد "وظایفی که به هوش مصنوعی میدهیم باید فوقالعاده ساده باشند."
شاید زمان برخی از این مشکلات را حل کند. مایکل آزوف، تحلیلگر ارشد در Cloud and Data Center Research Practice Omdia، میگوید شواهد نشان میدهد که LLMها به طور مداوم در حال بهبود هستند. آزوف میگوید این ممکن است ما را به این زودیها به AGI نرساند، اما "در فضای کاربردی سازمانی بسیار مخرب و مفید خواهد بود.
او افزود: مشکل توهمات از طریق آگاهی از زمینه و مهندسی سریع و هوشمندانه به بهترین وجه کاهش مییابد.
آزوف گفت که به دست آوردن دادههای سخت در مورد سیستمهای هوش مصنوعی عاملدار دشوار است. او میگوید: "اما برداشت من این است که بسیاری از هوش مصنوعی عاملدار هنوز در تحقیق و توسعه است."
از نظر مکگیل، در حالی که LLMها ممکن است در نهایت به وعده خود عمل کنند، "هیچ کس نمیداند زیرا هیچ کس نمیفهمد که در زیر کاپوت چه میکند." تا آنجا که به او مربوط میشود، BERT هنوز هم پادشاهی میکند: حداقل برای اهداف Open Opportunities، "هنوز بهتر از هر چیزی است که از آن زمان ایجاد شده است."
بیشتر بخوانید: چگونه CPS از کد کم برای بازسازی برنامههای کاربردی خود برای عصر ابری استفاده کرد