Azure AI Foundry <em>(منبع: مایکروسافت)</em>
Azure AI Foundry <em>(منبع: مایکروسافت)</em>

دریافت 'عامل استفاده‌کننده از کامپیوتر' برای تعامل خودکار GUI در Azure AI Foundry

مایکروسافت در حال گسترش عملکرد هوش مصنوعی عامل‌محور به پلتفرم Azure AI Foundry خود است، که یکی از داغ‌ترین حوزه‌های توسعه در حال حاضر است.

این شرکت این هفته اعلام کرد دو ویژگی جدید، یک Responses API و یک عامل استفاده‌کننده از کامپیوتر (Computer-Using Agent - CUA)، برای پلتفرم یکپارچه خود برای ساخت برنامه‌ها و عامل‌های هوش مصنوعی تحول‌آفرین، که قبلاً AI Studio نامیده می‌شد، ارائه کرده است.

Responses API توسعه‌ی برنامه‌های هوش مصنوعی را با ارائه یک رابط کاربری یکپارچه برای بازیابی، استدلال و اجرا ساده می‌کند، در حالی که CUA به‌طور خودکار با سیستم‌های کامپیوتری تعامل می‌کند تا وظایف را انجام دهد، و شکاف بین هوش مصنوعی و کنترل برنامه‌های کاربردی در دنیای واقعی را پر می‌کند.

CUA به عنوان یک مدل هوش مصنوعی تخصصی در Azure OpenAI Service توصیف شده است که هوش مصنوعی را قادر می‌سازد تا با GUIها تعامل داشته باشد، در برنامه‌ها حرکت کند و وظایف چند مرحله‌ای را از طریق دستورالعمل‌های زبان طبیعی خودکار کند، که یک گام رو به جلو از ابزارهای اتوماسیونی است که به اسکریپت‌های از پیش تعریف‌شده یا ادغام‌های مبتنی بر API متکی هستند.

این فناوری مبتنی بر عامل استفاده‌کننده از کامپیوتر OpenAI است که در ماه ژانویه اعلام شد، زمانی که شریک مایکروسافت "انعطاف‌پذیری برای انجام وظایف دیجیتال بدون استفاده از APIهای خاص سیستم‌عامل یا وب" را تبلیغ کرد.

مایکروسافت روز سه‌شنبه این توانایی‌های منحصربه‌فرد این محصول را شرح داد:

  • پیمایش خودکار رابط کاربری (UI): می‌تواند برنامه‌ها را باز کند، دکمه‌ها را کلیک کند، فرم‌ها را پر کند و در گردش‌های کاری چند صفحه‌ای حرکت کند.
  • انطباق پویا: تغییرات UI را تفسیر می‌کند و اقدامات را بر اساس آن تنظیم می‌کند، و اتکا به اسکریپت‌های اتوماسیون سخت را کاهش می‌دهد.
  • اجرای وظایف بین برنامه‌ای: در برنامه‌های مبتنی بر وب و دسکتاپ عمل می‌کند، و سیستم‌های جداگانه را بدون وابستگی به API ادغام می‌کند.
  • رابط کاربری فرمان زبان طبیعی: کاربران می‌توانند یک وظیفه را به زبان ساده توصیف کنند، و CUA تعاملات صحیح UI را برای اجرا تعیین می‌کند.

Responses API با ارائه یک فرمت پاسخ ساختاریافته که به هوش مصنوعی اجازه می‌دهد تا با چندین ابزار تعامل داشته باشد در حالی که زمینه را در طول تعاملات حفظ می‌کند، در این طرح قرار می‌گیرد و از موارد زیر پشتیبانی می‌کند:

  • فراخوانی ابزار در یک تماس API ساده: اکنون، توسعه‌دهندگان می‌توانند ابزارهای هوش مصنوعی را به‌طور یکپارچه ادغام کنند و اجرا را کارآمدتر کنند.
  • استفاده از کامپیوتر: از ابزار استفاده از کامپیوتر در Responses API برای هدایت اتوماسیون و اجرای تعاملات نرم‌افزاری استفاده کنید.
  • جستجوی فایل: به‌طور پویا با داده‌های سازمانی تعامل داشته باشید و اطلاعات مرتبط را استخراج کنید.
  • فراخوانی تابع: توابع سفارشی را برای افزایش قابلیت‌های هوش مصنوعی توسعه داده و فراخوانی کنید.
  • زنجیره‌ای کردن پاسخ‌ها به مکالمات: با پیوند دادن پاسخ‌ها به یکدیگر با استفاده از شناسه‌های پاسخ منحصربه‌فرد، تعاملات را پیگیری کنید و از تداوم در گفتگوهای مبتنی بر هوش مصنوعی اطمینان حاصل کنید.
  • حریم خصوصی داده‌های سازمانی: با استانداردهای امنیتی و انطباق مورد اعتماد Azure ساخته شده است، و از محافظت از داده‌ها برای سازمان‌ها اطمینان می‌دهد.

یک ویدیو همراه از Marco Casalaina، معاون تولیدات CoreAI و یک آینده‌پژوه هوش مصنوعی در مایکروسافت، ابزارهای جدید را در عمل نشان می‌دهد. او از دو ویژگی جدید برای نشان دادن خودکارسازی یک وظیفه معمول در یک ماشین مجازی لینوکس استفاده کرد، جایی که هوش مصنوعی به طور خودکار در یک وب‌سایت حرکت می‌کند تا یک PDF حمل و نقل را دانلود کند، اطلاعات کلیدی را استخراج و نگهداری می‌کند، آن را در سایت دیگری وارد می‌کند و قبل از ارسال نهایی، درخواست تأیید انسانی می‌کند.

Casalaina گفت: "همانطور که می‌بینید، این ابزارها امکانات شگفت‌انگیزی را برای خودکارسازی گردش‌های کاری و افزایش بهره‌وری در صنایع مختلف ارائه می‌دهند. Azure AI Foundry به پیشبرد مرزهای آنچه با اتوماسیون مبتنی بر هوش مصنوعی ممکن است، ادامه می‌دهد و ما هیجان‌زده هستیم که ببینیم شما چگونه با این ابزارهای قدرتمند نوآوری خواهید کرد."

مایکروسافت اعلام کرد که توسعه‌دهندگان می‌توانند بلافاصله با CUA شروع به ساخت کنند، در حالی که شرکت‌ها به زودی به Responses API و CUA در Azure OpenAI Service دسترسی پیدا می‌کنند، و برنامه‌هایی برای ادغام اتوماسیون CUA در Windows 365 و Azure Virtual Desktop برای استقرار یکپارچه در Cloud PCها و VMها با امنیت و انطباق درجه سازمانی وجود دارد.

مایکروسافت با اشاره به مورد آخر، به چالش‌های احتمالی که با افزایش استقلال هوش مصنوعی به وجود می‌آید، که در فرهنگ عامه اغلب منجر به سناریوهای آخرالزمانی و کشتار انسان‌ها توسط هوش مصنوعی می‌شود، اشاره کرد.

این شرکت گفت: "همانطور که سیستم‌های هوش مصنوعی مستقل‌تر می‌شوند، اطمینان از امنیت، قابلیت اطمینان و همسویی با قصد انسانی بسیار مهم است. مدل CUA یکی از اولین مدل‌های هوش مصنوعی عامل‌محور است که قادر است به طور مستقیم با محیط‌های نرم‌افزاری تعامل داشته باشد و چالش‌های جدیدی را در پیشگیری از سوء استفاده، اقدامات ناخواسته و خطرات خصمانه به همراه دارد. برای رسیدگی به این موارد، مایکروسافت و OpenAI یک رویکرد ایمنی چند لایه را در بر گیرنده مدل، سیستم و سطوح استقرار اجرا کرده‌اند."

عامل استفاده‌کننده از کامپیوتر (CUA)
عامل استفاده‌کننده از کامپیوتر (Computer-Using Agent - CUA) <em>(منبع: OpenAI)</em>