داتاداگ از مدل‌های زبانی بزرگ برای کمک به نوشتن گزارش‌های پس از سانحه استفاده می‌کند

داتاداگ (Datadog) فراداده‌های ساختاریافته را از برنامه مدیریت حوادث خود با پیام‌های Slack ترکیب کرده است تا یک قابلیت مبتنی بر مدل زبانی بزرگ (LLM) ایجاد کند که به مهندسان در نوشتن گزارش‌های پس از سانحه کمک می‌کند. در حین کار بر روی این راه حل، این شرکت با چالش‌های استفاده از مدل‌های زبانی بزرگ در خارج از سیستم‌های گفتگوی تعاملی و اطمینان از تولید محتوای با کیفیت بالا روبرو شد. برای مطالعه بیشتر میتوانید به این مقاله مراجعه کنید.

داتاداگ تصمیم گرفت فرآیند ایجاد گزارش‌های پس از سانحه را با استفاده از مدل‌های زبانی بزرگ برای جمع‌آوری بخش‌های مختلف گزارش پس از سانحه بهبود بخشد، تا مهندسان بتوانند متعاقباً آن را بررسی و سفارشی‌سازی کنند تا نسخه نهایی ایجاد شود. تیمی که روی این قابلیت کار می‌کرد، بیش از 100 ساعت را صرف تنظیم دقیق ساختار و دستورالعمل‌های مدل زبانی بزرگ کرد تا به نتایج رضایت‌بخش با ورودی‌های متنوع دست یابد.

این تیم مدل‌های مختلفی مانند GPT-3.5 و GPT-4 را برای ارزیابی هزینه، سرعت و کیفیت نتایج بررسی کرد و دریافت که این موارد بسته به نسخه مدل می‌توانند به طور قابل توجهی متفاوت باشند. به عنوان مثال، مهندسان مشاهده کردند که GPT-4 نتایج دقیق‌تری تولید می‌کند، اما بسیار کندتر و گران‌تر از GPT-3.5 است. در نهایت، بر اساس آزمایش‌ها، مهندسان تصمیم گرفتند از نسخه‌های مختلف مدل برای بخش‌های مختلف استفاده کنند، بسته به پیچیدگی محتوا، تا تعادلی بین هزینه، سرعت و دقت برقرار کنند. علاوه بر این، ساخت گزارش به صورت موازی برای بخش‌های مختلف اجرا شد و در نتیجه زمان کل از 12 دقیقه به زیر 1 دقیقه کاهش یافت.

یکی دیگر از جنبه‌های جالب و مهم ترکیب هوش مصنوعی و ورودی‌های انسانی در زمینه نوشتن گزارش‌های پس از سانحه، اعتماد و حریم خصوصی بود. این تیم بر علامت‌گذاری صریح محتوای تولید شده توسط هوش مصنوعی به عنوان چنین محتوایی متمرکز شد تا از پذیرش کورکورانه آن به عنوان محتوای نهایی توسط خوانندگان انسانی، از جمله بازبینان، جلوگیری شود. علاوه بر این، مهندسان اطمینان حاصل کرده‌اند که هرگونه اطلاعات حساس و اسرار از داده‌های وارد شده به مدل‌های زبانی بزرگ حذف شده و با placeholderها جایگزین شده‌اند. مهندسان داتاداگ توضیح می‌دهند که چگونه به نگرانی‌های مربوط به امنیت داده‌ها پرداخته‌اند:

با توجه به حساسیت حوادث فنی، حفاظت از اطلاعات محرمانه از اهمیت بالایی برخوردار بود. به عنوان بخشی از API دریافت، ما مکانیزم‌های اسکن و فیلتر کردن اسرار را پیاده‌سازی کردیم که قبل از تغذیه داده‌ها به مدل زبانی بزرگ، اسرار مشکوک را پاک و با placeholderها جایگزین می‌کرد. پس از بازیابی نتایج تولید شده توسط هوش مصنوعی، placeholderها با محتوای واقعی پر می‌شدند و از حریم خصوصی و امنیت در طول فرآیند اطمینان حاصل می‌شد.

به عنوان بخشی از راه حل بهبود یافته با هوش مصنوعی، نویسندگان گزارش پس از سانحه توانایی سفارشی‌سازی الگوهای مورد استفاده برای بخش‌های مختلف گزارش را به دست آوردند. الگوهای بخش نیز شامل دستورالعمل‌های مدل زبانی بزرگ در متن واضح بود تا شفافیت و اعتماد به سیستم را بیشتر تقویت کند و به کاربران اجازه دهد دستورالعمل‌های مدل زبانی بزرگ را برای مطابقت بهتر با نیازهای خود تنظیم کنند.

تیم داتاداگ پس از کار بر روی قابلیت مبتنی بر مدل زبانی بزرگ، به این نتیجه رسید که اگرچه معتقدند مدل‌های زبانی بزرگ می‌توانند از مهندسان عملیات در ایجاد گزارش‌های پس از سانحه پشتیبانی کنند، اما نمی‌توانند به طور کامل جایگزین انسان شوند، حداقل در حال حاضر. با این حال، محصولات بهبود یافته با GenAI می‌توانند به طور قابل توجهی بهره‌وری را بهبود بخشند و به مهندسان انسانی هنگام کار بر روی گزارش‌های حادثه یک شروع خوب بدهند. این تیم در حین کار بر روی این قابلیت، مطالب زیادی آموخته است و قصد دارد منابع داده‌ای موجود برای مدل‌های زبانی بزرگ را هنگام تولید محتوای پس از سانحه، از جمله ویکی‌های داخلی، RFCها و اطلاعات سیستم، گسترش دهد. علاوه بر این، توسعه دهندگان می‌خواهند استفاده از مدل‌های زبانی بزرگ را برای تولید نسخه‌های جایگزین پس از سانحه، از جمله پس از سانحه‌های سفارشی و عمومی، آزمایش کنند.