محققان از پذیرش سریع‌تر ابزارهای نوشتن با هوش مصنوعی در مناطق کم‌سوادتر شگفت‌زده شدند

از زمان راه‌اندازی ChatGPT در اواخر سال 2022، کارشناسان در مورد میزان تأثیر مدل‌های زبانی هوش مصنوعی بر جهان بحث کرده‌اند. چند سال بعد، تصویر واضح‌تر می‌شود. بر اساس تحقیقات جدید دانشگاه استنفورد که بیش از 300 میلیون نمونه متنی را در بخش‌های مختلف بررسی می‌کند، مدل‌های زبانی هوش مصنوعی اکنون در نوشتن تا یک چهارم ارتباطات حرفه‌ای در بخش‌های مختلف کمک می‌کنند. این امر تأثیر زیادی دارد، به‌ویژه در مناطق کم‌سوادتر ایالات متحده.

محققان نوشتند: "مطالعه ما ظهور یک واقعیت جدید را نشان می‌دهد که در آن شرکت‌ها، مصرف‌کنندگان و حتی سازمان‌های بین‌المللی به طور اساسی به هوش مصنوعی مولد برای ارتباطات متکی هستند."

محققان پذیرش مدل زبانی بزرگ (LLM) را در صنایع مختلف از ژانویه 2022 تا سپتامبر 2024 با استفاده از یک مجموعه داده که شامل 687241 شکایت مصرف‌کننده ارسالی به اداره حمایت مالی مصرف‌کننده ایالات متحده (CFPB)، 537413 اطلاعیه مطبوعاتی شرکت، 304.3 میلیون آگهی استخدام و 15919 اطلاعیه مطبوعاتی سازمان ملل بود، ردیابی کردند.

با استفاده از یک سیستم تشخیص آماری که الگوهای استفاده از کلمات را ردیابی می‌کرد، محققان دریافتند که تقریباً 18 درصد از شکایات مالی مصرف‌کنندگان (از جمله 30 درصد از کل شکایات از آرکانزاس)، 24 درصد از اطلاعیه‌های مطبوعاتی شرکت، تا 15 درصد از آگهی‌های استخدام و 14 درصد از اطلاعیه‌های مطبوعاتی سازمان ملل نشانه‌هایی از کمک هوش مصنوعی را در طول آن دوره زمانی نشان می‌دهند.

این مطالعه همچنین نشان داد که در حالی که مناطق شهری به طور کلی پذیرش بالاتری را نشان می‌دهند (18.2 درصد در مقابل 10.9 درصد در مناطق روستایی)، مناطقی با سطح تحصیلات پایین‌تر از ابزارهای نوشتن با هوش مصنوعی بیشتر استفاده می‌کنند (19.9 درصد در مقایسه با 17.4 درصد در مناطق با تحصیلات عالی). محققان اشاره می‌کنند که این با الگوهای پذیرش فناوری معمولی که در آن جمعیت‌های تحصیل‌کرده‌تر ابزارهای جدید را سریع‌تر می‌پذیرند، مغایرت دارد.

"در حوزه شکایات مصرف‌کنندگان، الگوهای جغرافیایی و جمعیتی در پذیرش LLM یک انحراف جالب از روندهای انتشار فناوری تاریخی ارائه می‌دهد، جایی که پذیرش فناوری به طور کلی در مناطق شهری، در میان گروه‌های پردرآمدتر و جمعیت‌هایی با سطوح تحصیلات بالاتر متمرکز شده است."

محققانی از استنفورد، دانشگاه واشنگتن و دانشگاه اموری این مطالعه را با عنوان "پذیرش گسترده نوشتن به کمک مدل زبانی بزرگ در سراسر جامعه" انجام دادند که برای اولین بار در اواسط فوریه در سرور پیش‌چاپ arXiv فهرست شد. Weixin Liang و Yaohui Zhang از استنفورد به عنوان نویسندگان اصلی خدمت کردند و Mihai Codreanu، Jiayu Wang، Hancheng Cao و James Zou با آنها همکاری کردند.

تشخیص استفاده از هوش مصنوعی به صورت تجمیعی

ما قبلاً پوشش داده‌ایم که خدمات تشخیص نوشتن با هوش مصنوعی قابل اعتماد نیستند و این مطالعه این یافته را نقض نمی‌کند. بر اساس سند به سند، به ردیاب‌های هوش مصنوعی نمی‌توان اعتماد کرد. اما هنگام تجزیه و تحلیل میلیون‌ها سند به صورت تجمیعی، الگوهای گویا ظاهر می‌شوند که نشان‌دهنده تأثیر مدل‌های زبانی هوش مصنوعی بر متن است.

محققان رویکردی را بر اساس یک چارچوب آماری در کار منتشر شده قبلی ایجاد کردند که تغییرات در فراوانی کلمات و الگوهای زبانی را قبل و بعد از انتشار ChatGPT تجزیه و تحلیل می‌کرد. با مقایسه مجموعه‌های بزرگ از متون قبل و بعد از ChatGPT، آنها نسبت محتوای با کمک هوش مصنوعی را در سطح جمعیت تخمین زدند. فرض بر این است که LLMها تمایل دارند انتخاب‌های خاصی از کلمات، ساختارهای جمله و الگوهای زبانی را ترجیح دهند که به طور ظریفی با نوشتن معمولی انسان متفاوت است.

برای تأیید رویکرد خود، محققان مجموعه‌های آزمایشی را با درصدهای مشخصی از محتوای هوش مصنوعی (از صفر درصد تا 25 درصد) ایجاد کردند و دریافتند که روش آنها این درصدها را با نرخ خطای زیر 3.3 درصد پیش‌بینی می‌کند. این تأیید آماری به آنها در تخمین‌های سطح جمعیت خود اعتماد به نفس داد.

در حالی که محققان به طور خاص اشاره می‌کنند که تخمین‌های آنها احتمالاً نشان‌دهنده حداقل سطح استفاده از هوش مصنوعی است، مهم است که درک کنیم که مشارکت واقعی هوش مصنوعی ممکن است به طور قابل توجهی بیشتر باشد. با توجه به دشواری در تشخیص محتوای تولید شده توسط هوش مصنوعی که به شدت ویرایش شده یا به طور فزاینده پیچیده است، محققان می‌گویند که نرخ پذیرش گزارش شده آنها می‌تواند به طور اساسی سطوح واقعی استفاده از هوش مصنوعی مولد را دست کم بگیرد.

در حالی که نرخ‌های پذیرش کلی آشکار هستند، شاید بینش‌بخش‌تر الگوهای استفاده از ابزارهای نوشتن با هوش مصنوعی و چگونگی به چالش کشیدن مفروضات مرسوم در مورد پذیرش فناوری توسط این الگوها باشد.

محققان با بررسی شکایات CFPB (یک منبع عمومی ایالات متحده که شکایات مربوط به محصولات و خدمات مالی مصرف‌کننده را جمع‌آوری می‌کند)، تحلیل جغرافیایی محققان نشان داد که تغییرات قابل توجهی در سراسر ایالت‌های ایالات متحده وجود دارد.

آرکانزاس با 29.2 درصد (بر اساس 7376 شکایت) بالاترین نرخ پذیرش را نشان داد و پس از آن میسوری با 26.9 درصد (16807 شکایت) و داکوتای شمالی با 24.8 درصد (1025 شکایت) قرار دارند. در مقابل، ایالت‌هایی مانند ویرجینیای غربی (2.6 درصد)، آیداهو (3.8 درصد) و ورمونت (4.8 درصد) حداقل پذیرش نوشتن با هوش مصنوعی را نشان دادند. مراکز جمعیتی بزرگ پذیرش متوسطی را نشان دادند، به طوری که کالیفرنیا با 17.4 درصد (157056 شکایت) و نیویورک با 16.6 درصد (104862 شکایت) قرار دارند.

تقسیم شهری-روستایی در ابتدا الگوهای پذیرش فناوری مورد انتظار را دنبال کرد، اما با یک پیچ و تاب جالب. محققان با استفاده از کدهای منطقه رفت و آمد شهری روستایی (RUCA) دریافتند که مناطق شهری و روستایی در اوایل سال 2023 ابزارهای نوشتن با هوش مصنوعی را با نرخ‌های مشابهی پذیرفتند. با این حال، مسیرهای پذیرش تا اواسط سال 2023 واگرا شدند و مناطق شهری به پذیرش 18.2 درصد در مقایسه با 10.9 درصد در مناطق روستایی رسیدند.

برخلاف الگوهای انتشار فناوری معمولی، مناطقی با سطح تحصیلات پایین‌تر استفاده بالاتری از ابزارهای نوشتن با هوش مصنوعی را نشان دادند. با مقایسه مناطق بالاتر و پایین‌تر از میانگین سطح ایالتی دستیابی به مدرک لیسانس، مناطقی با فارغ‌التحصیلان دانشگاهی کمتر در نرخ‌های پذیرش 19.9 درصد در مقایسه با 17.4 درصد در مناطق تحصیل‌کرده‌تر تثبیت شدند. این الگو حتی در مناطق شهری نیز وجود داشت، جایی که جوامع کم‌سوادتر پذیرش 21.4 درصد را در مقایسه با 17.8 درصد در مناطق شهری تحصیل‌کرده‌تر نشان دادند.

محققان پیشنهاد می‌کنند که ابزارهای نوشتن با هوش مصنوعی ممکن است به عنوان یک مزیت برای افرادی که ممکن است تجربه تحصیلی زیادی نداشته باشند، عمل کنند. محققان می‌نویسند: "در حالی که به نظر می‌رسد شکاف دیجیتالی شهری-روستایی همچنان پابرجا است، یافته ما مبنی بر اینکه مناطقی با سطح تحصیلات پایین‌تر نرخ‌های پذیرش LLM بالاتری را در شکایات مصرف‌کنندگان نشان می‌دهند، نشان می‌دهد که این ابزارها ممکن است به عنوان ابزارهای برابر کننده در حمایت از مصرف‌کننده عمل کنند."

به گفته محققان، تمام بخش‌هایی که آنها تجزیه و تحلیل کردند (شکایات مصرف‌کنندگان، ارتباطات شرکتی، آگهی‌های استخدام) الگوهای پذیرش مشابهی را نشان دادند: افزایش‌های شدید از سه تا چهار ماه پس از راه‌اندازی ChatGPT در نوامبر 2022، و به دنبال آن تثبیت در اواخر سال 2023.

سن سازمان به عنوان قوی‌ترین پیش‌بینی‌کننده استفاده از نوشتن با هوش مصنوعی در تحلیل آگهی‌های استخدام ظاهر شد. شرکت‌های تاسیس شده پس از سال 2015 نرخ‌های پذیرش تا سه برابر بالاتر از شرکت‌های تاسیس شده قبل از سال 1980 را نشان دادند و در برخی از نقش‌ها به 10-15 درصد متن اصلاح شده با هوش مصنوعی در مقایسه با زیر 5 درصد برای سازمان‌های قدیمی‌تر رسیدند. شرکت‌های کوچک با کارمندان کمتر نیز هوش مصنوعی را راحت‌تر از سازمان‌های بزرگتر ادغام کردند.

هنگام بررسی اطلاعیه‌های مطبوعاتی شرکت‌ها بر اساس بخش، شرکت‌های علمی و فناوری هوش مصنوعی را به طور گسترده‌تری ادغام کردند و نرخ پذیرش آنها تا اواخر سال 2023 به 16.8 درصد رسید. اخبار تجاری و مالی (14-15.6 درصد) و موضوعات مربوط به افراد و فرهنگ (13.6-14.3 درصد) پذیرش کمی کمتر اما همچنان قابل توجهی را نشان دادند.

در عرصه بین‌المللی، تیم‌های کشوری سازمان ملل در آمریکای لاتین و کارائیب بالاترین پذیرش را در میان سازمان‌های بین‌المللی با تقریباً 20 درصد نشان دادند، در حالی که کشورهای آفریقایی، کشورهای آسیا-اقیانوسیه و کشورهای اروپای شرقی افزایش‌های متوسط‌تری را به 11-14 درصد تا سال 2024 نشان دادند.

پیامدها و محدودیت‌ها

در این مطالعه، محققان محدودیت‌هایی را در تحلیل خود به دلیل تمرکز بر محتوای انگلیسی زبان اذعان می‌کنند. همچنین، همانطور که قبلاً ذکر کردیم، آنها دریافتند که نمی‌توانند به طور قابل اعتمادی متن تولید شده توسط هوش مصنوعی که توسط انسان ویرایش شده یا متن تولید شده توسط مدل‌های جدیدتر که دستور داده شده است تا از سبک‌های نوشتن انسان تقلید کنند را تشخیص دهند. در نتیجه، محققان پیشنهاد می‌کنند که یافته‌های آنها نشان‌دهنده حد پایین‌تری از پذیرش واقعی ابزارهای نوشتن با هوش مصنوعی است.

محققان خاطرنشان کردند که ثابت ماندن پذیرش نوشتن با هوش مصنوعی در سال 2024 ممکن است نشان‌دهنده اشباع بازار یا LLMهای پیچیده‌تر باشد که متنی تولید می‌کنند که از روش‌های تشخیص فرار می‌کند. آنها نتیجه می‌گیرند که ما اکنون در دنیایی زندگی می‌کنیم که تشخیص بین نوشتن انسان و هوش مصنوعی به طور فزاینده‌ای دشوار می‌شود و این امر پیامدهایی برای ارتباطات در سراسر جامعه دارد.

محققان می‌نویسند: "اتکای روزافزون به محتوای تولید شده توسط هوش مصنوعی ممکن است چالش‌هایی را در ارتباطات ایجاد کند. در دسته‌های حساس، اتکای بیش از حد به هوش مصنوعی می‌تواند منجر به پیام‌هایی شود که نتوانند به نگرانی‌ها رسیدگی کنند یا به طور کلی اطلاعات معتبر کمتری را به صورت خارجی منتشر کنند. اتکای بیش از حد به هوش مصنوعی همچنین می‌تواند بی‌اعتمادی عمومی را نسبت به اصالت پیام‌های ارسالی توسط شرکت‌ها ایجاد کند."

Benj Edwards گزارشگر ارشد هوش مصنوعی Ars Technica و بنیانگذار بخش اختصاصی هوش مصنوعی این سایت در سال 2022 است. او همچنین یک مورخ فناوری با تقریباً دو دهه تجربه است. او در اوقات فراغت خود به نوشتن و ضبط موسیقی، جمع‌آوری کامپیوترهای قدیمی و لذت بردن از طبیعت می‌پردازد. او در رالی، NC زندگی می‌کند.