نیویورک، ۱۳ اکتبر (رویترز) - به گفته دو نفر آگاه از مذاکرات، شرکت‌های آنتروپیک و اوپن‌ای‌آی تلاش کرده‌اند کنترل قابل‌توجهی بر آنچه ارزیابان بیرونی می‌توانند منتشر کنند، داشته باشند؛ زیرا نگرانند یافته‌ها ممکن است اسرار تجاری را فاش کند.
داریو آمودی، مدیرعامل آنتروپیک ماه گذشته گفت که ارزیابان خارجی باید «حق انتشار یافته‌های کلیدی بدون کنترل ویرایشی» را داشته باشند. اوپن‌ای‌آی چند روز بعد موافقت کرد و گفت ارزیابان باید «استقلال ویرایشی» داشته باشند.
به گفته این افراد که به دلیل خصوصی بودن موضوع تمایلی به ذکر نام خود نداشتند، شرکت‌های هوش مصنوعی نگرانند که کارکنان ارزیاب که بخشی از فرآیند موسوم به «ارزیابی مستقر» (embedded evaluation) در داخل دیوارهای شرکت‌ها کار می‌کنند، اطلاعات اختصاصی را به رقبا منتقل کنند.
یکی از این افراد افزود که تدابیر مورد بحث برای جلوگیری از نشت مالکیت فکری شامل نظارت کارکنان آزمایشگاه بر تیم‌های مستقر هنگام کار و جلوگیری از کار همزمان ارزیابان مستقر در یک آزمایشگاه در آزمایشگاهی دیگر است.
اما آنچه آزمایشگاه‌ها مالکیت فکری حیاتی می‌دانند، ممکن است با اطلاعات مربوط به قضاوت درباره ریسک مدل همپوشانی داشته باشد که می‌تواند منجر به اختلافات و حذفیات شود، به گفته فرد دیگری که از تعاملات گذشته با این آزمایشگاه‌ها آگاه است.
کارشناسان گفته‌اند که استقلال ارزیابان نگرانی جدی است، زیرا آنتروپیک و اوپن‌ای‌آی تعیین می‌کنند چه کسانی مسئول انجام بازبینی‌ها هستند. رویترز جزئیات این مذاکرات بین ارزیابان و آزمایشگاه‌های هوش مصنوعی را برای اولین بار گزارش می‌کند.
این مذاکرات تنش میان نیاز به آگاهی جهان از هوش مصنوعی قدرتمند و بالقوه خطرناک و مطالبات حفاظت از اسرار تجاری توسط شرکت‌های هوش مصنوعی را که در جستجوی ارزش‌گذاری تریلیون دلاری در عرضه‌های اولیه سهام احتمالی بزرگ هستند، برجسته می‌کند.
نتیجه این مذاکرات کمک خواهد کرد تا مشخص شود جهان چگونه فناوری‌ای را زیر نظر می‌گیرد که برخی از خالقان آن هشدار داده‌اند ممکن است از توانایی بشر برای مدیریت فراتر رفته باشد.
برخی کارشناسان گفته‌اند بدون استانداردها و قوانین توافق‌شده برای بازبینی‌های مستقل، شرکت‌هایی که قدرتمندترین مدل‌های هوش مصنوعی را می‌سازند می‌توانند نحوه بررسی سیستم‌های خود را دیکته کنند و ارزیابان را در رحم آزمایشگاه‌ها قرار دهند.
مذاکرات بر سر حقوق انتشار
ماهیت مذاکرات به سرعت تغییر کرد. دو نفر آگاه از موضوع گفتند که تا همین اواخر یعنی ۵ اکتبر، آنتروپیک و اوپن‌ای‌آی خواهان کنترل سختگیرانه ویرایشی بر آنچه ارزیابان می‌توانند منتشر کنند، بودند. تا ۸ اکتبر، به گفته یکی از افراد آگاه، مذاکرات بین آنتروپیک و برخی ارزیابان ظاهراً تکامل یافته بود.
در پاسخ به سوالات رویترز، آنتروپیک گفت که درخواست کنترل قابل‌توجه بر انتشارات ارزیابان مستقر، توصیف دقیقی از تمام مذاکرات و همکاری‌های آن با ارزیابان مستقل نیست.
شرکت سازنده مدل‌های هوش مصنوعی کلود (Claude) گفت که در مکالمات فعلی با ارزیابانی که قبلاً با آن‌ها کار کرده، روشن ساخته است که داوران خارجی بر روش‌ها، معیارهای ارزیابی، نتیجه‌گیری‌ها و آنچه منتشر می‌کنند، نظارت دارند.
آنتروپیک گفت برای شرکت‌های جدید ارزیابی، حق اظهار نظر و تأیید گزارش‌ها را زمانی که داوران در حال یادگیری نحوه عملکرد مدل‌های آن و ایجاد رابطه کاری هستند، محفوظ نگه می‌دارد.
اوپن‌ای‌آی نیز از سوی خود گفت که درخواست حق تأیید بر متن کامل گزارش‌های تهیه شده توسط ارزیابان را ندارد. این شرکت گفت رویه استاندارد آن حذف اطلاعات محرمانه است و ارزیابان می‌توانند اعلام کنند که آیا حذفیات عمده‌ای انجام شده است یا خیر.
سازنده چت‌جی‌پی‌تی (ChatGPT) ماه گذشته گفت که آزمایشگاه‌های هوش مصنوعی و ارزیابان باید قبل از تست بر دامنه و دسترسی توافق کنند، روش‌ها و تعارض منافع را آشکار سازند و اجازه دهند ارزیابان بر یافته‌های خود نظارت داشته باشند، در حالی که به آزمایشگاه‌ها امکان محافظت از اطلاعات حساس داده می‌شود.
به گفته قراردادی که رویترز آن را دیده است، زبانی که آزمایشگاه‌های هوش مصنوعی در برخی قراردادها با شرکت‌هایی که مدل‌هایشان را ارزیابی می‌کنند استفاده می‌کنند، می‌تواند آن شرکت‌ها را از انتشار اطلاعات محرمانه در گزارش‌های خود بدون رضایت شرکت‌ها منع کند.
تعهدات استقلال
آنتروپیک ماه گذشته گفت که فاکالتی (Faculty)، کسب‌وکار تخصصی هوش مصنوعی اکسنچر، اولین ارزیاب مستقر آن خواهد بود، اما افزود که جزئیات مربوط به آنچه ارزیابان به آن دسترسی دارند و نحوه گزارش‌دهی یافته‌ها هنوز در حال نهایی شدن است.
مارک وارنر، مدیرعامل فاکالتی، به رویترز گفت: «ارزیابان تنها در صورتی مفید هستند که مردم بتوانند به آنچه گزارش می‌کنند اعتماد کنند، بنابراین استقلال و شفافیت حیاتی است.»
شرکت‌های فناوری معمولاً شرکت‌هایی که با آن‌ها کار می‌کنند را از اشتراک‌گذاری چنین اطلاعاتی با دیگران بدون رضایت خود منع می‌کنند.
اما کارشناسان گفتند که با توجه به فناوری هوش مصنوعی که به گفته توسعه‌دهندگان آن پیامدهای بزرگی برای انسان‌ها خواهد داشت، خطرات بیشتر است.
رومان چودری، فرستاده سابق علم آمریکا برای هوش مصنوعی در دولت بایدن و مدیرعامل هیومن اینتلیجنس پی‌بی‌سی (Humane Intelligence PBC)، به رویترز گفت که آزمایشگاه‌ها می‌توانند در غیاب استانداردها، دسترسی‌ای که ارزیابان به آن وابسته‌اند را کنترل کنند و این به آن‌ها اهرمی برای تعیین آنچه گزارش می‌شود می‌دهد.
چودری گفت: «ارزیابان این دسترسی بسیار ممتاز را دارند، اما چه صریحاً و چه ضمنی، می‌دانند که این دسترسی هزینه‌ای دارد.»
ارزیابی مستقل یکی از چهار اقدام ایمنی در توافق یک صفحه‌ای کاخ سفید درباره ابرهوشمندی بود که توسط دونالد ترامپ، رئیس‌جمهور، و مدیران ارشد هوش مصنوعی اواخر ماه گذشته امضا شد. اما این توافق که ترامپ آن را «الزام‌آور اخلاقی» نامیده است، مشخص نکرد که این بازبینی‌ها چگونه باید انجام شوند.
ارزیابان همچنین ماه گذشته در نامه‌ای عمومی که بیش از ۲۰۰ پژوهشگر از جمله جفری هینتون، یکی از پدرخوانده‌های هوش مصنوعی، آن را امضا کرده‌اند، شرایط حداقلی خود را صادر کردند. این نامه خواستار کنترل مستقل بر یافته‌ها، دسترسی گسترده به آزمایشگاه‌های هوش مصنوعی و حمایت در برابر انتقام‌جویی است.
حذفیات و دسترسی محدود
اوپن‌ای‌آی اطلاعات غیرعمومی را از گزارشی که توسط مدل ارزیابی و تحقیقات تهدید (Model Evaluation and Threat Research) یا مترا (METR) و ردوود ریسرچ درباره حادثه هاگینگ فیس تهیه شده بود، حذف کرد؛ حادثه‌ای که در آن عوامل خودمختار مجهز به مدل‌های پیشرفته اوپن‌ای‌آی سرکش شدند و هکی را آغاز کردند که زیرساخت هاگینگ فیس را به خطر انداخت.
تحقیق سازمان‌های غیرانتفاعی ایمنی هوش مصنوعی که ابتدا به عنوان دو روز در اوپن‌ای‌آی برنامه‌ریزی شده بود، طی سه بازدید به شش روز کشیده شد و مجموعه کامل‌تری از صورت‌جلسات تنها در آخرین بازدید پس از اینکه محققان خلأهای موجود در داده‌ها را علامت‌گذاری کردند، رسید.
مترا و ردوود گفتند که ساختار، تأکید، وضوح و لحن گزارش را بر اساس بازخورد اوپن‌ای‌آی ویرایش کردند، اما هیچ چیز مهم دیگری برای نتیجه‌گیری‌هایشان حذف نشد. آن‌ها بر یافته‌های خود پافشاری کردند و از دسترسی نهایی ارائه شده توسط اوپن‌ای‌آی ستایش کردند، اما گفتند خطر دلسرد کردن توسعه‌دهندگان از آوردن ارزیابان خارجی پس از حوادث جدی، بر تصمیمات آن‌ها در تنظیم، ویرایش و حذف گزارش تأثیر گذاشت.
گزارش توسط آدیتیا سونی در نیویورک؛ ویرایش توسط کنث لی و ماتیو لوئیس