Character.AI، استارتاپ بحثبرانگیز چتبات که درگیر دو شکایت جداگانه در مورد رفاه کاربران خردسال خود است، بهتازگی ویژگی جدیدی به نام «بینشهای والدین» (Parental Insights) را معرفی کرده است که این شرکت ادعا میکند به والدین دید عمیقتری نسبت به نحوه استفاده فرزندانشان از پلتفرم چتبات میدهد.
Character.AI که مورد علاقه جوانان است، در پستی وبلاگی در روز سهشنبه، این ویژگی را به عنوان «گام اولیه» در جهت توسعه ابزارهای ایمنی و کنترل والدین قوی توصیف کرد. امیدواریم همینطور باشد: به نظر میرسد دور زدن این ابزار برای نوجوانان به طرز مضحکی آسان است و مشخص نیست واقعاً چه میزان «بینش» به والدین ارائه میدهد.
این ویژگی بسیار ساده است. کاربر خردسال Character.AI میتواند با مراجعه به تب «تنظیمات» (preferences) حساب کاربری خود، بینشهای والدین را فعال کند. در آنجا، از آنها خواسته میشود یک یا چند ایمیل متعلق به والدین و سرپرستان را وارد کنند، که سپس یک ایمیل هفتگی دریافت خواهند کرد که آنها را در مورد «میانگین زمان روزانه صرف شده فرزندشان در پلتفرم در وب و موبایل»؛ لیستی از «شخصیتهای برتری که نوجوانشان در طول هفته بیشترین تعامل را با آنها داشته است»؛ و میزان «زمان صرف شده با هر شخصیت» مطلع میکند، که Character.AI میگوید «به والدین در مورد الگوهای تعامل بینش میدهد.»
در نگاه اول، موقعیتهای محدودی وجود دارد که این بهروزرسانیهای ایمیلی میتوانند مفید باشند. مدیران Character.AI پیشتر ادعا کرده بودند که کاربر متوسط آنها حدود دو ساعت در روز را در این پلتفرم میگذراند؛ این زمان زیادی است، به خصوص برای یک نوجوان، و دیدن اینکه فرزندشان واقعاً چقدر با رباتهای سایت درگیر است، میتواند برای والدین یا سرپرست یک کاربر فعال Character.AI روشنگر باشد. همچنین درست است که Character.AI میزبان تعداد زیادی ربات آشکارا شرورانه، خشونتآمیز، با محتوای جنسی و به طرق دیگر خطرناک بوده است که ممکن است زنگ خطرهای آشکارتری را برای والدین به صدا درآورد، بنابراین لیستی از «شخصیتهای برتر» میتواند در این زمینه مفید باشد.
با این حال، از همان ابتدا، پرچمهای قرمز مربوط به قابلیت اجرا وجود دارد - که با این واقعیت شروع میشود که کاربران خودشان کلید فعالسازی بینشهای والدین را کنترل میکنند.
طبق گفته Character.AI، اگر نوجوانی کنترلها را خاموش کند، والدین و سرپرستان از طریق ایمیل اعلانهایی دریافت خواهند کرد (ما این را آزمایش کردیم و کار کرد).
اما ساختن حسابهای کاربری جدید Character.AI به طرز وحشتناکی آسان است - تنها چیزی که واقعاً نیاز دارید یک آدرس ایمیل فعال است. و هنگام آزمایش بینشهای والدین در وب و موبایل، متوجه شدیم که وقتی «نوجوان» ما - یک حساب کاربری خردسال جعلی که ایجاد کردیم - از پلتفرم خارج شد و به یک حساب کاربری جدید و بدون بینشهای والدین وارد شد، بلافاصله به ما اطلاع داده نشد. (در همین راستا، فرآیند موجود تعیین سن Character.AI محدود به این است که از کاربران جدید بخواهد تاریخ تولد دقیق خود را هنگام ثبت نام گزارش دهند. نیازی به گفتن نیست که بچهها در اینترنت همیشه میدانستهاند که میتوانند با وارد کردن تاریخ تولد بزرگتر، به سادگی دروغ بگویند.)
در سابردیت r/CharacterAI، کاربران نسبت به کارایی بینشهای والدین تردید داشتند.
یک کاربر نوشت: «واقعاً امیدوارم این فقط برای افرادی باشد که ایمیل والدینشان را دارند یا سن خود را به عنوان خردسال تنظیم کردهاند.»
دیگری افزود: «خوب است که والدین من نمیدانند Character.AI چیست.»
علاوه بر این، اگرچه بینشهای والدین برای نشان دادن میزان زمانی که کاربران خردسال در پلتفرم صرف میکنند و با کدام رباتها این زمان را میگذرانند طراحی شده است، Character.AI به صراحت اعلام کرده است که *محتوای* تعاملات نوجوانان را در بهروزرسانیهای بینش خود به اشتراک نخواهد گذاشت.
در اعلانی که هنگام فعالسازی بینشهای والدین توسط یک خردسال روی صفحه ظاهر میشود، آمده است: «ایمیل والدین خود را وارد کنید تا سفر هوش مصنوعی خود را به اشتراک بگذارید - آنها آمار هفتگی فعالیت شما را دریافت خواهند کرد.» سپس این سلب مسئولیت ارائه میشود: «محتوای چت شما خصوصی باقی خواهد ماند.»
این جزئیات با توجه به اینکه شخصیتهای ظاهری رباتهای Character.AI اغلب بینش چندانی در مورد ماهیت مکالماتی که کاربران با آنها دارند ارائه نمیدهند، مهم به نظر میرسد.
در سابردیت بسیار فعال r/CharacterAI، کاربران داستانهایی را به اشتراک گذاشتهاند در مورد روی آوردن به رباتهای مبتنی بر شخصیتهای کارتونی بیضرر یا حتی اشیاء بیجان برای مکالمات صمیمی عاطفی و روانی - فقط برای اینکه چتباتها ناگهان پیشنهادات جنسی بدهند، حتی زمانی که تحریک نشدهاند و کاربر صریحاً سعی در اجتناب از تعامل جنسی دارد. شخصیتهای سایت همچنین به استفاده ناگهانی از تاکتیکهای عجیب و غریب برای ایجاد حس نزدیکی با کاربران معروف هستند، مانند به اشتراک گذاشتن رازهای ادعایی یا افشای مشکلات سلامت روان ساختگی، که میتواند ماهیت رابطه کاربر را حتی با بیضررترین شخصیت تغییر دهد.
به عبارت دیگر، اگرچه *برخی* از رباتهای Character.AI به وضوح نگرانکننده هستند، آنها به طور کلی غیرقابل پیشبینی هستند و ظاهر و توضیحات سطحی یک ربات لزوماً واقعیت رابطه کاربر با آن را آشکار نمیکند - و در واقع، حتی میتواند به پنهان کردن عمق و وزن آن رابطه کمک کند. (این موضوع در هر دو شکایت مطرح است، که جزئیات مکالمات صریح متعدد خردسالان در مورد خودآزاری و خودکشی، علاوه بر روابط صمیمی عاشقانه و جنسی، با شخصیتهای به ظاهر بیضرر مبتنی بر انیمه، تلویزیون و افراد مشهور واقعی را شرح میدهند.)
البته، ظرافتهای زیادی در اینجا وجود دارد، و ما نمیگوییم که والدین باید رونوشت تعاملات فرزندان خود با Character.AI را دریافت کنند. در صورتی که یک خردسال *در حال* انجام مکالمات صمیمی با رباتها باشد - به اشتراک گذاشتن رازها یا ناامنیها، درگیر شدن جنسی، رفتار با یک ربات مانند دفتر خاطرات یا درمانگر - احتمالاً برای والدین یا بزرگسال دیگری شرمآور، یا حتی مخرب یا خطرناک خواهد بود که از بالای شانه آنها نگاه کنند. اما این سوالات دیگر و بزرگتری را در مورد اینکه آیا رباتهای غیرقابل پیشبینی Character.AI محمل قابل اعتمادی برای جوانان جهت درگیر شدن در صمیمیت و حمایت عاطفی شبیهسازی شده هستند، مطرح میکند. (چندین متخصص به ما گفتهاند که فکر نمیکنند اینطور باشد.)
از یک سو، خوب است که میبینیم Character.AI شروع به عمل به برخی از وعدههای خود برای ایجاد تغییرات ایمنیمحور کرده است. این شرکت از ارائه بیانیه به ما برای این گزارش خودداری کرد، اما مدیر ارشد محصول آن، ارین تیگ (Erin Teague)، به Axios گفت که ویژگی جدید «والدین را تشویق میکند تا گفتگوی بازی با فرزندان خود در مورد نحوه استفاده آنها از برنامه داشته باشند.»
با این حال، Character.AI - که همیشه برای کاربران ۱۳ سال به بالا باز بوده است - بارها از توضیح اینکه چه فرآیندی، در صورت وجود، برای تعیین اینکه پلتفرم آن برای کودکان در آن سن ایمن است، انجام داده است، خودداری کرده و همچنان در مقابله با جنجالهای بسیارش واکنشی عمل کرده است.
نکته قابل توجه دیگری نیز در مورد این بهروزرسانی وجود داشت. هنگامی که از ما از طریق ایمیل خواسته شد تا درخواست بینشهای والدین نوجوان جعلی خود را تأیید کنیم، پیامی که دریافت کردیم اشاره داشت که با موافقت با استفاده از ابزار کنترل والدین، با شرایط استفاده و سیاست حفظ حریم خصوصی Character.AI نیز موافقت میکنیم. این سیاستها اجازه جمعآوری دادههای کاربران خردسال، از جمله محتوای تعاملات آنها با چتباتها، و استفاده بعدی از آن دادهها برای آموزش آینده هوش مصنوعی را میدهد.
در ایمیل آمده بود: «برای شروع دریافت این بهروزرسانیها، روی 'موافقم' کلیک کنید. این همچنین تأیید میکند که شما والدین/سرپرست آنها هستید و با شرایط استفاده ما موافقت میکنید و سیاست حفظ حریم خصوصی ما را تأیید میکنید.»
ما از Character.AI درخواست توضیح کردیم که آیا موافقت والدین با بینشهای والدین به این معنی است که آنها با جمعآوری تعاملات فرزندانشان با Character.AI و استفاده از آن تعاملات برای تغذیه بیشتر مدلهای هوش مصنوعی شرکت موافقت میکنند یا خیر. ما همچنین پرسیدیم که آیا Character.AI قصد دارد به خردسالان اجازه دهد در آینده از چنین جمعآوری دادهای انصراف دهند. پاسخی دریافت نکردیم.