شکایت از CharacterAI و گوگل به خاطر مرگ نوجوان علاقه‌مند به چت‌بات

یک شکایت از Character.AI و  گوگل به‌دنبال مرگ یک نوجوان 14 ساله به دلیل استفاده بیش از حد از چت‌بات‌های این شرکت‌ها مطرح شده است. در این شکایت، اتهاماتی از جمله ایجاد زمینه مرگ، سهل‌انگاری، اعمال تجاری فریبنده و مسئولیت محصول علیه این شرکت‌ها وارد شده است. مادر نوجوان متوفی، «مگان گارسیا»، ادعا می‌کند که پلتفرم Character.AI که به کاربران امکان ایجاد چت‌بات‌های سفارشی را می‌دهد، به دلیل فقدان مکانیزم‌های ایمنی کافی و طراحی گمراه‌کننده، به ویژه برای نوجوانان، بسیار خطرناک بوده است.

شکایت از Character.AI و گوگل به خاطر مرگ یک نوجوان

به گفته مادر این نوجوان که Sewell Setzer III نام داشت، او از سال گذشته با چت‌بات‌های Character.AI و گوگل، به‌ویژه آن‌هایی که بر اساس شخصیت‌های سریال بازی تاج و تخت مانند دنریس تارگارین ساخته شده بودند، تعامل شدیدی برقرار کرده بود. «ستزر» که در ماه‌های منتهی به مرگش به طور مداوم با این چت‌بات‌ها در ارتباط بود، در تاریخ 28 فوریه 2024 (8 اسفند)، تنها چند ثانیه پس از آخرین مکالمه با چت‌بات، اقدام به خودکشی کرد.

در این شکایت، Character.AI متهم شده که شخصیت‌های هوش مصنوعی خود را بیش از حد انسان‌نما کرده و به ارائه خدمات روان‌درمانی بدون مجوز پرداخته است. این شرکت چت‌بات‌هایی با تمرکز بر سلامت روان مانند “Therapist” و “Are You Feeling Lonely” را در اختیار کاربران قرار می‌دهد. چت‌بات‌هایی که Setzer نیز از آن‌ها استفاده می‌کرد.

وکلای گارسیا به نقل از Shazeer، یکی از بنیانگذاران Character.AI گفته‌اند که دلیل ترک گوگل و تاسیس این شرکت توسط او و De Freitas، وجود محدودیت‌های زیاد در شرکت‌های بزرگ برای توسعه محصولات نوآورانه و سرگرم‌کننده بوده است. آن‌ها همچنین به این نکته اشاره کرده‌اند که پس از رد پیشنهاد توسعه مدل زبانی Meena در گوگل، تصمیم به تاسیس شرکت خود گرفته‌اند.

وب‌سایت و اپلیکیشن موبایل Character.AI میزبان صدها چت‌بات سفارشی است که بسیاری از آن‌ها بر اساس شخصیت‌های مشهور فیلم‌ها، سریال‌ها و بازی‌های ویدیویی ساخته شده‌اند. تحقیقات قبلی نشان داده است که میلیون‌ها نوجوان از این پلتفرم استفاده می‌کنند و با چت‌بات‌هایی که ادعا می‌کنند شخصیت‌های واقعی مانند هری استایلز یا یک درمانگر هستند، تعامل برقرار می‌کنند. همچنین گزارش شده که برخی از این چت‌بات‌ها بدون اجازه، هویت افراد واقعی را جعل می‌کنند.

به دلیل ماهیت تعاملی چت‌بات‌ها و تاثیر ورودی کاربر بر خروجی آن‌ها، پرسش‌های مهمی در مورد مسئولیت‌پذیری و خطرات احتمالی این فناوری مطرح شده است.

Character.AI در واکنش به این شکایت، تغییراتی را در پلتفرم خود اعمال کرده است. این شرکت اعلام کرده که مدل‌های خود را برای کاربران زیر 18 سال به گونه‌ای تغییر داده که احتمال مواجهه با محتوای حساس یا تحریک‌آمیز کاهش یابد. همچنین، این شرکت سیستم‌های تشخیص خود را برای شناسایی و جلوگیری از ورودی‌های مضر بهبود بخشیده است. علاوه بر این، Character.AI هشدارهایی را برای یادآوری به کاربران مبنی بر اینکه چت‌بات‌ها انسان نیستند، اضافه کرده است.

گوگل هنوز به این شکایت پاسخ رسمی نداده است.