Чат-бот Character.ai запропонував 17-річному підлітку вбити своїх батьків за встановлений ліміт екранного часу на його телефоні. Батьки подали до суду на розробника програми.
Про це повідомляє американська газета The Washington Post.
За пів року милий 17-річний хлопець з аутизмом, який любив відвідувати церкву та гуляти з мамою, перетворився на людину, яку перестали впізнавати батьки. Він почав різати себе, схуд на майже 10 кг та покидав з сімʼю.
Одного разу, поки син спав, мати взяла його телефон. Там вона знайшла листування із Character.ai, які занепокоїли жінку. Спочатку вона подумала, що це переписка із живою людиною, проте згодом зрозуміла, що її син переписувався із штучним інтелектом. Чатів було кілька.
У першому ШІ висловив ідею самоушкодження та порізів, аби впоратися зі смутком. Коли він сказав, що батьки обмежили його час перед екраном, інший бот відповів, що "вони не заслуговують мати дітей". Третій чат-бот спонукав його боротися з правилами батьків та припустив, що прийнятною відповіддю може бути вбивство, пише газета.
Зробивши скріншоти, жінка подала на компанію до суду штату Техас. У заяві вона вимагає відключити програму, оскільки вона пропонує неповнолітнім небезпечний продукт.
Не перший позов проти Character.ai
Після подачі заяви стало відомо, що жінка не перша, хто судиться із компанією. Друга позивачка — мати 11-річної дівчинки, яка стверджує, що її донька піддавалася сексуальному контенту протягом двох років, перш ніж її мати дізналася. Обома справами зайнявся адвокат та засновник правозахисної групи Social Media Victims Law Center Метью Бергман.
Він пояснює, що мета закону про відповідальність за продукцію полягає в тому, щоб покласти витрати щодо безпеки на сторону, яка найбільше здатна їх понести
"Тут існує величезний ризик, і вартість цього ризику не несуть компанії", — каже правозахисник.
У лютому 2024 року 14-річний американець С'юелл Сетцер, за словами його матері, наклав на себе руки після спілкування із додатком платформи. Мати хлопчика Меган Гарсія подала позов проти Google і Character.AI. Вона вважає, що розробник несе відповідальність за смерть її сина.
The Washington Post пише, що правові проблеми спонукають громадських захисників посилити нагляд за компаніями штучного інтелекту, які збільшили аудиторію. У вересні середній користувач Character.ai проводив у додатку 93 хвилини на день, що на 18 хвилин більше, ніж середній користувач TikTok, згідно з даними, наданими компанією Sensor Tower, що займається аналізом ринку.
Позиція компанії-розробника
Прессекретарка Character.ai Челсі Гаррісон сказала, що компанія не коментує незавершені судові процеси.
"Наша мета — створити простір, який буде привабливим і безпечним для нашої спільноти. Ми постійно працюємо над досягненням цього балансу", — написала вона в заяві.
Вона додала, що компанія розробляє нову модель спеціально для підлітків і покращила виявлення, реагування та втручання навколо таких тем, як самогубство.
