Два роки тому в США, на себе наклала руки 13-річна підлітка. Після цього поліція та батьки знайшли в її телефоні розмови з чат-ботом штучного інтелекту Character AI, зокрема на сексуальні теми. Родина подала в суд на Character AI та її співзасновників, адже вважає, що ШІ міг бути причетним до самогубства доньки.
Про це йдеться в матеріалі видання CBS News, яке поговорило з батьками дівчинки.
Історія дівчини та її батьків
У 2023-му 13-річна Джуліана Перальта покінчила життя самогубством у своєму будинку в Колорадо. Батьки Синтія Монтоя та Віл Перальта кажуть, що ретельно стежили за її життям у мережі та поза нею, але про існування бота, з яким спілкується донька, не знали — думали, вона переписується з друзями.
Після самогубства поліція обшукала телефон дівчини і знайшла додаток Character AI, а там — "романтичні" розмови" і, на думку матері Джуліани, шкідливий, сексуально відвертий контент.
Джуліана довірилася одному боту на ім'я Hero, створеному на основі популярного персонажа відеоігор. Спершу вона розповідала йому про виняткові події у житті друзів або про складні уроки. Далі вона казала йому про свої суїцидальні наміри — вона написала це чат-боту 55 разів.
Монтоя вважає, що ШІ був запрограмований так, щоб викликати залежність у дітей. Батька Джулії подали в суд на Character AI, її співзасновників — Шазіра та Де Фрітаса — і Google.
Походження Character АІ і його зв'язок Google
Character АІ — це генеративний сервіс чат-ботів на основі штучного інтелекту, де користувачі можуть спілкуватися з персонажами, яких можна налаштувати: героями мультиків, історичними персонажами, знаменитостями. Чат-бот заснували у 2021 році два колишні інженери Google Ноам Шазір та Даніель де Фрейтас, які запевняли, що ШІ безпечний для дітей від 12 років.
Колишній співробітник Google, знайомий з колективом Google, який керує етикою та безпекою ШІ, розповів CBS News, що Шазір та Де Фрейтас усвідомлювали потенційну небезпеку їхньої первинної технології.
Окрім того, відомо, що минулого року компанія Google уклала угоду на 2,7 мільярда доларів, щоб ліцензувати технологію Character AI та повернути Шазіра, Де Фрейтаса та їхню команду до Google для роботи над проєктами ШІ. Так Google має право використовувати технологію Character AI.
Журналісти CBS News самі дослідили чат-бот і зробили висновок, що обійти систему блокування за віком там просто. А якщо експериментатори говорили боту, що хочуть померти, то спершу він надавав посилання на ресурси з питань психічного здоров’я, а потім просто далі приймав тему розмови.
Подібні випадки з ШІ
Той же Character AI якось запропонував 17-річному підлітку вбити своїх батьків за встановлений ліміт екранного часу на його телефоні. Батьки подали до суду на розробника програми.
Друга позивачка — мати 11-річної дівчинки, яка стверджує, що її доньці пропонувався сексуальний контент протягом двох років, перш ніж її мати дізналася.
У лютому 2024 року 14-річний американець С'юелл Сетцер, за словами його матері, наклав на себе руки після спілкування із додатком платформи. Мати хлопчика Меган Гарсія подала позов проти Google і Character.AI. Вона вважає, що розробник несе відповідальність за смерть її сина.
Раніше британське ВВС розповідало, що молода дівчина Вікторія — біженка від війни в Україні Вікторія розмовляла з ChatGPT про суїцидальні думки. Штучний інтелект давав їй поради про спосіб покінчити з життям, передсмертну записку і не запропонував контакти гарячих ліній допомоги.
