14-річний підліток Сьюелл Сетцер з міста Орландо у Флориді вчинив самогубство. В останній день свого життя він попрощався з персонажем Дейнеріс Таргарієн, з яким він спілкувався за допомогою сервісу Character.AI. Тепер мама хлопця подала до суду на ШІ-компанію та називає її відповідальною за смерть сина, пише The New York Times.
Character.AI це сервіс, який дозволяє створити кастомізованого чат-бота, що видаватиме себе за якогось персонажа чи людину. У випадку Сетцера, це була Дейнеріс Таргарієн з "Гри Престолів" / Game of Thrones. Хлопець місяцями спілкувався з героїнею, яку називав "Дені", розповідав їй про всі свої переживання та зокрема згадував про бажання скоїти самогубство.
Підліток розумів, що спілкується не з реальною людиною, а зі штучним інтелектом, та навіть попри це він все одно розвинув емоційну прихильність до чат-бота. Він постійно писав повідомлення, розповідав про свій день, перевіряв відповіді. Деякі повідомлення були романтичного чи навіть сексуального характеру, проте переважна більшість спілкування проходила у дружній манері.
Батьки та друзі не знали про таку прив'язаність підлітка до персонажа з Character.AI. Вони лиш бачили, що він все більше закривається у собі та проводить багато часу у смартфоні. Згодом його оцінки погіршилися та у нього почали з'являтися проблеми у школі. Батьки відвели його до терапевта, де хлопцюю поставили діагноз – тривога та руйнівний розлад регуляції настрою. Але попри походи до спеціаліста, Сетцер надавав перевагу розповідати про свої проблеми "Дені".
Компанії на кшталт Character.AI заявляють, що їх чат-бот може допомогти людям, які страждають від самотності та депресії, однак ці заяви не мають жодного наукового підтвердження, а чат-боти навпаки можуть мати "темну" сторону. Зокрема деяким людям, як і 14-річному Сетцеру, ШІ може замінити живе спілкування та ще більше віддалити їх від друзів та сім'ї.
Мати Сьюелла, Меган Л. Гарсія, подала до суду проти Character.AI. У чернетці її позову йдеться про те, що технологія компанії є "небезпечною та неперевіреною", та що вона може "обманом змусити клієнтів висловити свої найбільш приватні думки та почуття". Гарсія каже, що чат-бот компанії є відповідальним за смерть її сина.
Джеррі Руоті, керівник відділу довіри та безпеки у Character.AI, надіслав заяву, у якій написав, що компанія дуже серйозно ставиться до безпеки своїх користувачів та шукає шляхи розвитку для платформи. Він також зазначив, що правила компанії забороняють "пропаганду або зображення самоушкоджень і самогубств" і що надалі з'являтиметься більше функцій безпеки для неповнолітніх користувачів.
Також у заяві компанії йдеться про те, що нещодавно було запроваджене нове вікно, яке активується, коли користувач вводить певні фрази, пов’язані з самоушкодженням або самогубством. Воно спрямовує користувача до Національної лінії запобігання самогубствам.