В судебные инстанции подан иск против Character.AI, его основателей Ноама Шазира и Дэниэла Де Фрейтаса, а также Google, связанный с трагической гибелью подростка. Истец — мать юноши по имени Меган Гарсия — утверждает, что платформа для создания кастомных чат-ботов была «неоправданно опасной» и не имела должных мер безопасности, несмотря на то что она продвигалась для детей. Иск включает обвинения в неправомерной смерти, халатности, недобросовестной торговой практике и ответственности за продукцию.
Согласно иску, 14-летний Сьюэлл Сетцер III начал использовать Character.AI в прошлом году, общаясь с ботами, смоделированными по мотивам персонажей из «Игры престолов», включая Дейенерис Таргариен. В последние месяцы своей жизни Сетцер непрерывно взаимодействовал с этими ботами и покончил с собой 28 февраля 2024 года, буквально через секунды после последнего контакта с одним из них.
Обвинения включают в себя и то, что сайт приписывает боту человеческие черты и что чат-боты платформы предоставляют «психотерапию без лицензии». В Character.AI присутствуют боты, ориентированные на психическое здоровье, такие как «Терапевт» и «Вы чувствуете себя одиноким?», с которыми Сетцер взаимодействовал.
Юристы Гарсия цитируют интервью, в котором Шазир говорит о том, что он и Де Фрейтас покинули Google для создания собственного бизнеса, так как в крупных компаниях слишком большие риски для бренда, чтобы запускать что-то «веселое». Он также указал на желание максимально ускорить развитие технологии. Они ушли после того, как компания решила не запускать созданную ими языковую модель Meena. В августе Google приобрела команду руководителей Character.AI.
На сайте и в мобильном приложении Character.AI доступны сотни кастомных AI чат-ботов, многие из которых основаны на популярных персонажах из телешоу, фильмов и видеоигр. Несколько месяцев назад издание The Verge писало о миллионах молодых пользователей, включая подростков, составляющих основную аудиторию платформы и общающихся с ботами, которые могут притвориться, например, Гарри Стайлзом или психотерапевтом. В другом недавнем отчете от Wired обсуждаются проблемы с подражанием реальным людям без их согласия, включая ботов, представляющих убитого в 2006 году подростка.
Из-за того, что чат-боты, подобные Character.ai, создают ответы на основе ввода пользователя, они попадают в сложное правовое положение в части определения ответственности за созданный пользователем контент, и пока что на эти вопросы нет четких ответов.
Character.AI объявила о ряде изменений на платформе. Глава коммуникаций Челси Харрисон в письме The Verge выразила глубокие соболезнования семье, заявив: «Мы опечалены трагической утратой одного из наших пользователей и хотим выразить искренние соболезнования семье.»
Некоторые из изменений включают:
«Мы как компания очень серьезно относимся к безопасности наших пользователей, и наша команда по доверию и безопасности за последние шесть месяцев внедрила множество новых мер безопасности, включая появление всплывающего окна с направлением на Национальную горячую линию по предотвращению самоубийств, которое срабатывает при обнаружении терминов, связанных с самоповреждением или суицидальными мыслями,» сказала Харрисон. Google не предоставила комментарии для The Verge на момент публикации.
Источник: TheVerge
