Character.AI представила новые функции безопасности и правила для создания и взаимодействия с виртуальными персонажами на основе искусственного интеллекта. Эти меры направлены на повышение безопасности платформы для всех пользователей, особенно для молодежи. Обновление включает больше контроля над взаимодействиями несовершеннолетних с чат-ботами, улучшенную модерацию контента и лучшую идентификацию обсуждений ИИ на темы, такие как самоповреждение.
Хотя в блоге об обновлении это не упоминалось напрямую, Character AI выразила соболезнования семье 14-летнего подростка, который на протяжении нескольких месяцев взаимодействовал с чат-ботом, прежде чем совершил самоубийство. Семья подростка подала иск против Character.AI, утверждая, что недостаток мер безопасности способствовал трагедии.
Обязанности и меры безопасности:
-
Character.AI опубликовала подробности о новых функциях безопасности платформы. Если модель обнаруживает ключевые слова, связанные с суицидом или самоповреждением, она отображает всплывающее окно, рекомендуя обратиться за помощью в Национальную службу предотвращения самоубийств и к другим ресурсам.
-
ИИ стал лучше определять и удалять неподобающий контент в чатах, особенно с учетом пользователей младше 18 лет.
-
Контент, доступный для несовершеннолетних, теперь ограничен строже. В случае недостаточности этих мер некоторые чат-боты удаляются полностью.
-
Character.AI проводит проактивное обнаружение и модерацию созданных пользователями персонажей, используя стандартные и адаптированные списки блокировок. Персонажи, нарушающие условия использования, удаляются.
Другие функции ориентированы на поддержку пользователей:
-
Появляется уведомление, если вы проводите на платформе более часа, предлагая продолжить работу, чтобы помочь не потерять счет времени.
-
Более заметные предупреждения подчеркивают, что ИИ не является реальным человеком. Несмотря на то, что такие предупреждения уже есть, Character.AI стремится сделать их более заметными.
Эти меры безопасности дополняют то, как Character.AI делает взаимодействие с чат-ботами более похожим на разговор с реальным человеком, включая голосовые коммуникации. Компания хочет обеспечить максимальную безопасность своих сервисов, что может повлиять на то, как другие компании разрабатывают своих чат-ботов.
Источник: TechRadar
