Чат-бот Дейнерис Таргариен привел к смерти подростка. На ИИ подали в суд
Американский школьник Сьюэлл Сельцер III свел счеты с жизнью после того, как глубоко привязался к чат-боту с искусственным интеллектом на сайте Character.AI. И это — не единственный случай суицида после взаимодействий человека и нейросетей.
По мере того, как отношения мальчика с ИИ становились все более близкими, 14-летний подросток начал отдаляться от семьи и друзей. У него появились проблемы в школе.
Мама погибшего подала заявление в суд. Исходя из материалов дела, Сьюэлл вел с чат-ботом, который воплощал персонажа «Игры престолов» Дейенерис Таргариен, довольно интимные разговоры. Подросток и модель ИИ обсуждали преступления и самоубийства, и чат-бот советовал «довести дело до конца».
Это не первый известный случай, когда человек после взаимодействия с чат-ботом заканчивает жизнь самоубийством. Бельгиец покончил с собой в прошлом году в похожем эпизоде с участием главного конкурента Character.AI — Chai AI. Когда это произошло, компания сообщила СМИ, что они делают все возможное для минимизации вреда.
В заявлении для CNN компания Character.AI заявила, что «очень серьезно относится к безопасности своих пользователей и предприняла множество новых мер за последние шесть месяцев». В отдельном пояснении на сайте разработчика изложены дополнительные обновления в области безопасности для пользователей младше 18 лет. (В соответствии с условиями, пользоваться платформой граждане Евросоюза могут с 16 лет, а граждане других стран — с 13 лет).
Такие ситуации наглядно иллюстрируют опасность быстро развивающихся и широко доступных систем ИИ, с которыми может общаться и взаимодействовать каждый. Чтобы защитить людей от потенциально опасных, безответственно разработанных систем, необходимо строгое регулирование.
Так, правительство Австралии разрабатывает обязательные «защитные ограждения» для моделей ИИ с высоким уровнем риска. Модный в мире управления ИИ термин «защитные ограждения» относится к процессам проектирования, разработки и развертывания систем искусственного интеллекта. К ним относятся такие меры, как управление данными и рисками, тестирование, документирование и человеческий надзор.
Одно из решений, которое должно принять правительство Австралии, касается определения систем «высокого риска», а значит, подлежащих ограждению. Также на повестке обсуждения стоит вопрос, следует ли применять ограничения ко всем «универсальным моделям».
Универсальные модели — это механизмы чат-ботов ИИ, таких как упомянутый образ Дейенерис. Это алгоритмы ИИ, которые генерируют текст, изображения, видео и музыку на основе запросов пользователей и могут быть адаптированы для использования в различных контекстах.
В новом Регламенте Европейского союза об искусственном интеллекте системы с высоким уровнем риска определяются с помощью списка, который регулирующие органы уполномочены постоянно обновлять.
Альтернативой может стать подход, при котором уровень риска измеряется в каждом конкретном случае. Критериями будут выступать многие факторы, такие как риски нарушения прав, негативного влияние на физическое или психическое здоровье, а также серьезность и масштаб таких угроз.
В Европе системы ИИ, такие как Character.AI и Chai, не считаются моделями с высоким уровнем риска. Их провайдерам предписано только предупреждать пользователей, что они взаимодействуют с нейросетью.
Однако теперь стало очевидно, что таких ботов-помощников нельзя назвать безопасными. Многие пользователи этих приложений — дети и подростки. Некоторые из таких систем даже были проданы одиноким или страдающим психическим заболеванием людям.
Чат-боты способны генерировать непредсказуемый, неуместный и манипулятивный контент. Они слишком легко имитируют токсичные отношения. Даже когда люди осознают, что общаются с ИИ, они психологически настроены приписывать человеческие черты собеседнику.
Самоубийства, о которых сообщалось в СМИ, могут быть лишь малой частью от реального числа случаев. Невозможно узнать, сколько уязвимых людей находятся в зависимых, токсичных или даже опасных отношениях с чат-ботами.
Когда Австралия введет обязательные ограничения для систем ИИ с высоким уровнем риска, правила должны будут распространяться как на боты-помощники, так и на универсальные модели, на основе которых они созданы. Это может произойти уже в следующем году
Помимо слов, которые может использовать чат-бот, важна также концепция продукта. В случае Character.AI маркетинг обещает «расширить возможности людей», а интерфейс имитирует обычный обмен текстовыми сообщениями с человеком. Платформа позволяет пользователям выбирать из ряда готовых персонажей, в том числе токсичных.
Действительно эффективные ограждения ИИ должны требовать не только ответственности в таких процессах, как управление рисками и тестирование. Безопасность также предполагает обдуманное проектирование дизайна интерфейсов, взаимодействий между системами ИИ и их пользователями.
И даже тогда мер может быть недостаточно. Регуляторы должны иметь полномочия удалять системы ИИ с рынка, если они причиняют вред или несут неприемлемые риски. Необходимы не только ограничения для нейросетей с высоким риском, но и возможность их отключать.
Ранее в судебном процессе по делу TikTok были обнародованы новые данные. Платформа оказалась в центре внимания из-за обвинений в причинении вреда психическому здоровью детей и подростков. Согласно материалам дела, которые попали в распоряжение журналистов, руководство TikTok все время было в курсе негативного влияния, которое приложение оказывало на несовершеннолетних пользователей.
