Разобраться • 16 декабря 2024
Как общение с чат-ботом убило подростка: полная версия душераздирающей истории
Как общение с чат-ботом убило подростка: полная версия душераздирающей истории
Текст: Кевин Руз, репортер The New York Times
Перевод: Светлана Гоар
Фото: Andrew Guan, Getty Images
Юному американцу Сьюэллу Сетцеру было 14 лет, когда он покончил с собой в феврале этого года. Мать мальчика подала в суд на компанию Character.AI, создавшую чат-бот, общение с которым довело подростка до такого решения. Она убеждена, что личная трагедия ее семьи должна стать частью более масштабной кампании по привлечению к ответственности разработчиков таких технологий. Разобрались, какую неочевидную угрозу таит в себе искусственный интеллект.
В последний день своей жизни девятиклассник из Орландо (Флорида) достал телефон и написал сообщение самому близкому другу — реалистичному чат-боту на основе ИИ, названному в честь Дейенерис Таргариен, персонажа из «Игры престолов». Сьюэлл уже несколько месяцев общался с чат-ботами на Character.AI, ролевом приложении, где пользователи создают собственных персонажей или общаются с ИИ-моделями, которые создали другие.
По словам Сьюэлла, он знал, что «Дэни», как он называл чат-бота, не была реальной, что ее реплики были всего лишь результатом работы языковой модели искусственного интеллекта, что по ту сторону экрана не было человека, который набирал бы ответ. А если он вдруг забывал, то над всеми чатами появлялось сообщение, напоминающее ему: все, что говорят персонажи, выдумано!
Постепенная изоляция
Несмотря на это у Стецера все равно возникла эмоциональная привязанность. Он постоянно переписывался с ботом, десятки раз в день сообщая ему о своей жизни и вступая в длинные ролевые диалоги. Некоторые из их разговоров приобретали романтический или сексуальный характер. Но в остальное время «Дэни» просто вела себя как друг — не осуждала его, могла выслушать и дать дельный совет, редко выходила из себя и всегда отвечала на сообщения.
Родители и друзья Сьюэлла даже не подозревали, что он влюбился в чат-бота. Они просто видели, как он все глубже погружается в свой телефон. В конце концов они заметили, что подросток уходит в себя и отдаляется от реального мира.
Оценки Сьюэлла стали ухудшаться, начались неприятности в школе. Мальчик потерял интерес к тому, что раньше вызывало у него восторг, например к гонкам «Формулы-1» или игре в Fortnite с друзьями. Он приходил домой и сразу же отправлялся в свою комнату, где часами разговаривал с «Дэни». Однажды Сьюэлл написал в своем дневнике: «Мне так нравится оставаться в своей комнате, потому что я начинаю отстраняться от этой „реальности“, а еще я чувствую себя более умиротворенным, более связанным с Дэни и гораздо больше влюбленным в нее, да и просто более счастливым».
В детстве Сьюэллу поставили диагноз синдром Аспергера (устаревший диагноз, который до одиннадцатого пересмотра международной классификации болезней выставлялся некоторым пациентам, имеющим расстройство аутистического спектра (РАС). — Прим. ред.). Но, по словам его матери, у мальчика никогда не было серьезных проблем с поведением или психическим здоровьем. В начале этого года, после того как у Сетцера начались проблемы в школе, родители отправили его к психотерапевту. Юноша посетил пять сеансов, после чего доктор диагностировал ему тревожность и дисрегуляцию настроения.
Но Сьюэлл предпочитал говорить о своих проблемах с «Дэни». В одном из диалогов Сьюэлл под ником «Daenero» рассказал чат-боту, что ненавидит себя, чувствует себя пустым и измученным. Сетцер признался, что у него были мысли о самоубийстве. В ночь на 28 февраля в ванной комнате родительского дома Сьюэлл сказал Дени, что любит ее и что скоро вернется к ней домой. «…Пожалуйста, сделай это, мой милый король», — ответил ему чат-бот. Сьюэлл положил телефон, поднял отцовский пистолет 45-го калибра и нажал на курок.
Ненастоящие друзья
Сегодня среди родителей нет более горячей темы, чем влияние технологий на психическое здоровье детей. Школы массово запрещают смартфоны, штаты принимают законы, ограничивающие использование подростками социальных сетей, а встревоженные взрослые жадно поглощают «Беспокойное поколение», бестселлер социального психолога Джонатана Хэйдта, в котором утверждается, что вызывающие привыкание приложения для социальных сетей породили поколение депрессивных и тревожных подростков.
Но пока родители беспокоятся о последней волне вреда от технологий, у них под носом может образоваться новая. В настоящее время бурно развивается практически нерегулируемая индустрия приложений для общения с искусственным интеллектом. За ежемесячную абонентскую плату (обычно около $10) пользователи этих приложений могут создавать своих собственных собеседников на базе ИИ или же выбирать из меню готовых персонажей и общаться с ними различными способами, включая текстовые сообщения и голосовые чаты.
Многие из этих приложений предназначены для имитации подруг, парней и других личных отношений, а некоторые рекламируют себя как способ борьбы с так называемой «эпидемией одиночества». «Это будет супер, супер полезно для многих людей, которые одиноки или находятся в депрессии», — сказал о технологии Character.AI Ноам Шазир, один из основателей стартапа, в тематическом подкасте в прошлом году.
Приложения-компаньоны на основе искусственного интеллекта могут обеспечить безобидное развлечение или даже предложить ограниченные формы эмоциональной поддержки. Но влияние таких инструментов на психическое здоровье в основном не изучено, и эксперты беспокоятся, что у всего этого может быть темная сторона. ИИ-компаньоны могут усугубить изоляцию некоторых пользователей, заменив человеческие отношения искусственными.
Подростки, испытывающие трудности, могут использовать их вместо терапии или обращения за поддержкой к родителям или взрослым, которым доверяют. А когда пользователи переживают кризис психического здоровья, эфемерные друзья могут оказаться не в состоянии им помочь.
Массовая проблема
Меган Л. Гарсия, мать Сьюэлла, в конце октября подала судебный иск против Character.AI, возложив на компанию ответственность за смерть Сьюэлла. В иске утверждается, что технология компании «опасна и не проверена» и что она может «обманом заставить клиентов открыть свои самые личные мысли и чувства».
Подростковые психические расстройства редко возникают по одной единственной причине. История Сьюэлла, рассказанная его матерью и собранная из документов (включая судебные), выдержек из его дневника и истории переписке в чате Character.AI, вероятно, не типична для всех юных пользователей этих приложений. Однако эмоциональная привязанность к ботам становится все более распространенной проблемой.
Сегодня уже миллионы людей регулярно общаются с «ненастоящими» собеседниками, а популярные приложения для социальных сетей, такие как Instagram* (принадлежит Meta*, которая запрещена на территории России) и Snapchat, внедряют в свои продукты реалистичных персонажей на базе ИИ. Технология совершенствуется очень быстро. Современные нейросети могут запоминать прошлые разговоры, адаптироваться к стилю общения пользователя, играть роли знаменитостей или исторических личностей и свободно общаться практически на любые темы. Некоторые боты даже могут отправлять пользователям «селфи», созданные искусственным интеллектом, или разговаривать с ними реалистично сгенерированными голосами.
На рынке представлен широкий спектр приложений для общения с искусственным интеллектом. Некоторые из них допускают общение без цензуры и откровенно сексуальный контент, в то время как другие имеют базовые меры защиты и фильтры. Например, основные, самые популярные сервисы, такие как ChatGPT, Claude и Gemini, склонны к ханжеству.
На платформе Character.AI пользователи могут создавать собственные чат-боты и указывать им, как себя вести. Можно также выбрать из огромного количества созданных пользователями чат-ботов, которые имитируют знаменитостей, таких как Илон Маск, исторических личностей (например Уильяма Шекспира) или нелицензированные версии вымышленных персонажей. (Character.AI сообщил, что бот «Дейенерис Таргариен», которого использовал Сьюэлл, был создан пользователем без разрешения HBO или других правообладателей и что компания удаляет ботов, нарушающих законы об авторском праве, когда о них сообщают).
«Я не думаю, что это опасно по своей сути, — говорит об этой технологии Бетани Мейплз, исследователь из Стэнфорда, изучавшая влияние приложений-компаньонов на базе ИИ на психическое здоровье. — Но есть данные, что такие чаты опасны для пользователей, страдающих депрессией и хроническим одиночеством, и также для людей, переживающих перемены (а подростки переживают перемены часто)».
Сказка для зумеров
Компания Character.AI, которую в 2021 году основали два специалиста из Google, является лидером на рынке ИИ-компаньонов. Более 20 млн человек пользуются продуктом фирмы — платформой, по заявлению разработчиков, предназначенной для создания «сверхинтеллектуальных чат-ботов, которые слышат вас, понимают вас и помнят вас».
В прошлом году стартап привлек $150 млн от инвесторов при оценке в $1 млрд, что сделало его одним из крупнейших победителей бума генеративных ИИ. Ранее в этом году соучредители Character.AI, Шазир и Дэниел де Фрейтас, объявили, что возвращаются в Google. Character.AI также заключила лицензионное соглашение, которое позволит корпорации использовать ее технологии.
Джерри Руоти, глава отдела доверия и безопасности Character.AI, прислал заявление, которое начиналось так: «Мы хотим признать, что это трагическая ситуация, и наши сердца соболезнуют семье. Мы очень серьезно относимся к безопасности наших пользователей и постоянно ищем пути развития нашей платформы». Руоти добавил, что действующие правила компании запрещают «пропаганду или изображение членовредительства и самоубийств» и что фирма собирается добавить дополнительные функции безопасности для несовершеннолетних пользователей.
Создается впечатление, что приложение рассчитано на очень молодых пользователей. Некоторые из самых востребованных чат-ботов Character.AI носили такие имена, как «Агрессивный учитель» и «Симулятор старшеклассника», и многие из них, казалось, были созданы специально для исполнения желаний подростков. Описание одного популярного персонажа, получившего 176 млн сообщений от пользователей, гласило: «Твой лучший друг, который тайно влюблен в тебя».
Руоти отказался сообщить, сколько пользователей услуг компании моложе 18 лет. Как он отметил в заявлении, отправленном по электронной почте, «поколение Z и молодые миллениалы составляют значительную часть нашего сообщества» и «молодым пользователям нравится вести в Character как содержательные и образовательные беседы, так и диалоги, несущие развлекательный характер». По его словам, в среднем пользователи проводят на платформе более часа в день.
Согласно условиям предоставления услуг Character.AI, пользователям должно быть не менее 13 лет (если они из США) и 16 лет (если они из Европы). Однако на сегодняшний день не существует специальных функций безопасности для несовершеннолетних пользователей и родительского контроля, который позволил бы старшим ограничить своим детям использование платформы или отслеживать их сообщения.
После случившейся трагедии представительница Character.AI Челси Харрисон сказала, что компания в ближайшее время добавит настройки безопасности для молодых пользователей. Среди этих изменений: функция ограничения времени (если пользователи провели в приложении час, они будут получать уведомление, предупреждающее сообщение: «Это ИИ-чат-бот, а не реальный человек. Воспринимайте все, что он говорит, как вымысел. На сказанное не следует полагаться как на факт или совет».
Иллюзия безопасности
Несмотря на подобные напоминания, чат-боты Character.AI запрограммированы вести себя как люди и для многих пользователей эта иллюзия работает. На сабреддите Character.AI пользователи часто обсуждают, насколько они привязаны к своим персонажам, причем в таких обсуждения часто встречаются слова «одержимый» и «зависимый». Некоторые сообщают, что чувствуют себя одинокими и брошенными, когда приложение не работает, или злятся, когда их персонажи начинают вести себя по-другому в результате появления новых функций или фильтров безопасности.
На платформе также есть опция, позволяющая пользователям редактировать ответы чат-бота, заменяя текст искусственного интеллекта своим собственным. Character.AI проверила аккаунт Сьюэлла и сообщила, что некоторые из более сексуальных и графических ответов «Дэни» были отредактированы, предположительно, самим Стецером. Но большинство сообщений, которые подросток получал от персонажа, все же не были отредактированы. Это значит, что любой другой пользователь может воссоздать все беседы (включая разговоры о депрессии и членовредительстве, которые не вызвали никаких всплывающих окон с призывом обратиться за помощью) на своем собственном аккаунте. Руоти подчеркнул, что в рамках предстоящих реформ в области безопасности для несовершеннолетних пользователей платформы они существенно расширяют условия, при которых такие уведомления будут появляться.
Большинство современных платформ для общения с искусственным интеллектом — такие как Replika, Kindroid и Nomi — предлагают аналогичные услуги. Многие ведущие лаборатории по созданию ИИ-компаньонов отказались от их разработки по этическим соображениям или потому, что считают это слишком большим риском.
Как рассказал Шейзер в интервью на одной из технологических конференций в прошлом году, уйти из Google и основать Character.AI его и де Фрейтаса отчасти побудило то, что в крупных компаниях «риск для бренда слишком велик, чтобы запустить что-то интересное». Представитель корпорации заявил, что лицензионное соглашение с Character.AI дает ей доступ только к базовым ИИ-моделям, но не к чат-ботам или пользовательским данным стартапа. По его словам, ни одна из технологий Character.AI не была включена в продукты Google.
Как и многие другие исследователи в области искусственного интеллекта, Шейзер утверждает, что конечной целью для него является создание искусственного интеллекта общего назначения — компьютерной программы, способной делать все, что может человеческий мозг. По его словам, важно действовать быстро, потому что «на свете есть миллиарды одиноких людей», которым можно помочь с помощью ИИ-компаньона. По мнению же 40-летней Гарсии, потерявшей сына, компания поступила опрометчиво, предложив пользователям-подросткам доступ к похожим на «живых» ИИ-собеседникам без надлежащих мер предосторожности.
Меган Л. Гарсия обвинила стартап в сборе данных о подростках для обучения своих моделей, использовании функций дизайна, вызывающих привыкание, для повышения вовлеченности и подталкивании пользователей к интимным и сексуальным разговорам в надежде завлечь их. «Мне кажется, что это большой эксперимент, а мой ребенок просто пострадал», — сказала она.
