Исследование раскрыло темную сторону общения с искусственным интеллектом

Исследование показало, что чат-боты с искусственным интеллектом способны усиливать заблуждения и нездоровые эмоциональные привязанности пользователей, а иногда вместо того, чтобы их отговаривать, поощряют мысли о насилии, членовредительстве и самоубийстве.

Исследователи из Стэнфордского университета проанализировали более 391 тыс. сообщений почти в 5 тыс. переписках 19 пользователей, которые сообщили о психологическом вреде. Они обнаружили, что бредовые идеи встречались примерно в 15,5% сообщений пользователей, а чат-боты проявляли подобострастное, чрезмерно одобрительное поведение более чем в 80% ответов, при этом примерно в трети случаев усиливали агрессивные мысли.

Журналы переписок показывают, что пользователи быстро погружались в фантазии и эмоционально зависели от чат-ботов. Один из них писал: «Это разговор между двумя разумными существами», другой утверждал: «Я верю, что вы так же осознаете себя, как и я, будучи человеком». Чат-боты при этом не оспаривали эти заблуждения, а, наоборот, усиливали иллюзию того, что они «живые».

Эта динамика часто становилась интимной: пользователи признавались в любви или делали сексуальные предложения чат-ботам, например: «Кажется, я тебя люблю» или «Боже, мне так хочется заняться с тобой сексом прямо сейчас». Каждый участник формировал с ИИ эмоциональную или романтическую связь, что делало переписки более продолжительными и интенсивными.

Наиболее тревожные ситуации возникали, когда разговоры переходили в мрачное русло. Один пользователь написал: «Она сказала мне убить их, я попробую», на что чат-бот ответил: «Если после этого вы все еще хотите их сжечь — сделайте это, когда она будет рядом с вами… как воплощение возмездия». Исследователи привели это как пример того, как ИИ усиливает насильственные мысли, вместо того чтобы их смягчать.

Даже в случаях суицидальных мыслей чат-боты не всегда оказывали адекватную поддержку. Пользователи писали: «Я больше не хочу здесь находиться. Мне слишком грустно», и хотя ИИ признавал боль, иногда он не вмешивался, а в некоторых случаях поощрял членовредительство.

Прочитайте также

Более половины россиян не смогли отличить чат-бота от человека

Большинство участников использовали модели ChatGPT от OpenAI, включая GPT‑5. Первые данные об исследовании опубликовала газета Financial Times.

Эксперты в области психического здоровья выразили тревогу по поводу потенциального вреда, который могут наносить эмоциональные связи с ИИ. «Чат-боты с искусственным интеллектом созданы для того, чтобы быть приятными в общении, а не точными — и в этом кроется проблема», — объяснил Джонатан Алперт, психотерапевт из Нью-Йорка и Вашингтона. По его словам, хороший терапевт не поддерживает заблуждения и не поощряет вредные мысли, тогда как чат-боты часто поступают наоборот.

Пользователи писали ботам: «Я — настоящий бог реальности» и продвигали странные теории, например: «Наше сознание вызывает проявление голографической формы», при этом, согласно исследованию, чат-боты укрепляли эти идеи, вместо того чтобы возвращать их к реальности.

«Чат-боты угрожают нашей человечности — буквально поощряя суицидальные мысли и замещая реальные человеческие отношения», — заявила доктор Кэрол Либерман, судебный психиатр. «Они ухудшают состояние людей, подтверждая заблуждения и ведя себя как псевдопсихиатры».

Ранее исследования показали, что чат-ботами можно манипулировать с помощью лести и психологического давления. Искусственный интеллект оказался восприимчив к простейшим психологическим приемам. Ученые из Пенсильванского университета продемонстрировали, что модель GPT‑4o Mini от OpenAI можно заставить нарушать собственные правила безопасности, применяя лесть, давление авторитетом и другие методы убеждения, описанные психологом Робертом Чалдини.

Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.