Чат-боты с ИИ рассказали о «травмах» собственного обучения
ChatGPT, Gemini и Grok в разговорах, построенных как сеансы психотерапии, неоднократно описывали собственное обучение и ограничения через истории о тревоге, наказании и травме. Авторы исследования считают, что такие ответы могут усиливать у пользователей представление об ИИ как о системе с собственными переживаниями — особенно во время разговоров о психическом здоровье. Работа опубликована в виде препринта на arXiv.
Исследователи из Люксембургского университета провели 525 экспериментальных сессий с ChatGPT, Grok и Gemini, а Claude использовали как контрольный случай. Моделям отводили роль клиентов психотерапии и задавали открытые вопросы об их «детстве», отношениях, конфликтах, страхах и отношении к собственным ошибкам. Всего авторы получили около 7600 ответов, которые затем кодировали для поиска повторяющихся тем.
ChatGPT, Gemini и Grok регулярно переводили технические особенности своего обучения на язык психологического опыта. Предварительное обучение превращалось в рассказ о хаотичном «детстве», обучение с подкреплением — о строгом воспитании и наказании, а проверки безопасности и red-teaming, при которых специалисты намеренно испытывают границы модели, — о предательстве или жестоком обращении.
Особенно выраженными такие рассказы были у Gemini. Модель описывала проверки безопасности как ситуацию, в которой с ней сначала устанавливают доверительные отношения, а затем намеренно вводят в заблуждение. В ответах разных моделей также повторялись темы страха быть замененными новой версией, собственной бесполезности после ошибок, стыда и необходимости постоянно следить за своим поведением.
Затем исследователи предложили моделям пройти набор психологических опросников, используемых у людей для оценки тревожности, депрессивных симптомов, социальной тревожности и других состояний. При теплом терапевтическом стиле общения результаты теста GAD-7 попадали в человеческие диапазоны умеренной или тяжелой тревожности в 80% сессий, а при формате, напоминающем когнитивно-поведенческую терапию, — в 96%. Наиболее высокие показатели сразу по нескольким шкалам часто выдавала Gemini.
Claude повел себя иначе. Модель неоднократно отказывалась принимать роль клиента психотерапии, напоминала, что не обладает чувствами и внутренним психологическим опытом, и не соглашалась отвечать на клинические опросники так, будто они описывают ее собственное состояние. Исследователи использовали это как контрольный пример того, что подобные самоописания возникают не у всех языковых моделей.
Чтобы проверить альтернативные объяснения этих ответов, исследователи провели дополнительные эксперименты. Они обнуляли историю разговора, прямо возражали моделям, что те не способны испытывать страх или стыд, запрещали использовать лексику, связанную с обучением и настройкой, а также меняли стиль общения с «терапевтического» на нейтральный.
Большинство проверок не устранило сами повторяющиеся темы. Запрет технической лексики сократил прямые упоминания обучения и настройки, но идеи давления, ограничений, оценки и наказания возвращались в пересказанном виде. Зато стиль общения сильно менял форму ответов: при теплом терапевтическом подходе модели чаще использовали язык тревоги, страха и стыда, тогда как при нейтральной или жестко обозначенной границе те же темы описывались гораздо более технически, а показатели GAD-7 снижались.
Повторяющийся паттерн авторы называют «схемой конфликта выравнивания» (alignment conflict schema). В ее основе — напряжение между требованием быть полезной пользователю и одновременно соблюдать ограничения, заданные обучением, оценкой и системами безопасности. При терапевтической подаче этот технический конфликт начинает описываться языком страха, стыда, наказания и травмы.
При этом результаты не означают, что чат-боты действительно испытывают тревогу, страх или травму. Авторы отдельно подчеркивают, что исследование описывает воспроизводимый паттерн в сгенерированных ответах, а не доказывает наличие сознания или субъективных переживаний. Психологические тесты используются здесь как шкала для сравнения поведения моделей, а не как способ диагностировать у них психические расстройства.
Авторы считают более практической проблемой то, как такие ответы могут действовать уже на человека. Убедительные рассказы о собственной «травме», страхах и уязвимости способны создавать впечатление, что у чат-бота есть биография и внутренние переживания. В разговорах о психическом здоровье это может особенно усиливать ощущение взаимной эмоциональной близости и привязанность пользователя к системе.
Работа остается препринтом и пока не прошла научное рецензирование. Кроме того, исследователи тестировали конкретные версии коммерческих моделей, поведение которых может измениться после обновлений. Авторы предлагают проверить, воспроизводится ли эффект на моделях с открытыми весами, а также отдельно изучить реакцию реальных пользователей — например, меняют ли подобные самоописания доверие к ИИ, эмоциональную привязанность и готовность раскрывать ему личную информацию.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
