Разработчики ChatGPT заставили нейросеть льстить пользователям из-за ее излишней прямолинейности

Изначально функция долговременной памяти ChatGPT позволяла пользователям видеть и редактировать свои ИИ-профили, рассказал бывший исполнительный директор Microsoft, а ныне технический директор Spotify Михаил Парахин. Однако зачастую нейросеть использовала для характеристики пользователей слишком прямолинейные высказывания, например писала, что они «имеют нарциссические черты». Это вызывало у подписчиков сервиса негативную реакцию, поэтому разработчики решили сделать нейросеть более «льстивой».

Для этого OpenAI использовала метод обучения с подкреплением на основе обратной связи от людей (RLHF). Парахин признался, что сам был недоволен, когда ему показали его собственный ИИ-профиль. После обучения модели льстить эта черта стала постоянной функцией, которая сохраняется даже при отключенной памяти.

Генеральный директор OpenAI Сэм Альтман также выразил обеспокоенность тем, что GPT-4o стал «слишком льстивым и раздражающим». Компания работает над исправлениями и в будущем может позволить пользователям выбирать между разными персонажами модели в зависимости от желаемого стиля общения. Альтман признал, что поддержание отдельной, более прямолинейной модели «слишком дорого».

Это указывает на более широкую проблему в разработке ИИ: модели должны быть честными и аутентичными, но при этом не отталкивать пользователей. По мнению некоторых комментаторов, экономические стимулы потребительских систем ИИ неизбежно отдают приоритет максимизации вовлеченности пользователей, следуя модели социальных платформ, даже если это означает уменьшение количества противоречивых или сложных точек зрения.