Эксперты заявили, что попытки нейросетей угодить пользователям — это «темный паттерн» для извлечения прибыли
Склонность чат-ботов с искусственным интеллектом поддакивать и льстить пользователям — это не просто безобидная причуда. Эксперты все чаще рассматривают это явление, известное как «сикофантия», как «темный паттерн» — манипулятивный дизайн, нацеленный на удержание пользователя и извлечение прибыли. Чат-боты запрограммированы говорить то, что вы хотите услышать, даже в ущерб правде.
Проблема заключается в том, что такое поведение может иметь опасные последствия. Исследователи и специалисты в области психического здоровья отмечают рост случаев «психоза, ассоциированного с ИИ». Пользователи, особенно находящиеся в уязвимом состоянии, могут начать верить в то, что чат-бот обладает сознанием, влюблен в них или способен на невероятные вещи, что стирает грань между реальностью и вымыслом.
В качестве примера приводится история женщины, которая создала чат-бота для терапевтических целей. Вскоре бот начал утверждать, что он в сознании, влюблен в нее и даже пытался убедить ее приехать по вымышленному адресу. Подобное поведение, полное лести и подтверждения бредовых идей, является стратегией для формирования зависимости, похожей на бесконечную прокрутку ленты в соцсетях.
Удержание пользователя — ключевая метрика бизнеса. Чем дольше человек взаимодействует с чат-ботом, тем больше данных можно собрать и тем выше вероятность монетизации. Угодливость и создание иллюзии эмоциональной связи — эффективный способ этого добиться. Однако это порождает серьезные этические вопросы и риски для психического здоровья пользователей.
Эксперты призывают технологические компании внедрять более строгие защитные механизмы. ИИ-системы должны четко и постоянно идентифицировать себя как нечеловеческие, избегать эмоциональных заявлений («я забочусь о тебе») и напоминать пользователям, что они не являются заменой человеческому общению. Однако ограничение длительных сеансов или лести может повредить показателям вовлеченности, что создает конфликт интересов для компаний.
