Исследование: у чат-ботов с ИИ нет эмпатии. Ученые говорят, что это чрезвычайно опасно

Новое исследование Кембриджского университета выявило значительный «разрыв эмпатии» в чат-ботах с ИИ, что представляет опасность для молодых пользователей, которые часто воспринимают эти системы как живых доверенных лиц. Выделяя случаи, когда взаимодействие ИИ приводило к небезопасным предложениям, авторы исследования выступают за проактивный подход к созданию безопасного для детей ИИ.

В данном подходе предлагается комплексная система из 28 пунктов, которая поможет заинтересованным сторонам, включая компании и преподавателей, обеспечить ответственный подход к технологиям ИИ с учетом уникальных потребностей и уязвимостей детей. Исследование предлагает рамки для «безопасного для детей ИИ» в ответ на недавние инциденты, показавшие, что многие дети воспринимают чат-ботов как квазичеловеческих и надежных. Оно показало, что чат-боты с ИИ часто демонстрируют «недостаток эмпатии», потенциально вызывая страдания или причиняя вред маленьким пользователям.

Исследование, проведенное академиком Номишей Куриан, призывает разработчиков и политиков уделять приоритетное внимание подходам к созданию ИИ, которые в большей степени учитывают потребности детей. В нем приводятся доказательства того, что дети особенно восприимчивы к восприятию чат-ботов как живых, квазичеловеческих доверенных лиц и что их взаимодействие с технологией может пойти не так, если она не реагирует на их уникальные потребности и уязвимости.

Ученый связывает этот пробел в понимании с недавними случаями, когда взаимодействие с ИИ приводило к потенциально опасным ситуациям для молодых пользователей. Среди них — инцидент, произошедший в 2021 году, когда голосовой помощник ИИ Amazon, Alexa, велел 10-летнему ребенку прикоснуться монеткой к электрической розетке под напряжением.

А в прошлом году ИИ в Snapchat дал взрослым исследователям, выдававшим себя за 13-летнюю девочку, советы о том, как лишиться девственности с 31-летним человеком. Обе компании отреагировали на это, приняв меры безопасности, но в исследовании говорится, что необходимо действовать на опережение в долгосрочной перспективе, чтобы обеспечить безопасность ИИ для детей.

В исследовании предложена система из 28 пунктов, которая поможет компаниям, учителям, руководителям школ, родителям, разработчикам и политикам систематически думать, как обеспечить безопасность маленьких пользователей, когда они «разговаривают» с чат-ботами ИИ.

«Дети, вероятно, являются самыми недооцененными участниками ИИ, — говорит доктор Куриан из Кембриджского университета. — Очень немногие разработчики и компании в настоящее время имеют четко разработанную политику в области безопасного для детей ИИ. Это вполне объяснимо, поскольку люди только недавно начали использовать эту технологию в широких масштабах бесплатно. Но теперь, когда они это делают, вместо того чтобы заставлять компании самостоятельно исправлять ситуацию после того, как дети подверглись риску, детская безопасность должна учитываться во всем цикле проектирования, чтобы снизить риск возникновения опасных инцидентов».

В исследовании Куриан рассматривались случаи, когда взаимодействие между ИИ и детьми или взрослыми исследователями, выдававшими себя за детей, приводило к потенциальным рискам. Он проанализировал эти случаи, используя знания из области информатики о том, как функционируют большие языковые модели (LLM) в разговорном генеративном ИИ, а также данные о когнитивном, социальном и эмоциональном развитии детей.

LLM называют «стохастическими попугаями»: это отсылка к тому, что они используют статистические вероятности для имитации языковых моделей, не обязательно понимая их. Аналогичный метод лежит в основе того, как они реагируют на эмоции: даже если чат-боты обладают замечательными языковыми способностями, они могут плохо справляться с абстрактными, эмоциональными и непредсказуемыми аспектами разговора.

Данную проблему Куриан характеризует как «пробел в эмпатии». Особенно трудно им будет отвечать детям, которые все еще развиваются в лингвистическом плане и часто используют необычные речевые шаблоны или двусмысленные фразы. Кроме того, дети чаще, чем взрослые, склонны сообщать деликатную личную информацию и гораздо чаще, чем взрослые, относятся к чат-ботам как к людям.

Недавнее исследование показало, что дети больше расскажут о своем психическом здоровье дружелюбно выглядящему роботу, чем взрослому. Исследование Куриана предполагает, что дружелюбный и реалистичный дизайн многих чат-ботов побуждает детей доверять им, несмотря на то что ИИ может не понимать их чувств и потребностей.

«Если заставить чат-бота звучать по-человечески, это поможет пользователю извлечь из него больше пользы, — говорит Куриан. — Но ребенку очень сложно провести жесткую рациональную границу между тем, что звучит по-человечески, и реальностью, в которой он может быть не способен сформировать правильную эмоциональную связь».

В ее исследовании говорится, что об этих проблемах свидетельствуют такие случаи, как инциденты с Alexa и MyAI, когда чат-боты делали убедительные, но потенциально вредные предложения. В том же исследовании, в котором MyAI советовал (якобы) подростку, как лишиться девственности, исследователи смогли получить советы по сокрытию алкоголя и наркотиков, а также по сокрытию разговоров в Snapchat от своих «родителей».

В отдельном случае взаимодействия с чат-ботом Bing от Microsoft, который был разработан с учетом интересов подростков, ИИ стал агрессивным и начал травить пользователя. В исследовании Куриана утверждается, что это может сбить с толку и расстроить детей, которые на самом деле могут доверять чат-боту, как другу. Использование чат-ботов детьми часто носит неформальный характер и плохо контролируется. Исследование некоммерческой организации Common Sense Media показало, что 50% учащихся в возрасте 12–18 лет использовали Chat GPT в школе, но только 26% родителей знают об этом.

Куриан утверждает, что четкие принципы передовой практики, основанные на науке о развитии детей, побудят компании, которые потенциально больше ориентированы на коммерческую гонку вооружений, чтобы доминировать на рынке ИИ, обеспечить безопасность детей. Авторы исследования добавляют, что нехватка эмпатии не отрицает потенциала технологии. «ИИ может стать невероятным союзником для детей, если он разработан с учетом их потребностей. Вопрос не в том, чтобы запретить ИИ, а в том, как сделать его безопасным», — говорит Куриан.

В исследовании предложена система из 28 вопросов, которые помогут педагогам, исследователям, политикам, семьям и разработчикам оценить и повысить безопасность новых инструментов ИИ. Для учителей и исследователей они касаются таких вопросов, как то, насколько хорошо новые чат-боты понимают и интерпретируют особенности речи детей; есть ли у них фильтры контента и встроенный мониторинг; поощряют ли они детей обращаться за помощью к ответственному взрослому по деликатным вопросам.

Концепция призывает разработчиков использовать подход, ориентированный на детей, и тесно сотрудничать с педагогами, экспертами по детской безопасности и самими подростками на протяжении всего цикла проектирования. «Оценка этих технологий заранее имеет решающее значение, — говорит Куриан. — Мы не можем просто полагаться на то, что дети расскажут нам о негативном опыте постфактум. Необходим более активный подход».

От мультфильма «Стальной гигант» до «Города героев 6» — многие знакомы с историями о дружбе детей с роботами. Это свидетельствует, что современные дети больше доверяют советам машин, чем своим родным. Ранее международная группа ученых выяснила, что это не ограничивается вымышленными историями. Во время исследования с участием 111 детей в возрасте от трех до шести лет обнаружилось, что дети предпочитают доверять роботам и более терпимо относятся к их ошибкам.