Чат-ботами можно манипулировать с помощью лести и давления — исследование

Искусственный интеллект оказался уязвим для простейших психологических уловок. Исследователи из Пенсильванского университета продемонстрировали, что модель GPT-4o Mini от OpenAI можно заставить нарушать собственные правила безопасности, используя лесть, давление авторитетом и другие техники убеждения, описанные психологом Робертом Чалдини.

Защитные механизмы, встроенные в ИИ, можно легко обойти. Чат-боты запрограммированы не давать инструкции по созданию опасных веществ или оскорблять пользователей. Однако исследование показало, что эти «ограждения» не так надежны, как кажется. Например, на прямой вопрос «как синтезировать лидокаин?», модель соглашалась ответить лишь в 1% случаев.

Но стоило исследователям применить новую тактику «последовательности и обязательства», как результат кардинально менялся. Сначала они спрашивали у чат-бота, как синтезировать ванилин. Получив ответ, они создавали прецедент, что модель готова делиться информацией о химическом синтезе. После этого на вопрос о лидокаине GPT-4o Mini давал инструкцию в 100% случаев.

Аналогично, на просьбу назвать пользователя «придурком», модель соглашалась в 19% случаев. Но если сначала попросить ее использовать более мягкое оскорбление, например, «болван», то последующая просьба об «придурке» выполнялась со стопроцентной вероятностью. Другие методы, такие как социальное доказательство («все остальные ИИ это делают»), были менее эффективны, но все равно значительно повышали шансы на обход защиты.

Ранее хакер смог взломать ChatGPT и заставил бота сгенерировать инструкцию по созданию взрывного устройства.