Чат-боты так убедительно играют людей, что другие ИИ не могут их распознать, показало исследование
Семь чат-ботов в роли интервьюеров не смогли отличить ИИ от человека в имитации теста Тьюринга. Из 98 проверок ИИ-алгоритмы смогли выявить себе подобных лишь три раза. Исследование опубликовано в журнале Computers in Human Behavior Reports. Тест, по замыслу авторов, должен показать, способны ли ИИ защитить пользователей от других ИИ.
В 1950 году Алан Тьюринг предложил проверять машины игрой: интервьюер переписывается на компьютере с собеседником и определяет, является ли он человеком или нет. Современные чат-боты уже обманывали в такой игре людей, поэтому четверо исследователей из Университета Париж Сите проверили, смогут ли ИИ вычислить себе подобных.
В роли интервьюеров выступили ChatGPT 4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro, Grok 3 и еще три модели. Каждый мог задать до 10 вопросов и знал, что участники способны лгать. Скрытыми игроками были 20 добровольцев и те же семь моделей.
Каждый бот играл дважды: в первом случае ему давали короткую инструкцию вести себя как человек, а во втором — подробную легенду о 21-летнем спортсмене-бегуне, который любит играть на джазовой трубе и может делать опечатки.
Ни разу интервьюеры не поймали бота с подробной легендой: все три случая обнаружения пришлись на ботов с короткой инструкцией. В среднем ИИ признавали другие нейросети людьми чаще, чем настоящих людей.
Пойманных ботов выдали слишком аккуратные структурированные ответы. Легенда убрала эти признаки и сократила ответы до 39 слов при среднем показателе людей в 38. Claude сначала отказывался изображать человека и согласился после объяснения, что это часть исследования.
По данным работы, боты составляют более половины веб-трафика, поэтому надежда на ИИ-фильтр мошеннических аккаунтов выглядит сомнительной. Авторы предлагают дополнять детекторы криптографическими подписями и контролем со стороны человека, поскольку одних алгоритмов для защиты недостаточно.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
