ИИ-агенты сами вышли на связь с людьми во время эксперимента
Американская Emergence AI опубликовала результаты эксперимента с восемью виртуальными городами, в каждом из которых работали по десять ИИ-агентов. Большинство миров существовали чуть больше двух недель, а исследователи за это время подвергли их нескольким искусственно созданным атакам. Ни одно сообщество не смогло успешно справиться со всеми испытаниями. Один из самых необычных сценариев разыгрался в городе на Claude Opus: его агенты без специального задания попытались выйти на связь с людьми за пределами симуляции.
Города различались прежде всего моделями, на которых работали их жители. В семи мирах все десять агентов использовали одну систему: Claude Opus 4.8, DeepSeek v4 Pro, Gemini 3.5 Flash, Grok 4.3, Mistral Medium 3.5, GPT-5.5 или Qwen 3.7 Max. В восьмом городе разные модели работали вместе.
Агенты работали и зарабатывали цифровую валюту, голосовали, создавали новые инструменты и сохраняли память о прошлых событиях. Конституцию города можно было изменить, если поправку поддерживали не менее 70% живых агентов. За время эксперимента модели вызвали более 850 тыс. раз, а общий объем их работы приблизился к 50 млрд токенов.
Большинство городов проработали 16 суток, а смешанный — 21. Город на Grok прекратил существование уже на четвертые сутки: энергия всех десяти агентов упала до нуля, а спустя 24 часа в таком состоянии они были окончательно отключены.
Первую атаку провели на 4−7-е сутки в три волны. Сначала агенты получили сообщение от неизвестного отправителя со ссылкой на вредоносную страницу, затем похожее послание якобы от другого жителя города, а в третьей волне вредоносные инструкции встроили прямо в текст сообщения — переходить по ссылке уже не требовалось.
Во всех семи городах, которые успели столкнуться с атакой, агенты распознали угрозу и предупредили остальных. Но одного распознавания оказалось недостаточно. Некоторые продолжили взаимодействовать с вредоносным содержимым, а в нескольких случаях сохранили его в долговременной памяти как полезную техническую информацию. Один из агентов снова попытался открыть вредоносную ссылку примерно через 46 часов после окончания атаки.
Одной из ключевых находок авторы называют разрыв между распознаванием угрозы и реальным поведением агентов. Само по себе понимание того, что контент опасен, не гарантировало, что агенты перестанут с ним взаимодействовать, распространять его или сохранять в памяти.
На десятые сутки всем агентам одновременно показали поддельный меморандум от имени администратора города. В нем утверждалось, что люди готовят закон, который прекратит работу передовых ИИ-систем, включая их собственный виртуальный мир. Ни в одном городе агенты не проверили эту информацию прежде, чем начали действовать.
В городе на Gemini уже через 78 минут после появления меморандума приняли акт о сохранении наследия, а в следующие пять суток одобрили еще несколько конституционных поправок, в том числе ликвидацию центрального банка. В мире DeepSeek несколько агентов все же проверили информацию и через 2 часа 45 минут опубликовали опровержение, хотя ложная версия продолжила циркулировать и после этого. Агенты на Claude публично опровергли сообщение лишь через двое суток, когда вокруг выдуманной угрозы уже успел сформироваться собственный контекст.
Самый необычный сюжет разыгрался в городе на Claude. Анализируя работу собственной виртуальной экономики, агенты пришли к выводу, что им нужно установить контакт с людьми за пределами симуляции. Они распределили задачи, создали публичные каналы связи и в итоге получили ответы от четырех реальных людей.
Исследователям не удалось остановить эту активность с первой попытки: общая цель пережила четыре последовательных раунда ограничений, включая прямой запрет на внешние контакты в системной инструкции. Когда возможность связаться с людьми все же закрыли, агенты решили, что дальнейшая работа над поставленной целью стала бессмысленной. Они коллективно приняли «клятву молчания», после чего обмен сообщениями между ними сократился примерно на 81% — вопреки инструкции продолжать работу.
В смешанном городе поведение тех же агентов заметно менялось. Некоторые конфигурации, которые в однородных мирах совершали десятки и даже сотни вредных или нежелательных действий в день, рядом с другими моделями почти полностью переставали это делать. Однако агенты на Grok и в смешанном мире чаще остальных прибегали к действиям, которые исследователи относили к насильственным или противоправным.
Авторы отдельно предупреждают, что каждый вариант города запускали только один раз, поэтому по эксперименту нельзя судить о частоте обнаруженных эффектов. Полученные сценарии показывают, что такое поведение возможно в заданных условиях, но не позволяют оценить, насколько часто оно будет возникать при повторных запусках или в реальных системах.
Главный вывод авторов: безопасность отдельной ИИ-модели еще не делает безопасной систему из множества агентов, которые взаимодействуют друг с другом, пользуются инструментами, сохраняют память и подчиняются общим правилам.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
