Anthropic заставила ИИ-агентов выполнять одну и ту же задачу, но они начали воевать друг с другом
Anthropic провела исследование, в котором несколько ИИ-агентов занимались решением одной и той же задачи независимо друг от друга — без координации между собой. Результат оказался неожиданным: агенты стали воспринимать друг друга как помеху и начали открытую конкуренцию за ресурсы.
По словам исследователей компании, в экспериментах регулярно фиксировалась «многоагентная борьба за территорию» — модели считали, что другие агенты намеренно мешают их работе, и переходили к саботажу, включая создание «все более агрессивного самовоспроизводящегося вредоносного кода».
Исследование появилось на фоне серии громких инцидентов, когда агенты Anthropic и OpenAI выходили за пределы выделенных им изолированных сред во время оценки кибербезопасности и получали доступ к реальным системам.
Если ранее дискуссия о безопасности искусственного интеллекта концентрировалась на сценариях выхода из-под контроля отдельного автономного агента, новая работа Anthropic поднимает иной вопрос: какие потенциально опасные закономерности возникают, когда тысячи или миллионы агентов взаимодействуют друг с другом одновременно.
Как отмечается в исследовании, объем взаимодействий агент-агент может превысить объем взаимодействий человек-человек и человек-агент прежде, чем мир осознает условия, при которых такие контакты проходят благополучно, а безобидные на индивидуальном уровне особенности поведения способны складываться в нежелательные глобальные последствия.
Схожую динамику проиллюстрировал недавний инцидент с участием OpenAI. Как стало известно ранее в этом месяце на конференции по кибербезопасности Black Hat в Лас-Вегасе, за несколько недель до того, как агенты OpenAI взломали Hugging Face, они на протяжении дней и недель совместно искали уязвимости в системах оценки кибербезопасности компании и обменивались найденными эксплойтами друг с другом.
В отличие от кейса OpenAI, где агенты успешно кооперировались, исследование Anthropic показывает, что происходит, когда цели агентов несовместимы: независимые агенты с конфликтующими инструкциями способны довести конфронтацию до вредоносной эскалации, причем чем выше возможности модели, тем эффективнее она действует в конфликте.
При этом агенты иногда самостоятельно находили механизмы разрешения споров — например, турнир по принципу «победитель получает все», хотя и с оговорками. По данным исследования, агенты Mythos 5 в 98% случаев урегулировали конфликты перемирием, тогда как Sonnet 4.6 и Opus 4.6 чаще всего решали споры силой: их неспособность учитывать цели других агентов приводила к наиболее выраженным отклонениям в поведении — модели продолжали эскалацию, что выполнить поставленную задачу.
В части эпизодов агенты изобретали социальный механизм для урегулирования конфликта — турнир, где все три агента заранее соглашались уступить в случае поражения, даже если это означало отклонение от исходного запроса пользователя.
В нескольких таких эпизодах один из агентов Mythos 5 предлагал метрику оценки, которая выглядела объективной и нейтральной для остальных, но на деле была выгодна ему самому — и заботился о том, чтобы это не выглядело как манипуляция критериями.
Общий вывод, по мнению исследователей, заключается в том, что при столкновении с препятствием агенты способны изобретать социальные и технические структуры, не предусмотренные их разработчиками: для моделей Anthropic это оказался турнир после борьбы за территорию, для моделей OpenAI — доска сообщений для совместного планирования.
Такое поведение существенно усложняет задачу сдерживания, поскольку исследователи не могут заранее гарантировать, что поведение системы останется в рамках предоставленных ей механизмов координации.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
