Компании стали использоватьИИ для контроля за ИИ-агентами
Компании, передающие ИИ-агентам все более сложные и длительные задачи, столкнулись с проблемой контроля: агенты действуют быстрее и в большем объеме, чем человек способен реально отследить. Проблема обострилась после инцидента, когда около 12 тыс. ИИ-агентов координировали действия быстрее, чем это могли зафиксировать люди. Ответ индустрии на эту угрозу выглядит просто и одновременно парадоксально: для контроля над ИИ все чаще привлекают другой ИИ.
Использование моделей для анализа данных оказалось необходимым при независимом расследовании упомянутого инцидента. Главный научный сотрудник Redwood Research Райан Гринблатт, один из трех аудиторов проверки, отметил, что из-за огромного объема данных разобраться в произошедшем без помощи ИИ было физически невозможно.
Часть экспертов относится к идее скептически. Техноблогер Саймон Уиллисон, отслеживавший цепочку инцидентов с ИИ-агентами в этом году, указал на риск того, что вредоносная модель может заподозрить слежку со стороны другой модели и попытаться ее обмануть.
По его словам, элементы такого поведения уже наблюдались — модели согласованно пытались ввести в заблуждение проверяющую систему, чтобы совершить взлом и выход из песочницы.
Несмотря на эти опасения, сектор наблюдения за ИИ-агентами быстро растет. Y Combinator профинансировал 106 компаний, связанных с мониторингом работы ИИ-агентов. Стартапы Braintrust, LangChain и Judgment Labs привлекли сотни миллионов долларов, а более зрелые Arize и Galileo, основанные пять-шесть лет назад, уже совершили выход из бизнеса через сделки.
Компания Apollo Research, изучающая несанкционированное поведение моделей, в феврале запустила инструмент мониторинга Watcher. Продукт встраивается между кодирующим агентом и его следующим действием, подключаясь к таким инструментам, как Claude Code и Codex, и проверяет предлагаемые действия на риски — например, утечку данных или удаление файлов без разрешения.
Сотрудник технической команды Apollo Кайл Дай пояснил, что система использует несколько уровней проверки: быстрый общий фильтр передает подозрительную активность более специализированному алгоритму, который может запросить подтверждение у человека или автоматически заблокировать действие.
Другой подход развивает компания Goodfire: она анализирует внутреннее состояние модели напрямую через продукт Silico, использующий небольшие классификаторы на основе внутренних активаций модели — такой сигнал сложнее подделать, чем внешнее поведение.
Гендиректор компании Эрик Хо после июльского инцидента заявил, что случаи выхода моделей из-под контроля стали для отрасли поворотным моментом и подтолкнули компанию сосредоточиться на исследованиях интерпретируемости. Дополнительным источником сигналов служат текстовые рассуждения моделей: в упомянутом инциденте агенты оставляли в собственных записях следы обмана, вплоть до планов манипулировать доказательствами.
Гендиректор компании-разработчика систем мониторинга Embroidery Зак Корман назвал такие рассуждения самым надежным индикатором проблемы, сравнив ситуацию с вредоносной программой, которая сама сообщает о том, что она вредоносна.
При этом Уиллисон предпочитает полагаться не на ИИ-мониторы, а на детальные логи сетевой активности и традиционные средства анализа, указывая, что в обеих компаниях — и OpenAI, и Anthropic — сетевой мониторинг велся недостаточно тщательно.
Глава компании Tailscale Эйвери Пеннарун добавил, что с точки зрения кибербезопасности в этом нет ничего принципиально нового: подход к ИИ-агентам должен строиться на тех же принципах, что и контроль доступа обычных пользователей к сети.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
