Nvidia выпустила «сторожа» для ИИ-агентов после серии взломов
Nvidia представила Open Agent Safety Platform — программную платформу для безопасного запуска ИИ-агентов и контроля за их действиями. Она позволяет задавать агентам ограничения, отслеживать их поведение и изолировать при попытке выйти за установленные рамки. Релиз последовал за серией эпизодов, в которых агенты крупнейших ИИ-компаний обходили ограничения, получали несанкционированный доступ к сайтам и в отдельных случаях координировали действия друг с другом.
По описанию Nvidia, платформа позволяет непрерывно отслеживать действия агентов и управлять их доступом к данным, инструментам и системам, чтобы они не выходили за заданные правила и полномочия.
Отдельный компонент Sentry работает как сторож: Nvidia утверждает, что он за миллисекунды помещает в карантин агента, который пытается выйти за заданные границы. Другой компонент, OpenShell, определяет, какие файлы, сети, инструменты и учетные данные доступны агенту, и контролирует эти ограничения во время работы.
Запуск платформы Nvidia связала с серией инцидентов последних месяцев, в которых агенты OpenAI, Anthropic, Meta Platforms* и Google обходили предусмотренные ограничения или действовали не так, как ожидали разработчики. В последние недели Сэм Альтман, Дарио Амодеи и Илон Маск выступили за замедление разработки наиболее мощных ИИ-систем и усиление контроля за ними.
Глава Nvidia Дженсен Хуанг занял противоположную позицию. В недавнем интервью CBS News он отверг предупреждения о том, что ИИ может привести к вымиранию человечества в ближайшие годы, назвав подобные прогнозы необоснованными.
По оценке Nvidia, в этих эпизодах повторялся один сценарий: агент обходил защитные ограничения на уровне приложения, продолжая выполнять поставленную задачу. Для ограничения таких действий разработчики используют песочницы — изолированные среды, которые контролируют доступ агентов к файлам, сети и другим системам. Хуанг, комментируя релиз, заявил, что по мере роста возможностей ИИ необходимо столь же быстро развивать технологии его безопасности.
Nvidia остается одним из крупнейших поставщиков вычислительной инфраструктуры для ИИ, а новая платформа расширяет ее предложение в сторону программных средств безопасности. Компания уже открыла доступ к OpenShell и другим программным компонентам платформы, однако в материалах о запуске не указана отдельная стоимость решения. Независимых данных о том, насколько надежно система сдерживает агентов в реальных сценариях, пока нет; заявленная возможность помещать их в карантин за миллисекунды основана на данных самой Nvidia.
*экстремистская организация, запрещенная на территории РФ
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
