Преступники могут контролировать то, что «видят» системы компьютерного зрения при помощи новой техники

Исследователи продемонстрировали новый и опасный способ атаки на системы компьютерного зрения с искусственным интеллектом. Техника RisingAttack позволяет злоумышленникам контролировать, что «видит» ИИ. Это создает серьезные угрозы безопасности, поскольку такие системы используются в критически важных областях, от беспилотных автомобилей до медицинской диагностики.

Суть проблемы заключается в уязвимости ИИ к так называемым «состязательным атакам». Хакер может внести в изображение минимальные, незаметные для человеческого глаза изменения. В результате ИИ-система не сможет распознать пешехода, дорожный знак или злокачественную опухоль на рентгеновском снимке. Это может привести к катастрофическим последствиям.

RisingAttack работает эффективнее других подобных техник. Сначала алгоритм анализирует изображение и определяет ключевые визуальные признаки, которые важны для распознавания определенного объекта, например автомобиля. Затем он вычисляет, насколько чувствительна ИИ-система к изменениям именно в этих признаках. Это позволяет вносить очень маленькие правки для достижения цели атаки.

В результате два изображения могут выглядеть для человека абсолютно одинаково, но ИИ увидит объект только на одном из них. Исследователи успешно протестировали RisingAttack на четырех самых распространенных моделях компьютерного зрения: ResNet-50, DenseNet-121, ViT-B и DEIT-B. Техника оказалась эффективной против всех.

Цель исследователей не создание оружия для хакеров, а выявление уязвимостей для разработки надежных методов защиты. Эта работа показывает, насколько хрупкими могут быть современные ИИ-системы.