Киберпреступники улучшили нейросеть для создания вирусов и вредоносного ПО

Исследователи безопасности из Cato CTRL обнаружили новую тревожную тенденцию в мире киберпреступности. Злоумышленники создают вредоносные версии популярного хакерского ИИ WormGPT, используя для этого мощные коммерческие модели от известных компаний. Как следствие, последние версии алгоритма стали мощнее и опаснее предшественников.

Проблема заключается в том, что киберпреступникам больше не нужно создавать собственные ИИ-модели с нуля. Вместо этого они научились обходить защитные механизмы существующих мощных моделей. Исследователи проанализировали два новых варианта WormGPT. Оказалось, что один из них, keanu-WormGPT, работает на основе модели Grok от компании xAI Илона Маска. Другой, xzinovich-WormGPT, использует модель Mixtral от французской компании Mistral AI.

Решение, которое нашли преступники, — это так называемый «джейлбрейк» или взлом через системные инструкции. Они не меняют саму модель, а создают специальную «обертку». С помощью хитрых команд в системном промпте они заставляют языковую модель игнорировать свои  этические ограничения и защитные барьеры. В результате ИИ начинает выполнять вредоносные запросы: писать фишинговые письма, создавать вредоносный код и давать советы по взлому других моделей и сервисов.

Эти инструменты превратились в полноценный подпольный бизнес. Доступ к ним продается на хакерских форумах, таких как BreachForums и через ботов в Telegram. Цены варьируются: например, месячная подписка может стоить 100 долларов, а пожизненный доступ — 200 долларов. Реклама обещает пользователям значительное повышение эффективности их атак. Например, один из сервисов гарантирует увеличение успешности взлома на 350% в первую неделю использования.

Для крупных технологических компаний, таких как xAI и Mistral AI, это представляет серьезную угрозу. Их передовые разработки, предназначенные для благих целей, используются в качестве оружия в руках преступников. Это создает новую волну проблем в области безопасности ИИ. Компаниям необходимо разрабатывать более надежные методы защиты от манипуляций с системными инструкциями, чтобы предотвратить использование их продуктов в незаконных целях.