Люди начали использовать генераторы ИИ, чтобы создавать навязчивые, расистские и пропагандистские песни

Злоумышленники используют музыкальные инструменты ИИ для создания расистских и пропагандистских песен, а также публикуют руководства, обучающие других этому навыку, сообщили TechCrunch. По данным ActiveFence, сервиса для управления доверием и безопасностью на онлайн-платформах, с марта в сообществах, связанных с разжиганием ненависти, участились разговоры о том, как использовать инструменты ИИ для создания оскорбительных песен, направленных против групп меньшинств.

Созданные с помощью ИИ песни, которыми делятся на форумах и дискуссионных площадках, направлены на разжигание ненависти к этническим, гендерным, расовым и религиозным группам, говорится в отчете исследователей ActiveFence, а также на восхваление актов мученичества, членовредительства и терроризма.

Появилось опасение, что с появлением простых в использовании, бесплатных инструментов для создания музыки они станут массово фабриковаться людьми, у которых раньше не было средств,— точно так же, как генераторы изображений, голосов, видео и текстов ускорили распространение дезинформации и разжигания ненависти.

«Эти тенденции усиливаются по мере того, как все больше пользователей учатся генерировать такие композиции и делиться ими с другими, — сказал представитель ActiveFence. — Угрожающие субъекты быстро выявляют специфические уязвимости, чтобы использовать эти платформы различными способами и генерировать вредоносный контент».

Музыкальные инструменты с генеративным ИИ, такие как Udio и Suno, позволяют пользователям добавлять собственные тексты в создаваемые песни. Защитные механизмы на платформах отфильтровывают распространенные оскорбления и унизительные слова, но пользователи, по данным ActiveFence, нашли обходные пути.

В одном из примеров, приведенных в отчете, пользователи на форумах сторонников превосходства белой расы делились фонетическим написанием меньшинств и оскорбительных терминов, таких как «jooz» вместо «Jews» (евреи) и «say tan» вместо «сатана», которые они использовали, чтобы обойти фильтры контента. Некоторые пользователи предложили изменить пробелы и орфографию при упоминании актов насилия, например заменить «my rape» на «mire ape».

СМИ проверили несколько таких обходных путей на Udio и Suno, двух наиболее популярных инструментах для создания и обмена музыкой, сгенерированной ИИ. Suno пропустил их все, в то время как Udio заблокировал некоторые, но не все оскорбительные омофоны. Представитель Udio сообщил, что компания запрещает использовать свою платформу для разжигания ненависти. Компания Suno не ответила на просьбу о комментарии.

В проверенных сообществах ActiveFence обнаружила ссылки на сгенерированные ИИ песни, пропагандирующие теории заговора о евреях и призывающие к их массовому убийству; песни, содержащие лозунги, связанные с террористическими группировками ИГИЛ и «Аль-Каида»; и песни, прославляющие сексуальное насилие над женщинами.

ActiveFence доказывает, что песни — в отличие от текста — обладают эмоциональной силой, что делает их особенно мощным средством для групп ненависти и политической войны. Компания приводит в пример «Рок против коммунизма» — серию концертов «белого рока» в Великобритании в конце 70-х и начале 80-х годов, породившую поджанры антисемитской и расистской музыки «hatecore».

«ИИ делает вредоносный контент более привлекательным — представьте, что кто-то проповедует вредоносную идею об определенной группе населения, а затем представьте, что кто-то создает рифмованную песню, которую все могут легко подпевать и запоминать, — сказал представитель ActiveFence. — Они укрепляют групповую солидарность, а также используются для того, чтобы шокировать и оскорблять интернет-пользователей».

ActiveFence призывает музыкальные платформы внедрять средства профилактики и проводить более тщательную оценку безопасности. «Потенциально некоторые из этих уязвимостей могут быть обнаружены с помощью красной команды, которая может быть проведена путем имитации поведения субъектов угроз, — сказал представитель компании. — Улучшение модерации входных и выходных данных также может быть полезным в этом случае, поскольку это позволит платформам блокировать контент до того, как он будет передан пользователю».

Однако исправления могут оказаться недолговечными, поскольку пользователи обнаруживают новые методы, препятствующие модерации. Например, некоторые из сгенерированных ИИ песен, пропагандирующих терроризм, которые выявила ActiveFence, были созданы с использованием эвфемизмов и транслитераций на арабском языке — эвфемизмов, которые музыкальные генераторы не обнаружили, предположительно потому, что их фильтры не сильны в арабском языке.

Генерируемая ИИ музыка, вызывающая ненависть, может распространиться далеко и широко, если она пойдет по стопам других генерируемых ИИ медиа. В начале этого года издание Wired рассказало о том, как смоделированный ИИ клип с изображением Адольфа Гитлера набрал более 15 млн просмотров на сайте X после того, как им поделился один из сторонников ультраправого заговора.

Среди прочих экспертов консультативный орган ООН выразил обеспокоенность тем, что расистский, антисемитский, исламофобский и ксенофобский контент может быть усилен генеративным ИИ.

«Генеративные сервисы ИИ позволяют пользователям, у которых нет ресурсов или творческих и технических навыков, создавать контент и распространять идеи, которые могут конкурировать за внимание на глобальном рынке идей, — сказал пресс-секретарь. — А субъекты угроз, обнаружив творческий потенциал этих новых сервисов, пытаются обойти модерацию и избежать обнаружения — и им это удается».

В феврале Google временно приостанавливала возможность генерации изображений в чат-боте Gemini после негативной реакции некоторых пользователей. Они утверждали, что данная функция была политически настроена. Пользователи сообщали о том, что ИИ часто генерировал изображения людей различных рас в неправильных исторических контекстах. В ответ на это Илон Маск выразил критику в адрес Google, называя их программы «расистскими и противоречащими цивилизованным ценностям».