Sony разработала искусственный интеллект, который способен заменить барабанщиков
Японская Sony представила искусственный интеллект (ИИ), который добавляет звуки ударных инструментов в уже записанные треки, чтобы сделать их более запоминающимися. Инженеры обучали нейросеть на роке и хип-хопе.
Инженеры подразделения по разработке систем ИИ компании Sony создали алгоритм, который способен имитировать игру на ударных инструментах, сообщает The Next Web. Другими словами, нейросеть использует звуки других музыкальных инструментов в качестве аналогов ударных.
Алгоритм выбирает нужные звуки в треке, вырезает их, а затем корректирует сгенерированные удары, чтобы они гармонично звучали в уже существующей дорожке.
ИИ также умеет добавлять дорожку с ударными вне зависимости от темпа трека или его продолжительности. Измененные нейросетью треки можно послушать на сайте Sony.
Чтобы разработать ИИ, инженеры компании собрали базу данных с 665 треками на разных языках и в разных жанрах — поп, рок и хип-хоп. Во всех композициях звучали ритм-инструменты, бас, кик и петли, которые были доступны в виде отдельных звуковых дорожек 44,1 кГц.
В июле TikTok купил музыкальный ИИ-стартап Jukedeck, который генерирует музыку под видео. Алгоритм умеет интерпретировать видео и автоматически создавать под него музыку.