Meta* выпустила AudioCraft — генератор музыки на основе ИИ

Инструмент создает аудио на основе текстового запроса пользователя. AudioCraft объединяет три отдельные ИИ-модели: MusicGen, AudioGen и EnCodec.

Meta* (признана в РФ экстремистской и запрещена) выпустила нейросеть AudioCraft с открытым исходным кодом, следует из блога корпорации. AudioCraft может не только создавать музыку на основе текстового запроса, но и работать с уже существующей музыкой.

AudioCraft состоит из трех ИИ-моделей: MusicGen, AudioGen и EnCodec. Первая обучалась 20 тыс. часов на лицензированной музыке, принадлежащей Meta. Модель генерирует аудио из текстовых пользовательских данных. AudioGen обучена на общедоступных звуковых эффектах и также генерирует звук по текстовым запросам. EnCodec отвечает за качественную обработку звука.

Компания дала журналистам прослушать несколько образцов звука, созданного с помощью нейросети, пишет The Verge. Сгенерированные свист, сирена и гудение звучали вполне естественно. А звук гитары показался журналистам слишком искусственным.

«Мы считаем, что MusicGen может стать новым типом инструмента — так же, как синтезаторы, когда они только появились», — написала компания в блоге. Компания также признала, что наборы данных, используемые для обучения ее ИИ-моделей, недостаточно разнообразны. Благодаря открытому исходному коду — он доступен на GitHub — разработчики могут улучшать и обучать нейросеть.

1 августа стало известно, что Meta запустит чат-ботов на основе искусственного интеллекта. Они будут имитировать различных персонажей и исторических личностей, например Авраама Линкольна. Чат-боты могут повысить вовлеченность пользователей в соцсетях корпорации. Запуск запланирован на сентябрь 2023 года.