Стартап основателя Twitter представил самую реалистичную голосовую ИИ-модель: ее не отличить от человека
Компания Джека Дорси Block показала голосовую модель Dessa, способную воспроизводить смех, паузы и интонации. Ее разработала исследовательская лаборатория Block. По словам компании, модель обучали только на человеческой речи, на одной стойке ускорителей Nvidia. Публичного доступа к Dessa пока нет, но сообщается, что ее можно будет запускать локально на ПК или ноутбуке.
Dessa работает в режиме полного дуплекса: говорит и слушает одновременно, как GPT-Live, которую OpenAI выпустила ранее в этом году. Обычно речевую модель связывают с большой языковой моделью, которая отвечает за знания. У Dessa знания встроены в модель — интеграции с языковой моделью не требуется. Сообщается, что для обучения нейросети были использованы только аудиозаписи разговоров пользователей.
Block считает, что у нынешних голосовых помощников речь звучит неестественно: они переводят голос в текст и теряют информацию об эмоциях, которую текст передать не может. В компании видят в этом причину худшего пользовательского опыта и потенциальных рисков. Другие модели, например ElevenLabs v4 и Fish Audio Drama 3, задают эмоции голосовыми тегами. В Block говорят, что у Dessa эмоции встроены в модель. Управляются ли они какими-то тегами, не уточняется.
Исследователи опубликовали примеры разговоров, где ИИ говорил разными голосами, темпом и с разными эмоциями. В одном из них бот сказал, что устал после работы, и голос зазвучал устало. В другом сотрудник Block играет с ассистентом в угадайку.
Формальных тестов у модели нет, а сравнение с GPT-Live компания строит только на демонстрационных записях.
Модель можно запустить на MacBook M4 Max или более мощном компьютере. Для Block, которая зарабатывает на финансовых услугах для малого бизнеса, это может снизить стоимость голосовых сервисов: Square уже использует голосовой ИИ для приема заказов. Планы по внедрению Dessa в продукты компания не раскрывает.
Небольшая группа исследователей получила ранний доступ к модели. Block призвала специалистов по безопасности ее протестировать. TechCrunch предполагает, что речь идет о проверке сценариев, при которых голосовой агент может обмануть собеседника.
Подпишитесь на «Инк» в Telegram. Там мы пишем нескучным языком о самом важном для предпринимателей. Подписаться.
