ИИ Microsoft под названием VALL-E требуется 3 секунды, чтобы имитировать чей-либо голос

ИИ Microsoft под названием VALL-E требуется 3 секунды, чтобы имитировать чей-либо голос

Microsoft показала ИИ, способный имитировать любой человеческий голос. Это называется VALL-E, как и предыдущий алгоритм DALL-E. Если вы знаете, последний создает изображение на основе текста.

VALL-E может имитировать тембр и манеру речи, прослушивая голос реального человека всего за три секунды. Хотя звук немного похож на голос робота, результат все равно впечатляет.

Microsoft назвала это «языковой моделью нейронного кодека». VALL-E был построен на основе EnCodec (аудиокодек с использованием методов машинного обучения), разработанного компанией Meta год назад, в 2022 году.

Гизчина Новости недели

GizChina News of the week 12 - Weekly tech news for all

ВАЛЛ-И имитирует любой голос

Другие методы преобразования текста в речь учитывают формы сигналов. Но VALL-E генерирует отдельные аудиокодеки из текста и аудио. По сути, он анализирует, как звучит человек. Затем он разбивает эту информацию на отдельные части (называемые «токенами») через EnCodec. И, наконец, он использует обучающие данные, чтобы сопоставить то, что он «знает» о том, как этот голос звучал бы, если бы он произносил другие фразы за пределами трехсекундного образца.

ВАЛЛ-И обучали с помощью специального библиотека. Последний содержит 60 000 часов английской речи от более чем 7 000 человек. Разработчики предполагают, что метод можно использовать для высококачественных приложений преобразования текста в речь. Например, вы можете использовать его для редактирования записей речи, где допускается изменение человеческих слов. В результате вы можете создавать аудиоконтент (например, озвучку для аудиокниг) и многое другое.

Конечно, такая техника может нести и определенную опасность. Рано или поздно «одноглазые» пользователи сделают из него инструмент шантажа. Скажем, они могут использовать ИИ, чтобы доказать, что известные люди сказали что-то, чего они не говорили. Такие случаи уже были дипфейки в видеоформате.

Мы думаем, вы смотрели видео с Илоном Маском, который обещает огромные доходы от инвестиций в сомнительную криптовалюту.

0

Комментариев нет

Нет комментариев

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *