Microsoft представила нейросеть VALL-E, которая может скопировать голос любого человека

Компания Microsoft сообщила о создании нейросети под названием VALL-E, которая имитирует любой голос. Для этого ей нужно не более 3 секунд записи оригинального голоса. Нейросеть способна не только имитировать голос, но и даже дублировать эмоциональный фон.

Так работает нейросеть VALL-EТак работает нейросеть VALL-E

Система включает в себя нейронную языковую модель, в основе которой лежит EnCodec. Она разделает голос человека на компоненты и сопоставляет со своей базой данных. После этого нейросеть использует эти сведения для построения новых фраз.