Нейросеть нарисовала лица по голосу

Ученые доказали, что по голосу человека можно воссоздать его внешность.

Разработчики из Массачусетского технологического института создали нейросетевую модель Speech2Face. Эта программа может по сонограмме речи человека создавать изображение его лица, основываясь на трех основных параметрах: поле, расе и возрасте.

Нейросеть даже способна по голосу определить некоторые особенности человека, например: его индивидуальные черты и национальность. В результате этого можно примерно представить, как выглядит человек, но это изображение, конечно, не будет достаточно точным.

Настоящие лица (слева) и смоделированные компьютером по голосу (справа).

Перед экспериментом ученые загрузили в нейросеть более миллиона коротких видеороликов с разговорами свыше 100 000 человек. Программа проанализировала голоса. Чтобы оценить точность работы, ученые сравнили пол, примерный возраст и этнические характеристики человека на видео и портрета, созданного по голосу.

Модель довольно неплохо распознала все индивидуальные особенности каждого человека. Нейросеть хорошо угадывает пол, но редко определяет возраст с точностью до десяти лет, а также лучше всего она нарисовала европейцев и азиатов. Исследователи объясняют эту особенность неравномерным распределением рас в выборке.

Автор: Мария Исаева

Фото: nplus1.ru/news/2019/05/27/speech2face