Создание персонализированных фотореалистичных моделей говорящей головы
Высокореалистичные изображения головы человека были получены путем обучения сверточных нейронных сетей (CNN). Однако создание персонализированной модели говорящей головы требует обучения на большом наборе данных изображений одного человека. Также очень важно, чтобы такие персонализированные модели говорящих голов были изучены только на основе нескольких изображений человека или даже одного изображения.
Немногочисленное состязательное изучение реалистичных моделей нейронной говорящей головы
Исследователи представили основу для метаобучения состязательных генеративных моделей, которая может обучать высокореалистичные виртуальные говорящие головы в форме глубоких сетей генераторов. Каркас - это всего лишь горстка фотографий, которые можно использовать для создания новой модели.
Говорящая модель, обученная на 32 изображениях, достигает идеального реализма и персонализации. Новый алгоритм может изменять параметры как генератора, так и дискриминатора индивидуально для конкретного человека, так что обучение может быть быстрым и выполняться только с несколькими изображениями.
Возможное использование и эффекты
Предлагаемая структура способна научиться очень реалистично и индивидуально говорить. Он выполняет длительное метаобучение на огромных наборах видеоданных и, следовательно, может формировать однократное или однократное обучение моделей нейронной говорящей головы ранее невидимых людей как состязательные задачи обучения с генераторами и дискриминаторами большой емкости.
Этот подход может быть использован для улучшения и достижения уровня техники в системах, которые могут синтезировать правдоподобные видеопоследовательности речевых выражений при взаимодействии человека с компьютером, обработке естественного языка и автоматизированных диалоговых системах.
Он также имеет практические приложения для телеприсутствия, включая видеоконференцсвязь и многопользовательские игры, а также в индустрии спецэффектов.
Подробнее: https://arxiv.org/pdf/1905.08233.pdf
Спасибо за чтение. Прокомментируйте, поделитесь и не забудьте подписаться на нашу еженедельную рассылку, чтобы получать самые свежие и интересные исследования! Вы также можете подписаться на меня в Twitter и LinkedIn. Не забудьте 👏, если вам понравилась эта статья. Ваше здоровье
