Объединенная группа исследователей сразу трех крупных зарубежных институтов представила разработку под названием Face2Face. Программа способна проецировать мимику актера на произвольное лицо. Протестировали программу на примере политиков, Владимира Путина и Дональда Трампа (1:50 и 3:15 на приложенном видео).

Главной фишкой разработки становится то, что замена идет буквально в режиме реального времени. Задача оказалась весьма ресурсоемкой — разработчики запускали Face2Face на ПК с процессором Intel Core i7 и графикой NVIDIA GTX980. При этом мощности системы хватило на обработку видеопотока с разрешением 1280х1024 точки.

Face2Face считывает эмоции актера, делает с их помощью специальную маску, к которой привязываются мимические точки на лице. Система считывает деформацию во время разговора или выражения эмоций и передает их на анимированное лицо, накладывая поверх изображения.  Программа может работать даже в том случае, если головы актера и «куклы» наклонены в разные стороны, при наложении учитывается цветопередача и освещение.

Ранее подобные разработки уже появлялись, но ни одна из них не может сравниться по возможностям с Face2Face. В настоящее время специалисты продолжают работать над программой.