Технологии дополненной реальности и нейросетей постепенно завоевывают наш мир. И Apple неслучайно работает с этим направлением в своих продуктах. Уже сейчас программы стали настолько продвинутыми, что умеют самостоятельно делать видео из фотографии.

Некоторые разработчики идут дальше и пытаются на основе понятного и проверенного алгоритма создать нечто особенное. Примером может служить приложение Xpression: Next-Gen Face Swap, в котором соединились технологии дополненной реальности и машинного обучения. Это приложение позволяет создать мимику для статичного лица, используя ваши собственные эмоции, речь и т.д.

Примеры использования программы Xpression: Next-Gen Face Swap на видео:

Как добавить на любое портретное фото или видео анимацию с собственными эмоциями

Создателем данного продукта является японский стартап EmbodyMe. В оцифровке лица и создании для него мимики и жестов используется нейросеть. Затем полученные Deepfake движения накладываются прямо в режиме реального времени на любое выбранное вами фото или видео.

Использование программы никаких сложностей не вызывает. Сперва приложение Xpression: Next-Gen Face Swap необходимо скачать. Программа предлагает выбрать одну из шаблонных фотографий, осуществить поиск подходящей картинки знаменитостей или же выбрать свое фото из галереи. К примеру, вы можете попробовать найти фотографию Стива Джобса и попробовать сделать из нее небольшое видео.

Сразу же после выбора базовой картинки для обработки приложение активирует датчики TrueDepth, которые в обычном режиме участвуют в реализации технологии Face ID и сканируют лицо человека.

Этот материал поможет в режиме реального времени менять мимику на фотографии. Правда, технология еще явно сыроватая, в целом результат виден, но некоторые движения лица, как, к примеру, открытый рот, могут явно «поломать» исходную картинку. Но проблема может быть и в неудачных исходниках. С другими фотографиями результат куда более убедителен.

Из полученного результата на основе фото вы можете на своем айфоне сделать видео, нажав для записи круглую кнопку. Аналогичный подход можно применить и к уже существующему видео, но можно посоветовать не раскрывать широко своего рта.

Существует и веб-версия программы. Она может пригодиться для видеоконференций, например, для Zoom, Twitch, Google Meet или Microsoft Teams. Для них можно создать виртуальный аватар в официальном костюме и со стильной прической, а участвовать в разговоре сонным и в пижаме. Вот только коллеги могут быстро раскусить обман.

Пример использования веб-версии сервиса для видеоконфиренции:

И если для серьезных целей приложение Xpression: Next-Gen Face Swap использовать трудно, ничто не мешает сделать его частью своих развлечений: записывая веселые ролики или разыгрывая друзей в чате. Молодой стартап пока только вышел на рынок со своим проектом, понаблюдаем за его развитием. А пока же продукт даже не коммерческий и работает полностью бесплатно.