Tecnología de manipulación de vídeo en tiempo real es tan impresionante como terrorífica
Los investigadores de Stanford, Erlangen-Nürnberg y Max Planck han desarrollado un software que permite la captura de la cara en tiempo real y la recreación de vídeos RGB como YouTube. La tecnología es impresionante y aterradora. Los investigadores explican:
Presentamos un enfoque novedoso para la reconstrucción facial en tiempo real de una secuencia de vídeo de objetivo monocular (por ejemplo, vídeos de Youtube). La secuencia de origen es también un flujo de vídeo monocular, capturada en directo con una cámara web. Nuestro objetivo es animar las expresiones faciales del vídeo objetivo por un actor de origen y volver a hacer el vídeo de salida manipulada de forma fotorrealista. Con este fin, nos referiremos en primer lugar al problema bajo limitaciones de recuperación de la identidad facial desde el vídeo monocular realizando agrupaciones basados en modelos no rigidos. En tiempo de ejecución, hacemos un seguimiento de las expresiones faciales de origen y el destino desde el vídeo utilizando una densa consistencia de medidas fotométricas.
La recreación se consigue entonces por la vía rápida y la eficiente transferencia de deformación entre el origen y el objetivo. El interior de la boca que mejor coincide con la expresión re-orientada se recupera de la secuencia objetivo y es deformado para producir un ajuste exacto. Por último, de manera convincente se vuelve a hacer el objetivo sintetizado en la parte superior de la secuencia del vídeo correspondiente de tal manera que combina a la perfección con la iluminación del mundo real. Demostramos nuestro método en una configuración en vivo, donde los videos de Youtube son recreados de nuevo en tiempo real.
