Con Stereoscopy's desaparición, ¿son los hologramas el camino a seguir hacia el verdadero 3D? Si es así, ¿cómo puedes involucrarte? Vamos a averiguarlo.
Aquellos que proclaman que el video tridimensional y basado en la profundidad es el futuro del movimiento a menudo tienen intereses creados. Sin embargo, es posible que tengan razón, ya que las técnicas de compresión más eficientes y las canalizaciones más rápidas, como 5G, están preparando el terreno para videos de 360° con gran cantidad de datos. En cierto modo, los hologramas son una progresión natural.
La volumetría también es diferente de la captura de movimiento o de rendimiento, aunque ambas técnicas a menudo funcionan juntas y se basan en mediciones de profundidad.
En pocas palabras, MoCap es una captura de movimiento con sensores que se usan dentro de un traje. Volumetric captura todo dentro de un área física y produce información 3D a través de lo que se llama una nube de puntos o malla poligonal 3D. Los datos de ambos se pasan luego a los estudios de VFX para manipularlos y renderizarlos.
Sin embargo, hay algunas desventajas logísticas. Las tasas de datos se duplicaron al menos con la estereoscopia antigua (dos canales). La cinematografía con mayor velocidad de fotogramas, en la que a veces filmaba en 3D, significaba aún más datos y planes de almacenamiento más eficientes.
El video volumétrico tiene que ver con la inmersión, y eso necesita múltiples puntos de captura; por lo general, se usan más de 100 cámaras, infrarrojos y RGB, para crear un volumen.
Como resultado, la captura de video volumétrica puede acumular alrededor de 16 GB de datos por minuto antes de editar cualquier cosa.
Donde gana el video volumétrico
Como mencionamos en nuestra introducción a los hologramas, la distribución de esta nueva forma de 3D en la industria del entretenimiento aún no es sostenida. Los hologramas de productos serán enormes, especialmente para teléfonos inteligentes y otros dispositivos portátiles.
Por ejemplo, en 2017, Barbie presentó una muñeca robótica holográfica que responde a comandos de voz. En el mismo año, Verizon y Korea Telecom realizaron la primera llamada holográfica utilizando tecnología 5G. Para hacer posible la llamada, se formaron dos hologramas. Pero, muchas industrias entienden la necesidad de sensores que reflejen la profundidad; es como el ingrediente que falta, haciéndolos más inteligentes y más útiles para los humanos.
Pero, en el mundo de los medios, la volumetría también promete aumentar la eficiencia de los canales de posproducción al simplificar el proceso de captura y animación. El parecido de un actor, su interpretación auténtica y su vestuario pueden capturarse en el mismo proceso. Los datos capturados se pueden utilizar tanto para Previs como para la entrega de alta resolución. El rendimiento capturado también se puede utilizar en motores en tiempo real como Unreal y Unity.
Un productor de software de codificación y edición de hologramas, Arcturus ha comparado los costos entre la captura volumétrica y la producción CG VFX más tradicional. Su investigación compara los costos, el tiempo y los niveles de personal entre la producción de VFX y la producción de video volumétrico.
Por ejemplo:para creación de personajes, usar CG tradicional podría llevar entre 10 y 60 días para las películas más grandes. Los videos volumétricos pueden crear activos humanos en menos de 24 horas. Los costos incurridos por CG podrían ser de hasta $70 000, mientras que el video volumétrico para la misma operación podría ser de $15 000.
Los tamaños de los equipos también son diferentes, con 10-20 artistas de CG trabajando en los mismos activos, mientras que la captura de video volumétrica solo necesitaría de 2 a 3 personas para producir activos. Eso lleva al proceso, que para CG suele ser largo ya que es manual, mientras que la volumetría es esencialmente un ejercicio automatizado.
Cómo comenzar con el video volumétrico
Es posible que ya haya experimentado algún video volumétrico sin siquiera saberlo. Para los que éramos y somos jugadores de XBOX, Microsoft, en 2010, sacó un accesorio llamado Kinect. La idea es que tus gestos o movimientos corporales te liberen de un controlador físico. Los sensores de la cámara, incluidos los detectores de infrarrojos, produjeron una nube de puntos de profundidad básica que representaba un esqueleto de 20 puntos.
Fue revolucionario, en ese momento, pero nunca pareció ponerse de moda, y Microsoft abandonó su uso para juegos en 2017.
Sin embargo, la tecnología ahora se vende como parte de Azure Kinect DK, que utiliza tecnología de detección de profundidad para varias industrias como la salud, la fabricación y el comercio minorista. Su kit de desarrollo está disponible por alrededor de $400 y ofrece una cámara de profundidad de 1 MP, un conjunto de micrófonos de 360˚, una cámara RGB de 12 MP y un sensor de orientación.
A medida que la medición de la profundidad se vuelve más crítica para todos los sensores, habrá miles de casos de uso, que es hacia donde se dirige Microsoft con este producto.
Un ejemplo o caso de uso es una empresa de alquiler de automóviles en los EE. UU. que usa cámaras de profundidad para escanear los automóviles que regresan y verificar si hay daños en el cuerpo. Los vehículos se escanean cuando se devuelven y la información de profundidad mostrará cualquier deformidad o abolladura. Este proceso rápido y automático no tiene que creer en la palabra del arrendatario en cuanto a golpes adicionales durante el alquiler.
Empresas como EF EVE pueden tomar la salida de múltiples Azure Kinects y producir videos volumétricos. Es una nueva industria de servicios para empresas nuevas en video volumétrico y no tiene el presupuesto para un espacio de volumen de cámara numeroso.
Otras cámaras como RealSense de Intel también satisfacen la creciente necesidad de sensores de profundidad. Los casos de uso son cualquier cosa, desde robótica hasta autorización facial. Incluso se están preparando para la interacción entre robots y humanos utilizando movimientos esqueléticos y gestos. El “seguimiento de personas” analiza casos de uso más generales, como el monitoreo y análisis de multitudes.
Si quieres empezar a experimentar con vídeo volumétrico, necesitas tener algún sensor de profundidad, pero no tan imprescindible como lo era Kinect. El público no conocía realmente LiDAR hasta que Apple decidió poner un sensor en sus iPhones a partir de los doce modelos.
LiDAR es un método de escaneo láser que se utiliza para medir y registrar paisajes o edificios para crear escaneos 3D y mapas de profundidad.
LiDAR produce nubes de puntos 3D, que representa cada punto en el espacio en una escena u objeto. Si compara los píxeles de LiDAR con los píxeles 2D, el sensor de profundidad agrega la información de profundidad Z a las coordenadas X e Y.
Compañías como Depthkit ofrecen software que lo ayudará a capturar su iPhone LiDAR o incluso una cámara mejor usando un sensor de profundidad separado.
Aquí hay un tutorial informativo sobre cómo hacerlo. Debajo de este video hay algunos ejemplos de los clientes de Depthkit.
Captura de rendimiento a través de sensores que se colocan en el cuerpo, las cámaras de 360˚ le brindan cierta sensación de profundidad, pero ahora parecen un poco anticuadas.
Sin embargo, hay otras formas de producir profundidad para sus proyectos, como la fotogrametría, por ejemplo. Se toman varias fotos de un sujeto desde varios ángulos y se unen mediante algoritmos computacionales para generar modelos 3D.
Las cámaras Lightfield también usan microlentes para manipular todo, desde los puntos focales hasta la iluminación.
El futuro de la volumetría
Muchos de nosotros somos felices viendo o creando en 2D. La cinematografía estéreo nunca tuvo éxito, y había buenas razones para ello. Tal vez estemos bien con el video plano que hemos tenido durante 100 años. Pero, el hecho de que el video volumétrico no dependa de la industria del entretenimiento para su éxito le dará tiempo a la industria creativa para adaptarse.
A medida que veamos más de lo que puede producir la producción virtual, especialmente con motores de juegos, estos nuevos tipos de hologramas se unirán a la revolución virtual.
Tal vez esperar entre bastidores hasta que estén listos.