¡Continuemos donde lo dejamos! Esta vez mostraremos algunas mejoras en la integración 3D y completaremos nuestro videoclip personalizado.
En nuestro artículo anterior de esta serie de dos partes, mostramos algunas características excelentes de PFTrack. Este software no solo resuelve el movimiento real de la cámara, sino que también realiza el seguimiento de objetos en 3D.
En el primer paso, obtuvimos un breve clip mío sobre una pantalla verde. En segundo lugar, introdujimos una máscara 3D que debe seguir el movimiento de mi cabeza con mayor precisión. ¡Hasta ahora todo bien!
Al reproducir esta breve secuencia, notamos cómo combinamos la máscara 3D con la rotación de la cabeza.
Seguimiento de objetos 3D en acción. La máscara sigue la rotación de la cabeza a lo largo del clip.
Sin embargo, todavía queda trabajo por hacer en la máscara porque los cordones, por ejemplo, no tienen la forma adecuada alrededor de la cabeza. De la misma manera, queremos preparar el clip para el render final, pero la toma necesita algunos elementos adicionales para un resultado efectivo.
En pocas palabras, todavía necesitamos ajustes e integraciones adicionales para producir trabajos 3D de calidad. Lo que acabamos de ver es el resultado del seguimiento de objetos.
El resultado final será algo como esto:
Hay muchas actividades a realizar antes de llegar a este resultado final.
Esta es la lista de verificación:
- Resolver posiciones de encaje
- Creación de geometrías mate
- Geometrías mate sombreadas
- Construyendo una red de sombreado para la máscara
- Iluminación y renderizado
- Eliminación de la pantalla verde
- Composición, corrección de color y exportación final
¡Entremos en el software 3D y comencemos nuestro viaje!
Reproducir la toma en un software 3D
Después de la exportación desde PFTrack, la toma se reproduce en nuestro software 3D preferido como se esperaba. No obstante, nos enfrentamos a dos cuestiones importantes y principales.
Los cordones laterales no rodean adecuadamente la cabeza en algunas tomas. Peor aún, son visibles a través del agujero de la máscara, ya que no hay geometría 3D que enmascare la parte posterior de la escena.
Tan pronto como reproducimos el clip, surgen dos problemas importantes. ¡Necesitamos arreglarlos! Resolvamos esos problemas principales y encontremos una solución adecuada.
Resolver la posición del encaje
Sinceramente, este paso puede llevar algún tiempo hasta obtener un resultado decente. La máscara tiene tres cordones:uno en la parte superior y dos a los lados. Deben coincidir exactamente con el perfil de la cabeza.
Generalmente, no existe una herramienta específica a utilizar, pero como regla general, es común adoptar técnicas menos destructivas. Recuerde repetir el clip repetidamente y verificar que los cordones estén en el lugar correcto para cada fotograma.
Si tienes otras alternativas, evita utilizar la manipulación directa de los vértices para remodelar los cordones. Puede que funcione en algunas ocasiones, como mover pequeñas porciones de la malla, pero aquí tenemos que aplicar grandes cambios. Dependiendo del software utilizado, deberías aprovechar los modificadores que no causan efectos de estiramiento ni deformaciones extrañas en general.
En Maya, por ejemplo, la herramienta de celosía me pareció una gran solución. Simplemente crea una cantidad personalizable de vértices de control (también conocidos como puntos de celosía) alrededor de la geometría, cada uno de los cuales controla una porción específica de la malla. En consecuencia, cambias la forma del encaje moviendo puntos de la red en un espacio 3D. De esta forma, es fácil manipular el modelo sin provocar deformaciones extrañas.
La herramienta de celosía es una buena opción. Si agrega algunos puntos de red, puede cambiar la forma general. Al aumentar el número de puntos de la red, puede trabajar mejor en los detalles. 
Examinando los cordones desde diferentes puntos de vista. Tienes que ser lo más preciso posible.
Suavizar la geometría aplicando algunas herramientas de escultura. A pesar de utilizar un deformador como una celosía, de todos modos es posible introducir algunos pequeños efectos de estiramiento. Para evitarlo, Maya ofrece una serie de herramientas para esculpir.
Para mí, el suave , relájate y agarra ¡Las herramientas hacen su trabajo!
Enmascarar partes ocultas
Si piensas en renderizar con la máscara y los cordones, ¡estás preparando tu escena incorrectamente!
Si es cierto que la máscara oculta una parte importante de la cabeza, lamentablemente todavía vemos parte de los cordones a través de los agujeros. Entonces, ¿cómo podemos ocultar lo que debe ocultarse según el punto de vista de la cámara?
La respuesta es relativamente sencilla. Necesitamos agregar algunas mallas adicionales que funcionen como geometrías mate.
En pocas palabras, todo lo que hay detrás de una geometría mate, desde la perspectiva actual, es invisible y no está renderizado. Dado que los cordones aparecen a través de los agujeros, duplica parte de la geometría de la máscara de Jason, pero recuerda rellenar los agujeros pequeños. Luego, colóquelo justo detrás de la máscara original.
Si esto puede parecer un poco complicado, hagamos las cosas más fáciles con imágenes que se explican por sí mismas.
Mientras el personaje gira, los cordones no se representan como se esperaba. En particular, desde la vista lateral, observamos el cordón en el lado opuesto; debería estar bloqueado por una cabeza 3D falsa.
Ahora construyamos una forma de cabeza 3D aproximada que se comporta como una geometría mate.
Recuerde no perder mucho tiempo refinando el aspecto de esas geometrías. El único requisito es aproximarse lo mejor posible a la forma de la cabeza.
Ya casi hemos terminado con la configuración, pero aún tenemos que asignar un sombreador correcto a esas geometrías.
Como probablemente habrás notado, utilizamos ampliamente el término "mate" cuando hablamos de esas mallas.
Aquí el término se conoce comúnmente como máscara (no debe confundirse con la máscara de Jason) porque impide que el software represente lo que hay detrás de la máscara de acuerdo con el fotograma actual.
Echemos un vistazo rápido a las propiedades de sombreado.
Propiedades de sombreado en las geometrías adicionales
No importa si usa Maya, 3ds Max, etc. mientras trabaja con sombreado. Es suficiente entender cómo aplicar la configuración correcta.
En nuestro caso, utilizamos Arnold como renderizador. Si estás más acostumbrado a utilizar otra herramienta, ¡adelante!
Arnold ofrece un sombreador de superficies multiuso llamado "aiStandardSurface". Marque "Activar mate" en la sección "Mate", donde también tiene dos opciones simples:
- Color mate
- Opacidad mate
El primero creó un color:negro puro en nuestro caso. Este último tiene un impacto en el Canal Alfa .
En resumen, creamos un enmascaramiento adecuado desde el punto de vista de la cámara, pero sin oscurecer el metraje original.
Por ejemplo, dado que el cordón posterior aparece a través de la máscara de Jason en un marco específico, debemos asignar a las diferentes geometrías un color negro mate y establecer Opacidad mate a 0. El color negro ocultará el encaje posterior en el momento del renderizado, mientras que el canal alfa permitirá que los ojos del metraje original reaparezcan donde deberían estar.
Veamos un ejemplo visual.
La Opacidad mate establecida en 0 crea un alfa donde los agujeros tienen un color negro. Eso garantiza que el metraje original será visible a través de los agujeros.
Si hubiéramos configurado la Opacidad mate en 1, el canal alfa habría sido totalmente blanco, lo que significa que habría sido imposible fusionar el metraje original en posproducción.
Por lo tanto, tenga en cuenta la sencilla configuración anterior que funciona casi todo el tiempo. Tienes que integrar modelos 3D con videoclips.
Una red de sombreado simple para la máscara de Jason
Hoy en día, casi todos los recursos 3D contienen un conjunto adecuado de texturas PBR. .
Para refrescar sus ideas, PBR significa "Representación basada físicamente", una tendencia en CGI que tiene como objetivo mejorar la forma en que la luz interactúa con los objetos 3D. Eso significa mejores materiales, sombreado preciso, etc.
Dicho esto, la máscara de Jason tiene un conjunto de texturas PBR que son:
- el mapa de Albedo, que contiene sólo la información del color
- el mapa de rugosidad indica dónde la superficie muestra reflejos borrosos o nítidos
- el mapa de metalidad se utiliza para indicar partes metálicas de la malla.
- el mapa normal almacena las normales en la superficie para simular detalles falsos como protuberancias, grietas, asperezas, etc…
Trabajar con las texturas anteriores significa adoptar un flujo de trabajo de metal/rugosidad.
El mapa de albedo está representado por algo de tierra. Modificamos los valores de rugosidad para tener un reflejo borroso y poco profundo. La metalidad sólo tiene un impacto en los botones metálicos, mientras que el mapa normal afecta principalmente a los cordones, y eso será visible en nuestro render final.
Aquí está la red de sombreado en Maya con algunos ajustes sencillos en la rugosidad, el metal y el color general de la máscara.
Una red de sombreado simple en Arnold para un material PBR . Algunas consideraciones sobre la iluminación
En el metraje original, como se menciona en la parte I de esta serie, utilicé dos softboxes:uno de la izquierda y otro de la derecha. Además, la intención no era añadir luces fuertes sobre el tema. En cambio, las cajas de luz sirvieron como fuentes de luz para la pantalla verde. De hecho, eliminar el fondo en la composición es mucho más fácil si el fondo verde está uniformemente iluminado.
Dicho esto, dado que el personaje original no tiene una luz muy fuerte desde una dirección precisa, tenemos suficiente espacio para personalizar nuestra iluminación Maya. Decidí optar por un esquema de iluminación de 2 puntos.
Luego agregué una apariencia más dramática. a la máscara disminuyendo la intensidad de la luz del área izquierda.
En la siguiente prueba de renderizado, puedes ver la sensación de dramatismo debido al contraste y los colores oscuros de la tela. Además, la relación de iluminación —clave para llenar—es lo suficientemente alto como para aumentar la tensión.
Una prueba de renderizado rápido utilizando un esquema de iluminación de 2 puntos. Mantuvimos la geometría mate a propósito, solo para ver cómo las geometrías mate cubrían las partes necesarias. Produciremos un render diferente en nuestra toma final, pero con este experimento quería mostrarles cómo se puede lograr una apariencia dramática con solo dos luces y un poco de composición.
Alternativamente, te invito a probar tu escena Maya con una imagen HDR y tu esquema de iluminación.
Tiempo para renderizar la animación
¡Representemos la máscara de Jason con la ayuda de nuestras geometrías mate anteriores!
Como resultado, nos gustaría que se componga una capa independiente en After Effects sobre el metraje original.
Además, agregamos un poco de niebla de la biblioteca de Shutterstock.
Por el momento, lo que ves en el vídeo a continuación es el resultado puro del renderizador Maya Arnold. —Hasta el momento no se han realizado otras correcciones.
La máscara se renderiza con una capa de niebla adicional.
Del render anterior, podemos probar la opacidad y la presencia de partes de render correctas a medida que se mueve la máscara. La niebla, por ejemplo, es visible a través de los agujeros de la máscara y el encaje funciona correctamente.
¡Hasta ahora todo bien!
Ahora, la siguiente secuencia de imágenes representa la corrección de color aplicada a la máscara para hacer coincidir el metraje principal con una imagen de fondo.
Se han aplicado los siguientes efectos para mejorar la integración con el entorno de fondo, pero también se considera hacer coincidir simultáneamente los colores de la máscara con el metraje original.
Se agregó un poco de contraste al renderizado original 
Efecto de niveles 
Efecto de granulado y curvas 
Efecto de tinte 
Efecto de desenfoque 
Efecto de niveles para hacerlo un poco más oscuro
Si bien la corrección de color es un elemento de la posproducción, existen muchas formas de lograr una buena integración.
Normalmente trabajo con componentes RGB por separado, trabajando en canales individuales. Alternativamente, una solución rápida y económica permite agregar un efecto de tinte a una capa objetivo tomando muestras de los puntos blancos y negros de otra.
¡Pruebe ambas soluciones y evalúe cuál funciona mejor para usted!
Agregar el metraje original a After Effects
Antes de centrarme en el metraje principal, me gustaría dedicar unas palabras a eliminar la pantalla verde del sujeto principal.
Como sabes, el color verde es el chroma key y se puede extraer fácilmente mediante un complemento en After Effects llamado Keylight —versión 1.2, en mi caso.
Tiene varias opciones, pero en general es bastante sencillo. Sin embargo, la configuración varía de un caso a otro. Aquí hay una lista rápida de los principales pasos esenciales a seguir.
- Recoge el color del fondo. Elige el área más limpia y uniforme de la pantalla verde
- y ajuste la ganancia de pantalla y Balance de pantalla para refinar el resultado
- En la Corrección de color de borde sección, juega con casi todos los parámetros. Esta sección es crucial cuando se trabaja en áreas cercanas a los bordes. Sin una sintonización correcta, es probable que el sujeto presente un contorno evidente y artificial
A veces la supresión de color de borde La subsección podría ayudar. En mi caso no utilicé eso porque ya había obtenido uno bueno y excelente con las opciones anteriores.
Metraje original 
Extracción de pantalla verde 
Efecto de tinte pero aún no hay coincidencia de color 
Efecto de color Lumetri 
Un poco de desenfoque gaussiano Detalle que muestra el borde de la chaqueta
Encontré el Efecto de color Lumetri particularmente útil. Permite jugar con luces, sombras, blancos, negros, y así el caso anterior; me ayudó a amortiguar el reflejo especular en mi chaqueta mientras establecía una combinación de color adecuada con el fondo.
En la última imagen se puede apreciar la bonita transición de la chaqueta hacia el fondo.
Agreguemos la máscara nuevamente
El fondo, la máscara y el metraje original funcionan muy bien juntos. Si vuelves a observar la composición final, notarás lo importante que es dedicar tiempo a los detalles.
La limpieza La animación de la máscara es una de las primeras tareas a considerar durante las primeras etapas de todo el proceso. Una vez que la animación esté en PFTrack, es posible que encuentres algunos fotogramas por pulir.
En mi caso, afortunadamente, tuve pocos o ningún problema ya que el seguimiento de la geometría funcionó bien desde el principio, y es por eso que no hablamos de eso.
Sólo recuerda comprobar la animación fotograma a fotograma y, en su caso, utilizar un editor en tu software 3D para refinar el resultado.
Además, considera trabajar en detalles como la posición del cordón, que debe coincidir con el movimiento de la cabeza durante el clip.
Aquí hay algunos cuadros del video que muestran la posición del cordón. Utilicé una LUT diferente para agregar más contraste.
Vemos una porción muy pequeña de la oreja apareciendo como debería ser 
Desde una perspectiva diferente, los 2 cordones abarcan la cabeza A medida que la cabeza gira, los cordones superiores y laterales parecen estar pegados a la cabeza Si nota que es necesario ajustar la posición del cordón en unos pocos fotogramas, puede continuar continuamente en la posproducción y agregar un efecto beneficioso llamado Mesh Warp. Crea una cuadrícula donde cada punto controla un área de metraje particular, similar al Lattice Deformer que usamos en el software 3D.
Dado que se recomienda aplicarlo para ajustes menores, asegúrese de una animación sólida y casi perfecta desde el software 3D.
Un efecto de deformación de malla aplicado Consideraciones finales
Espero que hayas aprendido mucho de esta serie de dos partes y que ahora comprendas el flujo de trabajo que implica la integración de elementos en metraje personalizado.
Aquí hay un nuevo clip exportado con más contraste y una LUT diferente.
Usamos una máscara que cubre la cara, por lo que los marcadores negros originales están casi completamente cubiertos, incluso si aparecen algunos en el clip, pero no distraen al espectador en absoluto y funcionan bien en la toma final.
Si los marcadores hubieran sido tan visibles en la piel (no es nuestro caso), podrías haber usado el relleno según el contenido. en After Effects para eliminarlos de la composición original.
Con marcadores negros 
Sin marcadores negros Con esa funcionalidad, puede rastrear una máscara alrededor de cada marcador negro y After Effects encuentra la mejor área de muestreo para reemplazar.
Si encuentras interesante el artículo, te invito a seguirme en mi página de Linkedin para conocer más novedades.