La aplicación Skyglass utiliza el sensor LiDAR del iPhone para la producción virtual en tiempo real. Entremos en los aspectos prácticos de esta nueva perspectiva cinematográfica.
NAB es tan grande que a veces puedes descubrir compañías de un solo hombre que han logrado conseguir un stand por casi nada de dinero en el último minuto y, a veces, son las más interesantes. El principal problema es encontrarlos en los cavernosos salones de este enorme evento.
Este año, el primer NAB en tres años, asistieron más de 900 empresas, incluidas alrededor de 160 novatas. Si nunca ha estado en NAB, hay salas, como la Sala Norte, por ejemplo, que son realmente enormes.
Empresas como Blackmagic Design y Adobe se encuentran en esta sala, denominada Crear dentro de la nueva forma de simplificar los temas de NAB. También hay salas que se clasifican como Capitalizar , Conectar y Contenido inteligente .
Las cabinas más grandes se ubican en la parte delantera de la sala y no en los estacionamientos de atrás. Esto significa que al caminar hacia la parte de atrás, las cabinas comienzan a disminuir y comienzan a ser mucho más pequeñas. Es aquí donde puede descubrir tecnología emocionante, aunque incipiente.
Skyglass de Ryan Burgoyne es uno de ellos. Ryan solía trabajar para Apple. Trabajó allí durante seis años como ingeniero senior en el equipo que creó Reality Composer, una herramienta para facilitar a los desarrolladores la creación de aplicaciones AR.
Fundó Skyglass en noviembre de 2021 para hacer que las técnicas de producción virtual fueran accesibles para cineastas independientes y pequeños estudios.
¿Qué es Skyglass?
La idea de Ryan era desarrollar una aplicación y un servicio de renderizado en la nube que atrajera a los creadores de contenido que no podían pagar un set virtual o cámaras costosas y su seguimiento. Quería usar el sensor LiDAR introducido en el iPhone a partir del iPhone 12.
Describe su visión,
Su idea era usar LiDAR, que mide el viaje de la luz hacia y desde un objeto y posiciona ese objeto virtualmente. Luego, su aplicación tomaría los datos de LiDAR y los enviaría a la nube, donde Unreal Engine los renderizaría con la perspectiva de la cámara permitida por LiDAR. Ese renderizado luego se transmite al teléfono para la composición en tiempo real con imágenes en vivo.
De hecho, Skyglass rastrea la posición y la orientación de la cámara de su teléfono y las transmite a la nube, donde se crea y se envía una representación de un entorno virtual.
¿Qué necesitas?
Skyglass dice que todo lo que necesita para comenzar con VFX en tiempo real es un iPhone que ejecute la aplicación Skyglass y una conexión a Internet (se recomienda una velocidad de descarga de al menos 10 Mbps). Skyglass requiere el escáner LiDAR disponible en iPhone 12 Pro, 12 Pro Max, 13 Pro o 13 Pro Max.
Skyglass incluye una biblioteca de entornos virtuales para elegir para ampliar el servicio. Incluso puede crear su entorno virtual creando un paquete de recursos y subiéndolo a Skyglass Cloud o Skyglass Server.
Skyglass tiene su propio complemento Unreal Engine llamado Forge para que pueda crear un paquete de activos, o puede importar modelos 3D que haya creado o usar Unreal Asset Marketplace.
Si desea ajustar su composición, puede descargar solo las placas de fondo de Skyglass Cloud o Skyglass Server y su metraje de pantalla verde de su iPhone e importarlos a editores como Nuke, Fusion, After Effects, etc.
Uso de otras cámaras
Hay formas de usar mejores cámaras que los iPhones lanzados recientemente para Skyglass. Pero esto implica calibrar las compensaciones entre el iPhone y los sensores de la cámara de cine, por ejemplo, a través de una red NDI. Parece bastante complicado, pero permite la representación de metadatos de enfoque, iris y zoom de lentes nativos para que coincidan con el metraje capturado.
Con suerte, podemos obtener más información sobre Skyglass de Ryan y probar la aplicación por nosotros mismos. Si está en NAB, encuéntrelo en el North Hall en el stand 1138 o consulte su sitio web en www.skyglass.com/.