A lo largo de los años, los cineastas han experimentado con una miríada de ideas y metodologías artísticas. Hacer y romper reglas crea nuevos caminos a través del medio, cambiando y refinando cómo se arman las películas.
Al igual que la llegada de nuevas tecnologías.
En los primeros días, los cineastas interesados en la idea de la edición procedimental crearían ecuaciones matemáticas complejas para determinar cómo se podían cortar las escenas para crear tensión o agregar dramatismo. También pueden cortar para que coincida con la longitud de una partitura o para lograr una congruencia matemática con otra variable en su proyecto.
La introducción de las impresoras ópticas permitió a los cineastas volver a filmar tiras de película, lo que abrió las puertas a la creatividad y los efectos especiales.
En años más recientes, el hardware y el software potentes, junto con los lenguajes de programación, han permitido a los artistas dar más pasos para hacer crecer su trabajo. Si bien los enfoques de edición procedimental suplantan las ideas de creatividad y visión para las matemáticas y las ciencias, hay un método en ellos. Cuando se las considera herramientas para comunicar una visión o desarrollar la creatividad, las matemáticas y las ciencias tienen mucho que ofrecer al cineasta.
Un ejemplo de una idea o concepto que ha estado en uso, de una forma u otra, durante la mayor parte de un siglo es la edición algorítmica.
¿Qué es la edición algorítmica?
Si bien suena complejo, la edición algorítmica en su forma más simple se refiere a editar material de archivo según un esquema o plan.
Ese esquema podría ser tan simple como "cada cuatro fotogramas, cambiar de la cámara A a la cámara B durante dos fotogramas y luego volver a la cámara A", o incluso más simple:"usar un fotograma de metraje de A y uno de B, y repetir .”
Esta idea de que el metraje seguirá una hoja de ruta planificada previamente o un enfoque de procedimiento directo es la base de la edición algorítmica. En términos que podemos entender, se refiere a una técnica para cortar y volver a montar material de archivo basado en un esquema, esquema o modelo.
Antes de ir demasiado lejos, un algoritmo en sí mismo es, según la buena gente de Oxford, "un proceso o conjunto de reglas a seguir en los cálculos u otras operaciones de resolución de problemas, especialmente por parte de una computadora".
Esta es una manera perfecta de describir e introducir la edición algorítmica. Los primeros cineastas visionarios como Dziga Vertov y Sergei Eisenstein adoptaron un enfoque matemático y esquemático de sus montajes y escenas dentro de sus películas, creando tablas de edición complejas para guiar sus proyectos.
Si bien la visión de Eisenstein permitía a las audiencias ver el aspecto ideológico de las películas que estaban viendo a través de la influencia emocional y psicológica imbuida por el uso de esta técnica, Vertov realmente creía que sus técnicas matemáticas limpiaban el proceso y podían conducir al mejoramiento de la humanidad debido a al método infalible y absolutamente preciso que siguió.
Un par de artículos increíbles del cineasta con sede en Winnepeg, Clint Enns, describen la historia y la aplicación práctica de la edición algorítmica con más detalle de lo que este escritor puede comprender. Como complemento a este artículo, recomendamos encarecidamente la lectura de sus obras.
Poniéndolo en uso
Muchos otros cineastas tempranos utilizaron técnicas de edición algorítmica con gran efecto, muchos en la creación de películas experienciales. El concepto ciertamente se presta a enfoques más vanguardistas de la realización de películas.
Tomemos, por ejemplo, la idea de una película de parpadeo básica. Usando dos piezas de metraje, una completamente en negro y la otra en blanco, editando juntas una pieza que toma un cuadro de un clip y luego del otro, repitiendo hasta que terminan los clips. Esta técnica produciría un resultado único y probablemente nauseabundo. Dicho esto, es un enfoque algorítmico muy puro.
Sin embargo, la naturaleza lineal de esa pieza no tiene por qué ser la norma para los proyectos editados algorítmicamente. Muchos algoritmos desarrollados en software contendrán variables aleatorias que podrían cambiar una parte de la ecuación.
Así que tomaríamos el mismo proyecto, pero agregaríamos una variable aleatoria para manejar cuántos fotogramas elegir solo del segundo clip, dejando solo un solo fotograma del primer clip. Lo que obtendríamos sería un cuadro del clip uno, un número aleatorio de cuadros del clip dos, otro cuadro único del clip uno... etc.
¿Qué es diferente?
Si bien este es un enfoque poco ortodoxo para la edición, probablemente también suene casi imposible con las herramientas que la mayoría de nosotros usamos todos los días. Esto nos lleva a cómo la edición algorítmica es diferente de nuestro enfoque fílmico.
Cuando editamos clips en Premiere Pro, FCPX, Media Composer o cualquier plataforma preferida, vemos nuestro material de archivo como un clip, algo con un comienzo, un medio y un final, que vamos a recortar. Está muy basado en la línea de tiempo, y con razón; Nuestras plataformas de edición se basan en la edición de películas. Cuando soltamos un clip en nuestra línea de tiempo, estamos viendo el equivalente digital de un clip de película analógica.
En la edición algorítmica, el enfoque es considerar el metraje de manera diferente:no accedemos a él de la misma manera. No estamos mirando el clip completo y decidiendo qué conservar y de qué deshacerse. Usando esta técnica, estamos considerando el acceso directo a cualquier cuadro de cualquier clip dentro de una ubicación. Esa ubicación podría ser una base de datos o simplemente una carpeta en su máquina.
Esto no es para restarle importancia a nuestras plataformas de edición, sin duda nos permiten acceder a todos y cada uno de los fotogramas de cada clip que importamos, sino para armar una composición incluso usando un esquema simple como "un fotograma de A, un fotograma de B". , repetir” sería oneroso y llevaría mucho tiempo.
Escribir un fragmento de código para manejar el mismo proceso llevaría muy poco tiempo. El código accede al metraje no como una pieza de película, sino como un contenedor lleno de datos, por lo tanto, una carpeta o base de datos es como un contenedor gigante lleno de datos de audio y video de cada fotograma que contiene.
Entonces, si el código puede acceder directamente a cualquier cuadro de cualquier clip en un contenedor, entonces debería haber un montón de posibilidades para usar la edición algorítmica de manera creativa. Es posible usar las variables existentes en una parte del metraje, como la variación de píxeles y las desviaciones de audio, para determinar mediante programación dónde hacer cortes y cómo volver a armar una parte del metraje.
Según esa descripción, el modelo para los puntos de edición puede ser incluso una partitura musical. Cory Arcangel ha realizado varios experimentos impresionantes utilizando la música como controlador de edición. Un ejemplo de su trabajo incluye un video de YouTube del Quinto Capricho de Paganini, editado a partir de cientos de videos instructivos de guitarra. Esto probablemente se logró usando la pieza original y escribiendo un algoritmo que analizó la base de datos de videos de YouTube en busca de notas que coincidieran. Si bien es difícil de ver, el logro es un excelente ejemplo de la edición algorítmica en el trabajo.
¿Quién lo está haciendo?
Un gran ejemplo de un talento moderno que utiliza la edición algorítmica y demuestra exactamente cómo lo hace es Devon Crawford, un joven y brillante programador canadiense que ha estado explorando el software y la ingeniería eléctrica a través de su propia investigación y documentándolo en YouTube.
El canal de Devon cubre una amplia gama de temas de interés para el grupo de desarrollo de software amigable con la tecnología, como la revisión de un juego que codificó en el primer año de la universidad, la descarga de sus datos privados de Google y el descubrimiento de algunas locuras al respecto:cómo se metió en codificación, etc.
Devon, al parecer, ha pasado desde entonces a proyectos más grandes que no se documentan tan de cerca en línea, pero uno de sus experimentos más interesantes involucra el uso de algoritmos para editar clips para él en función del código.
En este video, escribe un programa que edita un video para él, en el que experimenta un poco con variables para obtener diferentes resultados. A medida que refina la aplicación, utiliza la detección de movimiento (¿recuerda la variación de píxeles?) para determinar los cortes de su video, en esencia, creando un video que usa partes de sus clips con la mayor diferenciación.
Bastante interesante, ¿verdad? Hubo empresas en los últimos años que esperaban aprovechar este tipo de tecnología para editar automáticamente imágenes de cámaras de acción. Con cielos azules brillantes y tableros de wakeboard de color rosa fuerte, un algoritmo como el de Devon probablemente habría hecho un trabajo tan bueno como un editor físico.
Otras organizaciones han estado experimentando con la edición algorítmica o automatizada. Disney creó un algoritmo de edición multicámara que usa diferentes variables para determinar los puntos de edición. En su proyecto, el software estima el movimiento 3D de cada cámara, lo que le permite concentrarse en lo que las cámaras están prestando más atención. Esto permite que el software determine correctamente cuándo y dónde hacer un corte a otra cámara. El algoritmo de Disney también puede determinar qué cámara tiene la mejor vista del sujeto y cambiar a ella, por lo que el corte no solo es oportuno, sino inteligente.
No es exactamente un editor humano, pero ciertamente se está acercando.
Lo que depara el futuro...
Si bien muchos de nosotros nos apegaremos a nuestro enfoque fílmico de la edición, se debe tener en cuenta que el aprendizaje automático y la aplicación de algoritmos ya nos rodean desde hace algún tiempo. Los algoritmos determinan el escalado y la optimización del renderizado, la interpolación de fotogramas clave y otros aspectos de nuestro trabajo. Algoritmos más complejos seguirán dando forma a todo nuestro trabajo, ya que empresas como Adobe siguen centrándose en el aprendizaje automático con Adobe Sensei.
¿No estás totalmente convencido? Eche un vistazo a la función de relleno consciente del contenido de After Effects. Observa los píxeles circundantes y realiza una estimación para llenar un vacío en tiempo real.
Entonces, ya sea que elijamos abordar la edición desde un ángulo programático o mantener nuestro enfoque tradicional, los algoritmos han existido en el cine durante un siglo y seguirán siendo cada vez más intrínsecos a nuestras funciones de edición con el tiempo. ¿Se convertirá la edición algorítmica en “edición automatizada” en el futuro? Probablemente en algunos casos, pero probablemente haya un argumento para ello.
Entonces, ¿el futuro del cine tiene un uso para la edición algorítmica? Imagine un escenario en el que una pieza de software corta y saca automáticamente 25 cortes preliminares de una película. El estudio reúne audiencias de prueba para ver los borradores mientras cámaras, sensores y software adicional miden sus reacciones a todos y cada uno de los fotogramas del video. Con base en esos datos, el estudio ensambla un "corte perfeccionado" final.