Asistencia de IA:aumente la participación de forma gratuita con la función de voz a texto de Premiere Pro

Si vio los videos de lanzamiento en Adobe MAX 2020, probablemente notó que se formaron algunas tendencias durante las demostraciones de productos.

Los dispositivos móviles y sociales fueron (y siempre serán) puntos focales, pero la inteligencia artificial (IA) y el aprendizaje automático (ML) o Sensei como Adobe ha elegido marcarlos, subieron al escenario de varias formas sorprendentes.

Como siempre, gran parte del tiempo de transmisión se dedicó a Photoshop, que agregó un conjunto de herramientas impulsadas por Sensei llamados Neural Filters. que incluyen ampliación de imagen, reemplazo de cielo y envejecimiento de retratos. Pero si bien adelantar el reloj en su cara es divertido, e intercambiar ese horizonte deslumbrante con una puesta de sol común hace que un paisaje sea más bonito, es difícil ver mucho valor comercial en estas herramientas. Para eso, debería buscar la función de inteligencia artificial de la que menos se habla en Premiere Pro:Speech-to-Text.

Echemos un vistazo a por qué podría quererlo, cómo podría usarlo y si esta herramienta de aprendizaje automático puede o no aumentar su productividad.

No hablamos de eso

Tomemos un momento para recordar que este no es el primer intento de Adobe de lanzar una herramienta para convertir audio grabado en texto editable. El análisis de voz se agregó a Premiere Pro en 2013. No fue... excelente.

Cuando lo probé en ese entonces, la mejor descripción de los resultados que produjo sería ensalada de palabras.

Pero para ser justos, lo mismo ocurría con otros programas en ese momento. La transcripción automática de Google para videos de YouTube era igualmente poco confiable. Como dijo un comentarista, "según mi experiencia, hace un trabajo tan malo que el tiempo que me llevaría corregirlo es considerablemente mayor que el tiempo que me llevaría transcribirlo yo mismo".

Y ese, en pocas palabras, era el problema. Por lo tanto, no fue realmente sorprendente que Adobe retirara Speech Analysis del lanzamiento público en 2014 y permaneciera en silencio sobre el asunto hasta que el fabuloso Jason Levine lo volvió a poner en el centro de atención en 2020.

Diferentes trazos

Es probable que la motivación para generar subtítulos automáticamente dependa de su perspectiva empresarial.

Por ejemplo, empresas como Google y Facebook lo quieren porque hace que los videos se puedan indexar y buscar, lo que nos permite encontrar contenido dentro de los videos (y que vendan espacios publicitarios según el contexto).

Pero para los productores y distribuidores de videos, la necesidad de subtítulos probablemente provenga de un lugar diferente.

Accesibilidad

Las leyes en torno a la accesibilidad son diferentes en todo el mundo, pero lo más cercano que tenemos a un estándar global son las Pautas de Accesibilidad al Contenido Web (WCAG) publicadas por el Consorcio World Wide Web (W3C). Vale la pena señalar que la sección 7.3 de las WCAG actuales indica que los medios sin subtítulos se consideran un error crítico que falla automáticamente en el proceso de calificación.

En los EE. UU., la FCC ya estableció como requisito legal que todo el contenido televisivo transmitido en los Estados Unidos debe tener subtítulos, y cualquier transmisión posterior de este contenido se rige por las mismas reglas.

Y si bien es cierto que el contenido que se transmite únicamente a través de Internet queda fuera de estas regulaciones, la legislación, incluida la Ley de Estadounidenses con Discapacidades (ADA, por sus siglas en inglés), ya se ha utilizado con éxito como base para demandas contra plataformas de transmisión como Netflix y Hulu.

Por lo tanto, en estos días probablemente sea más seguro asumir que los subtítulos son obligatorios por ley en el país/estado donde opera que averiguarlo por las malas.

Redes sociales

Si bien cumplir con los requisitos de accesibilidad es una excelente justificación para los subtítulos, también es beneficioso para las audiencias que no sufren pérdida auditiva, especialmente cuando se trata de videos en las redes sociales.

La reproducción automática silenciada se está convirtiendo rápidamente en la norma para los videos en las redes sociales, y se estima que hasta el 85 por ciento de las reproducciones de videos se realizan con el sonido apagado. Entonces, si desea mejorar la relación señal-ruido de su contenido de redes sociales, los subtítulos ahora son una parte esencial del proceso.

Alcance mundial

Y para aquellos de nosotros que trabajamos con mercados globales, se sabe desde hace mucho tiempo que los subtítulos son la forma más fácil de reutilizar su contenido de películas y videos para audiencias que hablan un idioma diferente. (Ciertamente mucho menos complicado que el doblaje y ADR.)

Si bien algunos servicios de traducción pueden funcionar directamente desde el medio original, ofrecer un archivo de subtítulos en el idioma original puede ayudar a acelerar el proceso.

Hay, por supuesto, otras razones por las que los subtítulos se están convirtiendo rápidamente en un componente esencial de la producción de medios, y no es solo por los memes.

Pero si bien las necesidades pueden cambiar de un negocio a otro, el beneficio fundamental es el mismo:subtitular sus medios lo ayudará a llegar a una audiencia más amplia. Y eso es bueno para todos .

Comencemos el show

Para comenzar, abra el proyecto que se va a subtitular en Premiere Pro y tenga la secuencia de destino activa en la vista de línea de tiempo.

Dependiendo de cómo haya estructurado su edición, una pequeña cantidad de preparación puede ser beneficiosa antes de seguir adelante.

Por ejemplo, si ha colocado varias voces en pistas separadas, o si tiene una mezcla de voces y SFX/música en el mismo una pista, debería pasar algún tiempo etiquetando clips vocales como Diálogo usando el Panel de sonido esencial (también puede optar por silenciar cualquier pista no deseada en la Línea de tiempo si eso es más fácil). Esto le permitirá a Premiere Pro saber qué recursos incluir en el audio exportado que analiza más adelante.

Además, si no desea crear subtítulos para toda la secuencia, debe establecer los puntos de entrada y salida de la secuencia moviendo el cursor de reproducción a las posiciones requeridas y presionando las teclas I y O respectivamente. (Tenga en cuenta que la barra del área de trabajo no se usa para esta función).

Cuando estés listo, abre la ventana Texto (Ventana->Texto) y presiona Secuencia de transcripción botón.

Sus opciones en este punto son sencillas. Puede elegir exportar una mezcla de solo los clips que ha etiquetado como Diálogo, puede elegir Mezclar para crear una mezcla de toda la secuencia, o puede seleccionar una pista específica para exportar desde el menú desplegable.

En la actualidad, no hay forma de seleccionar varias pistas de audio para la mezcla, lo que podría resultar molesto si tiene varios altavoces en pistas separadas. Por ahora, solo silencia las pistas que no quieras incluir y elige la opción Mezclar.

La conversión de voz a texto admite una impresionante selección de idiomas que cubre la mayor parte de la población mundial. Las excepciones notables son el árabe, el bengalí y el indonesio, pero es interesante ver las variantes del inglés en los EE. UU. y el Reino Unido. (Como expatriado del Reino Unido que vive en Australia, este último gana puntos de bonificación conmigo). Sin embargo, solo puedo comentar sobre la efectividad de la herramienta en inglés.

Es interesante notar que la capacidad de Sensei para identificar diferentes hablantes, que era el comportamiento predeterminado en la versión beta, ahora requiere consentimiento y no está disponible en Illinois, presumiblemente debido a problemas de privacidad.

El proceso de transcripción es relativamente rápido, con un proyecto de prueba de cuatro minutos con altavoces duales que toma alrededor de dos minutos y una secuencia de una hora que toma 24 minutos, lo que indica un tiempo de respuesta de aproximadamente la mitad del tiempo de ejecución.

Pero Speech-to-Text está (en su mayoría) basado en la nube y es imposible predecir cómo serían las velocidades si toda la membresía de Adobe Creative Cloud de repente comienza a masticar los ciclos de cómputo de Sensei al mismo tiempo. Dicho esto, incluso si la cola de trabajo se vuelve necesaria, usted y su estación de trabajo al menos tendrán la libertad de preparar ese café o ponerse al día con otras tareas mientras tanto.

Vuelve al trabajo

Cuando Sensei termine con su audio, la pestaña Transcripción del panel Texto se completará con los resultados.

Y aunque su kilometraje puede variar, debo decir que me impresionó la precisión de las pruebas que realicé. La versión beta que probé por primera vez era buena, la versión pública es incluso mejor.

Al optar por el perfil del orador, Sensei reconoce a varios oradores, identificándolos como Orador 1, Orador 2, etc. Si opta por no participar, simplemente aparecerá Desconocido junto a los segmentos de párrafo.

De cualquier manera, puede nombrarlos haciendo clic en los puntos suspensivos en la columna izquierda de la pestaña Transcripción y seleccionando Editar oradores.

Esta herramienta puede permitirle corregir manualmente los casos en los que Sensei puede haber identificado incorrectamente a los hablantes con voces de sonido similar, y vale la pena tomarse el tiempo para hacerlo ahora antes de pasar a la etapa de creación de subtítulos.

Lo mismo es cierto para la limpieza de transcripciones. A menos que haya tenido mucha suerte con su análisis de voz a texto, habrá errores en su transcripción. Estos son más probables en grabaciones con una entrega más conversacional, ruido de fondo, palabras que no están en el diccionario, como nombres de empresas, o varios oradores hablando entre sí.

Y aunque podrá editar el texto después de convertirlo en subtítulos, debe corregir la transcripción antes llegas al siguiente paso. Esto se debe a que Premiere Pro trata la transcripción y los subtítulos subsiguientes como fuentes de datos separadas, por lo que hacer cambios en uno no tendrá efecto en el otro.

Así que tómese el tiempo para obtener su transcripción correctamente, ya que será la fuente a partir de la cual se crearán todos sus subtítulos.

Moverse

Adobe ha implementado algunas funciones extremadamente útiles para ayudarlo a navegar por el video y la transcripción al mismo tiempo.

Para empezar, Premiere Pro ya tiene un espacio de trabajo de subtítulos que divide su pantalla en Texto, Gráficos esenciales, Línea de tiempo, Contenedores de proyectos y Programa. Aunque es posible que desee modificar las cosas para que se adapten a sus preferencias. Para mí, se ve así...

Una vez que esté configurado, orientarse es sencillo.

Por ejemplo, mover el cursor de reproducción a una nueva posición en la línea de tiempo indicará automáticamente la transcripción en la ubicación correspondiente, en la medida en que la palabra que se pronuncia en ese punto debajo del cursor de reproducción se resalta en azul en el panel Transcripción. Cualquier texto que se encuentre por delante de la posición del cursor de reproducción aparece en color gris, lo que es una adición útil a la experiencia de usuario.

Del mismo modo, reproducir o arrastrar la línea de tiempo actualizará la vista de la transcripción para seguir el ritmo de la cabeza lectora.

Y también funciona a la inversa, por lo que seleccionar cualquier palabra en el panel Transcripción moverá automáticamente el cursor de reproducción y la vista previa del video al tiempo correspondiente en la secuencia. Puede ser un poco lento para responder a veces, posiblemente porque está hablando con los servidores de Adobe, pero no obstante, es un enfoque muy efectivo.

También hay un cuadro de búsqueda en la esquina superior, que le permite saltar a palabras y frases en la transcripción, así como una función de reemplazo en caso de que necesite corregir errores repetidos.

Buenas prácticas

En esta etapa, probablemente hará la mayor parte de su navegación en el panel Transcripción; seleccionando una palabra, presionando Espacio para iniciar la reproducción, comparando lo que estás escuchando con lo que estás leyendo, luego detente y haz doble clic en el texto para hacer cualquier cambio.

Según mi experiencia, lo más probable es que sus cambios se centren en la puntuación y la estructura de las oraciones, en lugar de corregir palabras incorrectas. Y a pesar de los mejores esfuerzos de Sensei, aún tendrá que esforzarse para que todo esté listo para los subtítulos.

Y esto es de esperar. El procesamiento del lenguaje natural es increíblemente difícil. Después de tener en cuenta los acentos, el dialecto, los gestos, el tono y el énfasis, incluso los seres humanos luchan con eso. Por lo tanto, esperar resultados perfectos de una máquina no es realista. (Le recomiendo que active los subtítulos automáticos de YouTube para el siguiente video de ejemplo).

(Esta es una gran alternativa:https://youtu.be/Gib916jJW1o)

Así que acérquese a esta etapa con la mente abierta, una taza de café recién hecho y una silla cómoda. Y si necesita orientación sobre las mejores prácticas para la creación de subtítulos, es posible que desee leer primero las pautas de subtítulos de la BBC.

Además, recuerde que los datos de la transcripción se guardan en el archivo de proyecto de Premiere Pro, por lo que puede volver a ellos más tarde si lo necesita. También puede exportar la transcripción como un .prtranscript separado pero patentado. archivo, aunque no está claro cuál podría ser el beneficio de este enfoque.

¿Listo?

Cuando esté seguro de que su transcripción está lo más limpia posible, continúe y presione Crear subtítulos botón.

Aquí se le darán un montón de opciones, incluida la capacidad de aplicar Estilos (suponiendo que haya creado algunos previamente). Puede definir la longitud máxima de caracteres y la duración mínima de sus subtítulos, establecerlos en línea doble o simple, e incluso la cantidad de cuadros que desea insertar entre ellos.

Si no está seguro de lo que quiere en esta etapa, le sugiero que elija el formato "Subtítulo" del menú desplegable, asegúrese de que Crear a partir de transcripción de secuencia el botón de opción está seleccionado y deja el resto en sus valores predeterminados.

No voy a dedicar mucho tiempo a discutir los diferentes formatos de subtítulos que ofrece Speech-to-Text. En parte porque no soy un experto en las diferencias y usted conocerá los requisitos de su proyecto mejor que yo. Pero sobre todo porque no importa tanto .

Esto se debe a que Speech-to-Text de Premiere Pro mantiene intactos los datos de su transcripción y agrega sus subtítulos a una pista separada en la línea de tiempo de la secuencia. (Esta es una gran mejora con respecto al primer intento de subtítulos de Premiere Pro, que incorporó la pista de subtítulos en la capa de video).

Gracias a esto, puedes generar subtítulos en tantos formatos diferentes como necesites. Incluso retroactivamente, si su proyecto se vende en un territorio que utiliza un estándar diferente. No parece haber un límite en la cantidad de pistas de subtítulos que puede agregar, y el formato utilizado para cada pista de subtítulos está claramente etiquetado.

Si las cosas comienzan a desordenarse, puede alternar la visibilidad de la pista con el botón CC en la vista de línea de tiempo.

Si está trabajando con subtítulos en idiomas extranjeros, este aspecto de la interfaz de usuario podría ser extremadamente útil, ya que tiene el potencial de permitirle crear capas de subtítulos para tantos idiomas como necesite en la misma línea de tiempo de secuencia. . Hay limitaciones en este enfoque, a las que me referiré más adelante, pero hablando desde mi experiencia personal, agradezco esto de todo corazón.

Así que adelante, presione el botón Crear y observe cómo su transcripción se fragmenta y se presenta en el formato de su elección.

Otra ronda

Si tiene alguna experiencia en la creación de subtítulos, sabrá que los buenos subtítulos requieren una cantidad sorprendente de delicadeza.

No es tan simple como dividir el diálogo en oraciones y mostrarlas en la pantalla durante el tiempo que le toma al orador decirlas.

Tienes que deconstruir lo que se habla en secciones cortas e inteligibles que se puedan leer sin desviar demasiado la atención de las imágenes. La puntuación es increíblemente importante y los saltos de línea pueden marcar la diferencia entre la comprensión y la confusión. Y para ser justos, Speech-to-Text parece hacer un trabajo razonable al respecto.

Sin embargo, para cumplir con los estándares de subtítulos como los de la FCC, debe transmitir ruido y música en la mayor medida posible . Y aunque no es razonable esperar que Sensei comience a etiquetar los ruidos y la música (al menos por ahora), su software de subtítulos debería permitirle incorporar información más allá del diálogo.

Uno a la vez, por favor

Desafortunadamente, Speech-to-Text está limitado a un único pista sin posibilidad de elementos superpuestos.

Esto significa que no hay forma de incorporar fácilmente altavoces simultáneos o agregar identificadores de sonido o música sobre el diálogo. (Intenté agregarlos a una segunda pista de subtítulos, pero solo puede habilitar la visibilidad para una pista a la vez).

Entonces, si su proyecto necesita el cumplimiento de la FCC, es posible que deba transferir este trabajo a una solución de subtítulos diferente. Pero incluso entonces, aún podría usar Speech-to-Text para obtener la mayor parte del camino, luego exportar los resultados a un archivo de texto o SRT (SubRip) para importarlos a una herramienta diferente.

Dividir la diferencia

Una vez que se dedica a editar los subtítulos generados por Speech-to-Text, el flujo de trabajo de Premiere Pro tiene mucho sentido.

Las oraciones se dividen en segmentos cortos de una sola línea que caben incluso en las pantallas más pequeñas sin necesidad de ajustar las líneas. Y puede optar por fusionarlos o dividirlos aún más si no funcionan del todo en su estado actual.

También es posible agregar nuevos subtítulos, suponiendo que haya espacio para hacerlo (el valor predeterminado para el subtítulo insertado es de tres segundos, y puede terminar sobrescribiendo los subtítulos existentes si no tiene cuidado aquí).

Los subtítulos también se comportan como cualquier otro activo en la línea de tiempo. De modo que puede ajustar sus puntos de entrada y salida arrastrando los controladores de clip, vincularlos a clips de video, dividirlos con la herramienta Razor o incluso realizar ediciones de desplazamiento, deslizamiento, ondulación y desplazamiento.

Entonces, si ya conoce el conjunto de herramientas de Premiere Pro, sus habilidades existentes le serán de gran utilidad aquí.

Arreglarlo en post-post

Sin embargo, existe una limitación de edición de pistas que es exclusiva de los subtítulos.

Si bien puede seleccionar y manipular múltiples pistas de video, audio o imagen al mismo tiempo, solo una pista de subtítulos puede estar activa en cualquier momento. Si necesita ajustar varias pistas de subtítulos en diferentes formatos, tendrá que hacerlo una pista a la vez.

Pero esto se siente como dividir los pelos. Dado que el proceso de subtítulos normalmente tiene lugar mucho después de que se bloquee y apruebe la edición, la necesidad de realizar cambios en varios formatos de subtítulos debería ser un escenario marginal.

¿Abierto o cerrado?

Premiere Pro ofrece una amplia gama de herramientas de formato para sus subtítulos, incluida la capacidad de guardar estilos y aplicarlos a proyectos futuros.

Puede ajustar las opciones de fuente, color, sombra, contorno y fondo, así como la posición, la alineación del texto y el área de título utilizable. Y estos se pueden asignar a subtítulos individuales o en toda la pista de subtítulos.

Subtítulos

Pero la medida en que puede cambiar la apariencia de sus subtítulos depende de si pretende implementarlos como abiertos. o cerrado .

Los subtítulos se almacenan como archivos separados, también conocidos como archivos sidecar, y el espectador puede activarlos y desactivarlos durante la reproducción.

El sistema de reproducción maneja la mayor parte del formato de los subtítulos, por lo que las opciones de formato son limitadas (y Premiere Pro solo mostrará las funciones compatibles con el formato de subtítulos elegido). Pero, a pesar del nombre, los subtítulos cerrados son más fáciles de cambiar después de finalizarlos, ya que generalmente son un texto simple o un archivo XML.

Subtítulos abiertos

Por el contrario, los subtítulos abiertos están "grabados" en el video, por lo que siempre están visibles (independientemente de la plataforma o el dispositivo de reproducción) y puede formatearlos como mejor le parezca.

También significa que puede crear una única versión del video con subtítulos que se reproducirá en todas las plataformas de video.

Pero la compensación aquí es que los subtítulos no se pueden cambiar sin volver a renderizar y redistribuir el video completo. Y, si está trabajando con varios idiomas, tendrá que crear videos completamente nuevos para cada idioma en lugar de un conjunto más manejable de pistas de subtítulos.

También vale la pena señalar que los subtítulos abiertos cambiarán de tamaño junto con el video, por lo que si su audiencia está mirando una pieza de medios de 16 × 9 en vista vertical en un dispositivo móvil, existe la posibilidad de que sus subtítulos se vuelvan demasiado pequeños para leer.

Sobre esta base, podría pensar que no habría una razón convincente para optar por subtítulos abiertos en el contenido de su video. Pero si está publicando en las redes sociales, es posible que no desee confiar en las herramientas de subtítulos automáticos que actualmente son su única opción en plataformas como Instagram o TikTok.

Además, algunas plataformas sociales solo le permiten agregar subtítulos al mismo tiempo que sube el video, lo que hace que sea imposible programar o publicar automáticamente contenido de video con subtítulos. Por lo tanto, los subtítulos abiertos aún pueden ser una opción viable.

Terminando

En cuanto a la versión actual, parece que sus opciones de exportación se han reducido a EBU N19 o archivo SubRip SRT de texto sin formato:el formato MacCaption VANC MCC e Incrustar en el archivo de salida opción que se encuentra en la versión beta ya no están disponibles.

Sin embargo, esto no es tan limitante como parece, ya que EBU sirve a la mayoría de los servicios de transmisión y transmisión, y SRT cubre la mayoría de las plataformas de video social y en línea.

Lo que no estamos viendo es la capacidad de exportar solo la pista de subtítulos de la herramienta de exportación de Premiere Pro o Adobe Media Encoder, por lo que debe generar al menos un archivo de audio para obtener un archivo de subtítulos XML.

Dado que puede exportar a archivos .srt y .txt desde el panel Subtítulos, esto parece extraño y es probable que cambie en el futuro.

Si desea subtítulos abiertos, puede seleccionar Grabar subtítulos en video opción. Y, por supuesto, si desea crear múltiples exportaciones en diferentes formatos, puede ponerlas en cola en Adobe Media Encoder para la exportación por lotes. Solo asegúrese de configurar primero la visibilidad de la pista de subtítulos requerida en la línea de tiempo.

¿Qué falta?

Mientras probaba la versión beta, noté algunas áreas en las que Adobe podría mejorar esta herramienta antes de lanzarla al público y, con una pequeña excepción, todavía "faltan". Así que aquí está mi lista de deseos:

1. Tamaño de fuente ajustable en los paneles Transcripción y Subtítulos.
   El tamaño del texto está actualmente definido por la configuración del sistema, y ​​hay ocasiones en las que quería aumentar el tamaño de fuente para facilitar las cosas. lea mientras edita la transcripción.
2. Importación de secuencias de comandos.
   Si está trabajando con material con secuencias de comandos, Speech-to-Text podría, en teoría, omitir el proceso de transcripción y centrarse en cambio en el tiempo. Esto le permitiría convertir rápidamente lo que ya tiene en un formato listo para subtítulos. (YouTube ya tiene esto).
3. Formato personalizado basado en el orador.
   Si bien puede identificar a los oradores en la transcripción, no hay forma de agregar automáticamente esos datos a sus subtítulos. Y si está subtitulando escena por escena, podría ser útil tener una ubicación de subtítulos personalizada para los oradores que siempre estarán en un lado particular del marco.

¿Pero vale la pena?

No puedo decir cuál podría ser su experiencia con Speech-to-Text de Premiere Pro.

¿Es la automatización de un solo botón para todas sus necesidades de subtítulos? Por supuesto que no. Y creo que todavía estamos muy lejos de construir un sistema que pueda manejar esta tarea compleja e infinitamente variable sin algún tipo de intervención humana.

Pero para mí, esta herramienta se convirtió en una inclusión estándar en mi kit de herramientas incluso antes de que saliera de la versión beta.

Si se presiona, calculo que ha reducido el tiempo que se tarda en subtitular el contenido a aproximadamente un tercio de lo que era antes . It’s not the only option available—Otter.ai will export transcripts to the .srt caption format, Digital Anarchy has a Premiere Pro plugin called Transcriptive, and of course, you can pay companies to do the job for you—but all of these have a cost component, while Speech-to-Text is currently free to use.

It all comes back to that comment I included at the beginning of this article—is it easier to use Speech-to-Text than it would be to transcribe it yourself? For me, the answer is a very firm yes. So if you’re looking at finding a better way to add accessibility and greater audience engagement to your video projects, Premiere Pro Speech-to-Text is definitely worth a look.

(And if you’re looking for more content on working with audio in Premiere Pro, check out Premiere Pro Mixing Basics and Premiere Pro Audio Tools.)