Visualizador YUV / PCM para medir la sincronización de labios

Question

Tengo dos archivos de volcado de video sin procesar y audio sin formato de un codificador y quiero poder medir el " Lip-sync " ;. Imagine un video de un martillo golpeando un yunque. Quiero ir cuadro por cuadro y ver que cuando el martillo finalmente golpea el yunque, hay un pico de amplitud en la pista de audio.

Debido a la velocidad a la que sucede todo, no puedo simplemente escuchar el audio, necesito ver la forma de onda en el dominio del tiempo.

¿Hay alguna herramienta que me permita ver tanto el video como el audio?

Answer 1

Si le preocupa validar un decodificador, generalmente, desde una perspectiva de validación, el objetivo es verificar los valores de PTS de audio y video con un reloj de tiempo real común.

Los archivos YUV y PCM sin procesar no incluyen marcas de tiempo. Si conoce la velocidad de fotogramas y la frecuencia de muestreo, puede usar un visor de archivos yuv sin formato (escribí el mío) para calcular el tiempo (desde el inicio del archivo) de un fotograma determinado en el video , y una herramienta como Audacity para calcular el tiempo desde el inicio del archivo hasta el inicio del tono en el archivo de audio. Es posible que esto no le cuente toda la historia, ya que las herramientas suelen incluir un retraso entre el audio y el video en el archivo ts / ps. O puede conectar ab OScope e ir a la vieja escuela.