YUV / PCM Visualizer para medir Lip Sync

Question

Eu tenho dois arquivos de despejo de vídeo bruto e áudio cru de um codificador e eu quero ser capaz de medir o "Lip-sync". Imagine um vídeo de um martelo golpeando uma bigorna. Eu quero ir quadro a quadro e ver que quando o martelo finalmente atinge a bigorna, há um aumento na amplitude na faixa de áudio.

Por causa da velocidade que tudo acontece na, não posso simplesmente ouvir o áudio, eu preciso ver a forma de onda no domínio do tempo.

Existem algumas ferramentas lá fora que vai me deixar ver o vídeo eo áudio?

Answer 1

Se você está preocupado sobre como validar um decodificador, em seguida, geralmente a partir de uma perspectiva de validação, o objetivo é verificar valores de Áudio e Vídeo PTS contra um relógio comum em tempo real.

arquivos Raw YUV e PCM não incluem timestamps. Se você sabe o frame-rate e amostra de taxa, você pode usar um visualizador de arquivos YUV cru (eu escrevi o meu próprio) para descobrir o tempo (do início de arquivo) de um determinado quadro no vídeo e uma ferramenta como o Audacity para descobrir a forma hora de início do arquivo para um início de tom no arquivo de áudio. isso ainda não pode contar toda a história, desde ferramentas normalmente incorporar um atraso entre o áudio eo vídeo no arquivo ts / ps. Ou você pode ligar ab oscope e ir velha escola.