Визуализатор YUV/PCM для измерения синхронизации губ

Question

У меня есть два файла дампа необработанного видео и необработанного аудио из кодера, и я хочу иметь возможность измерить «синхронизацию губ».Представьте себе видео, где молоток ударяет по наковальне.Я хочу просмотреть кадр за кадром и увидеть, что, когда молот наконец ударяется о наковальню, на звуковой дорожке появляется всплеск амплитуды.

Из-за скорости, с которой все происходит, я не могу просто слушать звук, мне нужно видеть форму сигнала во временной области.

Существуют ли какие-либо инструменты, которые позволят мне видеть как видео, так и аудио?

Answer 1

Если вас беспокоит проверка декодера, то, как правило, с точки зрения проверки цель состоит в том, чтобы проверить значения PTS аудио и видео по общим часам реального времени.

Необработанные файлы YUV и PCM не содержат временных меток. Если вы знаете частоту кадров и частоту дискретизации, вы можете использовать необработанную программу просмотра файлов yuv (я написал свою собственную), чтобы определить время (от начала файла) данного кадра в видео, и такой инструмент, как Audacity, чтобы определить время от начала файла до начала тона в аудиофайле.это все еще может не рассказать вам всей истории, поскольку инструменты обычно встраивают задержку между аудио и видео в файл ts/ps.Или вы можете подключить ab OScope и пойти по старой схеме.