Visualiseur YUV / PCM pour mesurer la synchronisation labiale

Question

J'ai deux fichiers de vidage de la vidéo brute et de l'audio brute d'un encodeur et je veux pouvoir mesurer le & "Synchro labiale &"; Imaginez une vidéo d'un marteau frappant une enclume. Je veux aller image par image et voir que lorsque le marteau frappe enfin l'enclume, il y a un pic d'amplitude sur la piste audio.

En raison de la vitesse à laquelle tout se passe, je ne peux pas simplement écouter l'audio, j'ai besoin de voir la forme d'onde dans le domaine temporel.

Existe-t-il des outils qui me permettent de voir à la fois la vidéo et l'audio?

Answer 1

Si vous souhaitez valider un décodeur, votre objectif est généralement de vérifier les valeurs PTS audio et vidéo par rapport à une horloge temps réel commune.

Les fichiers YUV et PCM bruts n'incluent pas les horodatages. Si vous connaissez le taux de trame et le taux d'échantillonnage, vous pouvez utiliser une visionneuse de fichiers yuv brute (j'ai écrit le mien) pour déterminer le temps (à partir du début du fichier) d'une image donnée dans la vidéo. , et un outil comme Audacity pour déterminer l’heure du début du fichier à un début du ton dans le fichier audio. Cela peut ne pas encore vous raconter toute l'histoire, car les outils intègrent généralement un délai entre l'audio et la vidéo dans le fichier ts / ps. Ou vous pouvez connecter un ab OScope et aller à la vieille école.