Calcul de pixels correspondant

Question

J'ai une vision informatique mis en place avec deux caméras. L'un de ces caméras est un moment de la caméra de vol. Il me donne la profondeur de la scène à chaque pixel. L'autre appareil est caméra standard me donner une image couleur de la scène.

Nous aimerions utiliser les informations de profondeur pour supprimer certaines zones de l'image couleur. Nous projetons sur l'objet, la personne et le suivi de la main dans l'image couleur et que vous voulez retirer loin pixel d'arrière-plan bien avec l'aide du temps de la caméra de vol. Il ne sait pas encore si les caméras peuvent être alignées dans un parallèle mis en place.

Nous pourrions utiliser OpenCV ou Matlab pour les calculs.

Je lis beaucoup de choses sur la rectification, etc Epipolargeometry mais j'ai encore des problèmes à voir les mesures que je dois prendre pour calculer la correspondance pour chaque pixel.

Quelle approche utiliseriez-vous, quelles fonctions peuvent être utilisées. Dans lequel les étapes diviseriez-vous le problème? Y at-il un code de tutoriel ou d'échantillon disponible quelque part?

Mise à jour Nous prévoyons de faire un étalonnage automatique en utilisant des marqueurs connus placés dans la scène

Answer 1

Si vous voulez des correspondances robustes, vous devriez envisager EIPD . Il existe plusieurs implémentations dans MATLAB - J'utilise le Vedaldi-Fulkerson VL bibliothèque Feat

.

Si vous vraiment ont besoin des performances rapides (et je pense que vous ne le faites pas), vous devriez penser à utiliser OpenCV 's SURF détecteur .

Si vous avez d'autres questions, ne demandez. Cette autre réponse de la mine pourrait être utile.

PS: Par correspondances, je suppose que vous voulez trouver les coordonnées d'une projection du même point 3D sur les deux images - à savoir les coordonnées (i,j) d'un u_A de pixel dans l'image A et u_B dans l'image B qui est une projection du même point en 3D.