Cálculo de los píxeles correspondientes

Question

Tengo una visión equipo configurado con dos cámaras. Una de estas cámaras es un tiempo de vuelo de la cámara. Me da la profundidad de la escena en cada píxel. La otra cámara es la cámara estándar de una imagen en color de la escena darme.

Nos gustaría utilizar la información en profundidad para eliminar algunas áreas de la imagen en color. Tenemos la intención de objeto, persona y el seguimiento de la mano la imagen en color y desea quitar lejos de píxeles de fondo con la ayuda del tiempo de vuelo cámara. No es seguro todavía si las cámaras se pueden alinear en un paralelo configurado.

Podríamos utilizar OpenCV o Matlab para los cálculos.

He leído mucho sobre rectificación, Epipolargeometry etc, pero todavía tengo problemas para ver los pasos que tengo que tomar para calcular la correspondencia para cada píxel.

¿Qué enfoque usaría, que funciones se pueden utilizar. En el que los pasos le dividir el problema? ¿Existe un código tutorial o muestra disponible en alguna parte?

Actualizar Tenemos la intención de hacer una calibración automática utilizando marcadores conocidos colocados en la escena

Answer 1

Si desea correspondencias robustos, se debe considerar SIFT . Hay varias implementaciones en MATLAB - utilizo el Vedaldi-Fulkerson VL biblioteca Feat

.

Si realmente necesita un rendimiento rápido (y creo que no lo hace), se debe considerar el uso de OpenCV 's SURF detector.

Si tiene cualquier otra pregunta, pregunte. Esta otra respuesta mío podría ser útil.

PS: Por correspondencias, estoy asumiendo que usted quiere encontrar las coordenadas de una proyección del mismo punto 3D en ambas imágenes - es decir, las coordenadas de un (i,j) u_A píxel de imagen A y u_B en la imagen B que es una proyección del mismo punto en 3D.