Calculando pixels correspondentes

Question

Eu tenho uma visão de computador configurado com duas câmeras. Uma dessas câmeras é um momento de câmera vôo. Isso me dá a profundidade da cena em cada pixel. A outra câmera é câmera padrão dando-me uma imagem colorida da cena.

Nós gostaríamos de usar a informação em profundidade para remover algumas áreas da imagem colorida. Estamos pensando em objeto, pessoa e rastreamento lado da imagem colorida e deseja remover longe de pixel de fundo com a ajuda do tempo da câmara de voo. Não é certo ainda se as câmeras podem ser alinhados em um paralelo configurar.

Nós poderíamos usar opencv ou Matlab para os cálculos.

Eu li muito sobre rectificação, Epipolargeometry etc, mas ainda tenho problemas para ver os passos que tem que tomar para calcular a correspondência para cada pixel.

Que abordagem você usaria, as funções que podem ser usados. Em que os passos que você dividir o problema? Existe um tutorial ou código de exemplo disponível em algum lugar?

Atualizar Estamos pensando em fazer uma calibração automática utilizando marcadores conhecidos colocados na cena

Answer 1

Se você quiser correspondências robustas, você deve considerar SIFT . Existem várias implementações em MATLAB -. Eu uso o Vedaldi-Fulkerson VL biblioteca Feat

Se você realmente precisam desempenho rápido (e eu acho que você não), você deve pensar sobre o uso de OpenCV 's SURF detector.

Se você tiver outras dúvidas, pergunte. Esta outra resposta da mina pode ser útil.

PS: por correspondências, eu estou supondo que você deseja encontrar as coordenadas de uma projeção do mesmo ponto 3D em ambas as suas imagens - ou seja, as coordenadas (i,j) de um u_A de pixels numa imagem e u_B em imagem B, que é uma projecção do mesmo ponto em 3D.