计算对应的像素

Question

我有一个计算机视觉设置了两个照相机。其中一个这个摄像头是飞行时间照相机。它给我的场景在每个像素的深度。其他的相机是标准的相机给我的场景的彩色图像。

我们想用深度信息，以从彩色图像删除一些地区。我们计划在彩色图像中的物体，人，手跟踪，并希望与飞行相机时的帮助远去除背景像素。这还不确定，如果摄像头可以在平行排列成立。

我们可以使用的OpenCV或Matlab进行计算。

我读了很多关于整改，Epipolargeometry等，但我仍然有问题，看我要好好计算每个像素对应的步骤。

你会用什么方法，它能够使用的功能。在该步骤会你把这个问题？是否有一个教程或示例代码可用的地方？

<强>更新我们打算做使用放置在场景中已知标记的自动校准

Answer 1

如果你想健壮对应，你应该考虑 SIFT 。有几种实现方式在MATLAB - I使用 Vedaldi-富尔克森VL试听库

。

如果您真的需要快速的性能（我想你没有），你应该考虑使用的的OpenCV 的 SURF 检测器。

如果您有任何其它问题，请询问。 该对方的回答的矿可能是有用的。

PS：通过书信，我假设你想找到既您的图像相同的3D点的投影坐标 - 即在一个图像中的像素(i,j)的坐标u_A和u_B在图像B是在三维的相同点的投影。