Berechnen von entsprechenden Pixeln

Question

ich einen Computer Vision mit zwei Kameras eingerichtet haben. Eines dieser Kameras ist ein TOF-Kamera. Es gibt mir die Tiefe der Szene an jedem Pixel. Die andere Kamera ist Standard-Kamera mir ein Farbbild der Szene geben.

Wir möchten die Tiefeninformation verwenden, um einige Bereiche aus dem Farbbild zu entfernen. Wir planen, Objekt, Person und Handtracking in dem Farbbild und wollen weit weg Hintergrundpixel mit Hilfe der TOF-Kamera entfernen. Es ist noch nicht sicher, ob die Kameras ausgerichtet werden können in einem parallel aufgebaut.

Wir konnten OpenCV oder Matlab für die Berechnungen verwendet werden.

ich las viel über Berichtigung, Epipolargeometry usw., aber ich habe immer noch Probleme, die Schritte zu sehen, ich zu nehmen, um die Entsprechung für jedes Pixel zu berechnen.

Welche Vorgehensweise würden Sie verwenden, die können Funktionen verwendet werden. In welchen Maßnahmen würden Sie teilen das Problem? Gibt es ein Tutorial oder Beispielcode verfügbar irgendwo?

Aktualisieren Wir planen, eine automatische Kalibrierung mit bekannten Markern in der Szene platziert auf dem Tun

Answer 1

Wenn Sie robuste Korrespondenzen wollen, sollten Sie SIFT . Es gibt mehrere Implementierungen in MATLAB -. Ich verwende den Vedaldi-Fulkerson VL Feat Bibliothek

Wenn Sie wirklich schnelle Leistung benötigen (und ich denke, Sie nicht), sollten Sie darüber nachdenken, mit OpenCV 's SURF Detektor.

Wenn Sie weitere Fragen haben, fragen. Diese andere Antwort von mir könnte nützlich sein.

PS: Mit dem Korrespondenzen, ich nehme an, Sie die Koordinaten eines Projektion des gleichen 3D-Punkt auf beiden Ihre Bilder finden wollen - also die Koordinaten (i,j) eines Pixels u_A in Bild A und u_B in Bild B, die eine Projektion des gleichen Punkt in 3D ist.