Calcolare pixel corrispondenti

Question

Ho una visione computer configurato con due telecamere. Uno di questi telecamere è una telecamera a tempo di volo. Mi dà la profondità della scena ad ogni pixel. L'altra macchina fotografica è telecamera standard che mi dà un'immagine a colori della scena.

Vorremmo utilizzare le informazioni di profondità per rimuovere alcune aree dal immagine a colori. Abbiamo intenzione di oggetto, persona e il monitoraggio mano l'immagine a colori e vogliamo rimuovere lontano sfondo pixel con l'aiuto della telecamera a tempo di volo. Non è ancora sicuro se le telecamere possono essere orientati in parallelo impostato.

Potremmo usare OpenCV o Matlab per i calcoli.

Ho letto un sacco di rettifica, Epipolargeometry ecc, ma ho ancora problemi a vedere i passi devo prendere per calcolare la corrispondenza per ogni pixel.

Quale approccio che si utilizza, quali funzioni possono essere utilizzate. In quali fasi vuoi dividere il problema? Esiste un codice di tutorial o di esempio disponibile da qualche parte?

Aggiorna Abbiamo intenzione di fare una calibrazione automatica utilizzando marcatori noti messi in scena

Answer 1

Se si desidera corrispondenze robusti, si dovrebbe considerare SIFT . Ci sono diverse implementazioni in MATLAB - io uso il Vedaldi-Fulkerson VL biblioteca Feat

.

Se davvero prestazioni veloci hanno bisogno (e credo che non lo fai), si dovrebbe pensare di utilizzare OpenCV 's SURF rivelatore.

Se avete altre domande, chiedere. Questa altra risposta di mine potrebbe essere utile.

PS: Per corrispondenze, sto supponendo che si desidera trovare le coordinate di una proiezione dello stesso punto 3D su entrambe le immagini - vale a dire il coordinate (i,j) di un u_A pixel in Image A e u_B in Image B che è una proiezione del medesimo punto in 3D.