Вычисление соответствующих пикселей

Question

У меня есть компьютерное зрение с двумя камерами.Одна из этих камер является камерой времени полета.Это дает мне глубину сцены в каждом пикселе.Другая камера — стандартная, дающая мне цветное изображение сцены.

Мы хотели бы использовать информацию о глубине, чтобы удалить некоторые области из цветного изображения.Мы планируем отслеживать объект, человека и руки на цветном изображении и хотим удалить удаленный фоновый пиксель с помощью камеры времени полета.Пока неясно, можно ли расположить камеры параллельно.

Мы могли бы использовать OpenCv или Matlab для вычислений.

Я много читал о ректификации, эпиполяргеометрии и т. д., но мне все еще не удается понять, какие шаги необходимо предпринять для расчета соответствия для каждого пикселя.

Какой подход вы бы использовали, какие функции можно использовать.На какие этапы вы бы разделили проблему?Есть ли где-нибудь учебник или пример кода?

Обновлять Мы планируем провести автоматическую калибровку с использованием известных маркеров, размещенных в сцене.

Answer 1

Если вам нужна надежная переписка, вам следует рассмотреть ПРОСЕЯТЬ.В MATLAB есть несколько реализаций — я использую Ведальди-Фалкерсон В.Л. Библиотека подвигов.

Если вы Действительно нужна высокая производительность (и я думаю, что это не так), вам следует подумать об использовании OpenCV's СЕРФ детектор.

Если у вас есть еще вопросы, задавайте. Этот другой ответ мой может быть полезен.

ПС: По соответствиям я предполагаю, что вы хотите найти координаты проекции одной и той же трехмерной точки на обоих ваших изображениях, т.е.координаты (i,j) пикселя u_A на изображении А и u_B на изображении B, которое представляет собой проекцию той же точки в 3D.