Можно распознать все объекты из комнаты с помощью Microsoft Kinect?

Question

У меня есть проект, где я должен распознать всю комнату, чтобы я мог рассчитать расстояния между объектами (как большие, например, кровать, стол и т. Д.) И человек в этой комнате.Возможно что-то подобное, используя Kinect Microsoft?

Спасибо!

Answer 1

Kinect предоставляет вам следующее

1. поток глубины
2. цветной поток
3. Скелетная информация

Это зависит от вас, как вы используете эти данные.

Чтобы ответить на ваш вопрос - официальный Kinect Kinect Kinect SDK не содержит обнаружение формы из коробки.Но он предоставляет вам скелетные данные / отслеживание лицевых данных, с помощью которых вы можете обнаружить расстояние пользователей из Kinect. Также с сопоставлением цветового потока в поток глубины вы можете обнаружить, насколько далеко есть определенный пиксель из Kinect.В вашей реализации, если у вас есть уникальные характеристики различных объектов, таких как цвет, форма и размер, вы, вероятно, можете обнаружить их, а также обнаружить расстояние.

opencv - одна из библиотеки, которую я использую для компьютерного зрения и т. Д.

Опять это зависит от вас, как вы используете эти данные.

Answer 2

Камера Kinect Kinect обеспечивает глубину и, следовательно, трехмерную информацию (точечное облако) о матовых объектах в диапазоне 0,5-10 метров. С этой информацией можно отремонтировать пол (путем установки самолета) комнаты и, возможно, стен и потолка. Этот шаг важен, поскольку эти поверхности часто соединяют отдельные объекты, что делает их одним большим объектом.

Остальные части точечного облака могут быть сегментированы глубиной, если они не прикасаются друг к другу физически. Использование цвета можно еще больше разделить объекты. Обратите внимание, что мы неявно определяем объект в виде 3D плотной и цветной сущности, в то время как другие определения также возможны.

Как только у вас есть ваши объекты, которые вы можете измерить расстояния между вашими сегментами, проанализировать их форму, распознавать артефакты или людей и т. Д. Для лучшего из моих знаний, однако скелетная библиотека может распознавать людей после того, как они переехали на несколько секунды. Ниже приведена простая карта глубины, которая была сломана на нескольких сегментах, использующих глубину, но не цветную информацию.