Est-ce que quelqu'un a une idée comment créer un squelette 2D avec le depthmap Kinect?

Question

J'utilise actuellement une bibliothèque qui fournit Kinect traitement une carte de profondeur. Je me demandais comment je pouvais prendre cela et l'utiliser pour créer un squelette 2D, si possible. Vous ne cherchez pas un code ici, juste un processus général que je pourrais utiliser pour atteindre ces résultats.

En outre, étant donné que nous avons vu dans plusieurs des jeux Kinect à ce jour, serait-il difficile d'avoir plusieurs squelettes en cours d'exécution à la fois?

Answer 1

Disclaimer: la raison pour laquelle vous ne avez toujours pas reçu de réponse à cette question est probablement parce que ce problème de la recherche actuelle. Je ne peux pas vous donner une réponse directe, mais vais essayer d'aider avec des informations et des ressources utiles pour ce sujet.

---

Il y a principalement 2 approches différentes pour créer un squelette d'une carte de profondeur. La première est d'utiliser l'apprentissage automatique, la seconde est purement algorithmique.

Pour une machine d'apprentissage, vous aurez besoin d'échantillons de personnes qui font un mouvement prédéterminé, et utiliser ces échantillons pour former votre algorithme d'apprentissage préféré. Voilà l'approche qui a été prise et mis en œuvre par Microsoft dans le XBox ( la source ), cela fonctionne très bien mais vous avez besoin des millions d'échantillons pour le rendre fiable ... tout un inconvénient.

L'approche « algorithmique » (comprendre sans l'aide d'un ensemble de formation) peut se faire de plusieurs façons différentes et est un problème de recherche. Il est souvent basé sur la modélisation des postures corporelles possibles et d'essayer de correspondre à l'image que la profondeur reçue. Voilà l'approche qui a été choisie par PrimeSense (les gars derrière la technologie de la caméra de profondeur kinect) pour leur outil de suivi squelette NITE.

Le communauté OpenKinect maintient un wiki où ils énumèrent certains matériel de recherche intéressant sur ce sujet. Vous pourriez également être intéressé par ce fil sur la liste de diffusion OpenNI .

Si vous êtes à la recherche d'une mise en œuvre d'un outil de suivi squelette, PrimeSense a publié NITE ( fermée source ), celui qu'ils ont fait: il fait partie de la cadre OpenNI . C'est ce qui est utilisé dans la plupart des vidéos que vous pourriez avoir vu qui impliquent le suivi squelette. Je pense qu'il est capable de gérer jusqu'à 2 squelettes en même temps, mais nécessite une confirmation.

Answer 2

La meilleure solution consiste à utiliser FAAST (http://projects.ict.usc.edu/mxr/faast/) qui exige OpenNI. J'ai eu du mal à se OpenNI à travailler sur mon ordinateur. Je ne l'ai pas vu une approche encore en utilisant le code Laboratoires CL NUI.

Answer 3

Une approche algorithmique est http://code.google.com/p/skeletonization/ mais vous pouvez avoir un problème parce que votre depthmap ne représente que des surfaces et pas d'objets fermés.