Le terme d’interface naturelle est créé dans le domaine des Interactions Homme Machine pour catégoriser une nouvelle génération d’interfaces en opposition aux interfaces classiques que sont le clavier, la souris et les manettes de consoles. Le terme “naturel” fait référence au fait que l’interaction pour l’utilisateur doit paraître naturelle, à savoir facile à apprendre, pratiquement intuitive et basée sur des actions qui ressemblent à une interaction avec un être humain. Le terme d’interfaces naturelles englobe les interfaces tactiles, le contrôle vocal, le suivi des yeux et la capture de mouvements.
La Wii crée la surprise en utilisant les interfaces naturelles pour le jeu vidéo. Les manettes de la Wii permettent de s’offrir à moindre coût des dispositifs de pointage, des accéléromètres et des gyroscopes. La Wii balance board est également un capteur du centre de pression peu coûteux. La communauté des Interfaces Hommes Machines s’est fortement appropriée les accessoires de la Wii précisément pour ces raisons. Face à l’engouement du grand public pour les jeux utilisant le mouvement, les autres fabricants de consoles ripostent immédiatement : Sony développe l’Eye-Toy puis le PSmove et Microsoft développe le Kinect.
Le Kinect arrive sur le marché comme étant le périphérique de capture de mouvement le moins coûteux et le plus polyvalent. Bien que des compagnies concurrentes développent des solutions équivalentes, Microsoft maintient son avance en développant une forte R&D logicielle et en développant également le Kinect 2, une version plus précise du Kinect.
La capture de mouvement permet de produire une représentation simplifiée du squelette humain, sous forme de fils de fer. Classiquement, avec des solutions comme le Vicon utilisé pour les effets spéciaux dans le cinéma, la capture repose sur l’utilisation de marqueurs placés sur le corps humain ainsi que d’un ensemble de caméras qui filment l’utilisateur à 360°. Des algorithmes de traitement d’images permettent de reproduire le squelette de la personne sous la forme de fils de fer. La révolution amenée par le Kinect est la réduction du nombre de caméra nécessaire à la capture de mouvement, l’absence de marqueurs sur l’utilisateur ainsi que la réduction du coût du dispositif rendant la technologie de capture de mouvement accessible aux particuliers.
Le Kinect 1 est constitué de trois éléments : une caméra, un émetteur infra-rouge projetant une grille selon un motif précis et un récepteur infra-rouge. Le récepteur infra-rouge est capable de mesurer la déformation de la grille infra-rouge projetée. A partir de cette déformation, un algorithme permet de mesurer la distance entre l’objectif et la scène filmée pour chaque pixel de l’image produisant ainsi une carte de profondeur de la scène filmée par le Kinect. Un autre algorithme traite cette carte de profondeur pour en extraire les formes mobiles et en avant plan. Pour chacune de ces formes, un dernier algorithme calcule un fil de fer représentant le squelette de la personne filmée. Le Kinect 2 repose sur le même principe d’extraction de squelette et sur la méthode Time Of Flight (TOF) pour produire une carte de profondeur. Une caméra TOF est capable de mesurer la distance d’un objet en fonction de la vitesse mise par la lumière pour atteindre cet objet et revenir. Une caméra TOF est constituée d’un émetteur de lumière et d’un récepteur. L’émetteur parcourt la scène d’un rayon de lumière et le récepteur calcule en fonction de la réflexion de la lumière le temps mis par la lumière pour être réfléchie et calcule ainsi la distance du point d’impact. A nouveau grâce à ce système, on a une représentation de la scène 3D face au Kinect. Pour bien comprendre le fonctionnement du Kinect, on recommandera la lecture de [8].
Suite au succès commercial du Kinect, de nombreuses autres interfaces naturelles ont vu le jour. Notamment des solutions financées par du crowdfunding comme comme l’oculus rift, le leap motion, le système Razer Hydra et bien d’autres. Avec le phénomène de Quantification Personnelle, de plus en plus de périphériques connectés sont dédiés au sport et à la santé comme la majorité des produits Withings ou le UP de Jawbone.
Les accessoires de consoles et périphériques dédiés à la quantification personnelle sont systématiquement labellisés par un marquage CE et sont à bas prix car ils sont produits pour un marché “de masse”.