Expérimentation autour de la réalité mixte avec l’utilisation du casque Hololens
05/2018

  • Une forme en 3D sur un quadrillage
  • Casque hololens
  • Boite à outils présente dans Holostudio
    Boite à outils présente dans Holostudio
  • Mise en situation de l’application Space catcher
    Mise en situation de l’application Space catcher
  • Modélisation sur blender d’un scan réalisé avec le casque Hololens(espace intérieur et extérieur)
    Modélisation sur blender d’un scan réalisé avec le casque Hololens (espace intérieur et extérieur)
  • Interface du logiciel Blender
    Interface du logiciel Blender
  • Test de rendu de la forme sur blender
    Test de rendu de la forme sur blender
  • Test de rendu de la forme sur blender
    Test de rendu de la forme sur blender
  • En me déplacant dans l'espace
    en me déplacant accroupie dans l'espace
  • en regardant un point fixe pendant 5 secondes
    en regardant un point fixe pendant 5 secondes
  • En chutant
    en chutant
  • en levant la tête de mes pieds au plafond
    en levant la tête de mes pieds au plafond
Durant le premier semestre, j’ai découvert ce qu’était la réalité mixte. La réalité mixte permet des interactions entre les hologrammes et le monde réel : captation de l’environnement, choisir ce qu’on décide d’afficher, virtuel qui interagit avec le réel. Elle capte l’environnement dans lequel elle se trouve, elle est la fusion du monde réel et d’un monde virtuel.
Réalité Mixte

La réalité mixte m’a permis d’appréhender l’espace d’une manière différente, d’apprendre à mélanger la réalité et la virtualité. Elle a été conceptualisée en 2015 par Microsoft sous la forme des lunettes HoloLens. Des hologrammes sont insérés au monde réel, la personne porteuse du casque choisit ce qu’elle veut faire apparaître. Elle manipule à sa guise les éléments virtuels.

Quand on utilise le casque Hololens, l’individu se situe entre deux mondes, ces deux mondes se mélangent et se complètent. Où se trouve alors la réalité ?

Mon premier projet était de placer des hologrammes dans l’espace et de créer des interactions entre ces deux éléments. Révéler l’espace à l’aide de formes, créer des failles dans l’espace. Pour prolonger l’utilisation de cette technique, je me suis initiée à de nouvelles applications comme Space catcher.

Etape 1 – Holostudio : création d’hologrammes

Holostudio est une application présente sur le casque qui permet de créer ses propres hologrammes. Au début de l’expérimentation du casque, cette application avait très peu de fonctionnalités et son utilisation était restreinte. Aujourd’hui, il est possible de créer ses propres hologrammes et de choisir leurs moindres détails (couleur, forme, motif, taille…).

L’application se présente sous la forme d’une boite à outils, on fabrique des formes selon nos désirs.Les hologrammes peuvent ensuite être importés dans le casque et être projetés dans l’espace réel permettant ainsi une cohésion entre ces deux univers: le virtuel et le réel. Grâce à d’autres applications, on est en capacité d’animer ces hologrammes et de pousser la création encore plus loin.

Étape 2 –  Space catcher

Mon intérêt durant ce deuxième semestre s’est plus particulièrement porté sur l’étude de l’application Space catcher.Cette application nous permet de scanner/mapper des espaces que l’on choisit. Le casque analyse l’espace et enregistre les scans que l’on réalise sous forme de modélisation. Lorsque l’on ouvre cette application, une boule apparaît dans l’espace et grâce à la commande vocale, celle-ci se déplace avec nous dans tous les espaces : « Come with me ». On peut ainsi décider de scanner à tout moment.

Les étapes pour réaliser un scan d’espace :

1) Choisir un espace, définir ce que l’on veut mapper

2) Définir les options du scan: intensité du maillage, la qualité…

3) Lancer le scan avec la commande vocale : « Start to scan »

4) Enregistrer le scan, pour cela il faut être connecté à internet. Mais le casque enregistre la forme en réserve.

5) Récupérer le fichier grâce au One drive du casque.

Points importants :

– Les espaces à une certaine hauteur sont difficiles voire impossibles à scanner
– Il faut une connexion internet pour enregistrer ce qu’on a mappé
– La vitesse n’est pas idéale pour les scans, il faut regarder l’espace pendant quelques secondes pendant le scan.
– Difficulté à capter notre propre corps
– Le casque ne scanne pas les éléments réfléchissants: voitures, miroirs. Cela créer des espaces vides.
– Scanne en priorité les surfaces planes (sol/mur)
– Ne scanne pas les objets/détails trop petits
– On ne décide pas de l’ampleur du scan
– Pour cibler une seule chose, il faut soit isoler l’objet soit supprimer ce qu’il y a autour
– Le casque a la particularité de garder en mémoire les espaces où on l’on est déjà allé : plus on va dans un même espace, plus le casque est performant et capte les détails du lieu.

Il est possible de modifier les scans réalisés avec le casque notamment avec le logiciel de modélisation 3D Blender. Blender est une suite d’outils de modélisation 3D et de rendu. Avec ce logiciel, on peut essayer des effets de matières, créer un fond pour éditer les formes. Placer les formes dans un espace bien défini avec le rendu voulu.

Le casque Hololens est une technologie qui nécessite obligatoirement le corps et les déplacements d’un usager. Le casque n’existe pas sans un corps mais le corps ne décide pas de ce que fait réellement le casque. L’utilisateur du casque n’a pas complètement le contrôle, le corps est rattrapé par la technologie. L’usager s’adapte aux contraintes du casque.

Étape 3 – Productions en perspective

Pour exploiter ces contraintes et cette vision que nous impose le casque, je me suis imposée des protocoles précis. Le casque garde le contrôle sur ce qu’il décide de scanner mais tout en suivant des règles. J’ai réalisé différents scans avec cette idée de règle et de processus définit :

– en me déplaçant accroupie dans un espace
– en regardant un point fixe pendant 5 secondes
– en chutant
– en levant la tête de mes pieds au plafond

L’utilisation du casque reste encore au stade d’expérimentation et de la recherche.

L’idée est de tester les limites, les contraintes, l’ensemble des possibilités de cette technologie. Le rapport à l’espace s’en trouve modifié, ce qui nous permet d’en percevoir d’autres enjeux. Le rapport à l’espace est physique, le casque nous emmène en promenade dans l’espace. Cette nouvelle approche de l’espace est imposée par le casque qui mélange ainsi deux univers : l’un virtuel et l’autre réel. Pour ma part, je souhaite continuer mon travail sur le casque en y associant les techniques du dessin. Mon projet est de dessiner des formes prélevées dans l’espace grâce au casque et de les retranscrire au sol sur du papier blanc en retravaillant l’échelle. Le but de ce projet est de prolonger l’expérience de l’espace en le matérialisant par une production artistique. Il s’agit de créer un espace où je rends compte de mon expérience et de mon rapport physique avec ce que j’ai pu découvrir de façon virtuelle à travers le casque. Le tout traiterait de la notion de paysage, en apportant un travail de lignes, de formes, de couleurs, de mots… Des éléments repris en modélisation 3D comme les flèches, le pointeur seraient suspendus au-dessus du papier blanc étalé au sol. J’ai établi un lien sensible avec la technologie, la réalité mixte m’a permis d’accroître mon rapport à l’espace et de travailler le lien corps/espace/technologie.

La réalité mixte offre de nouveaux aspects, une nouvelle vision du monde qui nous entoure.

De nouvelles applications sont à tester sur le casque comme l’application Actiongram qui permet de créer des vidéos holographiques pour Hololens. On pourrait imaginer des êtres holographiques en train de se déplacer autour de nous, de manger avec nous. Il nous serait aussi possible d’avoir une double vie : une vie avec et une vie sans le casque. Il existe aussi l’application Fragments, le joueur incarne un détective privé chargé d’enquêter sur un crime. Le casque scanne l’espace pour pouvoir placer les personnages, des objets parfaitement adaptés à l’environnement dans lequel se place le joueur. Ainsi le joueur interagit avec les personnages holographiques et tente de résoudre un crime. Les usagers pourraient se créer un monde dans lequel ils auraient un rapport différent à l’espace. Tout cela serait dans le but de vivre autrement, le casque pourrait faciliter la vie de certaines personnes.
CREDITS

Lise Lebleux, étudiante Ensba Lyon

Présentation du casque HoloLens :
https://fr.wikipedia.org/wiki/Microsoft_HoloLens

Top des meilleures applications Hololens (avec la présentation de l’application Holostudio) :
https://www.realite-virtuelle.com/hololens-top-jeux-applications

Space Catcher:
https://support.microsoft.com/fr-fr/help/13760/hololens-spaces-on-hololens

Blender :
http://blender3d.fr/

Tuto pour le logiciel Blender :
https://www.youtube.com/watch?v=9Y6hgVait7s

Liens consultés le 23-05-2018