Enjeux

Depuis quelques années, les restitutions infographiques d’édifices disparus ou partiellement détruits sont devenues des supports importants pour la compréhension des monuments historiques. Parmi les démarches méthodologiques et techniques sur lesquelles ces représentations se basent, la restitution d’états hypothétiques d’édifices à partir de la numérisation 3D de l’état actuel (relevés par scanner laser 3D et/ou par photogrammétrie) paraît aujourd’hui particulièrement adaptée à l’élaboration de systèmes de réalité augmentée. En effet, la numérisation 3D d’édifices historiques génère un support métrique qui confère aux restitutions tridimensionnelles d’hypothèses une cohérence géométrique fine avec le réel. Cette cohérence permet l’élaboration de représentations hybrides réel/virtuel particulièrement précises (fig.1).

Cependant, même si à ce jour différents dispositifs de réalité augmentée ont été expérimentés, au-delà du degré même de sophistication de ces dispositifs, certains aspects restent particulièrement décevants dans le contexte de la visite d’un monument :

1. •La contrainte de devoir toujours observer des images sur un dispositif de visualisation (écran, lunettes, antennes, PDA, etc.) qui réduit nécessairement la perception du lieu à la simple comparaison entre un espace (parfois de grande échelle) et un (petit) écran.
   

2. •La gêne d’avoir des accessoires à transporter ou à s’installer lors de la visite (ce qui peut altérer d’ailleurs la liberté de comportement du visiteur).
   

3. •Les dispositifs de visualisation utilisés n’étant pas immersifs, le visiteur a la sensation d’être extérieur à l’espace représenté, c’est-à-dire de rester l’observateur d’une représentation artificielle contrainte à un dispositif de visualisation sans avoir le sentiment de présence et d’engagement dans la construction de l’espace figuré.
   

4. •L’absence d’une narration capable de conduire le visiteur/spectateur vers la perception de l’esprit d’un lieu (son espace et son histoire).
   

Compte tenu de ces limites, la possibilité d’exploiter l’édifice réel (l’articulation de ses volumes, l’ampleur de ses espaces, sa capacité à réverbérer les sons, à livrer sa mémoire, etc.) pour la construction  d’un environnement multi-sensoriel réactif (visuel, sonore, etc.) à l’échelle 1 constitue un grand enjeu, culturel mais aussi économique. Il s’agit d’arriver à révéler le « genius loci », l’esprit du lieu : l’atmosphère distinctive d’un espace dans un moment particulier de son  histoire.

La construction d’un tel environnement doit faire face à plusieurs problèmes d’ordre technique :

synchronisation spatiale et temporelle entre la perception du réel physique et celle du virtuel hypothétique,

captation de présence,

interactivité avec les images,

dispositif immersif donnant au visiteur l’impression « d’y être »,

scénarisation dramaturgique in situ : réflexion méthodologique sur la mise en espace des différents medias en fonction de données historiques, intuitives, sensorielles et spatiales traduisant « l’esprit du lieu ».

Publics concernés et usages

En se basant sur l’intégration de plusieurs dispositifs techniques et plusieurs types d’élaboration graphiques, cette démarche peut être appliquée à différents contextes et dans différentes configurations. En se basant sur des projections, ce type d’installation est principalement adapté aux espaces intérieurs de jour (luminosité moindre) ou aux espaces extérieurs lors de visites nocturnes.

Concernant les configurations, un premier usage concerne la projection d’une image (ou d’une séquence d’images) permettant à tout public de «voir » la restitution hypothétique d’un édifice (ou d’une partie d’édifice) à partir d’un point d’observation privilégié.

Un deuxième usage est la conception (par écriture artistique) d’un parcours de visite/découverte d’un édifice (ou d’une partie d’édifice) où chaque visiteur/spectateur puisse explorer individuellement (ou en petit groupe) un environnement multi-sensoriel réactif. Dans ce dernier cas, un système de capteurs de présence ou de mouvement déclencherait les différents éléments mis en espace (projections anamorphiques, sons, projections d’ombres réelles sur volumes virtuels, etc.) en fonction de la position et des déplacements du ou des visiteurs(s).

Impacts attendus

L’objectif du projet « Genius Loci » est d’explorer de nouvelles finalités pour les numérisations 3D des édifices patrimoniaux.

Alors que la projection de vidéos pré-enregistrées sur des monuments historiques est désormais bien maîtrisée, nous souhaitons apporter des innovations technologiques dans le domaine de la valorisation du patrimoine architectural afin de déboucher sur de nouvelles applications. Par les événements que nous organiserons, nous démontrerons la faisabilité et l'intérêt de ces nouvelles finalités.

Les innovations que nous apporterons concernent les données, leur combinaison avec l'espace architectural et les interactions envisagées. Ces avancées ouvrent un large champ applicatif à l'ensemble des données numériques du patrimoine:

1. •une nouvelle approche de la visite des lieux historiques permettant d'en découvrir les différentes étapes historiques de façon interactive (ludique, éducative ou dramatique) ;
   

2. •une nouvelle approche de la scénographie pour le spectacle vivant permettant d'utiliser des lieux historiques comme des espaces de scénographie numérique, les transformant en des décors animés et interactifs ;
   

3. •une nouvelle approche de la connaissance du patrimoine qui peut exploiter les avancées récentes de la muséographie scientifique en faisant passer le visiteur d'une approche passive et statique, à une approche dynamique, interactive et animée.
   

Description du projet

Ce projet se construit sur l’intersection de trois dimensions complémentaires :

sur le plan visuel, la capacité de projeter un espace hypothétique (avec ses volumes, ses couleurs, etc.) directement sur l’espace réel au travers la réalisation d’anamorphoses numériques ;

sur le plan de l’interactivité, la capacité de capter en temps réel les comportements du/des visiteurs de façon à ce que leurs mouvements puissent interagir avec la représentation virtuelle sur le plan visuel et sonore (exemple ombres);

sur le plan de la mise en scène, la capacité de mettre en espace les éléments de la représentation virtuelle sous forme d’une expérience culturelle et sensorielle immersive qui engage le visiteur dans une narration.

Le projet se basera sur :

1. •des réflexions d’ordre méthodologique visant à dégager les problèmes techniques à résoudre ainsi qu'à définir  les démarches à suivre lors des expérimentations in situ;
   

2. •des implémentations informatiques concernant les projections anamorphiques, la projection d’ombres réelles en temps réel, l’incrustation de comédiens filmés à l’intérieur de l’espace figuré, composition d’ambiances sonores et lumineuses, etc.
   

3. •l'installation, la calibration et le test de dispositifs de projection, d’émission sonore, ainsi que de capteurs de présence et/ou de mouvement;
   

4. •les relevés 3D in situ spécifiques aux expérimentations;
   

5. •l'organisation d’une expérimentation / évènement : l'installation d’un environnement multi-sensoriel réactif pour une visite nocturne de l’église de la Chartreuse de Villeneuve-lez-Avignon.
   

Projection anamorphique à l’échelle architecturale (Laboratoire MAP-Gamsau)

L’anamorphose, qui a connu des applications multiples aussi bien dans le domaine de l’architecture que du trompe-l’oeil, est une technique qui se base sur la déformation d’images qui se recomposent en un point de vue préétabli.

En reprenant ce principe et en l’inscrivant à l’intérieur d’une réflexion sur le potentiel de la représentation numérique, l’idée consiste à « prolonger » l’espace réel du spectateur/visiteur au travers des projections anamorphiques élaborées à partir de la cohérence géométrique entre la morphologie de l’état actuel de l’édifice (assurée par un processus de numérisation 3D) et celle de la restitution hypothétique d’un état antérieur. Cette solution se construit et s’appuie sur les lois de la perception : une vision monoscopique fondée sur le point de vue du spectateur/visiteur dans l’espace réel. Un système de projection, constitué de un ou plusieurs projecteurs HD en fonction de la taille et de l’articulation de l’espace, permet ainsi de représenter directement dans l’espace réel la représentation tridimensionnelle d’un état hypothétique de l’édifice intégrant volumes, éléments, textures, lumières et ombres. Ceci permettra d’immerger littéralement le spectateur/visiteur à l’intérieur d’un espace figuré.

L’élaboration d’un système de projections anamorphiques nécessite une étude appropriée des circonstances scénographiques, topographiques et géométriques, ainsi qu’un choix judicieux de points de vue obligés et privilégiés. Les perspectives (en projection anamorphique) peuvent être choisies en fonction de points de vue privilégiés à l’intérieur d’un circuit de visite collective, ou en fonction d’un parcours libre individuel. Dans ce dernier cas, les projections peuvent être déclenchées à l’aide de capteurs de présence et par conséquent en fonction de la position d’un visiteur/spectateur.

Interactivité (Laboratoire LIMSI-Vida)

La projection de données numériques massives telles que les maillages issus de scans de bâtiments offre de nombreuses possibilités d’interaction temps réel permettant de relier l'action du public, de performeurs, de régisseurs ou de guides aux données qui sont affichées. L'interaction permet donc de contextualiser et de scénariser l'affichage des données numériques. Elle rend donc les données plus vivantes et malléables, plus facilement compréhensibles à des fins éducatives, ou plus facilement contrôlables à des fins de scénarisation.

L'interaction est désormais un lieu commun dans le cadre des applications de bureautique ou de conception sur ordinateur, mais elle est encore très peu exploitée dans le cadre des applications de réalité augmentée, surtout lorsqu'elles ont lieu à grande échelle sur des architectures. Le LIMSI s'intéresse particulièrement à la possibilité de combiner interaction temps réel et projection dans des espaces architecturaux. En 2008, le LIMSI, en collaboration avec l'artiste plasticien Bertrand Planes, a réalisé deux concerts d'orgue dans l'église Sainte Elisabeth de Hongrie à Paris, mêlant traitement digital du son et projection de VU-mètres interactifs virtuels alignés sur les tuyaux de l'orgue. En mai dernier, une nouvelle collaboration avec Bertrand Planes, a débouché sur la projection d'effets spéciaux temps réel sur l'architecture des rives de la Seine à partir d'un bateau en mouvement, mêlant à nouveau interactivité et projection monumentale.

Nous souhaitons utiliser ces compétences pour offrir une dimension animée et interactive aux projections de données numériques qui seront réalisées dans le cadre de ce projet. Nous accorderons de l'importance à la diversité des interactions et à leur flexibilité au moyen de techniques de mapping entre stimuli et effets temps réel, afin d'offrir aux utilisateurs et aux applications une palette de moyens de contrôle la plus large possible. Nous serons également vigilants sur la qualité des rendus graphiques temps réel afin de permettre des interactions fluides et efficaces avec les projections dans l'espace physique.

Pour que l'interaction soit possible techniquement, il est nécessaire que les rendus soient assez rapides et que des possibilités soient offertes pour connecter des événements extérieurs au rendu graphique. Ce sont ces deux possibilités que nous explorerons dans ce projet.

Les maillages issus de scans et utilisés pour produire les hypothèses historiques étant très volumineux, il est nécessaire de les simplifier pour pouvoir en faire un rendu graphique interactif. Plusieurs techniques sont disponibles pour cela : soit on supprime des mailles qui sont alignées avec d’autres et ne vont pas appauvrir le rendu dans la mesure où elles ne produisent pas de variations de luminosité, soit on remplace des mailles fines chargées de rendre des petits reliefs par des techniques de rendus de faibles reliefs reposant sur des images telles que le bump mapping ou le relief mapping. Il est nécessaire pour cela de calculer à l’avance les cartes de relief pour les substituer aux maillages fins. Ces techniques peuvent même servir à rendre des surfaces comportant des trous, ou un relief suffisamment important pour faire apparaître des effets de perspectives ou d’ombres portées en utilisant le displacement mapping. Ces techniques sont sensibles à la précision des images utilisées pour faire ces rendus dans le cas où l'on zoome sur certains détails. Dans la mesure où les niveaux de détails seront connus et fixes, puisque l'on projette de façon calibrée sur l'environnement physique, de tels inconvénients n'apparaîtront pas dans les installations que nous réaliserons.

Concernant l’interactivité, il est nécessaire de capturer des événements dans l’environnement des surfaces de rendu afin de les transformer en contrôles pour le rendu interactif. Ces événements sont fournis par des capteurs de lumière, de pression, de flexion… et servent à contrôler certains paramètres de rendu. Nous envisageons des techniques de capture assez simples dans un premier temps, comme les captures de pression au sol, ou des captures de présence par infrarouge. Il sera également possible de « donner la main » à un régisseur sur le rendu graphique au moyen d'applications telles que PureData ou Max/MSP qui peuvent envoyer en temps réel des messages à l'application graphique. Ces messages peuvent être soit prédéfinis par un scénario (une q-list), soit être produits en temps réel par un régisseur en fonction du déroulement des interactions. Parmi les exemples d’interactivité de rendu, on peut envisager, entre autres, un contrôle de l’éclairement de la scène virtuelle, un contrôle de son mode d’affichage (réaliste, filaire, non réaliste, en perspective ou en mode overlay avec anamorphose), un contrôle des zones affichées : surfaces en dessous d’un certain niveau, surfaces dans une certainte partie du bâtiment, surfaces avec certaines propriétés…

Pour implémenter ces scénarios de rendu graphique interactif, nous nous appuierons sur le logiciel Open Source Virtual Choréographer qui permet de décrire des scènes 3D dans lesquelles les objets géométriques ont des comportements associés qui décrivent leurs  réactions aux stimuli (des événements externes). La gestion des événements sera inspirée du séquenceur issu du projet ANR Virage.

Mise-en-espace (Laboratoire Victor Vérité)

Les méandres de l’histoire ont souvent eu raison de notre patrimoine culturel. Châteaux, cloîtres, chartreuses… ont ainsi été partiellement détruits, pillés, démembrés, abîmés, reconstruits, déconstruits.

Pourtant lors de la visite de ces bâtiments, on est souvent frappé par une atmosphère, une ambiance, un « esprit du lieu », qui malgré les péripéties de l’histoire, nous parvient instinctivement. Ces bâtiments portent en eux leur mémoire et la diffusent secrètement dans les traces présentes. Un reste de pierre sculptée ou une nef manquante imposent une absence enchâssée dans une présence. L’énigme de l’absence contamine en cela l’existant et invite le visiteur à voyager dans le passé.

Comment accompagner ce déplacement et révéler l’invisible, placer le visiteur au cœur de l’esprit du lieu ? 

Plusieurs démarches s’offrent à lui. Texte (dépliant explicatif), parole (guide touristique) sollicitent culture ou inventivité pour imaginer l’absent. L’image a un statut différent : elle révèle alors que texte et parole suggèrent.

L’utilisation d’images fixes dans le domaine patrimonial n’est pas une nouveauté, de l’exposition photographie historique illustrant les marques du temps au plus récent développement virtuel en 3D, qui modélise  ̶ à partir de relevé métrique et d’une interprétation historique  ̶ une hypothèse de représentation du lieu tel qu’il était à un moment passé. Ces modélisations sont ensuite présentées soit sur Internet, soit sur des moniteurs placés dans des lieux, rendant visibles des hypothèses historiques.

C’est à partir de l’existence de ces matériaux que le projet « Genius Loci » est né. Comment les déplacer de « l’illustration » du manquant au statut de « révélateur » du passé ?

Le procédé que nous souhaitons donc expérimenter est celui de l’immersion totale du spectateur dans « l’esprit du lieu » par une utilisation sensible des processus de réalité augmentée.

La notion de réalité augmentée désigne les systèmes  qui rendent possible la superposition d'un modèle virtuel 3D numérique à la perception que nous avons naturellement de la réalité physique et ceci en temps réel. Le concept de réalité augmentée vise donc à compléter notre perception du monde réel, en y ajoutant des éléments fictifs, non perceptibles naturellement. La réalité augmentée désigne donc les différentes méthodes qui permettent d'incruster de façon réaliste des éléments virtuels (graphiques ou auditifs généralement) dans l’existant.

« Genius Loci » se définit alors comme une recherche spatio-temporelle permettant d’immerger le visiteur dans « l’esprit du lieu », c’est-à-dire dans l’invisible, l’historique et le sensible.

1. •Recherche sur l’espace, le projet développe des outils techniques permettant l’introduction (la projection) de modélisations 3D virtuelles des hypothèses historiques dans les bâtiments patrimoniaux.
   

2. •Recherche sur le temps, le projet cherche à éviter l’écueil du « son et lumière » touristique et développe des outils de « scénarisation » d’images animées et interactives en relation avec l’histoire du lieu, aller-retour constant sur le sens, le présent, l’absent et l’illusion du passé.
   

3. •Recherche sur la construction d’une illusion, le projet développe des outils de perte de repères sensoriels par l’introduction sensible d’images déconcertantes par leurs aspects réalistes d'une part mais aussi, par leur aspect fantomatique de double parfait, flottant, comme en suspension.
   

La proposition cherche à développer une méthodologie à partir d’une application in situ d’éléments concernant les arts de la scène ; développer des « dramaturgiques » dans les lieux et les traduire à partir des différentes composantes de la représentation – son, image, texte, illusion trucage, réalité augmentée.

Par dramaturgie, il faut entendre « art de la composition » permettant le déroulement d’une narration non nécessairement textuelle mais plutôt basée sur une corrélation entre « esprit du lieu » (histoire, sensation, espace, illusion….) et sa perception sensorielle dans l’espace.

Le concept de scénario évoque ici la possibilité de créer une narration « interactive » avec le visiteur, de travailler l’espace à partir d’une donnée temporelle (image animée, plutôt que fixe). Il procède du montage et de l’hybridation : il projette un lieu sur l’autre, transforme la perception des espaces et introduit de la fiction dans la réalité : une ville hantée par le fantôme d’un autre territoire…

« Genius Loci » développe ainsi des mondes simulés, imaginaires, illusoires. Comme Alice au pays des Merveilles, Genius Loci propose un voyage de l’autre côté du miroir.

L’élaboration de scénarii dramaturgiques in situ nécessite :

des études spatiales, historiques, « romanesques » du lieu pour en capter l’esprit ;

la création de modules scénaristiques génériques : agencement entre place/parcours du visiteur dans l’espace, mode d’apparition de la modélisation 3D (comment passer de l’image fixe à animée ?), aller-retour entre le présent et le passé, narration ;

des études techniques permettant la mise en forme dans l’espace du scénario.

Le projet utilisera les bases de données 3D relative à l’église de la Chartreuse de Villeneuve-lez-Avignon réalisées par le laboratoire MAP-Gamsau dans le cadre du Plan de numérisation du Ministère de la Culture et de la Communication.