Ludique et efficace, la réalité augmentée immerge directement le spectateur au coeur des contenus. Tour d’horizon des apports de la réalité augmentée au son.

• La réalité augmentée au service de la narration

La technologie AR permet d’enrichir la réalité si elle se fait « in situ » via les téléphones mobiles. Elle permet ainsi d’installer un paysage sonore imaginaire, en relation intime avec un lieu. L’application Sur les Bancs diffusée sur France Culture et développée par Gédéon programmes regroupe de courtes fictions que l’on peut écouter in situ sur les bancs publics des jardins parisiens. On scanne le QR code avec son smartphone, on met les écouteurs et on expérimente une conversation assis sur le banc comme si on était au milieu des interlocuteurs.

Le son 3D permet de créer l’illusion de la présence des personnages au même endroit que l’auditeur qui expérimente des paroles surgissant derrière son épaule. C’est l’effet de réalité augmentée. Entre les bancs, les histoires et les personnages de ces différentes fictions se répondent ce qui incite l’auditeur à parcourir la ville. Ces formats courts, fiction ou documentaire, sont une excellente manière de valoriser le patrimoine d’une ville en faisant appel à notre imaginaire et notre curiosité. Mais le son 3D peut également faire appel à nos sens en augmentant notre expérience d’écoute musicale.

• La réalité augmentée au service de l’acoustique

La start-up Klang, en Allemagne, est spécialisée en réalité virtuelle acoustique. Elle a mis au point des algorithmes permettant de décupler les ondes musicales dans les oreilles. L’idée première est d’améliorer l’expérience des musiciens sur scène, qui munis d’un casque peuvent réellement écouteur leur musique en 3D alors que d’ordinaire, le plancher, le plafond et les murs de la salle de concert reflètent le son avec un délai différent. Plusieurs artistes ont été conquis par l’expérience à commencer par le groupe de rock américain System of a Down.

 

« C’est comme si je mettais un casque audio pour la première. Je ne monterai plus jamais sur scène sans ça »

John Dolmayan, batteur de System of a Down 

Source : klang.com

La prochaine étape consiste à se positionner du coté des auditeurs en développant de nouvelles expériences d’écoute et d’interaction avec la musique.

• La réalité virtuelle au service de l’illusion narrative

Depuis quelques années, les technologies Immersives (VR et AR) cherchent à réinventer les codes du storytelling. Afin de recréer un univers sonore proche du réel, l’audio 3D transforme trois aspects que notre cerveau mobilise pour se positionner dans l’espace : la variation d’intensité, le décalage temporel, la variation spectrale. Ainsi, un dispositif sonore binaural au coeur d’un ranch me permet d’entendre le bourdonnement d’une abeille de la même manière qu’un cheval l’entend. La technologie du son binaural au coeur d’une expérience de réalité immersive donne l’ illusion que l’on peut éprouver à la place et à la manière d’un autre individu.

Mais le son binaural peut également être la trame d’une expérience introspective. Il permet de mobiliser l’esprit et le corps de ceux qui expérimentent le dispositif. John Hull, un homme qui a perdu la vue en 1983, a décidé d’enregistrer jour après jour les sensations sonores nouvelles qu’il éprouvait. Sa piste audio sert de fil conducteur à une expérience de quinze minutes où le spectateur se retrouve plongé dans l’obscurité : une expérience sensorielle, combinaison du son binaural et d’un graphisme à 360°. Baptisée Notes on blindness : into darkness, cette expérience dans la peau d’un non-voyant est proposée par Arte Creative.

Les présences humaines et l’évocation des choses ne prennent forme qu’au gré des sons. Ceux-ci sont visualisés par des oscillations de lumière bleue. La sensation du vent, modèle, par la seule force du son qu’il produit, la proximité d’un arbre ou d’une balançoire. La cadence des bruits de pas évoque le visage d’un joggeur ou la course d’un enfant. Le son évoque sans cesse la source visuelle absente, invitant l’imagination de celui qui écoute à la créer à nouveau.

A Blind Legend, une coproduction de France Culture avec la société de « serious game » Dowino est un jeu d’action-aventure sur mobile, où l’ouïe remplace les yeux grâce à la technologie du son 3D binaural. Transportés dans une aventure chevaleresque inspirée de l’époque médiévale, les joueurs ne peuvent compter que sur leurs oreilles pour mener à bien leur quête.

Je peux renouveler l’expérience qui sera à chaque fois singulière, ce qui n’est pas le cas du « spectacle immersif ». Le son binaural me permet d’entendre en aveugle, et pas simplement à la place d’un aveugle. Et c’est en cela qu’il bouleverse véritablement les codes traditionnels du récit.

Par Laure Delmoly

A lire :

Can spacial 3D Audio Reinvent Live Music ?, Fast Company, mai 2017

2017, l’année où la réalité augmentée s’attaque à nos oreilles, Atlantico, janvier 2017

Plongez dans la réalité augmentée sonore avec ASPIC Tech, Association de promotion de la Réalité Augmentée, octobre 2016

After augmented reality wins with Pokemon Go, is augmented audio reality next?, The National, juillet 2016

Spatial Audio for Augmented Reality par Mark Billinhurst, présentation LinkedIn, avril 2016

La réalité augmentée sonore, Crossmédias, mars 2014

A écouter :

A Blind Legend, France Culture, septembre 2015

Notes on Blindness, Arte Creative, avril 2016

Sur Hyperradio :

S’évader en 3D sur les bancs, octobre 2015