Binaural Live

[Vlad]

Bonjour,

On est en train de préparer un spectacle sonorisé en binaural. C'est le deuxième et il est plus ambitieux : la jauge est de 200 casques. Du coup, un système de diffusion est en cours de développement (tout à fait made in France donc), j'en parlerai au printemps.

Le spectacle s'appelle L'Examen Moyak (du nom de son inventeur), dispositif de transfusion psychosonore employé dans un jeu télévisé. Nous sommes en 2015 et le travail est devenu si... volatile que pour gagner un job (en l’occurrence, pourri) des candidats acceptent d'être examinés en public.
Le binaural permet de de tremper l'auditeur dans les souvenirs du candidat.

Le principe est de produire du son spatialisé en direct (via des mannequins) et de le mixer avec des choses préparées (y compris in situ).
En terme de sonorisation, ce sont des configurations étranges, notamment parce que l'auditeur a des connexions visuelle et sonore d'une nature différente : un visu réel, un audible médiatique qui ne provient pas de sa place, mais de celle de tel ou tel mannequin. C'est ce qui nous conduit, dans cette production, à étudier les conditions de l'intégration audiovisuelle.
Du coup, Emmanuel Candeias, l'ingénieur de l'équipe, a développé une appli sous Processing pour visualiser les projections sonores et leur décalage d'avec les sources réelles sur le plateau, en fonction de la position du mannequin dans la salle et pour l'ensemble des spectateurs. L'outil va nous permettre de déterminer les conditions optimales d'utilisation du système de captation/diffusion.

Capture d'écran du logiciel de simulation pour l'étude de la fenêtre d'intégration audiovisuelle - L'Agence du verbe 2014

La capture d'écran montre l'ensemble des projections de la source sonore captée par le mannequin, en fonction de la place dans la salle. Dans cet exemple, le spectateur tourne la tête vers la source, et fait donc pivoter son casque d'autant, et donc la source fantôme avec, qui s'éloigne donc de son origine.
Un code de couleur montre les sièges pour lesquels le décalage entre le visu et l'audible n’excédera pas tant de degrés.

Voilà, j'avais envie de partager un peu cette affaire, qui avance bien. La prochaine étape est un test collectif (au dixième de la jauge) pour définir sur un nombre de sujet significatif la valeur limite de l'angle réel-virtuel.
Acquérir du savoir-faire passe par des phases minutieuses... La bonne nouvelle est que nous sommes suivis, du mieux qu'ils peuvent, par nos partenaires de production sur ces aspects de R&D.

À la prochaine.

[2fre]

Et bien, ça c'est du projet! Quel boulot de recherche et de mise en place. Je vais suivre tes posts avec grande attention.
Bravo et merci de partager cette expérience. A suivre donc...

[Fidel]

oui, un projet intéressant qui ouvre la porte vers l'intégration de perspectives sonores binaurales d'avec des éléments mixés, mais aussi une relation visuelle indissociable
le tout pouvant aboutir à des situations conflictuelles ou fusionnelles ...
on va suivre çà avec intérêt, nous autre êtres binauraliens

tu pourrais projeter aussi d'envoyer un témoin sur scène mobile, imprévisible, doté d'une prise ambisonique Soundfield par ex
l'idée serait ensuite après transcodage ambi -> binaural de jouer sur la rotation des plans sonores pour focaliser l'attention sur un espace sonore différent ou pas de la direction prise par le témoin en question
parce que le mannequin lui reste statique, et le projet a une dimension dynamique essentielle

en tout cas, respect à ceux qui s'aventurent hors des sentiers battus!

[Vlad]

C'est ça : conflictuelles ou fusionnelles.
Le côté sympathique de la chose est qu'une bonne accroche émotionnelle entre le spectateur et la source peut permettre l'adhésion alors même que l'angle de décalage est au-delà de la limite. Le cognitif est très actif.

Je n'ai pas pensé à l'ambisonic, parce que je veux rester sur du binaural natif, mais la fonction mobile est prise en charge par un "steadyheader" et une KU100, un duo d'un intérêt plus évident en terme de présence sur scène. Le contexte de jeu télévisé permet d'aller tourner autour des acteurs.

Merci pour votre intérêt.

[sigir]

Merci pour ce partage. Je commence doucement à me renseigner sur les automatismes possibles avec l'audio et la vidéo, notamment à l'aide de modules programmables, Je vais donc suivre ça

C'est super d'être suivi sur la R&D, ce genre de projet demande des compétences diverses, trop diverses parfois.

[Vlad]

Bonsoir,

Pour donner une idée de l'ambiance dont nous bénéficions encore en Bretagne : le responsable Culture du Conseil Général a organisé une écoute en binaural pour la commission qui décide des subventions aux compagnies : nous sommes allés avec nos casques et deux minutes d'écoute ont suffi à rendre très concrètes nos explications sur l'audio 3D ! Tant que votre interlocuteur n'a pas mis un casque, ça reste abstrait.
Un Conseiller a admis qu'avant la démo il ne voyait pas du tout l'intérêt d'isoler un peu plus les gens sous des casques, mais à voir les comportements de ses collègues, tous attrapés par l'externalisation, il en a conclu qu'il y avait bien là une expérience collective.
Du coup, on a moins de mal à expliquer que le savoir-faire est à inventer.
On sort de ce genre de réunion assez content

[Fidel]

ce qu'il y a de sympa dans l'exposition à des prises d'ambiances sonores binaurales connues de notre mémoire auditive, c'est que lors de la réécoute notre processus d'interprétation réduit son effort au minimum et intégre ce son là dans le contexte sonore immédiat de l'individu
ce n'est pas comme un son dirigé comme la musique par ex que notre cerveau décorrèle de la réalité sonore environnante et se focalise au détriment de l'attention externe, voir les débats sur les risques de l'écoute nomade en voiture, scooter, et même piéton...

cet état de sublimation sonore demande par contre des efforts dans le choix du contenu sonore 3D proposé en superposition, une égalisation soignée qui doit être calibrée par rapport au casque d'écooute (hic), et un casque ouvert pour précisément rester en prise avec son espace environnant
Je me souviens avoir réécouté des bouts de chose prises avec mon Fidel tout en bossant au bureau, et observer qu'au bout d'un moment je n'avais plus conscience d'avoir deux modes sonores différenciés, un réél et un projeté en arrirère fond

c'est en cela que le binaural apporte une dimension de créativité dnas la préparation du projet sonore, et une exposition naturelle convaincante d'autant plus confortable qu'elle s'appuie sur nos schémas neurosensitifs hérités de l'évolution
j'aurais bien aimé être avec vous

[Vlad]

Je suis d'accord : le flux binaural accède au cerveau par les circuits qui sont ceux de l'écoute naturelle. Il montre "patte blanche".
Je crois que c'est une connexion plus organique. J'ai tendance à parler de "transfusion".  
À mon avis, l'enjeu actuel est d'apprendre à parler au cerveau avec ce langage (quelles conditions, quels leviers, quelles limites — quelle éthique ?). Je m'interdis de produire des trucs terrifiques pour l'instant, mais on a déjà eu des crises lors de diffusions publiques et les personnes ne savaient pas dire ce qui les avait bouleversés. Bien entendu, les autres techniques sont capables de produire ce genre de tremblements, mais, je ne sais pas, elles n'en ont peut-être pas la vocation. Je ne sais pas trop comment dire.
Ma stratégie est pragmatique : monter des prods professionnelles où le binaural est le médium principal. Tenter, analyser, apprendre. Ça prend du temps, mais ça avance. Et les expériences d'écoute collectives sont vraiment intéressantes.
Rien ne dit qu'il ne soit pas possible d'imaginer des collaborations, Fidel, dans les deux ans durant lesquels nous allons monter ce spectacle.

[Fidel]

Ce serait avec plaisir, mais je fonctionne en amateur à présent
J’avais considéré le binaural il y a quelques années comme un outil potentiellement intéressant pour l’évaluation de la qualité acoustique dans notre domaine industriel, et par suite j’en avais décliné mon dispositif personnel plus spécifiquement orienté vers la prise de son acoustique musique et ambiances
Entre temps je me suis intéressé à un aspect inattendu, la relation et l’interaction des personnes vis-à-vis du mannequin lorsqu‘il participe à la mise en scène
Il m’est apparu qu’il efface parfois la distance d’avec la technique de la prise de sons traditionnelle, ce qui m’a amené à étudier des petits projets en collaboration avec une école
J’espère pouvoir poursuivre cette démarche, mais cela me demande un temps et un engagement que je n’ai plus pour l’instant, alors en attendant je suis avec attention les initiatives qui regardent vers le même horizon

[Vlad]

Je comprends.

Dès que nous aurons une version un peu finie du simulateur, il devrait pouvoir être rendu public.
A suivre donc...