Binaural Live

[leyfan]

Bonjour, débarque un peu, mais suis très captivé par la description de votre projet, Vlad, étant moi-même en train
de préparer une diffusion binaurale (200 casques aussi!) pour une pièce de théâtre avec un conteur (HF) en avant scène et 4 autres comédiens équipés HF aussi, en ombres chinoises derrière un cyclo...à ces présences concrètes et les mots du texte qui se joueront avec un peu de mouvement des corps ( espace scénique resséré de 6m/4m...) il faudra rajouter des sources mono, ou stéréo naturalistes et fictionnelles...je m'orientais vers l'utilisation d'un Spat de chez Flux, version VST dans le Live9 Standard+MaxForLive de chez Ableton...pour explorer un peu les possibilités d'automation de ce Spat de scènes à scènes...mais je me posais des questions sur les rendus sonores...le Spat a bien une méthode de Panning Binaural, avec des HRTF type Kemar Head...et le rendu est plutôt "sensible" et donne de beaux espaces acoustiques...mais j'ai aussi entendu des démo sur Youtube de plug comme H3D de chez Longcat qui était trés pertinente...(mais le site Longcate ne répond plus...!) et quel autre plugin utilisable sur un Live, pourrait ^étre d'une utilisation simple et en même temps pertinente? voilà, si vous aviez des pistes, suis preneur, tellement
le domaine a l'air vaste! merci d'avance!

[jyber]

Joli projet. Qui amène la question : comment tourner un son binaural (comme on le fait avec du B-format). J'imagine que toute tentative de panning/HRTF sur du binaural détruit violemment l'espace. Est-ce que des essais ont été faits dans ce sens?

[Vlad]

Bonjour,

De notre côté, même si j'en emploie un peu en post-prod sur les fictions, il n'y aura pas de synthèse binaurale dans le spectacle, seulement de la prise de son (des mannequins sont intégrés au jeu et dans la salle).
Pourquoi ? Parce que les sources captées de façon "traditionnelle" (mono, stéréo, voire multicanal) sont parcellaires du point de vue de l'espace (et qu'il faut le reconstruire avec des approximations).
Une captation Ambisonic apporte un mieux (avec un décodage Harpex, par exemple).

Donc, en effet, la prise de son binaurale fournit une "matière" complète (exhaustive), mais encodée avec l'HRTF du mannequin (timbre à corriger éventuellement) et avec une souplesse en post-prod réduite à :
- inversion possible gauche-droite (pan L-R retournés) : une action captée à gauche sera entendue à droite
- possibilité d'une légère rotation de la scène avec un délai interaural de 10-12 samples max (à 44.1KHz, 270 microsecondes).
C'est une contrainte au tournage : comme pour la caméra, la scène doit exister avec toutes ses composantes spatiales (sur un plan filmé, je parle de l'image, on ne va pas chercher à déplacer un personnage en post-prod).

Néanmoins, une base stéréo produite avec un couple AB omni (avec un angle utile de 180°) donnera de bons résultats sur les ambiances dans un processus de synthèse binaurale.

Je pense que les outils de spatialisation vont se développer, à mesure que le besoin s'en fera sentir.

C'est drôle ça, un autre spectacle avec 200 casques...
Quelles solutions envisagez-vous pour la diffusion ?
J'ouvre dès que j'ai le temps un autre post au sujet de la solution que nous avons adopté.

Échangeons.

[Fidel]

je me glisse dans la discussion pour vous dire qu'un gars SDO va bientôt recevoir une bonne tête de bois avec quelques accessoires de ma composition pour se lancer dans l'exploration binaurale
étant quelque uns sur Paris vous pourrez sans doute vous joindre à lui pour des essais que j'espère instructifs et passionnants pour tous

[puchi filou]

Bonjour, étant moi même en train de développer des outils de spatialisation avec la bibliothèque spat de l'Ircam (mais version Max msp), je pense pouvoir répondre à quelques interrogations.

@leyfan: je n'ai jamais testé le spat de flux, néanmoins ableton live fonctionne parfaitement avec la version Max msp du spat, donc ça devrait faire parfaitement l'affaire avec un plug Audio unit/ VST. Niveau qualité je ne sais pas comment flux a configuré les réglages du rendu en binaural (Il y a plein d'options disponibles dans la version Max), mais c'est déjà très efficace. Après tant qu'on ne pourra pas personnalisé les HRTFs de façon pertinente, on mixera toujours un peu à "l'aveugle". Si tu maîtrises Max msp, je te conseil fortement de te développer tes patchs car, comme indiqué plus haut, on peut vraiment régler le tout très précisément, ce qui n'est pas possible (je crois) avec la version flux.

@jyber: on peut tout à fait appliquer une rotation en temps reel à une scène en binaural et c'est tres efficace. Par exemple si on spatialise en ambisonic et qu'on sort direct en binaural, il suffit d'effectuer la rotation directement dans le domaine ambisonic. C'est d'ailleurs beaucoup moins gourmand en cpu et plus fluide que de bouger tous les objets de la scene de façon synchrone! Un head tracking bien réglé est assez bluffant d'ailleurs.

[jyber]

Bonjour puchi.

Je n'ai pas saisi "on spatialise en ambisonic". Tu passes de L/R en X/Y, tu fais la rotation ambio, puis retour à L/R?

Aussi, pour "personnaliser les HRTF", j'hésite entre "adapter à une production" ou "adapter à l'auditeur".

Il se trouve que je suis aussi sur des projets sous MaxMSP. J'ai un patch avec les HRTF du MIT que je partagerais volontiers. Elles sont colorées, avec un effet de pavillon prononcé et ne conviennent pas toujours à la musique. Par contre, pour placer une voix c'est pas mal. J'en ai d'autres nettement moins colorées, malheureusement échantillonnées de 15 en 15° seulement.

Je suis resté en 4.6, ce qui me permet de faire des plugins pour Protools.

[puchi filou]

En ce qui concerne la rotation de la scene avec rendu en binaural c'est exactement ça. On prend un signal encodé ou qu'on encode en Ambisonic, on effectue une rotation ou autre de la scene et on sort direct en binaural, le tout en temps réel. Très pratique pour le head-tracking car très efficace. Après on peut aussi spatialiser directement en binaural. Sinon évidement un enregistrement effectué directement en binaural est non modifiable.

La personnalisation des HRTF est certainement ce qui rendra la synthèse binaural viable commercialement car pour l'instant impossible de savoir si l'auditeur entendra avec précision l'espace virtuel créé. D'ailleurs, ce problème de représentation spatiale se pose également avec une tête artificielle. Mais bon, cela semble logique d'utiliser une captation binaural pour vos projets. Après le must est de mixer les 2 méthodes: captation en binaural pour certains éléments et synthèse pour d'autres. Ca fonctionne très bien.

[jyber]

La personnalisation des HRTF est certainement ce qui rendra la synthèse binaural viable commercialement car pour l'instant impossible de savoir si l'auditeur entendra avec précision l'espace virtuel créé.

On est même sûr qu'il n'entendra pas avec précision, toute personne ayant ses HRTF personnelles en est convaincue. Comme on ne sait pas les combiner pour obtenir une oreille "moyenne", la tête artificielle a été la réponse. Sauf que c'est l'oreille de personne. Les réponses KEMAR ne parviennent pas à externaliser la source, qui tourne autour du crâne. Problème : la mesure des réponses individuelles est contraignante (chambre sourde, médecin). L'issue est dans la modélisation. On peut rêver, sans trop délirer, d'une HRTF personnalisée à partir d'une image 3D de ton oreille.

Merci pour l'idée binaural->ambi->rotation->binaural. Je tente la manip.

[Axs]

Cela pourrait éventuellement intéresser quelques personnes: la société Two Big Ears est en train de développer une solution de synthèse binaurale temps réel.
http://twobigears.com/

Pour l'instant la beta n'est disponible que pour Unity3D (moteur de jeux), mais selon le site ils prévoient le support pour d'autre plateforme : Max/MSP, Pure Data, Natif... Bref à suivre, ça peut être intéressant.

Sachez que ces problématiques s'applique complètement aux jeux vidéo, que ce soit sur mobile ou console je crois qu'il y a pas mal de développements la dessus dans les studios. Si vous disposez d'un terminale iOS je vous recommande fortement de tester les jeux Papa Sangre 1 et 2 du studio Somethin' Else, des jeux sonores avec une solution binaurale maison: http://papaengine.com/

[Vlad]

Bonjour,

@ Leyfan
Je viens de découvrir la solution "UHF" de la société Silent Events qui disposerait d'un parc de 13 000 (!) casques. J'imagine le délire pour recharger tout ça...
C'est avec eux que vous travaillez pour la sonorisation de votre spectacle ?
Le site parle d'une "haute qualité", mais question specs : que dalle.
Un autre site propose quelque chose d'analogue (http://www.quietevents.com/headphones/).

Ça m'intrigue.
Quand je vois les specs des systèmes de ear monitoring pros (qui plafonnent à 15KHz de bande passante audio), je suis curieux d'en savoir plus.