Ambisonic et réalité virtuelle

[TheDarkOne]

Bonjour,

Avec des amis nous souhaitons parvenir à streamer des images live en 3D 360 degrés pour l'image et le son.

Pour l'image nous avons trouvé des solutions, pour le son c'est beaucoup plus galère.

C'est pourquoi je suis à la recherche de quelqu'un qui s'y connait sur les sujets suivants :

- Captation de son avec microphones ambisonic
- Encodage et streaming de son 3D

[puchi filou]

Bonsoir,

Je peux vous apporter quelques conseils au niveau techniques, moins au niveau prod. car j'y ai peu d'expérience. Mais a mon avis le plus dur dans votre histoire c'est probablement l'aspect de la video 3D en live, car autant du streaming audio en 3D et en direct, ça se fait déjà un peu, autant streamer du flux vidéo en 3D en direct c'est beaucoup plus rare.

[Dorian]

- Captation de son avec microphones ambisonic

Quelles sont tes questions ? Je pratique depuis un moement, il n'y a rien de compliqué. Le micro (exemple un Soundfield ST450, celui dont je dispose) te sort 4 signaux au format-b, que tu peux traiter en temps réel avec des plugins comme SurroundZone2, Harpex-B, ou des patchs sous MAX/MSP ou autres. Pas de soucis à ce niveau là il me semble.

- Encodage et streaming de son 3D

Là par contre, c'est intéressant, je connais des solutions qui permettent de faire ça "en amont", en créant un fichier audio dont la résultante peut dépendre de métadonnées envoyées par la vidéo en fonction de l'angle de vue choisi par le spectateur, mais ça ne se fait pas en temps réel, il faut encoder le fichier audio avant. Cf. FB360 (anciennement Two Big Ears) dont nous a parlé récemment Kewl.
Ca doit exister en jeu vidéo avec des moteurs audio proprios, mais accessibles à nous, indépendants ? Je ne sais pas, mais ça m'intéresserait aussi... Peut-être au niveau d'Oculus et de son SDK audio ?

Tiens nous au jus de tes découvertes !

[Axs]

Avec HOALib sous max ou pure data ça doit être faisable en temps reel je pense. Il y a moyen de se créer un patch pour déclencher des sources et les spatialiser ensuite via HOALib.

[Dorian]

Ca je me doute, mais quid du streaming "en direct", ie. comment ça se passe pour le spectateur au bout de la ligne (internet) ? Il faut bien un "format" de fichier streamé qui puisse être interprété par le lecteur du spectateur, qui va réagir en fonction de son intéraction ? Non ?

[Axs]

Je ne suis pas sur que lorsqu'il parle de streaming il parle de flux via internet mais plutôt d'un flux qui par d'un ordi vers un système de diff en locale. Dans ma tête ça ressemblait plus à un genre de performance live en RV, pas un truc via internet mais peut être que je me trompe.
Il faudrait que l'auteur précise ce qu'il entant par "streamer" je pense

[robin.gorget]

Je comprend bien la question, et techniquement c'est intéressant, mais je vois pas bien l’intérêt (sauf perf artistique ). Je n'ai pas jamais touché au format Ambisonic donc n’hésitez pas a me convaincre du contraire.