Bonjour à tous,
Je commence à m'intérréser de près à la video en 360.
On me demande de commencer à penser du son pour ce type de video.
Quel logiciel utiliser pour ce type de projet ?
Du binaural pour finir ? Ou encoder en ambisonique mais quel log le decodera ?
Obligation de passer par un soft de jeu video pour spatialiser tout ca ?
Tout en sachant qu'il n'y a pas encore vraiment de casque accessible qui prennent en compte le mouvement de la tête
J'ai du mal un peu à imaginer le worflow pour ce genre de taff.
D'ou le sujet. Si vous voulez bien partager vos méthodes de travail.
Merci
Sons VR - 360
Re: Sons VR - 360
Salut Dacoutu.
Ce qui se fait de mieux aujourd’hui est le "360" de AudioEase". Il y à aussi le "Spatial workstation" mais je ne l'ai pas encore essayé.
Check la vidéo de démo, c'est assez parlant, ca fonctionne extrêmement bien et évite de repartir à zéro dans ton workflow pro-tools. Il y a de nouvelles habitudes a prendre et quelques règles a mettre en place, mais ils ont étés très malin afin de nous simplifier la vie.
Les players de youtube et de Facebook supporte le décodage temps réel d'un format-B, seulement en stéréo (malheureusement), même si je suis convaincu que le binaural ne va pas tarder a arriver, y'a pas de raison...
Pas nécessairement besoin de head-tracking, les mouvements de caméra se font en bougeant dans la vidéo avec ta souris, sur téléphone avec le gyroscope intégré.
Ce qui se fait de mieux aujourd’hui est le "360" de AudioEase". Il y à aussi le "Spatial workstation" mais je ne l'ai pas encore essayé.
Check la vidéo de démo, c'est assez parlant, ca fonctionne extrêmement bien et évite de repartir à zéro dans ton workflow pro-tools. Il y a de nouvelles habitudes a prendre et quelques règles a mettre en place, mais ils ont étés très malin afin de nous simplifier la vie.
Les players de youtube et de Facebook supporte le décodage temps réel d'un format-B, seulement en stéréo (malheureusement), même si je suis convaincu que le binaural ne va pas tarder a arriver, y'a pas de raison...
Pas nécessairement besoin de head-tracking, les mouvements de caméra se font en bougeant dans la vidéo avec ta souris, sur téléphone avec le gyroscope intégré.
Re: Sons VR - 360
facebook et youtube utilisent bien un rendu binaural sur leur vidéo. le master est au format 4 pistes (ou 8 piste pour le .tbe du facebook360) le moteur audio du lecteur (qui fonctionne différemment sur youtube et facebook dans le fond mais identique dans la forme) convolue le signal de 2 HRTFs d'une tête dans une pièce avec un système de repoduction ambisonique (8 HP disposé dans tous les angles d'un cube pour youtube il me semble)
En terme de sessions cela change pas mal de chose on commence à parler de mixage orienté objet. Car on peut imaginer une session divisé en stem en fonction du nombre d'objet dynamique(de personnages par exemple). Et les ambiances et musique qui ne subissent pas forcément le même traitement de spatialisation, dans des stems différents.
Aujourd'hui la technologie n'est pas bien implanté et n'est pas compatible sur toute les plateformes, et le rendu audio que tu écoutes dans ton DAW ne sera pas forcément identique au rendu audio sur youtube/fb
et pour moi le master .tbe dédié à facebook est beaucoup mieux pensé (possibilité d'avoir un master B-format et un master stéréo simple (pour la musique et la voix off par exemple) embarqué dans un fichier.tbe 8 pistes). Il est aussi possible de récupéré le SDK du facebook 360 pour implanter l'application dans un projet unity si tu veux développer ta propre application interactive ou jeu vidéo.
En terme de sessions cela change pas mal de chose on commence à parler de mixage orienté objet. Car on peut imaginer une session divisé en stem en fonction du nombre d'objet dynamique(de personnages par exemple). Et les ambiances et musique qui ne subissent pas forcément le même traitement de spatialisation, dans des stems différents.
Aujourd'hui la technologie n'est pas bien implanté et n'est pas compatible sur toute les plateformes, et le rendu audio que tu écoutes dans ton DAW ne sera pas forcément identique au rendu audio sur youtube/fb
et pour moi le master .tbe dédié à facebook est beaucoup mieux pensé (possibilité d'avoir un master B-format et un master stéréo simple (pour la musique et la voix off par exemple) embarqué dans un fichier.tbe 8 pistes). Il est aussi possible de récupéré le SDK du facebook 360 pour implanter l'application dans un projet unity si tu veux développer ta propre application interactive ou jeu vidéo.
Re: Sons VR - 360
Ou as tu eu ces infos baptisteq ?
Je viens de me re-faire mes docs Youtube 360, on ne parle de que stéréo pur ici.
Les docs datant d'il y à 6 mois, il y à peut être eu du neuf depuis, ce serait une bonne surprise!
J'ai eu quelques doutes sur mes essais de vidéo uploadé, sans doute à cause du rendu audio différent que tu mentionne entre ton DAW et youtube/fb.
Le mixage orienté objet est en effet la plus grosse différence dans le workflow, mais on s'y fait très bien je trouve.
Pour ce qui est du .tbe Facebook, c'est en effet une option intéressante d'ajouter une piste stéréo "fixe" mais j'ai quelque soucis de contradiction (son full spatialisé + une couche de son off). C'est un autre débat et certainement un dosage au mix à bien maîtriser.
Je viens de me re-faire mes docs Youtube 360, on ne parle de que stéréo pur ici.
Les docs datant d'il y à 6 mois, il y à peut être eu du neuf depuis, ce serait une bonne surprise!
J'ai eu quelques doutes sur mes essais de vidéo uploadé, sans doute à cause du rendu audio différent que tu mentionne entre ton DAW et youtube/fb.
Le mixage orienté objet est en effet la plus grosse différence dans le workflow, mais on s'y fait très bien je trouve.
Pour ce qui est du .tbe Facebook, c'est en effet une option intéressante d'ajouter une piste stéréo "fixe" mais j'ai quelque soucis de contradiction (son full spatialisé + une couche de son off). C'est un autre débat et certainement un dosage au mix à bien maîtriser.
Re: Sons VR - 360
Fin mai 2016 c'était le cas pour youtube. la vidéo était simplement downmixé en stéréo. Puis le rendu binaural du format-B Temps réel a été intégré pour certains appareils android avec l'application youtube, puis sur ordinateur avec chrome et encore après avec firefox. C'est une évolution qui s'est faite sur 6 mois et parfois youtube revient en arrière et pendant une semaine ça ne marche plus et après ça revient. C'est étrange c'est pour ça que je dis que la technologie à encore du mal à être implanté.
Mes sources:
https://support.google.com/jump/answer/6399746?hl=en
un contact chez google qui travaille sur le projet jump:
"Thank you for enquiring! Some answers:
- YouTube Android uses real-time HRTF convolution for ambisonic rendering. For first-order ambisonics, we binaurally render a cube layout of virtual loudspeakers.
- For web, YouTube currently renders a forward-facing, fixed-viewpoint stereo downmix. We are working on adding real-time ambisonic rendering to web soon.
- As far as reproducing the rendering in a DAW, we have a guide here for doing so: https://support.google.com/jump/answer/ ... ic=6399805 The result is not 100% accurate (we do a small amount of additional filtering), but it is very, very close."
et les groupes de discutions sur facebook. (Spatial audio VR, Facebook 360...)
et un exemple sur youtube qui fonctionne (PC firefox et android)
https://www.youtube.com/watch?v=i0fn2-80odc
Je suis intéressé de voir tes documentaires en vidéo 360 il y a un lien? Je peux te faire un retour pour voir si ça marche
Mes sources:
https://support.google.com/jump/answer/6399746?hl=en
un contact chez google qui travaille sur le projet jump:
"Thank you for enquiring! Some answers:
- YouTube Android uses real-time HRTF convolution for ambisonic rendering. For first-order ambisonics, we binaurally render a cube layout of virtual loudspeakers.
- For web, YouTube currently renders a forward-facing, fixed-viewpoint stereo downmix. We are working on adding real-time ambisonic rendering to web soon.
- As far as reproducing the rendering in a DAW, we have a guide here for doing so: https://support.google.com/jump/answer/ ... ic=6399805 The result is not 100% accurate (we do a small amount of additional filtering), but it is very, very close."
et les groupes de discutions sur facebook. (Spatial audio VR, Facebook 360...)
et un exemple sur youtube qui fonctionne (PC firefox et android)
https://www.youtube.com/watch?v=i0fn2-80odc
Je suis intéressé de voir tes documentaires en vidéo 360 il y a un lien? Je peux te faire un retour pour voir si ça marche
Re: Sons VR - 360
Merci pour ces précieuses informations.
Il y a vraiment un suivi régulier à faire, les process évoluent régulièrement.
Je n'ai rien de publique que je peux montrer pour le moment, seulement du test pour être prêt en temps voulu mais ca ne devrait pas tarder.
Je ne manquerais pas à le faire savoir ici lorsque ce sera le cas.
Merci.
Il y a vraiment un suivi régulier à faire, les process évoluent régulièrement.
Je n'ai rien de publique que je peux montrer pour le moment, seulement du test pour être prêt en temps voulu mais ca ne devrait pas tarder.
Je ne manquerais pas à le faire savoir ici lorsque ce sera le cas.
Merci.
Re: Sons VR - 360
Je viens d'acheter le plug d'audioease. Je ne trouve pas le binaural super convainquant pour l'instant mais je m'y prend sans doute mal.
Si je pose un objet fixe dans la video, je le sens bien bouger en fonction de ma position.
Par contre si je suis en face du front et que je veux envoyer un évenement sonore à gauche pour attirer l'attention, le son n'est pas vraiment que à gauche ? Est ce la place dans l'image qu'il faut bien trouver ?
Parallèlement j'ai essayé de décoder des prises au format B via Harpex-B qui lui propose une sortie en ambix mais avec 8 canaux et non les 4 qu'il nous faut pour youtube. J'ai donc dû régler la sortie du harpex-B en 5.0 puis le 360pan qui me le remet en ambix et le résultat est pas mal. Il y a sans doute plus simple. Ce serait quand même top de pouvoir utiliser le format-B. Le format-B par ex du soundfield est ambix ?
quid du fuma ?
Si je pose un objet fixe dans la video, je le sens bien bouger en fonction de ma position.
Par contre si je suis en face du front et que je veux envoyer un évenement sonore à gauche pour attirer l'attention, le son n'est pas vraiment que à gauche ? Est ce la place dans l'image qu'il faut bien trouver ?
Parallèlement j'ai essayé de décoder des prises au format B via Harpex-B qui lui propose une sortie en ambix mais avec 8 canaux et non les 4 qu'il nous faut pour youtube. J'ai donc dû régler la sortie du harpex-B en 5.0 puis le 360pan qui me le remet en ambix et le résultat est pas mal. Il y a sans doute plus simple. Ce serait quand même top de pouvoir utiliser le format-B. Le format-B par ex du soundfield est ambix ?
quid du fuma ?
-
Kewl
- -2 VU
- Messages : 798
- Inscription : 06 mars 2007, 22:14
- Localisation : Montréal, Canada
- Contact :
Re: Sons VR - 360
En binaural, un son à gauche ne sera pas juste à gauche: on l'entend des deux oreilles.
Je ne suis pas sûr de comprendre le 2e paragraphe. Le nouveau mode ambiX du Harpex-B fait du upsampling en prenant un signal de 1e ordre (4 canaux) pour le rendre au 3e ordre (16 canaux).
Pour convertir du Format-B FuMa 1e ordre vers du Format-B ambiX 1e ordre, il y deux plug-ins simples (qui changent la séquence des canaux et ajustent le W):
http://www.matthiaskronlachner.com/?p=2015
http://www.noisemakers.fr/ambi-converter/
Je ne suis pas sûr de comprendre le 2e paragraphe. Le nouveau mode ambiX du Harpex-B fait du upsampling en prenant un signal de 1e ordre (4 canaux) pour le rendre au 3e ordre (16 canaux).
Pour convertir du Format-B FuMa 1e ordre vers du Format-B ambiX 1e ordre, il y deux plug-ins simples (qui changent la séquence des canaux et ajustent le W):
http://www.matthiaskronlachner.com/?p=2015
http://www.noisemakers.fr/ambi-converter/
Re: Sons VR - 360
Ok je comprend bien mieux.
Je peux donc utiliser des prises au format-B avec un decoder fuma to ambix et ca va marcher. pas besoin du harpex si je comprend bien.
Merci
Je peux donc utiliser des prises au format-B avec un decoder fuma to ambix et ca va marcher. pas besoin du harpex si je comprend bien.
Merci
-
Kewl
- -2 VU
- Messages : 798
- Inscription : 06 mars 2007, 22:14
- Localisation : Montréal, Canada
- Contact :
Re: Sons VR - 360
Euh... Le convertisseur passe de FuMa à ambiX, après, ça prend un décodeur ambiX.
Le Harpex-B peut décoder du FuMa ou du ambiX. Mais pour faire une simple conversion (pas un décodage), le Harpex-B n'est pas nécessaire.
Le Harpex-B peut décoder du FuMa ou du ambiX. Mais pour faire une simple conversion (pas un décodage), le Harpex-B n'est pas nécessaire.