La vidéo IA a un problème de son

Coupez le son d’un film d’horreur et la peur disparaît. Coupez-le pendant une scène de combat et les coups ne portent plus. Le son est la partie d’un film que personne ne remarque, jusqu’à ce qu’il manque. C’est aussi la partie que la plupart des vidéos IA sautent.

Un sabre laser fait d’un projecteur et d’une télé brisée

Rien dans Star Wars (1977) ne sonne comme le monde réel, parce que rien de tout ça n’existait. Le concepteur sonore Ben Burtt a construit le bourdonnement du sabre laser à partir d’un projecteur de film au ralenti, combiné au bruit parasite d’un téléviseur brisé. Le son des pistolets laser vient d’un coup de marteau sur le hauban d’une tour radio. Burtt a reçu un Oscar spécial pour les voix des extraterrestres, des créatures et des robots du film.

Un bâton lumineux a l’air d’une arme à cause de ce qu’on entend. Enlevez le bourdonnement et ce n’est plus qu’un accessoire.

Le requin qu’on voit à peine

Sur le tournage des Dents de la mer (1975), le requin mécanique tombait sans cesse en panne. Steven Spielberg l’a donc montré beaucoup moins que prévu : on ne le voit vraiment qu’à la 81e minute d’un film qui en dure 124. Le thème de deux notes de John Williams fait le travail à sa place. Spielberg aurait d’abord cru à une blague en l’entendant. Williams a remporté l’Oscar de la meilleure musique.

Pendant presque tout le film, le public a peur d’un son.

Combien pèse le son ?

On cite souvent George Lucas : le son compterait pour 50 % de l’expérience au cinéma. La recherche va dans le même sens, avec des nuances. En 1991, W. Russell Neuman, Ann Crigler et V. Michael Bove ont fait évaluer des extraits à 367 spectateurs : les émissions au meilleur son étaient aussi jugées plus belles à l’image, mais seulement pour une des trois émissions testées. Un résultat modeste, et révélateur : ce qu’on entend change ce qu’on croit voir.

De quoi est faite une vraie bande sonore

Un film terminé n’a pas « un son ». Il a des couches, mixées pour que personne ne les remarque : les voix, un bruitage pour chaque action à l’écran, une ambiance qui dit où l’on est, la musique, et du silence placé volontairement.

Cinq couches sous chaque scène

Ligne du temps schématique d’une bande sonore mixée

Pourquoi la vidéo IA sonne cheap

La plupart des vidéos générées ont d’abord été muettes, et beaucoup arrivent encore à l’écran avec une seule musique de banque posée par-dessus tout. Certains modèles génèrent maintenant le son avec l’image. Ça aide, mais ça apporte la même faiblesse que l’image générée plan par plan : rien ne relie un extrait au suivant. L’ambiance de la pièce change à chaque coupe, les pas ne correspondent pas au plancher, un bureau sonne comme un aéroport.

Le public dit rarement « le son est mauvais ». Il dit que la vidéo fait bon marché. Et il a raison : l’image a été dirigée, le son non. Les signes visuels sont expliqués ici.

Ce que ça veut dire pour une marque

Traitez le son comme la moitié du film, pas comme une finition ajoutée la veille de la livraison. Voix, bruitage, ambiance et musique se conçoivent ensemble, avec le même soin que l’image.

Deux tests rapides avant d’approuver une vidéo. Fermez les yeux et écoutez : savez-vous où vous êtes, ce qui se passe et ce que vous devriez ressentir ? Puis regardez-la sans le son : l’image porte-t-elle encore l’histoire ? Un bon film réussit les deux. Un grand film a besoin des deux à la fois.