L’expérience centenaire que tout cinéaste IA devrait connaître

À la fin des années 1910 et au début des années 1920, un jeune cinéaste soviétique, Lev Koulechov, a mené l’une des expériences les plus simples de l’histoire du cinéma. Elle explique encore mieux que bien des cours comment un film fonctionne, et elle n’a jamais été aussi actuelle qu’aujourd’hui, où n’importe qui peut générer un plan.

Un visage, trois émotions

Koulechov a pris un plan de l’acteur Ivan Mosjoukine, le regard droit devant, sans aucune expression. Il l’a monté après trois plans différents : un bol de soupe, une fillette dans un cercueil, une femme étendue sur un divan. Le public y a vu la faim, puis le deuil, puis le désir.

Selon le cinéaste Vsevolod Poudovkine, qui a raconté l’expérience plus tard, les spectateurs s’extasiaient devant le jeu de l’acteur et se disaient touchés par la tristesse de son regard. Le visage était exactement le même chaque fois. La conclusion de Koulechov : le cinéma est fait de fragments, et de la façon dont on les assemble.

La version d’Hitchcock

En 1964, dans une entrevue à la télévision canadienne, Alfred Hitchcock a expliqué l’idée avec son propre visage. Un plan de lui qui plisse les yeux, puis sourit. Montez-le après une mère qui tient son bébé, et c’est un bon vieux monsieur. Remplacez la mère par une jeune femme en bikini : même visage, même sourire, et c’est maintenant un vieux cochon. Rien n’a changé dans son plan.

Même visage, autre sens

Ce que le public lit dans un plan, selon le plan qui le précède

Est-ce que ça marche vraiment ?

La science a pris son temps pour vérifier. Une étude de Stephen Prince et Wayne Hensley en 1992, avec 137 participants, n’a pas réussi à reproduire l’effet, mais elle reposait sur un seul essai, ce qui la rendait sensible au bruit. En 2006, Dean Mobbs et ses collègues ont utilisé l’imagerie cérébrale et constaté que des visages neutres paraissaient plus tristes ou plus heureux selon la scène qui les précédait. Une étude de Daniel Barratt et ses collègues en 2016, avec 36 participants et cinq émotions, l’a confirmé.

L’effet est réel, et plus subtil que la légende : le contexte ne réécrit pas un visage, il fait pencher la lecture qu’on en fait. C’est de ce penchant que le montage est fait.

Pourquoi ça compte encore plus avec l’IA

Un modèle vidéo produit des plans. Chacun peut être magnifique, et chacun est fabriqué seul : le modèle ne sait pas ce qui vient avant ni ce qui vient après. Or le sens se trouve entre les plans.

C’est pour ça que tant de vidéos IA ressemblent à un tableau d’inspiration en mouvement. Une suite de belles images qui ne font rien ensemble, parce que personne n’a décidé ce que la coupe devait faire penser au spectateur. Le même plan de produit peut évoquer le luxe après un gros plan calme sur des mains, la vitesse après une voiture de nuit, le confort après de la pluie sur une fenêtre. Le plan ne choisit pas. Le montage, oui.

La génération a rendu les plans bon marché. Elle n’a pas rendu le sens bon marché. Même les célèbres plans-séquences reposent sur cette décision.

Un test pour votre prochaine vidéo

Retirez un plan. Si rien ne change dans ce que le spectateur comprend ou ressent, il n’avait pas besoin d’être là. Puis inversez deux plans. Si le sens change, quelqu’un fait du montage. Sinon, quelqu’un fait de la décoration.