« The Beatles : Get Back » montre que la technologie deepfake n'est pas toujours maléfique
La technologie deepfake est une nouvelle façon de préserver l’histoire du cinéma. Alors, puis-je vous présenter : Sgt. Pepper's Machine Learning Band ?
Bien que cela m’arrive rarement, j’observe parfois quelque chose qui est un véritable moment décisif pour le progrès technologique et je peux reconnaître que la possibilité que le bien utilise ces technologies puisse l’emporter sur le potentiel de mal.
Pour moi, un tel moment a été de regarder The Beatles : Get Back, qui est maintenant diffusé sur Disney+. J’en avais entendu parler et j’avais vu certaines de ses images être publiées lentement pendant environ un an, mais je n’avais aucune idée de la quantité de technologie qui avait été appliquée à sa production.
J'ai vu beaucoup de films réalisés à partir d'images historiques des années 1960 et même des années 1970 et 1980, et une grande partie du matériel source est en mauvais état. Dans de nombreux cas, même si la pellicule est en parfait état et nécessite une restauration minimale, elle aura des couleurs atténuées. L’audio de l’époque peut être sifflant et donne souvent l’impression qu’il a été produit à l’aide d’un équipement d’enregistrement moins que professionnel. Même avec des spectacles en direct comme à Woodstock, les archives sont souvent dans un état sous-optimal en raison de la nature de ce qui a été utilisé pour les enregistrer, comme le film 16 mm - un format économique populaire auprès des passionnés de l'époque qui ne vieillit pas bien.
Dans ces cas, lorsque vous regardez un contenu comme celui-ci, le spectateur a l’impression de regarder quelque chose qui est, en fait, une archive. Il y a un détachement que vous regardez l’histoire, que vous avez l’impression d’appartenir au passé, que quelque chose s’est passé des décennies auparavant. Cela ne semble pas réel ou actuel.
Avant de regarder les premières heures de « Get Back », je n’ai eu l’impression qu’une seule fois avec un film, j’étais projeté dans le temps et que je regardais les événements tels qu’ils se sont déroulés ou enregistrés hier. Le film documentaire Apollo 11, produit par Todd Douglas Miller, sorti en 2019, a utilisé des copies 70 mm vierges de la NASA et des Archives nationales, qui ont ensuite été numérisées en numérique, employant plus de 11 000 heures d’enregistrements pour produire le film.
Mais ce qui le rend d’autant plus significatif avec Get Back, c’est l’état du matériel source, les 60 heures de film 16 mm et les 150+ heures d’audio NAGRA créées pendant 21 jours en 1969 aux studios de Twickenham en Angleterre. Contrairement à ce qui a été utilisé pour Apollo 11, il n’était pas en parfait état - il était délavé et granuleux, et le son était médiocre ou en sourdine. Disney a donc fait appel à Peter Jackson, le réalisateur des films Le Seigneur des Anneaux et Le Hobbit, pour restaurer la vidéo et l’audio.
Ce qui s’est passé ensuite est assez étonnant. Jackson a fait passer le film granuleux et désaturé par un algorithme informatique. Soudain, la vidéo résultante avait des couleurs vives et vibrantes, avec des images nettes qui semblaient avoir été filmées hier, et non en 1969. Mais ce qui est encore plus impressionnant que la restauration du film, qui est un triomphe technique en soi, c’est ce qu’ils ont fait avec l’audio. Selon Jackson, dans son interview à Variety :
« Pour moi, la restauration du son est la chose la plus excitante. Nous avons fait d’énormes percées dans le domaine de l’audio. Nous avons développé un système d’apprentissage automatique qui nous a appris à quoi ressemble une guitare, à quoi ressemble une basse, à quoi ressemble une voix. En fait, nous avons enseigné à l’ordinateur à quoi ressemble Jean et à quoi ressemble Paul. Donc on peut prendre ces pistes mono et séparer tous les instruments, on peut juste entendre les voix, les guitares. Vous voyez Ringo frapper les tambours en arrière-plan, mais vous n'entendez pas du tout les tambours. Cela nous permet de le remixer vraiment proprement.
La technologie d’apprentissage automatique utilisée ici est très similaire (sinon identique) à ce qui a été utilisé dans le passé pour les deepfakes, ce qui donne aux fausses vidéos l’apparence et le son réels. Un excellent exemple de cela est la vidéo de démonstration produite par le Center for Advanced Virtuality du MIT, « In Event of Moon Disaster », qui montre le président Nixon lisant une déclaration préparée selon laquelle les astronautes d'Apollo 11 avaient péri dans une catastrophe. Pour le créer, le MIT a utilisé l'image de Nixon et les paroles qu'il a prononcées lors d'apparitions télévisées et l'a introduit dans un système d'apprentissage automatique pour synthétiser l'audio et la vidéo et produire le film étrange.
La démonstration est un avertissement que ces technologies peuvent être utilisées à des fins néfastes. Des efforts sont actuellement en cours, notamment avec la Coalition pour la provenance et l’authenticité du contenu (C2PA), pour créer des normes permettant de fournir un contexte et un historique aux médias numériques afin de prouver que l’authenticité d’une image particulière ou d’un flux vidéo/audio particulier peut être établie à l’avenir, car on s’attend à ce que ces technologies soient beaucoup plus utilisées à l’avenir.
Alors, cette technologie deepfake peut-elle être utilisée pour le mal ? Oui. Mais si Get Back prouve quelque chose, c’est qu’il peut également être utilisé pour une « restauration en profondeur ». Une grande partie du contenu vintage peut être réparée de cette manière, qu’il s’agisse de films originaux ou de séquences d’archives qui peuvent lui redonner un aspect neuf - ou le plus frais qu’ils aient jamais été et montré sur les plateformes de diffusion de contenu modernes.
L’apprentissage automatique peut-il être utilisé positivement avec les documents d’archives par le biais d’une restauration en profondeur plutôt que d’un trucage en profondeur ? Répondez-en et faites-le moi savoir.