Qu'est-ce qu'OpenAI Sora et va-t-il changer la vidéo pour toujours ?

Points clés à retenir

• OpenAI Sora crée des clips vidéo très réalistes à partir d'invites textuelles, présentant une avancée majeure dans la technologie de l'IA.
• La capacité de Sora à simuler avec précision la physique dans des vidéos est une fonctionnalité remarquable, mais elle présente encore quelques problèmes d'interactions et de génération d'objets.
• La disponibilité de Sora au public est incertaine, car sa sécurité et sa qualité sont actuellement testées avant qu'une date de sortie ferme ne soit fixée.

La vitesse de développement de l'IA se dirige vers un point dépassant la compréhension humaine, et le système texte-vidéo Sora d'OpenAI n'est que la dernière technologie d'IA à choquer le monde en lui faisant réaliser que les choses se produisent plus tôt que prévu.

Qu’est-ce qu’OpenAI Sora ?

Comme d'autres outils d'IA générative tels que DALL-E et MidJourney, Sora prend vos invites textuelles et les convertit en un support visuel. Cependant, contrairement aux générateurs d'images IA susmentionnés, Sora crée un clip vidéo complet avec du mouvement, différents angles de caméra, direction et tout ce que vous attendez d'une vidéo produite de manière traditionnelle.

En regardant les exemples sur le site Web de Sora, les résultats sont le plus souvent impossibles à distinguer d'une vidéo réelle produite par des professionnels. Tout, des images de drones haut de gamme aux productions cinématographiques de plusieurs millions de dollars. Complet avec des acteurs générés par l'IA, des effets spéciaux et les œuvres.

Sora n’est bien sûr pas la première technologie à faire cela. Jusqu'à présent, le leader le plus visible dans ce domaine était RunwayML, qui propose ses services au public moyennant des frais. Cependant, même dans les meilleures circonstances, les vidéos de Runway s'apparentent davantage aux premières générations d'images fixes de MidJourney. Il n'y a pas de stabilité dans l'image, la physique n'a pas de sens, et au moment où j'écris ces lignes, la durée la plus longue du clip est de 16 secondes.

En revanche, le meilleur résultat que Sora doit montrer est parfaitement stable, avec une physique qui semble correcte (au moins pour notre cerveau), et les clips peuvent durer jusqu'à une minute. Les clips sont totalement dépourvus de son, mais il existe déjà d’autres systèmes d’IA capables de générer de la musique, des effets sonores et de la parole. Je n'ai donc aucun doute que ces outils pourraient être intégrés dans un flux de travail Sora, ou au pire dans un travail de voix off et de bruitage traditionnel.

On ne peut pas surestimer l'énorme progrès que Sora représente par rapport aux séquences vidéo cauchemardesques d'IA d'un an seulement avant la démo de Sora. Comme l'IA assez inquiétant Will Smith mangeant des spaghettis. Je pense que c’est un choc encore plus grand pour le système que lorsque les générateurs d’images d’IA sont passés d’une plaisanterie courante à une peur existentielle des artistes visuels.

Sora est susceptible d'avoir un impact sur l'ensemble de l'industrie vidéo, depuis les créateurs de séquences d'archives individuels jusqu'au niveau des projets à méga budget Disney et Marvel. Rien ne sera épargné par cela. Je pense que cela est particulièrement vrai puisque Sora n'a pas besoin de créer des choses entièrement, mais peut travailler sur du matériel existant, comme animer une image fixe que vous avez fournie. Cela pourrait être le véritable début de l’industrie du film de synthèse.

Comment fonctionne Sora ?

Nous allons entrer un peu sous le capot de Sora aussi loin que possible, mais il n'est pas possible d'entrer dans autant de détails. Premièrement, parce qu’OpenAI n’est ironiquement pas ouvert sur le fonctionnement interne de sa technologie. Tout est exclusif et donc la sauce secrète qui distingue Sora de la concurrence nous est inconnue dans ses détails précis. Deuxièmement, je ne suis pas un informaticien, et vous n’êtes probablement pas un informaticien, et nous ne pouvons donc comprendre comment cette technologie fonctionne qu’en termes généraux.

La bonne nouvelle est qu'il existe un excellent explicateur Sora (paywall) de Mike Young sur Medium, basé sur un rapport technique d'OpenAI qu'il a décomposé pour que nous, simples mortels, puissions le comprendre. Même si les deux documents méritent d’être lus, nous pouvons en extraire ici les faits les plus importants.

Sora s'appuie sur les leçons que des entreprises comme OpenAI ont apprises lors de la création de technologies comme ChatGPT ou DALL-E. Sora innove dans la façon dont il est formé sur des exemples de vidéos en divisant ces vidéos en « patchs » qui sont analogues aux « jetons » utilisés par le modèle de formation de ChatGPT. Étant donné que ces jetons sont tous de taille égale, des éléments tels que la longueur du clip, le rapport hauteur/largeur et la taille de la résolution n'ont pas d'importance pour Sora.

Sora utilise la même approche large de transformateur qui alimente GPT ainsi que la méthode de diffusion utilisée par les générateurs d'images IA. Pendant la formation, il examine les jetons de patch bruyants partiellement diffusés à partir d'une vidéo et essaie de prédire à quoi ressemblerait le jeton propre et sans bruit. En comparant cela à la vérité terrain, le modèle apprend le « langage » de la vidéo. C'est pourquoi les exemples du site Web de Sora semblent si authentiques.

Outre cette capacité remarquable, Sora inclut également des sous-titres très détaillés pour les images vidéo sur lesquelles il est formé, ce qui explique en grande partie pourquoi il est capable de modifier les vidéos qu'il génère en fonction d'invites textuelles.

La capacité de Sora à simuler avec précision la physique dans des vidéos semble être une fonctionnalité émergente, résultant simplement d'une formation sur des millions de vidéos contenant des mouvements basés sur la physique du monde réel. Sora a une excellente permanence des objets, même lorsque les objets quittent le cadre ou sont obscurcis par quelque chose d'autre dans le cadre, ils restent présents et reviennent sans être inquiétés.

Cependant, il y a encore parfois des problèmes lorsque les éléments de la vidéo interagissent, avec causalité et génération spontanée d'objets. De plus, de manière assez amusante, Sora semble confondre la gauche et la droite de temps en temps. Néanmoins, ce qui a été montré jusqu'à présent est non seulement déjà utilisable, mais absolument à la pointe de la technologie.

Quand obtiendrez-vous Sora ?

Nous sommes donc tous extrêmement excités de tester Sora, et vous pouvez parier que je vais jouer avec et écrire exactement à quel point cette technologie est bonne quand on ne nous montre pas de résultats triés sur le volet, mais dans combien de temps cela peut-il arriver ?

Au moment d'écrire ces lignes, on ne sait pas exactement combien de temps il faudra avant que Sora ne soit disponible au grand public, ni combien cela coûtera. OpenAI a déclaré que la technologie est entre les mains de « l'équipe rouge », qui est le groupe de personnes dont le travail est d'essayer de faire faire à Sora toutes les choses coquines qu'il n'est pas censé faire, puis d'aider à mettre en place des garde-fous contre ce genre de choses. de choses qui se produisent lorsque de vrais clients peuvent l'utiliser. Cela inclut la possibilité de créer de la désinformation, de produire du matériel désobligeant ou offensant, et bien d’autres abus que l’on pourrait imaginer.

Il est également, au moment d'écrire ces lignes, entre les mains de créateurs sélectionnés, ce qui, je suppose, est à la fois à des fins de test et pour obtenir des critiques et des approbations de tiers alors que nous nous préparons à sa sortie finale.

En fin de compte, nous ne savons pas réellement quand il sera disponible, de la même manière que vous pouvez simplement payer et utiliser DALL-E 3, et en réalité même OpenAI n'a pas encore de date ferme. En effet, s'il est entre les mains de testeurs de sécurité, ils pourraient découvrir des problèmes qui prennent plus de temps à résoudre que prévu, ce qui retardera une version publique.

Le fait qu'OpenAI se sente prêt à montrer Sora et même à répondre à quelques invites publiques via X (anciennement Twitter) signifie simplement que l'entreprise pense que la qualité du produit final est à peu près prête, mais jusqu'à ce qu'il y ait une meilleure image de l'opinion publique. , les problèmes de sécurité soulevés, ainsi que les problèmes de sécurité découverts, personne ne peut le dire avec certitude. Je pense que nous parlons de mois plutôt que d'années, mais ne vous attendez pas à cela la semaine prochaine.