En fin Février dernier, OpenAI a annoncé un nouveau système d’IA générative nommé Sora, qui produit de courtes vidéos à partir d’invites textuelles. Bien que Sora ne soit pas encore disponible au public, la très bonne qualité des résultats publiés jusqu’à présent a provoqué des réactions enthousiastes.
Les exemples de vidéos publiés par OpenAI, qui, selon la société, ont été créés directement par Sora sans modification, montrent des résultats de messages tels que « une vidéo photoréaliste en gros plan de deux navires pirates qui se battent alors qu’ils naviguent dans une tasse de café » et « images historiques de la Californie pendant la ruée vers l’or ».
À première vue, il est souvent difficile de dire qu’ils sont générés par l’IA, en raison de la haute qualité des vidéos, des textures, de la dynamique des scènes, des mouvements de la caméra et d’un bon niveau de cohérence.
Le directeur général d’OpenAI, Sam Altman, a également posté des vidéos sur X générées en réponse aux suggestions des utilisateurs, pour démontrer les capacités de Sora.
Sora combine les caractéristiques des outils de génération de texte et d’image dans ce qu’on appelle un « modèle de transformateur de diffusion ».
Les transformateurs sont un type de réseau de neurones introduit pour la première fois par Google en 2017. Ils sont surtout connus pour leur utilisation dans de grands modèles de langage tels que ChatGPT et Google Gemini.
Les modèles de diffusion, d’autre part, sont la base de nombreux générateurs d’images d’IA. Ils fonctionnent en commençant par un bruit aléatoire et en itérant vers une image « propre » qui correspond à une invite d’entrée.
Une vidéo peut être faite à partir d’une séquence de ces images. Cependant, dans une vidéo, la cohérence et la cohérence entre les images sont essentielles.
Sora utilise l’architecture du transformateur pour gérer la relation entre les trames. Alors que les transformateurs étaient initialement conçus pour trouver des motifs dans les tokens représentant du texte, Sora utilise plutôt des tokens représentant de petites parcelles d’espace et de temps.
Sora n’est pas encore disponible au grand public mais certaines personnes pensent qu’un accès serait prochainement possible tout comme son confrère ChatGPT à l’aide d’un abonnement premium.
