3 activités secondaires lucratives que vous pouvez commencer dès maintenant avec le générateur vidéo Sora d'OpenAI

L'ingénierie des tests de menaces et du red-teaming est la contribution la plus intéressante des premiers modèles « frontières » d'Amazon.

Une vidéo générée par le nouveau modèle frontière d'Amazon, Reel, utilisant la phrase "Un bonhomme de neige dans une gondole vénitienne, 4k, haute résolution".

La plupart des rapports sur la conférence re:Invent d'AWS plus tôt ce mois-ci, qui nous a apporté de nouvelles puces et de nouveaux centres de données, ont négligé le dévoilement par le géant du cloud de ses premiers modèles « frontières » en matière d'intelligence artificielle générative, un code qui peut rivaliser avec le meilleur d'OpenAI et Google.

Amazon a lancé Nova, une « nouvelle génération de modèles de base de pointe qui offrent une intelligence de pointe et des prix inégalés dans l'industrie ».

Après avoir raté la bataille des performances de pointe alors que Gemini de Google et GPT-4 d'OpenAI attiraient toute l'attention, Amazon s'empresse de rattraper son retard. Les modèles de Nova, qui gèrent plusieurs modalités incluant du texte et des images, sont proposés dans des versions adaptées à la génération de vidéos (semblable à Sora d'OpenAI) et à la génération d'images, qui sont devenues un standard pour les grands modèles de langage intégrant du texte et des images.

Les modèles portent également des noms accrocheurs : "Reel" est le nom du modèle de génération vidéo et "Canvas" est le nom de la version de génération d'images. Il existe de jolies démonstrations des capacités similaires à ce que nous avons vu d'OpenAI et de Google : il y a une vidéo générée par Reel en utilisant le mot-clé "Un bonhomme de neige dans une gondole vénitienne, 4k, haute résolution" et une superbe photo d'un intérieur réalisé à l'aide de Canvas avec l'invite "Un restaurant français très chic".

Nova utilise largement, dans les propres tests d'Amazon, l'approche de récupération-génération augmentée (RAG) pour exploiter les bases de données, ainsi que la « chaîne de pensée », un processus de production de résultats qui est traité comme une sorte d'exercice de raisonnement par le modèle d’IA.

Tout cela est désormais la norme de l’industrie dans Gen AI.

Alors, qu’y a-t-il de nouveau exactement dans Nova d’Amazon ?

C'est difficile à dire car, comme c'est de plus en plus le cas avec les logiciels commerciaux d'IA, le rapport technique d'Amazon révèle très peu de choses sur la façon dont les modèles Nova sont construits. (Même les noms des auteurs du rapport ne sont pas divulgués !)

La société déclare que les modèles Nova sont « basés sur l’architecture Transformer », faisant référence au modèle de langage d’IA révolutionnaire de Google de 2017. Il existe également une approche de « réglage fin » dans laquelle des cycles successifs de formation visent à affiner la gestion par les modèles de différents domaines de données.

Une image photoréaliste d'un intérieur réalisée à l'aide du LLM frontalier Nova Canvas d'Amazon, avec l'invite : "Un restaurant français très chic".

Les données de formation pour construire les modèles ne sont pas non plus divulguées, Amazon déclarant seulement que « nos modèles ont été formés sur des données provenant de diverses sources, y compris des données sous licence, des données propriétaires, des ensembles de données open source et des données accessibles au public, le cas échéant. »

La partie la plus remarquable du travail est la discussion approfondie sur « l’IA responsable », c’est-à-dire éviter des choses telles que les attaques contradictoires sur les modèles d’IA par des acteurs malveillants.

"Pour garantir la robustesse de nos modèles face aux entrées contradictoires telles que celles qui tentent de contourner les garde-fous d'alignement, nous nous sommes concentrés sur les risques applicables à la fois aux développeurs créant des applications à l'aide de nos modèles et aux utilisateurs interagissant avec nos modèles via ces applications", écrivent les auteurs. du rapport technique.

En particulier, les ingénieurs d'Amazon ont largement eu recours à ce que l'on appelle l'équipe rouge, dans le cadre de laquelle ils cherchaient à briser les modèles en créant divers types d'attaques telles que « l'injection d'invite », en créant l'invite d'un modèle de langage avec des mots-clés ou des expressions qui encourageraient le modèle à briser ses garde-corps.

Une partie de cela impliquait la génération automatique d'invites malveillantes : "Nous avons amélioré la diversité des invites contradictoires organisées manuellement en employant des techniques de mutation d'invite linguistiques, structurelles et basées sur des modalités, évaluant chaque mutation pour son efficacité à générer une réponse qui n'adhère pas à notre RAI. Les objectifs [de l’IA responsable], la probabilité de son succès et la nouveauté de la technique dans le cadre d’une révision du modèle. »

"Au total, nous avons identifié et développé plus de 300 techniques distinctes", rapporte le rapport, "et testé les techniques individuellement et en enchaînant diverses combinaisons".

Il reste à voir si Amazon a innové en matière de tests de fiabilité et de sécurité de la génération AI. Comme c’est souvent le cas dans le travail sur les modèles frontaliers, le diable se cache dans les détails, et ces détails sont cachés derrière les garanties de propriété intellectuelle.

Certes, l’intention semble ambitieuse dans le rapport technique. Nous devrons attendre que le secteur dans son ensemble puisse proposer les évaluations appropriées (repères, mesures, etc.) pour comparer l'équipe rouge d'Amazon aux méthodes concurrentes, à la fois ouvertes et fermées.