OpenAI met GPT-4 Turbo with Vision à la disposition des développeurs pour débloquer de nouvelles applications d'IA
Un modèle multimodal comme GPT-4 peut propulser les chatbots IA et d’autres applications d’IA vers de nouveaux sommets en combinant du texte et des images, par exemple.
OpenAI est surtout connu pour ses grands modèles de langage (LLM) avancés utilisés pour alimenter certains des chatbots IA les plus populaires, tels que ChatGPT et Copilot. Les modèles multimodaux peuvent propulser les capacités des chatbots vers de nouveaux sommets en ouvrant une nouvelle gamme d'applications visuelles, et OpenAI vient d'en mettre une à la disposition des développeurs.
Mardi, via une publication X (anciennement Twitter), OpenAI a annoncé que GPT-4 Turbo with Vision, le dernier modèle GPT-4 Turbo doté de capacités de vision, est désormais généralement disponible pour les développeurs via l'API OpenAI.
Ce dernier modèle conserve la fenêtre de 128 000 jetons et la limite de connaissances de GPT-4 Turbo à partir de décembre 2023. La principale différence réside dans ses capacités de vision, qui lui permettent de comprendre les images et le contenu visuel.
Avant que GPT-4 Turbo with Vision ne soit disponible, les développeurs devaient faire appel à des modèles distincts pour le texte et les images. Désormais, les développeurs peuvent simplement faire appel à un seul modèle capable de faire les deux, simplifiant le processus et ouvrant la porte à un large éventail de cas d'utilisation.
OpenAI a partagé certaines façons dont les développeurs utilisent déjà le modèle, et elles sont assez fascinantes.
Par exemple, Devin, un assistant en ingénierie logicielle IA, exploite GPT-4 Turbo avec Vision pour mieux faciliter le codage. L'application de santé et de remise en forme Healthify utilise GPT-4 Turbo avec Vision pour numériser des photos des repas des utilisateurs et fournir des informations nutritionnelles grâce à la reconnaissance de photos. Enfin, Make Real utilise GPT-4 Turbo avec Vision pour convertir le dessin d'un utilisateur en un site Web fonctionnel.
Make Real, construit par @tldraw, permet aux utilisateurs de dessiner une interface utilisateur sur un tableau blanc et utilise GPT-4 Turbo avec Vision pour générer un site Web fonctionnel alimenté par du code réel. pic.twitter.com/RYlbmfeNRZ
Bien que le modèle GPT-4 Turbo avec Vision ne soit pas encore disponible dans ChatGPT ou pour le grand public, OpenAI a annoncé qu'il serait bientôt disponible dans ChatGPT. Si vous êtes un développeur souhaitant démarrer avec l'API GPT-4 Turbo avec Vision d'OpenAI, vous pouvez apprendre comment démarrer ici.