Claude 3 dépasse GPT-4 dans le duel des robots IA. Voici comment participer à l'action
Le modèle Claude 3 Opus AI d'Anthropic a décroché la première place du GPT-4 d'OpenAI à Chatbot Arena, un site qui oppose un modèle de chatbot à un autre.
Déplacez-vous, GPT-4. Un autre modèle d'IA a envahi votre territoire et il s'appelle Claude.
Cette semaine, Claude 3 Opus AI LLM d'Anthropic a pris la première place du classement de Chatbot Arena, un site Web qui teste et compare l'efficacité de différents modèles d'IA. Avec l'une des variantes GPT-4 reléguée à la deuxième place du classement du site, c'était la première fois que Claude surpassait un modèle d'IA d'OpenAI.
Disponible sur le site Web de Claude 3 et en tant qu'API pour les développeurs, Claude 3 Opus est l'un des trois LLM récemment développés par Anthropic, Sonnet et Haiku complétant le trio. En comparant Opus et Sonnet, Anthropic présente Sonnet comme deux fois plus rapide que les précédents modèles Claude 2 et Claude 2.1. Opus offre des vitesses similaires à celles des modèles précédents, selon l'entreprise, mais avec des niveaux d'intelligence beaucoup plus élevés.
Lancé en mai dernier, Chatbot Arena est la création de la Large Model Systems Organization (LMYSY Org), une organisation de recherche ouverte fondée par des étudiants et des professeurs de l'Université de Californie à Berkeley. L’objectif de l’arène est d’aider les chercheurs et les professionnels de l’IA à voir comment deux LLM en IA différents se comportent l’un contre l’autre lorsqu’ils sont confrontés aux mêmes invites.
La Chatbot Arena utilise une approche participative, ce qui signifie que tout le monde peut l'essayer. La page de discussion de l'arène présente des écrans pour deux des 32 modèles d'IA différents possibles, dont Claude, GPT-3.5, GPT-4, Gemini de Google et Meta's Llama 2. Ici, vous êtes invité à saisir une question dans l'invite à le bas. Mais vous ne savez pas quel LLM est choisi au hasard et de manière anonyme pour répondre à votre demande. Ils sont simplement étiquetés Modèle A et Modèle B.
Après avoir lu les deux réponses des deux LLM, il vous est demandé d'évaluer la réponse que vous préférez. Vous pouvez saluer A ou B, les évaluer tous les deux de la même manière ou sélectionner un pouce vers le bas pour signaler que vous n'aimez ni l'un ni l'autre. Après avoir soumis votre note, ce n'est qu'alors que les noms des deux LLM sont révélés.
En comptant les votes soumis par les utilisateurs du site, la LMYSY Org compile les totaux dans le classement montrant les performances de chaque LLM. Avec le dernier classement, Claude 3 Opus a reçu 33 250 votes et GPT-4-1106-preview en deuxième place a recueilli 54 141 votes.
Pour évaluer les modèles d'IA, le classement se tourne vers le système de classement Elo, une méthode couramment utilisée dans des jeux comme les échecs pour mesurer l'efficacité des différents joueurs. En utilisant le système Elo, le dernier classement a attribué à Claude 3 Opus un classement de 1 253 et à GPT-4-1106-preview un classement de 1 251.
Parmi les autres variantes LLM qui se sont bien comportées lors du dernier duel, citons GPT-4-0125-preview, Gemini Pro de Google, Claude 3 Sonnet, GPT-4-0314 et Claude 3 Haiku. Avec GPT-4 n'étant plus à la première place et les trois derniers modèles Claude 3 parmi le top 10, Anthropic fait définitivement sensation dans le domaine global de l'IA.