La Meta AI peut-elle coder ? Je l'ai testé contre Llama, Gemini et ChatGPT - ce n'était même pas proche

J'ai lancé ma suite de tests de codage simples contre Meta AI. Les résultats ont prouvé qu’il n’existe en réalité qu’un seul chatbot IA qui mérite votre temps de programmation.

Dans quelle mesure les outils d’IA écrivent-ils du code ? Au cours de la dernière année, j'ai soumis de grands modèles de langage à une série de tests pour voir dans quelle mesure ils gèrent certains défis de programmation assez basiques.

L’idée est simple : s’ils ne peuvent pas relever ces défis fondamentaux, cela ne vaut probablement pas la peine de leur demander de faire quelque chose de plus complexe. D’un autre côté, s’ils parviennent à relever ces défis fondamentaux, ils pourraient devenir des assistants utiles pour les programmeurs cherchant à gagner du temps.

Pour définir cette référence, j'ai utilisé trois tests (et je viens d'en ajouter un quatrième). Ils sont:

1. Écrire un plugin WordPress :Ce test teste le développement Web de base à l'aide du langage de programmation PHP, dans WordPress. Cela nécessite également un peu de création d’interface utilisateur. Si un chatbot IA réussit ce test, il peut aider à créer du code rudimentaire en tant qu'assistant des développeurs Web. J'ai initialement documenté ce test dans "J'ai demandé à ChatGPT d'écrire un plugin WordPress dont j'avais besoin. Il l'a fait en moins de 5 minutes."
2. Réécriture d'une fonction de chaîne : ce test évalue comment un chatbot IA met à jour une fonction utilitaire pour une meilleure fonctionnalité. Si un chatbot IA réussit ce test, il pourra peut-être aider à créer des outils pour les programmeurs. En cas d’échec, les étudiants en programmation de première année pourront probablement faire un meilleur travail. J'ai initialement documenté ce test dans "OK, donc ChatGPT vient de déboguer mon code. Pour de vrai."
3. Trouver un bug ennuyeux : Ce test nécessite une connaissance approfondie du fonctionnement de WordPress car la réponse évidente est fausse. Si un chatbot IA peut répondre correctement à cette question, alors sa base de connaissances est assez complète, même avec des frameworks comme WordPress. J'ai initialement documenté ce test dans "OK, donc ChatGPT vient de déboguer mon code. Pour de vrai."
4. Écrire un script : Ce test demande à un chatbot IA de programmer à l'aide de deux outils de programmation assez spécialisés et peu connus de nombreux utilisateurs. Il teste essentiellement les connaissances du chatbot IA au-delà des grands langages. J'ai initialement documenté ce test dans "Google dévoile Gemini Code Assist et je suis prudemment optimiste que cela aidera les programmeurs".

Je vais vous présenter chaque test et comparer les résultats à ceux des autres chatbots IA que j'ai testés. De cette façon, vous serez mieux en mesure d’évaluer les différences entre les chatbots IA en matière de performances de codage.

Cette fois, je teste la nouvelle Meta AI de Meta. Commençons.

1. Écrire un plugin WordPress

Voici l'interface générée par Meta AI à gauche, comparée à l'interface générée par ChatGPT à droite :

Les deux chatbots IA ont généré les champs requis, mais la présentation de ChatGPT était plus claire et comprenait des en-têtes pour chacun des champs. ChatGPT a également placé le bouton Randomize à un emplacement plus approprié compte tenu de la fonctionnalité.

En termes de fonctionnement, ChatGPT a enregistré un ensemble de noms et a produit des résultats aléatoires, comme prévu. Malheureusement, Meta AI a enregistré un ensemble de noms, a flashé quelque chose, puis a présenté un écran blanc. Ceci est communément décrit dans le monde WordPress comme « l’écran blanc de la mort ».

Voici les résultats globaux de ce test et des précédents :

• Meta AI : Interface : adéquate, fonctionnalité : échec
• Meta Code Llama : Échec complet
• Google Gemini Advanced : Interface : bonne, fonctionnalité : échec
• ChatGPT : Interface : bonne, fonctionnalité : bonne

2. Réécriture d'une fonction de chaîne

Ce test est conçu pour tester les conversions en dollars et en cents. Meta AI avait quatre problèmes principaux : elle apportait des modifications pour corriger les valeurs alors qu'elle n'aurait pas dû, ne testait pas correctement les nombres avec plusieurs décimales, échouait complètement si un montant en dollars comportait moins de deux décimales (en d'autres termes, cela échoue avec 5 $ou 5,2 $comme entrées) et a rejeté les nombres corrects une fois le traitement terminé car il a mal formaté ces nombres.

Il s’agit d’un devoir assez simple que la plupart des étudiants en informatique de première année devraient être en mesure de réaliser. Il est décevant que Meta AI ait échoué, d'autant plus que Code Llama de Meta a réussi le même test.

Voici les résultats globaux de ce test et des précédents :

• Méta-IA : Échec
• Meta Code Llama : Réussi
• Google Gemini Advanced : échec
• ChatGPT : réussite

3. Trouver un bug ennuyeux

Ce n'est pas une mission de programmation. Ce test prend en compte certains morceaux de code préexistants, ainsi que des données d'erreur et une description du problème. Il demande ensuite au chatbot IA de déterminer ce qui ne va pas avec le code et de recommander un correctif.

Le défi ici est qu’il existe une réponse évidente, qui est fausse. Le problème nécessite une connaissance approfondie du fonctionnement de l’API WordPress, ainsi qu’une compréhension de l’interaction entre les différents composants du programme en cours d’écriture.

Meta AI a réussi celui-ci avec brio. Non seulement il a identifié correctement l’erreur, mais il a même fait une suggestion qui, bien que non nécessaire, a amélioré l’efficacité du code.

Après avoir si lamentablement échoué lors de la réécriture d’une simple fonction de chaîne, je ne m’attendais pas à ce que Meta AI réussisse sur un problème beaucoup plus difficile. Cela montre que les chatbots IA ne sont pas nécessairement cohérents dans leurs réponses.

Voici les résultats globaux de ce test et des précédents :

• Méta-IA : réussi
• Meta Code Llama : Échec
• Google Gemini Advanced : échec
• ChatGPT : réussite

4. Écrire un scénario

Ce test nécessite des connaissances en codage de l'outil de script MacOS Keyboard Maestro, du langage de script d'Apple AppleScript et du comportement de script Chrome.

Keyboard Maestro est un outil incroyablement puissant (c'est l'une des raisons pour lesquelles j'utilise les Mac comme principaux ordinateurs de travail), mais c'est aussi un produit assez obscur écrit par un programmeur solitaire en Australie. Si un chatbot IA peut coder à l’aide de cet outil, il est probable qu’il possède de bonnes connaissances en codage dans toutes les langues. AppleScript est le langage de script MacOS d'Apple, mais il est également assez obscur.

Meta AI et Meta's Code Llama ont échoué exactement de la même manière : ils n'ont pas récupéré les données de Keyboard Maestro comme indiqué. Ni l’un ni l’autre ne semblaient connaître l’outil. En revanche, Gemini et ChatGPT savaient qu’il s’agissait d’un outil distinct et récupéraient les données correctement.

Voici les résultats globaux de ce test et des précédents :

• Méta-IA : échec
• Meta Code Llama : Échec
• Google Gemini Advanced : réussite
• ChatGPT : réussite

Résultats globaux

Voici les résultats globaux des quatre tests :

• Méta IA : 1 réussite sur 4
• Meta Code Llama : 1 réussi sur 4
• Google Gemini Advanced : 1 réussite sur 4
• ChatGPT : 4 sur 4 ont réussi

J'utilise ChatGPT pour m'aider dans des projets de codage depuis environ six mois. Rien dans les résultats ici ne m'a convaincu de passer à un autre chatbot IA. En fait, si j'utilisais l'un de ces chatbots IA, je craindrais de passer plus de temps à vérifier et à trouver des erreurs qu'à faire le travail.

Je suis déçu par les autres grands modèles de langage. Mes tests montrent que ChatGPT est toujours le champion incontesté du codage, du moins pour le moment.

Avez-vous essayé de coder avec Meta AI, Gemini ou ChatGPT ? Quelle a été votre expérience ? Faites-le-nous savoir dans les commentaires ci-dessous.

Vous pouvez suivre les mises à jour quotidiennes de mon projet sur les réseaux sociaux. Assurez-vous de vous abonner à ma newsletter hebdomadaire et de me suivre sur Twitter/X à @DavidGewirtz, sur Facebook à Facebook.com/DavidGewirtz, sur Instagram à Instagram.com/DavidGewirtz et sur YouTube à YouTube.com/DavidGewirtzTV.