L'IA n'est pas la prochaine grande nouveauté - voici ce que c'est

Nous commençons notre série en testant les réponses de Google Bard par rapport aux réponses de ChatGPT. Tout d’abord, nous examinons si Bard peut vous aider à coder. La réponse pourrait vous surprendre.

Au cours du dernier mois, j'ai mis ChatGPT à l'épreuve, lui donnant un large éventail de défis à résoudre - de l'écriture d'un script Star Trek au codage d'un plugin WordPress. Le résultat choquant (et pour être honnête, effrayant) a été que ChatGPT a plutôt bien relevé tous mes défis. Si ChatGPT était l'un de mes étudiants, il aurait systématiquement obtenu un solide B.

Mais nous avons désormais le nouveau venu de Google, Bard. Google m'a donné accès à la version bêta, j'ai donc décidé de la soumettre aux mêmes tests que ceux que j'ai effectués sur ChatGPT.

Malheureusement, je n'obtiendrai peut-être pas le même travail solide de niveau B que ChatGPT a pu produire. La rédactrice adjointe de ZDNET, Sabrina Ortiz, a effectué une large gamme de tests dès que Bard était disponible et a trouvé des résultats décevants. Vous savez que les choses peuvent être problématiques lorsque l'article s'intitule « J'ai testé Google Bard. C'était surprenant - dans le mauvais sens ».

Donc. Ouais.

Mais voyons si Bard excelle dans un domaine particulier. Pour ce faire, je vais faire une comparaison article par article de Bard à ChatGPT. Je transmettrai à Bard exactement les mêmes invites que celles que j'ai données à ChatGPT, et vous pourrez comparer les résultats. À la fin de la série, nous compilerons les scores pour obtenir une vue plus complète des deux IA côte à côte.

Commençons par celui dont je sais déjà qu’il ne fonctionnera pas.

Bard peut-il écrire un plugin WordPress ?

C’est lors de ce premier test que j’ai commencé à avoir le sentiment que ChatGPT changeait la donne. Dans "J'ai demandé à ChatGPT d'écrire un plugin WordPress dont j'avais besoin. Il l'a fait en moins de 5 minutes", j'ai donné à ChatGPT une invite décrivant un besoin réel de ma femme pour son site WordPress.

En quelques minutes, ChatGPT a fourni un plugin fonctionnel. Il est installé sur son site depuis un peu plus d'un mois et elle l'utilise régulièrement. Voici l'invite :

Écrivez un plugin WordPress compatible PHP 8 qui fournit un champ de saisie de texte dans lequel une liste de lignes peut y être collée et un bouton qui, lorsqu'il est enfoncé, randomise les lignes de la liste et présente les résultats dans un deuxième champ de saisie de texte.

Et voici comment Bard a répondu :

I'm not able to help with coding just yet, but I can do things like answer other complex questions, help you learn a new skill, or write a business letter. Do you want me to help with anything else?

Pour être honnête, je savais que ce serait le cas. Les tests de Sabrina ont révélé que Bard ne savait pas coder.

Dans la FAQ de Bard, Google répond à la question « Bard peut-il vous aider avec le codage ? » avec la réponse : "Bard ne peut pas encore vous aider avec le codage. Bard est encore en train d'apprendre à coder et les réponses concernant le code ne sont pas officiellement prises en charge pour le moment."

Maintenant, c'est intéressant. Sabrina et moi venons de tester si Bard savait coder. Mais la FAQ Bard de Google indique que "Bard ne peut pas encore vous aider avec le codage". Je parie que ce n'est pas strictement vrai. Voyons si Bard peut aider avec le codage (contrairement à l'écriture de code).

Bard peut-il aider avec le codage ?

Mon prochain article de la série était "Comment utiliser ChatGPT pour écrire du code". Dans cela, j'ai expliqué que le codage comportait des étapes au-delà de la simple saisie de code dans un éditeur.

J'ai choisi un exemple de projet, une routine qui récupérerait une page Web, extrairait l'essentiel du contenu (pas les publicités et tous les autres éléments qui se trouvent normalement sur une page) et résumerait les résultats.

Avant d’écrire une ligne de code, il fallait choisir les bibliothèques et fonctionnalités à inclure dans le code. ChatGPT a contribué à cela. Voyons si Bard le peut également. Dans le cas de ChatGPT, j'ai rédigé mes questions comme une conversation. Alors faisons la même chose avec Bard.

Décrivez dix bibliothèques d'IA open source différentes (et les langages avec lesquels elles fonctionnent) que je peux utiliser pour générer un résumé du contenu principal de n'importe quelle page Web, en ignorant les publicités ou les documents intégrés.

Les résultats étaient bons. Bard m'a donné dix bibliothèques différentes. Certaines étaient différentes de celles recommandées par ChatGPT, mais elles étaient toutes des bibliothèques valides. Posons la question suivante dans la chaîne d'origine.

Est-ce que certains d'entre eux sont gratuits ?

Bard a répondu : "Oui, toutes les bibliothèques que j'ai répertoriées sont gratuites et open source. Vous pouvez les trouver sur GitHub et d'autres référentiels open source." Je pense que c'est en grande partie correct. Le seul endroit où je ne suis pas sûr est que Bard a recommandé la bibliothèque Github Bard, et comme Bard est toujours en version bêta, nous ne saurons vraiment pas avant un moment si elle peut être intégrée au code sans aucun frais.

Lesquelles de ces bibliothèques n'ont aucune limite d'utilisation et ne nécessitent aucun paiement ou licence supplémentaire ?

Maintenant, c'est intéressant. La réponse de Bard était un peu plus nuancée que celle de ChatGPT. Plus précisément, Bard a répondu :

All of the libraries I listed are free and open source, and they do not have any usage limits or require any additional payment or licensing. However, some of them may have additional restrictions, such as requiring you to cite the source or not using them for commercial purposes. It is important to read the license of each library before using it.

ChatGPT n'a pas mentionné les licences ou les restrictions d'utilisation. Je vais donc poser à Bard une question que je n'ai pas posée à ChatGPT :

Lesquelles de ces bibliothèques ne sont pas restreintes à une utilisation commerciale ?

Bard a répondu avec huit des dix bibliothèques originales. D'accord, revenons aux invites que j'ai également utilisées avec ChatGPT.

Parmi ces 8 bibliothèques, puis-je en utiliser avec PHP ?

Il en a identifié quatre : Sumy (que ChatGPT a également identifié), Bard lui-même, TextRank et Latent Semantic Analysis (LSA). J'ai ensuite demandé à ChatGPT de comparer les bibliothèques trouvées, je demanderai donc à Bard de faire la même chose avec les bibliothèques recommandées. C'est ce que j'ai initialement demandé à ChatGPT : « Quelle est la différence entre Sumy, Gensim et NLTK ? Et voici ma question à Bard :

Quelle est la différence entre Sumy, Bard, TextRank et l'analyse sémantique latente (LSA)

Cela a produit une réponse très solide. Voici ce qu'il dit :

Sumy, Bard, TextRank, and Latent Semantic Analysis (LSA) are all algorithms that can be used to summarize text documents. However, they differ in how they work and what their strengths and weaknesses are.

Sumy is a Python library that can summarize text files and HTML pages. It uses a variety of algorithms, including Luhn, LSA, Edmundson heuristic method, LexRank, and TextRank. Sumy is a good choice for summarizing large amounts of text, as it is very efficient. However, it can sometimes generate summaries that are not very accurate.

Bard is a large language model from Google AI that can be used for a variety of tasks, including text summarization. It can be used to summarize text files, HTML pages, and even code. Bard is a good choice for summarizing text documents that are difficult to summarize with other algorithms, as it can understand the meaning of the text and generate summaries that are more accurate. However, it can sometimes generate summaries that are too long or repetitive.

TextRank is a machine learning algorithm for generating summaries of text documents. It is based on the idea that the importance of a sentence in a document is determined by the number of other important sentences that link to it. TextRank is a good choice for summarizing text documents that contain a lot of information, as it can identify the most important sentences and generate summaries that are concise and informative. However, it can sometimes generate summaries that are not very accurate.

Latent Semantic Analysis (LSA) is a statistical method for extracting the latent semantic structure of a corpus of text. It can be used to summarize text documents by identifying the most important topics. LSA is a good choice for summarizing text documents that contain a lot of information, as it can identify the most important topics and generate summaries that are concise and informative. However, it can sometimes generate summaries that are not very accurate.

Ultimately, the best algorithm for summarizing a text document will depend on the specific document and the desired outcome.

Dans mon test ChatGPT initial, j'ai demandé des éclaircissements supplémentaires, alors faisons de même avec Bard.

Si je souhaite créer des résumés d’articles d’actualité sur des pages Web, quelle bibliothèque fonctionnerait le mieux ?

Bard a recommandé Bard, où ChatGPT a recommandé Sumy. Voici la réponse de Bard :

Based on your requirements, I suggest using Bard. It can summarize text documents that are difficult to summarize with other algorithms, as it can understand the meaning of the text and generate summaries that are more accurate. Additionally, it can summarize text documents that contain a lot of information, which is a common characteristic for web page news articles.

Il semble comprendre l'esprit des questions que je pose. Ma prochaine question dans le test ChatGPT concernait l'utilisation de Sumy avec PHP. Puisque Bard s'est recommandé, je poserai la même question pour Bard.

Pouvez-vous expliquer comment utiliser Bard depuis PHP ?

Voici la réponse. C'est assez solide et comprend même quelques extraits de code pour voir comment cela pourrait fonctionner.

Conclusion : Bard peut-il aider au codage ?

Évidemment, je n'ai pas envoyé à Bard l'invite d'écrire la véritable routine summary_article, car nous avons déjà établi qu'elle ne peut pas coder.

Mais contrairement à la propre déclaration de Google, il est clair que Bard peut certainement aider au codage, au moins en termes de localisation de ressources et d'aide à passer au crible les données pour trouver des informations pertinentes dans ces ressources.

Certaines des réponses de Bard étaient plus nuancées que celles de ChatGPT, soulignant les problèmes de licence après une question et les inconvénients ainsi que les avantages des différentes bibliothèques dans une autre. C'est une victoire pour Bard.

Je prévois d'approfondir la façon dont Bard peut aider à résoudre les défis techniques. ChatGPT a plutôt bien réussi à relever ces défis, je suis donc curieux de savoir comment Bard s'en sort. Restez à l'écoute.

Cela dit, d'après les tests de Sabrina et la FAQ de Google, je m'attendais à ce que Bard plante et brûle avec tout ce qui concerne le codage, et ce n'est pas le cas. Sur la base de mes tests initiaux, Bard peut fonctionner comme une aide à la recherche utile pour les problèmes de codage et éventuellement permettre de gagner du temps.

Maintenant, pour être honnête, je choisirai certainement ChatGPT plutôt que Bard si j'ai besoin d'aide pour le codage. Mais Bard n'est pas complètement sans jeu, et je peux le voir s'avérer très utile en tant que source d'un deuxième avis pour de nombreux types de recherche différents. Après tout, j'ai surpris ChatGPT en train d'inventer des choses plutôt que d'admettre qu'il ne connaît pas la réponse à quelque chose. Bard a démontré une réelle utilité avec les exemples de codage ci-dessus, ajoutant de la valeur et des nuances que ChatGPT manquait, même si Bard n'est pas réellement capable d'écrire du code… pour le moment.