Claude AI peut analyser vos documents Google et vous faire part de vos commentaires dès maintenant

J'ai testé le nouvel outil d'IA gratuit d'analyse de données de Claude. Malheureusement, il rejette même les ensembles de données de taille moyenne - et la version payante n’est guère meilleure.

La semaine dernière, Anthropic (qui bénéficie d'un investissement de 4 milliards de dollars d'Amazon) a annoncé que Claude 3.5 Sonnet prend désormais en charge l'analyse des données.

Le titre de TechCruch concernant cette fonctionnalité était "L'IA d'Anthropic peut désormais exécuter et écrire du code". C'est techniquement correct, mais ne vous énervez pas trop. Claude ne va pas rester là et simuler tout votre code à votre place. La réalité est beaucoup plus limitée.

La fonctionnalité annoncée par Anthropic est similaire à l'analyse avancée des données de ChatGPT. Une différence est que l'outil d'analyse de Claude est accessible à tous, y compris aux utilisateurs gratuits. L'analyse avancée des données de ChatGPT n'est disponible que pour les utilisateurs de comptes Plus et Enterprise payant 20 $ou plus par mois.

Génération de code

ChatGPT Plus et Claude effectuent leur analyse de données en écrivant et en exécutant des extraits de code qui analysent et traitent les données. Une différence clé est que Claude écrit son code en JavaScript tandis que ChatGPT écrit son code en Python.

Ce sont des choix intéressants. Python possède un riche écosystème de bibliothèques d'analyse numérique comme Pandas, NumPy et SciPy. JavaScript dispose également d'un écosystème riche, mais ses offres de données et d'IA ne sont pas aussi étendues que celles de Python. Python est très performant en apprentissage automatique et en IA, avec des frameworks comme TensorFlow, PyTorch et Keras. Python fournit également un excellent support pour le Big Data, même si, comme vous le verrez, rien dans l'outil d'analyse actuel de Claude ne peut être considéré comme des données, même moyennes.

JavaScript, en revanche, est parfaitement adapté à la visualisation de données dans des pages Web. La solution Anthropic utilise React, mais il existe également d'excellentes bibliothèques de visualisation comme D3.js et chart.js disponibles pour la présentation des informations. J'ai trouvé étrange qu'avec des outils de visualisation aussi performants, les diagrammes circulaires que j'ai générés à l'aide de Claude aient tendance à supprimer les étiquettes de données pour certaines catégories.

Lorsque vous demandez à Claude de traiter des données, il vous donne son résultat mais vous permet également de consulter le code sous-jacent qu'il génère pour effectuer cette analyse de données. Voici un exemple.

Limites d'utilisation

J'ai décidé d'utiliser Claude pour tester ses capacités d'analyse. J'ai limité mon utilisation à la version gratuite. Selon la FAQ de Claude, la version Pro à 20 $/mois multiplie par cinq les limites d'utilisation.

C'est probablement nécessaire pour une utilisation sérieuse car après environ 20 minutes de tests, je me suis arrêté.

J'ai essayé d'ouvrir une nouvelle discussion, mais cela ne m'a pas permis de revenir. Après avoir attendu une heure, j'ai pu poser d'autres questions.

Écrire du code pour nettoyer les données

Pour tester les capacités d'analyse des données de Claude, je suis allé sur le site Web data.gov et j'ai téléchargé un ensemble de données de la Social Security Administration sur l'utilisation des noms de bébé dérivés des demandes de cartes de sécurité sociale.

Ces données se présentaient sous la forme d'un fichier ZIP. J'ai extrait 145 fichiers texte CSV (valeurs séparées par des virgules) contenant des données sur les noms de bébés de 1880 à 2023, un fichier par an.

J'ai d'abord essayé de sélectionner tous les fichiers et de les importer en groupe dans Claude. On m'a informé que Claude n'importerait que cinq fichiers à la fois.

J'ai donc décidé d'écrire un script qui créerait un seul fichier contenant toutes les données. Le problème était que chaque fichier individuel ne contenait pas l'année comme l'un des champs. Mon script devrait donc ajouter l'année du nom du fichier à chaque enregistrement du fichier, puis faire cela pour tous les fichiers.

Plutôt que de coder ça moi-même, j'ai demandé à Claude de le faire pour moi.

J'ai besoin de combiner rapidement 145 fichiers texte sur un Macintosh. Chaque nom de fichier est composé des lettres yob suivies de quatre chiffres indiquant l'année suivis de .txt. Les fichiers eux-mêmes sont des valeurs séparées par des virgules. Pour chaque fichier, je dois ajouter l'année contenue dans le nom du fichier, suivie d'une virgule, à chaque ligne du fichier correspondant. Je dois ensuite combiner les 145 fichiers en un seul fichier maître. Comment puis-je faire cela rapidement ?

Il a créé un script shell qui semblait faire le travail.

J'ai enregistré le script et je l'ai exécuté.

Cela a fonctionné et a fait exactement ce que je demandais. Le résultat de l'exécution de ce script shell était un fichier de 37 Mo. Malheureusement, j'ai vite découvert que 37 Mo dépassaient la limite de téléchargement de Claude de 30 Mo. J'avais besoin d'un ensemble de données considérablement plus petit.

Plutôt que d'utiliser les données de nom de chaque année, j'ai pensé que si j'utilisais les données de nom d'un seul fichier par décennie, je réduirais la taille de mon ensemble de données à 10 % de la taille d'origine. J'ai donc modifié mon invite et je l'ai renvoyée à Claude.

J'ai besoin de combiner rapidement 145 fichiers texte sur un Macintosh. Chaque nom de fichier est composé des lettres yob suivies de quatre chiffres indiquant l'année suivis de .txt. Les fichiers eux-mêmes sont des valeurs séparées par des virgules. Pour chaque fichier dont le nom se termine par 0.txt, ajoutez l'année contenue dans le nom du fichier suivie d'une virgule à chaque ligne de son fichier correspondant. Ensuite, vous devez combiner tous les fichiers se terminant par 0.txt en un seul fichier maître. Écrivez un script shell pour ce faire.

Cela a fonctionné aussi bien que la première invite et j'ai reçu un fichier de 3,9 Mo.

Dans l'ensemble, j'ai été assez satisfait du travail de codage de Claude 3.5 Sonnet d'aujourd'hui. J'ai déjà exécuté ce LLM sur ma batterie de tests de codage sans grand succès. C'était donc agréable de voir que tout se passait bien cette fois-ci. Malheureusement, c'est la dernière partie du processus de test d'aujourd'hui qui s'est déroulée sans problème.

Plus de limites chez Claude

Regardons donc l'analyse des données dans Claude. Malheureusement, Claude semble être très limité en termes de quantité de données à ingérer. Claude précise que sa version Pro permet « au moins 5 fois plus d'utilisation par rapport à notre service gratuit » et que « si vos conversations sont relativement courtes, vous pouvez vous attendre à envoyer au moins 45 messages toutes les 5 heures ».

Ce n'est pas beaucoup. Et même si Claude dit que vous pouvez télécharger cinq fichiers et 30 Mo, j'ai découvert que mon fichier combiné de 3,9 Mo était considéré comme dépassant de 9 124 % sa limite de longueur. Ce fichier contient 219 181 enregistrements.

D'accord, très bien. Alors j’ai essayé un fichier pendant seulement un an. Le fichier yob2020.txt ne fait que 561 Ko et ne contient que 31 550 enregistrements. Ce fichier dépasse apparemment de 1 239 % les limites de longueur de Claude.

En faisant quelques calculs et en supposant que vous n'avez pas atteint les limites d'utilisation des messages, il semble que Claude limite son analyse de données à environ 2 000 lignes d'environ 25 caractères chacune.

Comparons cela à ChatGPT Plus, d'accord ?

Maintenant, oui, j'utilise la version gratuite de Claude, mais si Claude Pro offre une capacité 5X, nous pouvons généraliser (car la société ne fournit pas de limites strictes) que Claude Pro aurait un maximum d'environ 10 000 lignes de 25 caractères.

En revanche, j'ai introduit 69 215 enregistrements avec une moyenne de 50 caractères par ligne dans ChatGPT Plus et cela a très bien fonctionné. J'ai introduit un ensemble de données de 22 797 enregistrements composé de données de sentiments des utilisateurs qui ont désinstallé mes applications (la plupart des enregistrements contenant des expressions de sentiments ainsi que des données fixes) dans ChatGPT Plus et cela a très bien fonctionné. J'ai introduit deux fichiers composés de plus de 170 000 lignes de code G d'imprimante 3D dans ChatGPT Plus et cela a très bien fonctionné.

J'ai trouvé l'analyse des données de ChatGPT Plus véritablement utile et améliorant la productivité. Mais si un compte professionnel était limité à seulement 10 000 enregistrements ou moins, comme semble le faire Claude Pro, j'aurais probablement trouvé cela comme une démonstration technologique intéressante, mais pas comme quelque chose que je pourrais ajouter de manière fiable à mon kit de flux de travail.

Je teste actuellement l'analyse des données de Claude

J'ai téléchargé environ 30 ensembles de données depuis data.gov avant d'en trouver un suffisamment petit pour que Claude puisse l'examiner. Il s'agit d'un ensemble de données de novembre 2020 sur les animaux de compagnie adoptables du centre de services et d'adoption des animaux du comté de Montgomery à Derwood, dans le Maryland.

Cet ensemble de données contient 85 enregistrements d'environ 190 caractères chacun. Voyons ce que cela peut nous dire.

Avec l'invite « Que pouvez-vous me dire sur ces données ? » Claude a identifié le type d'animal de compagnie le plus courant (chiens), les types d'admission les plus courants (le propriétaire se rend puis s'égare - cela semble si triste), les modèles notables et les caractéristiques uniques (Molly est un nom commun).

J'ai demandé un diagramme circulaire représentant la répartition des animaux. Cela m'a donné ceci, qui montrait les principaux types d'animaux mais laissait «Autre» à près de 50% du graphique à barres.

Je voulais savoir ce que représentait cette catégorie « Autre ». Il y a quelque chose d'un peu poignant dans l'idée selon laquelle environ 30 % de la catégorie « Autres » est constituée de poissons tropicaux. J'ai cette vision déprimante dans ma tête de rangée après rangée de bocaux à poissons rouges, chacun contenant un poisson rouge solitaire.

Jetez un œil à ce graphique et à celui juste au-dessus. Notez que même si le graphique dispose de suffisamment d'espace pour afficher les étiquettes, celles-ci sont coupées dans les deux graphiques. Je sais qu'il y a environ 30 pour cent de poissons tropicaux, mais je ne connais pas le pourcentage exact car tout ce qui est affiché est un « 3 ».

JavaScript possède d'excellentes bibliothèques de graphiques. Je pense qu'Anthropic aurait été capable de modifier la sortie pour représenter pleinement les données graphiques, en particulier en vue paysage.

Eh bien, c'est décevant

J'espérais vraiment que les fonctionnalités d'analyse de données de Claude seraient comparables à celles de ChatGPT Plus. Même si la version gratuite de Claude ne pouvait faire qu'un cinquième de ce que ChatGPT Plus pouvait faire, j'aurais peut-être souscrit à un abonnement.

J'aime beaucoup l'idée d'envoyer mes données via plusieurs outils d'analyse et de comparer les résultats. Cela seul aurait justifié ma signature pour une facture supplémentaire de 240 $/an en IA.

Mais comme il ressort clairement de mes extrapolations ci-dessus que la version Claude Pro ne pouvait pas gérer même le plus petit des ensembles de données que j'ai déjà introduits avec succès dans ChatGPT Plus, cela ne semble certainement pas en valoir la peine.

J'ai contacté Anthropic pour obtenir des commentaires, mais je n'ai pas encore reçu de réponse. Si l'entreprise répond, je mettrai à jour cet article avec ses commentaires.

En attendant, qu'en pensez-vous ? Avez-vous utilisé l'analyse avancée des données dans ChatGPT Plus ? Êtes-vous un utilisateur Claude ou ChatGPT ? Quand envisageriez-vous ou envisageriez-vous d’utiliser Claude au lieu de ChatGPT ? Faites-le-nous savoir dans les commentaires ci-dessous.