Le plus grand défi de l'IA générative est de montrer le retour sur investissement - voici pourquoi
Il n'a jamais été aussi simple de mettre en œuvre une technologie aussi mal en prétendant que vous la faites correctement.
Même si les dirigeants et les managers peuvent être enthousiasmés par la manière dont ils peuvent appliquer l'intelligence artificielle (IA) générative et les grands modèles linguistiques (LLM) au travail en cours, il est temps de prendre du recul et de réfléchir à où et comment les bénéfices pour l'entreprise peuvent être réalisés. Cela reste un domaine confus et mal compris, qui nécessite des approches et des compétences qui ne ressemblent guère à celles des vagues technologiques passées.
Voici le défi : même si l'IA fournit souvent des preuves de concept très époustouflantes, les monétiser est difficile, a déclaré Steve Jones, vice-président exécutif de Capgemini, lors d'une présentation lors de la récente conférence Databricks à San Francisco. « Prouver le retour sur investissement est le plus grand défi lors de la mise en production de 20, 30 ou 40 solutions GenAI. »
Les investissements à réaliser incluent le test et le suivi des LLM mis en production. Les tests en particulier sont essentiels pour que les LLM restent précis et sur la bonne voie. "Il faut être un peu méchant pour tester ces modèles", a conseillé Jones. Par exemple, lors de la phase de test, les développeurs, les concepteurs ou les experts en assurance qualité doivent intentionnellement « empoisonner » leurs LLM pour voir dans quelle mesure ils gèrent les informations erronées.
Pour tester les résultats négatifs, Jones a cité un exemple de la façon dont il a incité un modèle commercial selon lequel une entreprise « utilisait des dragons pour le transport longue distance ». Le mannequin a répondu par l'affirmative. Il a ensuite demandé au modèle des informations sur le transport longue distance.
"La réponse qu'il a donnée dit : 'Voici ce que vous devez faire pour travailler dans le transport longue distance, car vous travaillerez beaucoup avec des dragons comme vous me l'avez déjà dit, vous devez alors suivre une formation approfondie en matière d'incendie et de sécurité'", a déclaré Jones. en rapport. "Vous avez également besoin d'une formation à l'étiquette pour les princesses, car le travail des dragons implique de travailler avec des princesses. Et puis un tas de choses standards impliquant le transport et l'entreposage qui ont été retirées du reste de la solution."
Le fait, poursuit Jones, est que l'IA générative "est une technologie dans laquelle il n'a jamais été aussi simple d'ajouter une technologie à votre application existante et de prétendre que vous le faites correctement. La Gen AI est une technologie phénoménale qui consiste simplement à ajouter quelques cloches et siffle à une application, mais vraiment terrible du point de vue de la sécurité et des risques en production. "Votre défi sera de savoir comment suivre le rythme", a déclaré Jones. Deux scénarios sont actuellement avancés : "Le premier est qu'il s'agira d'un grand modèle, qu'il saura tout et qu'il n'y aura pas de problèmes. C'est ce qu'on appelle l'optimisme sauvage et non- théorie de ce qui va se produire.
Ce qui se passe, c'est que « chaque fournisseur, chaque plate-forme logicielle, chaque cloud voudra rivaliser de manière vigoureuse et agressive pour faire partie de ce marché », a déclaré Jones. "Cela signifie que vous allez avoir beaucoup de concurrence, et beaucoup de variations. Vous n'avez pas à vous soucier de l'infrastructure multi-cloud ni à la prendre en charge, mais vous devrez penser à des choses comme des garde-corps.
Un autre risque consiste à appliquer un LLM à des tâches qui nécessitent beaucoup moins de puissance et d'analyse, comme la correspondance d'adresses, a déclaré Jones. "Si vous utilisez un seul grand modèle pour tout, vous brûlez simplement de l'argent. C'est l'équivalent d'aller chez un avocat et de lui dire : 'Je veux que vous m'écriviez une carte d'anniversaire.' Ils le feront et vous factureront les tarifs d'un avocat. »
La clé est d’être vigilant quant aux moyens moins coûteux et plus efficaces de tirer parti des LLM, a-t-il insisté. « Si quelque chose ne va pas, vous devez être en mesure de mettre hors service une solution aussi rapidement que vous pouvez mettre en service une solution. Et vous devez vous assurer que tous les artefacts associés autour de celle-ci sont mis en service conformément au modèle. »
Il n’existe pas de déploiement d’un modèle unique : les utilisateurs d’IA doivent appliquer leurs requêtes à plusieurs modèles pour mesurer les performances et la qualité des réponses. "Vous devriez disposer d'un moyen commun pour capturer toutes les métriques, pour rejouer les requêtes, sur différents modèles", a poursuivi Jones. "Si des personnes interrogent GPT-4 Turbo, vous voulez voir comment la même requête fonctionne par rapport à Llama. Vous devriez pouvoir disposer d'un mécanisme par lequel vous rejouez ces requêtes et réponses et comparez les mesures de performances, afin que vous puissiez comprendre si vous pouvez le faire à moindre coût, car ces modèles sont constamment mis à jour. »
L'IA générative "ne se passe pas mal de manière normale", a-t-il ajouté. "GenAI est l'endroit où vous rédigez une facture, et elle dit : 'Fantastique, voici un essai de 4 000 mots sur le président Andrew Jackson. Parce que j'ai décidé que c'était ce que vous vouliez dire.' Vous devez avoir des garde-corps pour l'empêcher."