Attention au manque de confiance : les problèmes de données incitent les clients à se méfier de l'IA générative

Un manque général de confiance dans la sécurité et la confidentialité des données empêche les organisations de se lancer à fond dans l’intelligence artificielle générative.

L’intelligence artificielle (IA) générative est présentée comme essentielle pour permettre aux organisations de garantir leur pertinence sur le marché, mais certaines hésitent encore à franchir le pas en raison de préoccupations concernant les données et la confiance.

Ces problèmes sont particulièrement pertinents pour les entreprises qui opèrent dans des secteurs soumis à des règles de gouvernance des données strictes et à une large base de clients, ce qui les pousse à attendre leur heure pour adopter des outils d’IA générative malgré leurs avantages vantés.

La possibilité de générer des rapports de ventes via une invite, par exemple, au lieu d'avoir à manipuler manuellement des feuilles de calcul, offre un potentiel intéressant pour les outils d'IA générative tels que Einstein Copilot de Salesforce, a déclaré Sarwar Faruque, responsable des opérations de développement chez Jollibee Foods Corporation. L'opérateur de chaîne de restaurants philippin utilise Heroku de Salesforce pour créer ses applications et Mulesoft comme middleware pour connecter ses applications, y compris les systèmes ERP et de gestion des commandes.

Jollibee compte 15 000 employés et exploite près de 4 000 magasins dans le monde dans 34 pays. Ses applications fonctionnent principalement sur le cloud, elle ne dispose donc pas de ses propres centres de données, à l'exception d'un petit intranet.

Faruque voit également le potentiel d’utilisation de l’IA dans le secteur manufacturier, où elle peut améliorer l’efficacité de son pipeline de production et de son assemblage. Par exemple, l’IA peut aider à surveiller la qualité des aliments et à prévoir la demande.

Son intérêt pour l’utilisation potentielle de l’IA reste toutefois limité aux opérations backend. Faruque tient absolument à éloigner l’IA générative des interactions et des opérations avec les clients - du moins pour le moment.

La technologie étant encore à ses balbutiements, il reste encore beaucoup à comprendre et à approfondir, a-t-il noté.

« Nous voyons les résultats [et les réponses] qu'il génère, mais nous ne comprenons pas vraiment comment [il est parvenu à la réponse] », a-t-il déclaré. "Il y a cette boîte noire... elle doit être démystifiée. Je veux savoir comment elle fonctionne, comment elle est arrivée à sa réponse et si cette réponse est reproductible [à chaque fois que la question est posée]."

Actuellement, ce n'est pas le cas, a-t-il déclaré, ajoutant que le risque d'hallucinations est également préoccupant. Et en l’absence d’incident de sécurité, on sait peu de choses quant à savoir s’il existe des problèmes inhérents à la cybersécurité qui doivent être résolus, a-t-il noté.

"En ce moment, il y a beaucoup de battage publicitaire", a déclaré Faruque, ajoutant qu'il ne suffisait pas de simplement parler de "confiance" sans fournir de détails sur ce que cela signifiait exactement.

Il a exhorté les fournisseurs d'IA à expliquer comment leurs grands modèles de langage sont formés, quelles données ils consomment et ce qu'ils font exactement pour générer des réponses. "Ils doivent arrêter d'agir comme si c'était magique [quand] il y a un code qui l'exécute et qu'il y a de la science derrière tout cela", a-t-il déclaré. "Aidez-nous à le comprendre [parce que] nous n'aimons pas adopter une technologie que nous ne maîtrisons pas bien."

Il a souligné la nécessité de responsabilité et de transparence, ainsi que de garanties que les données des clients utilisées pour former les modèles d'IA ne seront pas rendues publiques. Ceci est essentiel, en particulier pour les organisations qui doivent se conformer aux réglementations en matière de confidentialité des données dans leur juridiction locale.

Tant que ces problèmes ne seront pas résolus, il a déclaré qu'il n'était pas disposé à mettre en danger les données de ses propres clients.

La confiance est également une chose que le ministère du Commerce et de l'Industrie (MTI) de Singapour prend au sérieux, notamment en termes de confidentialité et de sécurité des données. Dix agences gouvernementales dépendent du ministère, dont l'EDB et l'Office du tourisme de Singapour.

En particulier, les données du ministère doivent être conservées à Singapour, ce qui s'avère être un obstacle majeur pour garantir la sécurité et la gouvernance des données, a déclaré Sharon Ng, CIO de la famille ministérielle du MTI. Cela signifie que tous les modèles d'IA et de langages volumineux qu'il utilise doivent être hébergés dans son propre environnement, même ceux gérés par des fournisseurs américains tels que la plateforme Einstein Copilot de Salesforce.

Comme Faruque, Ng a également souligné la nécessité de transparence, en particulier sur les détails du fonctionnement de la couche de sécurité, y compris le type de cryptage utilisé et la conservation ou non des données, a-t-elle noté.

Son équipe étudie actuellement comment les outils d'IA générative, y compris ceux de Salesforce, peuvent profiter au ministère, qui reste ouvert à l'utilisation de différents modèles d'IA et de grands langages disponibles sur le marché. Cela coûterait moins cher que de construire ses propres modèles et réduirait les délais de commercialisation, a-t-elle déclaré.

L’utilisation de tout modèle d’IA reste cependant soumise à des considérations de confiance et de sécurité, a-t-elle noté. MTI mène actuellement des projets pilotes d'IA générative qui visent à améliorer l'efficacité opérationnelle et à faciliter les tâches de travail dans ses agences.

Pour l’entreprise de télécommunications de Singapour M1, offrir un meilleur service client est le KPI clair de l’IA générative. Cependant, comme pour MTI et Jollibee, la conformité et la confiance des données sont essentielles, a déclaré Jan Morgenthal, directeur numérique de M1. L'entreprise de télécommunications effectue actuellement des tests de faisabilité pour évaluer comment l'IA générative peut améliorer les interactions de son chatbot avec les clients et si elle peut prendre en charge des langues supplémentaires, autres que l'anglais.

Cela signifie travailler avec les fournisseurs pour déterminer les paramètres et comprendre où les grands modèles de langage et d'IA sont déployés, a déclaré Morgenthal. À l'instar de MTI et Jollibee, M1 doit également se conformer aux réglementations exigeant que certaines de ses données, y compris celles hébergées sur des plateformes cloud, résident sur son marché local.

Cela nécessite la formation de modèles d'IA dans l'environnement réseau de M1, a-t-il déclaré.

L'entreprise de télécommunications de Singapour doit également faire attention aux données utilisées pour former les modèles et aux réponses générées, qui doivent être testées et validées, a-t-il déclaré. Celles-ci doivent non seulement être vérifiées par rapport aux directives stipulées par le fournisseur, telles que le Trust Layer de Salesforce, mais également par rapport aux garde-fous mis en place par la société mère de M1, Keppel.

Combler le déficit de confiance en matière d’IA générative

De tels efforts s’avéreront cruciaux dans un contexte de perte de confiance dans l’utilisation de l’IA.

Les organisations et les consommateurs sont désormais moins ouverts à l'utilisation de l'IA qu'avant, selon une enquête Salesforce publiée le mois dernier. Quelque 73 % des acheteurs professionnels et 51 % des consommateurs sont réceptifs à la technologie utilisée pour améliorer leur expérience, soit une baisse par rapport à 82 % et 65 % respectivement en 2022.

Et tandis que 76 % des clients font confiance aux entreprises pour faire des déclarations honnêtes sur leurs produits et services, 57 % moins leur font confiance pour utiliser l’IA de manière éthique. 68 % d’entre eux pensent que les progrès de l’IA ont rendu plus important la fiabilité des entreprises.

Le manque de confiance est un problème et une préoccupation importante pour les organisations, a déclaré Tim Dillon, fondateur et directeur de Tech Research Asia, soulignant les réactions négatives subies par Zoom lorsqu'il a modifié ses conditions d'utilisation, lui donnant le droit d'utiliser les vidéos, audios de ses utilisateurs. , et des données de chat pour entraîner ses modèles d'IA.

Les fournisseurs d'IA générative voudraient éviter un scénario similaire, a déclaré Dillon dans une interview avec ZDNET, en marge de Dreamforce 2023 qui s'est tenu à San Francisco cette semaine. Des acteurs du marché tels que Salesforce et Microsoft ont fait des efforts pour combler le déficit de confiance, ce qui, selon lui, constitue un pas en avant positif.

En plus de résoudre les problèmes de confiance, les organisations qui envisagent d'adopter l'IA générative devraient également envisager de mettre en œuvre une gestion du changement, a noté Phil Hassey, PDG et fondateur de la société de recherche CapioIT.

C'est un domaine qui est souvent laissé de côté dans les discussions, a déclaré Hassey à ZDNET. Les organisations doivent déterminer les coûts impliqués, les compétences qu’elles doivent acquérir et les rôles qui doivent être requalifiés, suite au déploiement de l’IA générative.

Une stratégie appropriée de gestion du changement est essentielle pour assurer une transition en douceur et retenir les talents, a-t-il déclaré.

Basée à Singapour, Eileen Yu a travaillé pour ZDNET lors de Dreamforce 2023 à San Francisco, à l'invitation de Salesforce.com.