Les données suggèrent que la génération AI augmente la productivité des logiciels - pour ces développeurs
Une nouvelle étude met en évidence les succès et les écarts dans l’adoption de la génération IA au niveau individuel.
Ces dernières années, il y a eu un grand buzz sur la manière dont l'IA générative (gen AI) facilite la vie des développeurs de logiciels, car elle génère des extraits de code, des suggestions et de la documentation associée à la demande. De nombreux développeurs estiment bien sûr que la productivité est poussée de manière intuitive. Nous disposons désormais de données concrètes pour étayer cette hypothèse.
Cependant, il convient de noter que l'IA est plus utile aux développeurs plus récents que à leurs homologues plus expérimentés, conclut une nouvelle étude menée par des chercheurs du MIT, de Microsoft, de l'Université de Princeton et de l'Université de Pennsylvanie. Les chercheurs ont analysé les données de trois essais menés chez Microsoft, Accenture et une entreprise de fabrication de produits électroniques Fortune 100 anonyme impliquant 4 867 développeurs. Malheureusement, 40 % des participants au segment Accenture ont été licenciés à mi-chemin de l'expérience, ont noté les chercheurs. Il s’agit donc d’une tournure réelle qui atténue les gloires de l’IA.
Ces expériences ont été menées par les entreprises dans le cadre de leurs activités normales, avec des développeurs utilisant GitHub Copilot, un assistant de codage open source basé sur l'IA qui suggère des complétions de code intelligentes. "Notre analyse révèle une augmentation de 26 % du nombre de tâches terminées parmi les développeurs utilisant l'outil d'IA", déclarent les chercheurs.
Il est important de noter que les développeurs moins expérimentés ont affiché des taux d’adoption plus élevés et des gains de productivité plus importants grâce à l’IA. "Copilot augmente considérablement l'achèvement des tâches pour les recrues les plus récentes et celles occupant des postes plus subalternes, mais pas pour les développeurs ayant une ancienneté plus longue et occupant des postes plus élevés", ont noté les chercheurs. Les promoteurs de courte durée ont augmenté leur production de 27 % à 39 %, tandis que les promoteurs de longue durée ont enregistré des gains plus marginaux, de 8 % à 13 %.
Les chercheurs ont même émis l’hypothèse que les développeurs expérimentés avaient abandonné CoPllot après l’avoir initialement essayé. "Copilot est relativement plus simple et moins coûteux que d'autres outils d'IA sur le lieu de travail", déclarent-ils. "Copilot ne nécessite aucun investissement complémentaire, peut être adopté au niveau individuel et est déjà intégré à l'environnement de développement logiciel."
Cependant, malgré ces avantages, le taux d'adoption de CoPilot « est nettement inférieur à 100 % dans les trois expériences, avec environ 30 à 40 % des ingénieurs n'essayant même pas le produit », ont-ils souligné. "De plus, les taux d'adoption sont remarquablement similaires d'une expérience à l'autre. Cela suggère que des facteurs autres que l'accès, tels que les préférences individuelles et l'utilité perçue de l'outil, jouent un rôle important dans les décisions des ingénieurs d'utiliser cet outil."
Parallèlement à une augmentation globale de la productivité, l’étude a mis en évidence une amélioration des tâches de codage spécifiques. Il y a eu une augmentation de 14 % du nombre de mises à jour du code (commits) et une augmentation de 38 % du nombre de fois que le code a été compilé.
Heureusement, le travail logiciel est relativement facile à mesurer, suivant un flux de travail hautement structuré, dans lequel des tâches spécifiques sont définies et suivies via un logiciel de contrôle de version. "Les objectifs et les tâches définis en interne sont donc quantifiables", soulignent les chercheurs.