L’exécution de charges de travail d’IA arrive sur une machine virtuelle près de chez vous, alimentée par des GPU et Kubernetes

Run :AI propose une couche de virtualisation pour l’IA, visant à faciliter l’infrastructure de l’IA. Il connaît beaucoup de traction et vient de lever un tour de financement de série C de 75 millions de dollars. Voici comment l'évolution du paysage de l'IA a façonné sa croissance.

Run :AI propose une couche de virtualisation sur laquelle exécuter des charges de travail d’IA

Run :AI prend votre IA et l’exécute sur la pile logicielle ultra-rapide du futur. C’était le titre de notre article de 2019 sur Run :AI, qui venait tout juste de sortir de la furtivité. Bien que nous aimions à penser qu'elle reste exacte, l'approche non conventionnelle de Run :AI a connu une croissance rapide depuis.

Run :AI, qui se présente comme une « plateforme d’orchestration d’IA », a annoncé aujourd’hui avoir levé 75 millions de dollars lors d’un tour de table de série C mené par Tiger Global Management et Insight Partners, qui ont dirigé le précédent tour de table de série B. Le tour de table comprend la participation d’autres investisseurs existants, TLV Partners et S Capital VC, ce qui porte le total des fonds levés à ce jour à 118 millions de dollars.

Nous avons rencontré Omri Geller, PDG et cofondateur de Run :AI, pour discuter des puces et de l'infrastructure d'IA, des progrès de Run :AI et de l'interaction entre eux.

Les puces d’IA sont cool, mais les GPU Nvidia règnent

Run :AI propose une couche logicielle appelée Atlas pour accélérer l’exécution des charges de travail d’apprentissage automatique, sur site et dans le cloud. Essentiellement, Atlas fonctionne comme une machine virtuelle pour les charges de travail d’IA : il fait abstraction et rationalise l’accès au matériel sous-jacent.

Cependant, l'expérience de Geller sur le terrain montre que les organisations ne recherchent pas seulement un moyen rentable de former et de déployer des modèles. Ils recherchent également un moyen simple d’interagir avec le matériel, et c’est l’une des principales raisons pour lesquelles Nvidia domine toujours. En d'autres termes, tout est dans la pile logicielle. C’est conforme à ce que de nombreux analystes identifient.

Cependant, nous nous demandions si la promesse de performances supérieures pourrait attirer les organisations ou si les concurrents de Nvidia ont réussi à combler l’écart en termes d’évolution et d’adoption de leur pile logicielle.

L'expérience de Geller est que si les puces d'IA personnalisées peuvent attirer les organisations ayant des charges de travail avec des profils spécifiques axés sur les performances, leur adoption par le grand public reste faible. Ce que Run :AI constate, cependant, c’est une plus grande demande pour des GPU qui ne sont pas Nvidia. Qu'il s'agisse d'AMD MI200 ou d'Intel Ponte Vecchio, M. Geller voit des organisations qui cherchent à utiliser davantage de GPU dans un avenir proche.

Kubernetes pour l’IA

La domination de Nvidia n'est pas la seule raison pour laquelle le développement des produits de Run :AI s'est déroulé comme il l'a fait. Une autre tendance qui a façonné l'offre de Run :AI est l'essor de Kubernetes. Geller pense que Kubernetes est l’un des éléments les plus importants dans la construction d’une pile d’IA, car les conteneurs sont fortement utilisés dans la science des données, ainsi qu’au-delà.

Cependant, Geller a ajouté que Kubernetes n’a pas été conçu pour exécuter des charges de travail hautes performances sur des puces d’IA - il a été conçu pour exécuter des services sur des processeurs classiques. Par conséquent, il y a beaucoup de choses qui manquent dans Kubernetes pour exécuter efficacement des applications à l’aide de conteneurs.

Il a fallu un certain temps à Run :AI pour l’identifier. Une fois qu’ils l’ont fait, cependant, leur décision a été de construire leur logiciel en tant que plugin pour Kubernetes afin de créer ce que Geller a appelé « Kubernetes pour l’IA ». Afin de ne pas faire de choix spécifiques à un fournisseur, l'architecture Kubernetes de Run :AI est restée largement compatible. Geller a déclaré que l’entreprise s’est associée à tous les fournisseurs de Kubernetes et que les utilisateurs peuvent utiliser Run :AI quelle que soit la plate-forme Kubernetes qu’ils utilisent.

Au fil du temps, Run :AI a construit un écosystème de partenaires notable, notamment Dell, HP Enterprise, Nvidia, NetApp et OpenShift. En outre, la plate-forme Atlas a également évolué à la fois en largeur et en profondeur. Plus particulièrement, Run :AI prend désormais en charge les charges de travail d’entraînement et d’inférence. Étant donné que l’inférence représente généralement la majeure partie des coûts opérationnels de l’IA en production, c’est vraiment important.

En outre, Run :AI Atlas s’intègre désormais à un certain nombre de frameworks d’apprentissage automatique, d’outils MLOps et d’offres de cloud public. Il s’agit notamment de Weights & Biases, TensorFlow, PyTorch, PyCharm, Visual Studio et JupyterHub, ainsi que de Nvidia Triton Inference Server et NGC, Seldon, AirFlow, KubeFlow et MLflow, respectivement.

Même les frameworks qui ne sont pas pré-intégrés peuvent l’être relativement facilement, à condition qu’ils s’exécutent dans des conteneurs au-dessus de Kubernetes, a déclaré Geller. En ce qui concerne les plates-formes cloud, Run :AI travaille avec les 3 principaux fournisseurs de cloud (AWS, Google Cloud et Microsoft Azure), ainsi qu’avec les plateformes sur site. M. Geller a noté que le cloud hybride est ce qu’ils voient sur les déploiements des clients.

Run :AI considère l’infrastructure de l’IA comme un empilement de couches

Même si la réalité du marché Run :AI a bouleversé une partie de la planification initiale, obligeant l’entreprise à poursuivre davantage d’options d’opérationnalisation au lieu d’étendre le support à davantage de puces d’IA, cela ne signifie pas qu’il n’y a pas eu d’avancées sur le plan technique.

Les principales réalisations techniques de Run :AI portent les noms de partage fractionné de GPU, de provisionnement de GPU mince et d'échange de tâches. Le partage fractionné de GPU permet d’exécuter de nombreux conteneurs sur un seul GPU tout en gardant chaque conteneur isolé et sans modifications de code ni pénalités de performances.

Ce que VMware a fait pour les CPU, Run :AI le fait pour les GPU, dans un écosystème de conteneurs sous Kubernetes, sans hyperviseurs, comme l’a dit Geller. En ce qui concerne le provisionnement fin et l’échange de tâches, ils permettent à la plateforme d’identifier les applications qui n’utilisent pas les ressources allouées à un moment donné, et de réaffecter dynamiquement ces ressources si nécessaire.

Run :AI a notamment été inclus dans le rapport Forrester Wave AI Infrastructure publié au 4e trimestre 2021. La société occupe une position unique parmi les fournisseurs d’infrastructure d’IA, qui comprend les fournisseurs de cloud, Nvidia et les OEM de GPU.

Tous, a déclaré Geller, sont des partenaires de Run :AI, car ils représentent une infrastructure sur laquelle exécuter des applications. Geller voit cela comme une pile, avec du matériel dans la couche inférieure, une couche intermédiaire qui sert d’interface pour les scientifiques des données et les ingénieurs en apprentissage automatique, et des applications d’IA sur la couche supérieure.

Run :AI connaît une bonne traction, multipliant par 9 ses revenus annuels récurrents et par 3 son personnel en 2021. La société prévoit d’utiliser cet investissement pour développer davantage ses équipes mondiales et envisagera également des acquisitions stratégiques à mesure qu’elle développe et améliore sa plateforme.