Kubernetes simplifié ? Microsoft ajoute un opérateur de chaîne d'outils IA au service Azure
L'opérateur de chaîne d'outils Kubernetes Al simplifie l'exécution des charges de travail d'apprentissage automatique et d'intelligence artificielle et vous fera économiser de l'argent pour démarrer.
Si vous souhaitez exécuter des applications d'intelligence artificielle (IA) et d'apprentissage automatique telles que des modèles de langage étendus (LLM) à grande échelle, vous devez les exécuter sur Kubernetes. Cependant, maîtriser Kubernetes - l’orchestrateur de conteneurs préféré de tous - n’est pas facile. C'est là qu'intervient l'opérateur de chaîne d'outils Kubernetes Al, le dernier ajout au service Azure Kubernetes (AKS) de Microsoft.
AKS facilite déjà Kubernetes sur Azure. Au lieu de le résoudre manuellement, les pipelines et garde-fous code-to-cloud intégrés d'AKS vous offrent un moyen plus rapide de commencer à développer et à déployer des applications cloud natives dans Azure. Avec sa gestion et sa gouvernance unifiées pour les clusters Kubernetes sur site, en périphérie et multi-cloud, AKS simplifie également (il n'y a pas de « simple » quand il s'agit de Kubernetes) l'intégration avec Azure en matière de sécurité, d'identité et de gestion des coûts. et les services de migration.
Ce que l’opérateur de la chaîne d’outils Kubernetes AI apporte, ce sont des moyens automatisés d’exécuter des charges de travail IA/ML de logiciels open source de manière rentable et avec moins de configuration manuelle. Il automatise également le déploiement du modèle LLM sur AKS sur les ressources CPU et GPU disponibles en sélectionnant l'infrastructure de taille optimale pour votre LLM ou autre projet.
Pour ce faire, l'opérateur de la chaîne d'outils IA approvisionne automatiquement les nœuds GPU nécessaires et configure le serveur d'inférence associé en tant que serveur de point de terminaison pour vos modèles d'IA. Un serveur d'inférence, tel que Hugging Face's 7B ou NVIDIA Triton Inference Server, applique des modèles d'IA entraînés aux données entrantes pour prendre des décisions en temps réel. L'inférence est le processus d'exécution de données en direct via un modèle d'IA entraîné pour faire une prédiction ou résoudre une tâche. L'utilisation de ce module complémentaire réduit votre temps d'intégration et vous permet de vous concentrer sur l'utilisation et le développement du modèle d'IA plutôt que sur la configuration de l'infrastructure.
Il permet également de diviser facilement l'inférence sur plusieurs machines virtuelles (VM) comportant moins de GPU. Cela signifie que vous pouvez exécuter vos LLM sur davantage de régions Azure, éliminant ainsi les temps d’attente pour les régions Azure dotées de machines virtuelles dotées d’un nombre de GPU plus élevé et réduisant ainsi le coût global. En d’autres termes, vous pouvez exécuter automatiquement vos LLM sur des régions à moindre consommation et moins coûteuses. Oui, vous risquez de perdre de la puissance de traitement, mais tous les travaux ne nécessitent pas une puissance plus élevée.
Pour faciliter la configuration, vous pouvez également choisir parmi des modèles prédéfinis avec des images hébergées par AKS. Cela réduit considérablement le temps global de configuration de votre service. Une fois qu’il est opérationnel depuis un certain temps, vous pouvez ajuster votre modèle Azure pour mieux l’adapter à votre charge de travail.
De plus, Azure Kubernetes Fleet Manager permet des scénarios multiclusters et à grande échelle pour les clusters AKS. Les administrateurs de plateforme qui gèrent des flottes Kubernetes avec de nombreux clusters sont souvent confrontés à des difficultés pour organiser leurs mises à jour de manière sûre et prévisible. Cela permet aux administrateurs d'orchestrer les mises à jour sur plusieurs clusters en utilisant des exécutions, des étapes et des groupes de mise à jour. Étant donné que les charges de travail IA/ML ont tendance à être très exigeantes, cela facilite grandement leur gestion.
En bref, si vous souhaitez travailler sérieusement avec l'IA/ML sur Azure, l'opérateur de la chaîne d'outils Kubernetes Al exige votre attention.