Servir l'IA générative est devenu beaucoup plus facile avec OctoAI d'OctoML
L’IA générative, en raison de son intensité de calcul, est particulièrement difficile à mettre en production. OctoML affirme pouvoir rationaliser tout cela grâce à ses années d'expertise en optimisation.
Le service de calcul OctoAI propose des modèles permettant d'utiliser des programmes d'IA générative familiers tels que Stable Diffusion 2.1, mais les clients peuvent également télécharger leurs propres modèles entièrement personnalisés.
L'intérêt fervent pour l'exécution de programmes d'intelligence artificielle, en particulier de type génératif, tels que ChatGPT d'OpenAI, produit une industrie artisanale de services qui peut rationaliser le travail de mise en production de modèles d'IA.
Mercredi, la startup OctoML, qui a fait ses armes en améliorant les performances de l'IA sur diverses puces et systèmes informatiques, a dévoilé un service pour faciliter le travail de prédiction, la partie « inférence » de l'IA, appelé OctoAI Compute Service. Les développeurs qui souhaitent exécuter de grands modèles de langage, etc., peuvent télécharger leur modèle sur le service, et OctoAI s'occupe du reste.
Cela pourrait, selon l’entreprise, amener beaucoup plus de parties prenantes au service de l’IA, et pas seulement les ingénieurs IA traditionnels.
"Le public de notre produit est constitué de développeurs d'applications généralistes qui souhaitent ajouter des fonctionnalités d'IA à leurs applications et ajouter de grands modèles de langage pour répondre aux questions, etc., sans avoir à mettre ces modèles en production, ce qui est encore très, très difficile." a déclaré Luis Ceze, co-fondateur et PDG d'OctoML, dans une interview avec ZDNET.
L’IA générative, a déclaré Ceze, est encore plus difficile à mettre en œuvre que certaines autres formes d’IA.
"Ces modèles sont volumineux, ils utilisent beaucoup de calcul, cela nécessite beaucoup de travail d'infrastructure dont nous pensons que les développeurs ne devraient pas avoir à s'inquiéter", a-t-il déclaré.
OctoAI, a déclaré Ceze, est « fondamentalement une plate-forme qui aurait généralement été construite par quelqu'un utilisant un modèle propriétaire » tel qu'OpenAI pour ChatGPT. "Nous avons construit une plateforme équivalente, mais qui permet d'exécuter des modèles open source.
"Nous voulons que les gens se concentrent sur la création de leurs applications, et non sur la construction de leur infrastructure, afin de permettre aux gens d'être de plus en plus créatifs."
Le service, qui est maintenant disponible pour un accès général, a été en accès limité avec certains premiers clients il y a environ quatre mois, a déclaré Ceze, "et la réception a dépassé les attentes de chacun de très loin".
Bien qu'OctoAI se concentre sur l'inférence, le programme peut effectuer une quantité limitée de ce que l'on appelle la « formation », la partie initiale de l'IA où un réseau neuronal est développé en recevant des paramètres pour un objectif à optimiser.
"Nous pouvons procéder à des réglages précis, mais pas à un entraînement à partir de zéro", a déclaré Ceze. Le réglage fin fait référence au travail de suivi effectué après la formation initiale mais avant l'inférence, pour ajuster un programme de réseau neuronal aux particularités d'un domaine, par exemple.
"Nous voulons que les gens se concentrent sur la création de leurs applications et non sur la construction de leur infrastructure, afin de les laisser être de plus en plus créatifs", déclare Luis Ceze, co-fondateur et PDG d'OctoML.
Cet accent a été un « choix délibéré » de la part d'OctoML, a déclaré Ceze, étant donné que l'inférence est la tâche la plus fréquente en IA.
"Notre travail s'est concentré sur l'inférence parce que j'ai toujours eu la ferme conviction que pour tout modèle réussi, il faudra faire beaucoup plus d'inférence que de formation, et cette plateforme consiste réellement à mettre des modèles en production, et en production. , et pendant toute la durée de vie des modèles, la majorité des cycles vont à l'inférence."
L'équipe d'OctoML connaît bien les subtilités de la mise en production de réseaux de neurones compte tenu de son rôle central dans le développement du projet open source Apache TVM. Apache TVM est un compilateur logiciel qui fonctionne différemment des autres compilateurs. Au lieu de transformer un programme en instructions de puce typiques pour un CPU ou un GPU, il étudie le « graphique » des opérations de calcul dans un réseau neuronal et détermine la meilleure façon de mapper ces opérations sur le matériel en fonction des dépendances entre les opérations.
La technologie OctoML issue d'Apache TVM, appelée Octomizer, est « comme un composant d'un MLOps, ou flux DevOps », a déclaré Ceze.
La société "a pris tout ce que nous avons appris" d'Apache TVM et de la construction d'Octomizer, a déclaré Ceze, "et a produit un tout nouveau produit, OctoAI, qui englobe essentiellement tous ces services d'optimisation, puis un service complet et un réglage fin. , une plateforme qui permet aux utilisateurs de mettre l'IA en production et même de l'exécuter pour eux. »
Le service « accélère automatiquement le modèle », choisit le matériel et « s'oriente continuellement vers la meilleure façon d'exécuter votre modèle, de manière très, très clé en main ».
Utiliser CURL sur la ligne de recommandation est un moyen simple de démarrer avec des modèles basés sur des modèles.
Le résultat pour les clients, a déclaré Ceze, est que le client n'a plus besoin d'être explicitement un ingénieur ML ; ils peuvent être un développeur de logiciels généraliste.
Le service permet aux clients soit d'apporter leur propre modèle, soit de s'appuyer sur « un ensemble de modèles sélectionnés et de grande valeur », notamment Stable Diffusion 2.1, Dolly 2, LLaMa et Whisper pour la transcription audio.
"Dès que vous vous connectez, en tant que nouvel utilisateur, vous pouvez immédiatement jouer avec les modèles, vous pouvez les cloner et démarrer très facilement." L'entreprise peut aider à affiner ces programmes open source en fonction des besoins d'un client, "ou vous pouvez proposer votre modèle entièrement personnalisé".
Jusqu'à présent, la société constate « un mélange très équilibré » entre les modèles open source et ses propres modèles personnalisés.
Le partenaire de lancement initial de l'infrastructure d'OctoAI est AWS d'Amazon, qu'OctoML revend, mais la société travaille également avec certains clients qui souhaitent utiliser la capacité qu'ils se procurent déjà auprès du cloud public.
Le téléchargement d'un modèle entièrement personnalisé est une autre option.
Pour la question sensible de la façon de télécharger les données des clients vers le cloud pour, par exemple, un réglage précis, "Nous avons commencé dès le départ avec la conformité SOC2, nous avons donc des garanties très strictes de mélange des données des utilisateurs avec celles des autres utilisateurs". » a déclaré Ceze, faisant référence à la norme de conformité volontaire SOC2 développée par l'American Institute of CPAs. « Nous avons tout cela, mais certains de nos clients en demandent désormais davantage pour des déploiements privés, dans lesquels nous créons des instances du système et les exécutons dans leur propre VPC [cloud privé virtuel.] »
"Cela ne sera pas lancé tout de suite, mais cela fait partie d'une feuille de route à très, très court terme, car les clients le demandent."
OctoML se heurte à des partis, grands et petits, qui sentent également l'énorme opportunité que représente le regain d'intérêt pour les prédictions avec des programmes d'IA depuis ChatGPT.
MosaicML, une autre jeune startup dotée d'une expertise technique approfondie, a présenté en mai MosaicML Inference, déployant de grands modèles. Et Google Cloud a dévoilé le mois dernier G2, qui, selon lui, est « spécialement conçu pour les grandes charges de travail d'IA d'inférence comme l'IA générative ».
Ceze a déclaré qu'il y avait plusieurs éléments qui différenciaient OctoAI de ses concurrents. "L'une des choses uniques que nous proposons est que nous nous concentrons sur le réglage fin et l'inférence", plutôt que sur "un produit dont l'inférence est simplement un composant". OctoAI, a-t-il déclaré, se distingue également en étant « spécialement conçu pour que les développeurs puissent créer très rapidement des applications » plutôt que d'avoir à être des ingénieurs en IA.
"Construire un objectif d'inférence est très difficile", a observé Ceze, "vous avez des exigences très strictes", notamment "des exigences de disponibilité très strictes". Lors de l'exécution d'une session de formation, "si vous avez des défauts, vous pouvez les récupérer, mais en déduisant, la seule requête que vous manquez pourrait contrarier un utilisateur".
"Je peux imaginer des gens former les modèles avec MosaicML, puis les amener vers OctoML pour les servir", a ajouté Ceze.
OctoML ne publie pas encore ses tarifs, a-t-il déclaré. Le service permettra dans un premier temps aux clients potentiels de l'utiliser gratuitement, à partir de la page d'inscription, avec une allocation initiale de temps de calcul gratuit, et "ensuite, la tarification sera très transparente en termes de voici ce qu'il vous en coûte pour utilisez le calcul, et voici les performances que nous vous offrons, afin que cela devienne très, très clair, pas seulement le temps de calcul, et que vous obteniez plus de travail sur le calcul pour lequel vous payez. En fin de compte, le prix sera calculé sur la base de la consommation, a-t-il déclaré, où les clients ne paient que pour ce qu'ils utilisent.
Il existe une réelle possibilité qu'un grand nombre de modèles d'IA servant actuellement soient passés d'un service exotique et haut de gamme à un produit de base.
"Je pense en fait que les fonctionnalités de l'IA vont probablement être banalisées", a déclaré Ceze. "Cela va être passionnant pour les utilisateurs, tout comme la vérification orthographique ou grammaticale, imaginez simplement que chaque interface texte ait une IA générative."
Dans le même temps, « les modèles plus grands seront toujours capables de faire certaines choses que les modèles de base ne peuvent pas faire », a-t-il déclaré.
L'échelle signifie que la complexité de l'inférence sera un problème difficile à résoudre pendant un certain temps, a-t-il déclaré. Les grands modèles de langage de 70 milliards de paramètres ou plus génèrent une centaine de « giga-ops », soit cent milliards d'opérations par seconde, pour chaque mot qu'ils génèrent, a noté Ceze.
Aussi : Cette nouvelle technologie pourrait faire exploser GPT-4 et tout le reste
« Cela représente bien des ordres de grandeur au-delà de toute charge de travail jamais exécutée », a-t-il ajouté. « Et cela nécessite beaucoup de travail pour faire évoluer une plateforme à l'échelle mondiale.
"Et donc je pense que cela va apporter des affaires à beaucoup de gens, même si c'est banalisé, parce que nous allons devoir réduire les performances et les capacités de calcul de tout ce que nous avons dans le cloud, des GPU, des CPU et des autres éléments à la périphérie. "