Seulement 4 à 8 Go de RAM ? Ces LLM locaux peuvent fonctionner directement sur votre PC

Points clés à retenir

• L'utilisation de chatbots locaux basés sur LLM renforce la confidentialité des données, augmente la disponibilité des chatbots et contribue à minimiser le coût des abonnements mensuels à l'IA en ligne.
• Les chatbots locaux DistilBERT, ALBERT, GPT-2 124M et GPT-Neo 125M basés sur LLM peuvent bien fonctionner sur les PC dotés de 4 à 8 Go de RAM.

Les chatbots IA locaux, alimentés par de grands modèles de langage (LLM), ne fonctionnent que sur votre ordinateur après les avoir correctement téléchargés et configurés. Ils ont généralement besoin de beaucoup de mémoire informatique (RAM) pour fonctionner correctement. Cependant, quelques excellents modèles peuvent fonctionner sur des ordinateurs dotés d’à peine 4 Go de RAM.

Pourquoi utiliser des chatbots LLM locaux ?

Les chatbots IA en ligne sont des outils puissants qui peuvent sérieusement améliorer votre efficacité quotidienne. Vous tapez ce que vous voulez et ces LLM créent du texte en fonction de vos instructions. Si vous commencez tout juste à vous familiariser avec l'utilisation des chatbots IA, consultez notre article comparatif sur les différences entre ChatGPT, Claude et Perplexity pour avoir une idée des bases.

Pourquoi pourriez-vous utiliser un chatbot local au lieu d’une option en ligne populaire ? Premièrement, c'est tout simplement amusant d'avoir un chatbot avec qui vous seul pouvez parler. En fin de compte, cela dépend de l’importance que vous accordez à la confidentialité, à la disponibilité et au coût.

Aussi embarrassant que cela puisse paraître pour certains, je ne m'inquiète pas trop si les créateurs de chatbots en ligne peuvent consulter mon historique de discussion et constater que j'ai besoin de savoir combien de temps il faut pour rôtir une dinde ou comment cirer correctement mes chaussures. Quoi qu’il en soit, il y a des informations que je souhaiterais peut-être partager avec un chatbot et qui devraient toujours rester entre nous.

Par exemple, j'ai le plus travaillé avec le chatbot GPT-Neo 125M local, alimenté par LLM, pour m'aider à organiser mes finances. Cela peut devenir assez compliqué avec le remboursement des prêts étudiants, le calcul des intérêts, etc. Il est très utile de discuter d'idées et de poser des questions à un chatbot local qui ne pourra jamais s'échapper de l'ordinateur portable et vendre mes secrets.

Vous devez également considérer que les violations de données massives sont terriblement courantes. En tant que tel, il est préférable de conserver les informations sensibles sur vous-même et vos proches sur votre ordinateur personnel plutôt que dans la base de données d’une grande entreprise d’IA.

De même, certains chatbots locaux sont totalement indépendants d’Internet une fois installés, vous n’avez donc pas besoin d’être connecté à Internet pour discuter. D’autres auront besoin d’un accès Internet occasionnel pour les mises à jour. Néanmoins, les chatbots locaux sont accessibles de manière plus fiable que ceux en ligne, car vous n'avez pas à vous soucier des pannes de service à des moments importants.

Enfin, les chatbots en ligne génèrent à leur entreprise des centaines de millions de dollars en frais d’abonnement. OpenAI, la société à l'origine des célèbres modèles ChatGPT, facture actuellement 20 $par mois pour accéder à son dernier chatbot. Son proche rival, Anthropic, facture également 20 $par mois pour ses fonctionnalités les plus avancées. Vous devrez dépenser 240 $ou plus par an si vous vous abonnez à plusieurs services.

Les chatbots locaux peuvent contribuer à atténuer ces coûts. Cependant, ils ne sont pas tous gratuits. Certains nécessitent des frais de licence et/ou d'utilisation, comme le GPT-3 d'OpenAI. Cependant, plusieurs modèles de chatbots locaux open source peuvent être téléchargés et utilisés gratuitement. Ceux-ci doivent être utilisés de manière stratégique pour des problèmes plus faciles. Ainsi, vous ne passez aux services en ligne, certes plus avancés, que lorsque cela est absolument nécessaire.

Ces chatbots LLM fonctionnent sur des PC à faible RAM

J'ai dû faire fonctionner plusieurs chatbots gratuits alimentés par LLM sur des PC à faible RAM, principalement parce que, jusqu'à récemment, c'était tout ce que je pouvais me permettre.

En tant que tel, j'ai trouvé que les modèles DistilBERT et ALBERT ont la configuration la plus gérable, en partie parce qu'ils sont très légers. Léger signifie que ces modèles sont conçus pour être très efficaces en termes d’utilisation de la mémoire et de puissance de traitement. Cela limite les pouvoirs de leur chatbot pour les tâches complexes, que d’autres chatbots en ligne pourraient facilement gérer. Mais ils peuvent tous deux fonctionner confortablement avec seulement 4 Go de RAM, ce qui fait honneur à leurs développeurs de Hugging Face.

Pour DistilBERT, les développeurs de Hugging Face ont concentré beaucoup de puissance dans un modèle petit et efficace en optimisant sa conception. Je pense que DistilBERT est l’un des modèles disponibles à ce jour, sinon le plus efficace.

ALBERT est conçu différemment de DistilBERT, car il fonctionne en partageant des parties du modèle de manière à l'aider à traiter les données rapidement sans utiliser beaucoup de mémoire.

Je recommande fortement de commencer en tant que débutant avec DistilBERT et ALBERT, même si vous disposez d'un PC avec beaucoup de mémoire. Commencer avec ces deux modèles m'a permis d'apprendre les bases sans être submergé par la complexité des modèles plus grands.

Si vous vous sentez ambitieux ou si vous possédez une machine de 8 Go ou plus, vous pouvez dépasser les BERT et travailler avec les modèles GPT-2 d'OpenAI. Qui sont comme les couteaux suisses du monde local de l’IA. Les modèles GPT-2 sont disponibles en différentes tailles, certaines plus adaptées que d'autres aux PC à faible RAM.

La version paramétrée 124M est la plus légère. Bien que le 124M soit moins puissant que ses frères et sœurs chatbots en ligne, il a du punch pour la création de langage et, d'après mon expérience, est au moins aussi capable, sinon plus, de création de langage que les deux BERT.

Mon LLM léger préféré est de loin le GPT-Neo 125M en raison de ses options de personnalisation réglables. Il a été développé par les développeurs respectés d'EleutherAI et ressemble au cousin open source de GPT-2.

Le Neo 125M est conçu pour équilibrer les performances et les besoins en ressources. Les performances de ce modèle sont comparables à celles du GPT-2, mais elles sont ajustées pour utiliser la mémoire plus efficacement. Il est suffisamment puissant pour de nombreuses tâches et suffisamment léger pour fonctionner avec seulement 8 Go, même s’il a du mal à faire moins que cela.

Comment démarrer avec les chatbots LLM locaux

Gérer votre propre chatbot est plus facile que vous ne le pensez. Tout d’abord, vous devez savoir ce que votre ordinateur peut faire. Vérifiez la quantité de mémoire (RAM) dont vous disposez et la vitesse de votre ordinateur. À l'aide des informations fournies ci-dessus, assurez-vous que le système de votre ordinateur peut fonctionner avec le chatbot de votre choix.

Une fois que vous savez cela, vous pouvez télécharger le bon logiciel. Vous pourriez avoir besoin de quelque chose appelé Docker, un outil qui vous aide à exécuter des applications dans des boîtes spéciales appelées conteneurs, garantissant qu'elles fonctionnent de la même manière sur n'importe quel ordinateur.

Recherchez le logiciel LLM sur des sites Web comme Hugging Face et GitHub. Assurez-vous de lire les instructions de chaque modèle que vous utilisez pour comprendre leur fonctionnement. Ensuite, téléchargez et discutez. N'oubliez pas de garder également un œil sur les éventuelles mises à jour du logiciel du modèle.

Si votre ordinateur n'est pas très puissant, vous devriez vraiment commencer par DistilBERT ou ALBERT. Au fur et à mesure que vous en apprenez davantage, vous pouvez essayer GPT-2 avec notre guide d'installation complet de GPT-2 pour Windows ou essayer des dizaines d'autres modèles avec notre guide LM Studio.

Vous aurez des questions. Il y a de fortes chances que de nombreuses questions aient déjà reçu des réponses dans des communautés ou des forums en ligne. Consultez r/MachineLearning de Reddit, la communauté Hugging Face ou notre article détaillé sur le fonctionnement des LLM si vous êtes bloqué à un moment donné.

Ne laissez pas le matériel vous empêcher de vous essayer aux chatbots LLM locaux. Il existe de nombreuses options qui peuvent fonctionner efficacement sur des systèmes disposant de peu de mémoire. Essayez-les dès aujourd'hui !