Le nouveau chatbot IA de Nvidia s'exécute localement sur votre PC et est gratuit
Vous possédez un GPU GeForce RTX série 30 ou supérieur ? Cette application de démonstration peut fournir un contenu personnalisé, aucune connexion Internet n'est nécessaire.
GPU GeForce RTX 40 de Nvidia.
Nvidia a publié une version démo d'un nouveau chatbot IA qui s'exécute localement sur certains PC équipés de GeForce RTX. L'application de démonstration, appelée Chat with RTX, est téléchargeable gratuitement et permet aux utilisateurs d'exécuter un chatbot IA sur leur PC, personnalisé avec leur contenu.
Propulsée par le logiciel Nvidia TensorRT-LLM, l'application peut générer du contenu et peut être formée sur une sélection de contenu par l'utilisateur, notamment des fichiers .txt, .pdf, .doc/.docx et .xml et même des URL vers des vidéos YouTube.
Après avoir choisi le contenu pour entraîner le bot, les utilisateurs peuvent lui poser des questions personnalisées sur le contenu qu'ils ont fourni. Par exemple, le robot peut résumer les instructions étape par étape dans une vidéo pratique de YouTube ou indiquer à un utilisateur quel type de piles il avait dans sa liste de courses.
Entraîner le bot sur le contenu préféré de l'utilisateur rend l'expérience véritablement personnalisée, mais le fait que tout se passe localement préserve la confidentialité des données de l'utilisateur. Le chat avec RTX peut renvoyer des réponses rapides tout en protégeant toutes les informations utilisateur, car il ne repose pas sur des services basés sur le cloud, ce qui signifie qu'il peut également fonctionner sans connexion Internet.
Le bot nécessite un GPU Nvidia GeForce RTX 30 Series ou supérieur, avec au moins 8 Go de VRAM. Discuter avec RTX nécessite également Windows 10 ou 11 et les derniers pilotes GPU Nvidia.
Nvidia affirme que son logiciel TensorRT-LLM, combiné à la génération augmentée par récupération (RAG) et à l'accélération RTX, permet à Chat with RTX de fournir des réponses pertinentes en utilisant des fichiers locaux comme ensemble de données et en les connectant à des LLM open source comme Mistral et Llama 2.