Le nouveau chatbot IA de NVIDIA s'appuie sur des fichiers locaux, pas sur le cloud

Le Chat With RTX LLM s'exécute localement et fournit des réponses personnalisées aux requêtes.

Ceux qui disposent de matériel compatible peuvent désormais installer Chat With RTX, un chatbot IA qui transforme les fichiers locaux en son ensemble de données. L'application Chat With RTX est considérée comme une « démo technique », mais elle est efficace pour récupérer, résumer et synthétiser des informations à partir de fichiers texte.

À la base, Chat With RTX est un assistant personnel qui fouille dans vos documents et notes. Cela vous évite d'avoir à rechercher manuellement les fichiers que vous avez écrits, téléchargés ou reçus d'autres personnes. Vous pouvez demander à Chat With RTX de récupérer une information à partir d'un long document technique, mais vous pouvez également l'utiliser pour répondre à des questions simples telles que « Quel restaurant mon partenaire a-t-il recommandé à Las Vegas ? ».

Le LLM personnalisé peut également extraire des transcriptions de vidéos YouTube. Si vous souhaitez imprimer des instructions étape par étape pour un projet de menuiserie, recherchez simplement un didacticiel YouTube, copiez l'URL et branchez-la dans Chat With RTX. Cela fonctionne avec les vidéos YouTube autonomes et les playlists.

Étant donné que Chat With RTX s'exécute localement, il produit des résultats rapides sans envoyer vos données personnelles dans le cloud. Le LLM analysera uniquement les fichiers ou dossiers sélectionnés par l'utilisateur. Je dois noter que d'autres LLM, y compris ceux de HuggingFace et OpenAI, peuvent s'exécuter localement. Chat With RTX est remarquable pour deux raisons : il ne nécessite aucune expertise et il montre les capacités du TensorRT-LLM RAG open source de NVIDIA, que les développeurs peuvent utiliser pour créer leurs propres applications d'IA.

Nous avons testé Chat With RTX au CES 2024. Il s'agit certainement d'une « démo technologique » et c'est quelque chose qui doit être utilisé avec intention. Mais c'est quand même impressionnant. Même si les capacités de récupération d'informations ou de synthèse de documents de Chat With RTX ne vous intéressent pas, il s'agit d'un excellent exemple de la façon dont les LLM exploités localement peuvent s'intégrer dans les flux de travail des gens.

Et, bien que cela ne soit pas mentionné sur le site Web de NVIDIA, Chat With RTX peut produire des réponses intéressantes aux invites créatives. Nous avons demandé au LLM d’écrire une histoire basée sur les transcriptions d’une playlist YouTube, et il a accepté, quoique sur un ton neutre. J'ai hâte de voir comment les gens vont expérimenter cette application.

Vous pouvez installer Chat With RTX à partir du site Web de NVIDIA. Notez que cette application nécessite un GPU RTX série 30 ou série 40 avec au moins 8 Go de VRAM. NVIDIA propose également un projet de référence open source TensorRT-LLM RAG pour ceux qui souhaitent créer des applications similaires à Chat with RTX.

Source : Nvidia