Vous pouvez désormais avoir des discussions vocales avec ChatGPT. Voici comment
OpenAI dit "ChatGPT peut désormais voir, entendre et parler". Qu'est-ce qui pourrait mal se passer?
Lorsque OpenAI a publié GPT-4 en mars, l'un de ses plus grands avantages était ses capacités multimodales, qui permettraient à ChatGPT d'accepter les entrées d'images. Cependant, la capacité multimodale n’était pas prête à être déployée - jusqu’à présent.
Lundi, OpenAI a annoncé que ChatGPT pouvait désormais « voir, entendre et parler », faisant allusion aux nouvelles capacités du chatbot populaire à recevoir à la fois des images et des entrées vocales et à répondre dans les conversations vocales.
La fonction de saisie d'image peut être utile pour obtenir de l'aide sur les choses que vous pouvez voir, comme résoudre un problème mathématique sur une feuille de calcul, identifier le nom d'une plante ou consulter les éléments de votre garde-manger et fournir des recettes.
Dans tous les cas ci-dessus, tout ce qu'un utilisateur aurait à faire est de prendre une photo de ce qu'il regarde et d'ajouter la question à laquelle il souhaite obtenir une réponse. OpenAI révèle que la capacité de compréhension d'image est alimentée par GPT-3.5 et GPT-4.
La fonction d'entrée et de sortie vocale donne à ChatGPT les mêmes fonctionnalités qu'un assistant vocal. Désormais, pour demander une tâche à ChatGPT, il suffit aux utilisateurs d'utiliser leur voix, et une fois qu'il aura traité votre demande, il vous répondra verbalement.
Dans la démo partagée par OpenAI, un utilisateur demande verbalement à ChatGPT de raconter une histoire sur un hérisson au coucher. ChatGPT répond en racontant une histoire, similaire au fonctionnement des assistants vocaux comme Alexa d'Amazon.
La course aux assistants IA pris en charge par l'IA est lancée, car la semaine dernière, Amazon a annoncé qu'il suralimentait Alexa avec un nouveau LLM qui lui donnerait des capacités de type ChatGPT, faisant essentiellement d'elle un assistant IA mains libres. L'intégration vocale de ChatGPT dans sa plateforme permet d'obtenir le même résultat final.
Pour prendre en charge la fonctionnalité vocale, OpenAI utilise Whisper, son système de reconnaissance vocale, pour transcrire les mots prononcés d'un utilisateur en texte et un nouveau modèle de synthèse vocale qui peut générer un son de type humain à partir d'un texte en quelques secondes seulement de parole.
Pour créer les cinq voix de ChatGPT parmi lesquelles les utilisateurs peuvent choisir, la société a collaboré avec des comédiens professionnels.
Les fonctionnalités vocales et image seront disponibles uniquement pour ChatGPT Plus et Enterprise dans les deux prochaines semaines. Cependant, OpenAI indique qu'il étendra l'accès à cette fonctionnalité à d'autres utilisateurs, tels que les développeurs, peu de temps après.
Si vous êtes un utilisateur Plus ou Enterprise, pour accéder à la fonction de saisie d'image, il vous suffit d'appuyer sur le bouton photo dans l'interface de discussion et de télécharger une image. Pour accéder à la fonction vocale, accédez à Paramètres Bing Chat, qui est pris en charge par GPT-4, prend en charge les entrées d'images et de voix et son utilisation est entièrement gratuite. Ainsi, si vous souhaitez tester ces fonctionnalités mais n’y avez pas encore accès, Bing Chat est une bonne alternative.