Une recherche Apple révèle qu’une technologie d’IA éblouissante pourrait être dirigée vers votre iPhone
LLM en un éclair. Avatars animés. Siri plus intelligent. Apple GPT. De nouvelles recherches suggèrent un prochain iPhone complètement transformé.
Apple se penche en profondeur sur la technologie de l'intelligence artificielle, selon deux documents de recherche récemment publiés présentant le travail de l'entreprise. La recherche montre qu'Apple travaille au développement d'une technologie d'IA sur appareil, y compris une méthode révolutionnaire pour créer des avatars animables et une nouvelle façon d'exécuter de grands modèles de langage à partir d'un iPhone ou d'un iPad.
Bien nommées « LLM en un éclair », les recherches d'Apple sur l'exécution efficace des LLM sur des appareils dotés d'une mémoire limitée permettent aux applications d'IA complexes de fonctionner sans problème sur les iPhones ou les iPads. Cela pourrait également impliquer d'exécuter sur l'appareil un Siri alimenté par l'IA générative qui assiste simultanément diverses tâches, génère du texte et offre une capacité améliorée à traiter le langage naturel.
HUGS signifie Human Gaussian Splats, une méthode permettant de créer des avatars entièrement animables à partir de courts clips vidéo capturés sur un iPhone en seulement 30 minutes. HUGS est un framework de rendu neuronal capable de s'entraîner avec seulement quelques secondes de vidéo pour créer un avatar détaillé que les utilisateurs peuvent animer comme ils le souhaitent.
Ce que cela signifie pour l'iPhone et Vision Pro
Il y a eu des rapports selon lesquels Apple travaillait sur son propre chatbot IA, utilisé en interne et appelé « Apple GPT ». La nouvelle recherche montre que l'entreprise fait des progrès dans l'exécution des LLM en exploitant la mémoire flash sur des appareils plus petits et moins puissants comme un iPhone. Cela pourrait rendre des outils d’IA génératifs sophistiqués disponibles sur l’appareil et pourrait signifier un Siri alimenté par l’IA générative.
Au-delà de l'amélioration indispensable de Siri, disposer d'une stratégie d'inférence LLM efficace comme celle décrite dans LLM in a Flash pourrait conduire à des outils d'IA générative plus accessibles, à des progrès significatifs dans la technologie mobile et à une amélioration des performances dans un large éventail d'applications sur les appareils du quotidien.
Sans doute la plus grande avancée des deux, HUGS est une méthode qui permet de créer des avatars numériques malléables à partir de seulement quelques secondes de vidéo monoculaire, ou de 50 à 100 images, pour être exact. Ces avatars humains peuvent être animés et placés sur différentes scènes, car la plateforme utilise une représentation démêlée des humains et des scènes.
HUGS permet aux utilisateurs de créer des avatars qui peuvent être animés et placés sur une scène. C'est l'exemple d'Apple de trois avatars animés de manière synchronisée.
Selon Apple, HUGS surpasse ses concurrents dans l'animation d'avatars humains avec des vitesses de rendu 100 fois plus rapides que les méthodes précédentes et avec un temps de formation nettement plus court de seulement 30 minutes.
Créer un avatar en exploitant l'appareil photo et la puissance de traitement de l'iPhone pourrait offrir un nouveau niveau de personnalisation et de réalisme aux utilisateurs d'iPhone dans les applications de médias sociaux, de jeux, éducatives et de réalité augmentée (RA).
HUGS pourrait sérieusement réduire le facteur de fluage de la personnalité numérique d'Apple Vision Pro, présentée lors de la dernière conférence mondiale des développeurs (WWDC) de l'entreprise en juin dernier. Les utilisateurs de Vision Pro pourraient utiliser la puissance de HUGS pour créer un avatar très réaliste capable de se déplacer de manière fluide avec un temps de rendu de 60 ips.
La vitesse de HUGS permettrait également un rendu en temps réel, ce qui peut être crucial pour une expérience AR fluide et pourrait améliorer les applications sociales, de jeu et professionnelles avec des avatars réalistes et contrôlés par l'utilisateur.
Apple a tendance à éviter d'utiliser des mots à la mode comme « IA » pour décrire les fonctionnalités de ses produits, préférant se concentrer sur l'apprentissage automatique. Cependant, ces documents de recherche suggèrent une implication plus profonde dans les nouvelles technologies d’IA. Pourtant, Apple n'a pas reconnu publiquement la mise en œuvre de l'IA générative dans ses produits et n'a pas encore confirmé officiellement son travail avec Apple GPT.