Ce que l’IA oublie pourrait nous tuer, mais de nouvelles recherches l’aident à se souvenir

C'est ironique : mieux comprendre comment le cerveau humain crée des souvenirs pourrait nous aider à réduire l'habitude d'oubli « catastrophique » des réseaux neuronaux.

Selon la plupart des rapports, l’IA sera bientôt partout, un peu comme le sucre ou Taylor Swift.

Les systèmes d’IA constitueront bientôt l’épine dorsale intelligente de tout ce que nous utilisons ou faisons et transformeront les industries et la société dans son ensemble, affirment les experts.

Alors, imaginez si vous volez quelque part là-haut dans un ciel amical et que le système nerveux central de votre avion, désormais géré par l'IA, s'arrête soudainement, laissant l'avion impuissant.

Ou bien, la Bourse de New York décide de prendre des vacances inattendues et immédiates en fermant et en envoyant l’économie - et vos économies - dans une spirale mortelle.

Ou votre grille-pain refuse de fournir le morceau de nourriture que votre corps acceptera avant de vous lancer dans votre marche quotidienne pour vous rendre au travail.

Croyez-le ou non, la technologie meurtrière qui allait précipiter l'humanité vers sa disparition - une conviction appartenant non moins à une autorité en matière d'IA que celui-là même qui l'a inventée, Geoffrey Hinton - a un petit problème à résoudre avant d'être à la hauteur. à son potentiel meurtrier.

Au fur et à mesure que les problèmes évoluent, c'est terrible à avoir - il ne peut tout simplement pas se souvenir des choses plus anciennes.

Et lorsqu’il ne s’en souvient pas, il s’arrête instantanément dans un acte appelé « oubli catastrophique » qui peut avoir d’étranges parallèles avec l’ensemble de votre expérience éducative au lycée.

En souvenir des choses passées

Tout système d’IA de base digne de ce nom doit être capable d’apprendre avec succès une séquence de tâches dans le cadre d’un processus appelé apprentissage continu.

Chez les humains, l’apprentissage se produit lorsque notre cerveau est capable de rappeler des souvenirs d’instances passées d’action.

Cela dépend de la partie du cycle REM de notre phase de sommeil, où les souvenirs récents sont transférés vers la poubelle à long terme afin que de nouveaux puissent être créés.

Les réseaux neuronaux d'IA imitent essentiellement le fonctionnement du cerveau humain. On s'attend depuis longtemps à ce qu'un algorithme puisse utiliser ses connaissances stockées sur l'exécution de toutes ses anciennes tâches pour en apprendre de nouvelles, un peu comme nous, les humains, le faisons - mais cela ne semble tout simplement pas. fonctionner comme prévu.

Quelque chose se passe -- ou ne se passe pas , selon le cas -- dans la formation des réseaux neuronaux artificiels, ce qui provoque d'énormes lacunes dans la cognition. Les réseaux de neurones oublieront toutes leurs anciennes informations tout en apprenant de nouvelles choses - puis ils se figeront.

Pour résoudre ce problème, les chercheurs ont adopté une nouvelle stratégie : ils ont commencé à alimenter les systèmes d'IA avec d'anciennes données tout en en traitant de nouvelles, un processus appelé entraînement entrelacé, qui, selon eux, était le fonctionnement du cerveau pendant le sommeil.

Il s’avère que ce processus ne se produit pas réellement dans le cerveau ; D'un simple point de vue pratique, le temps nécessaire au cerveau - ou à sa machine imitatrice - est loin d'être le même pour digérer toutes ces anciennes données d'apprentissage pendant son sommeil.

La réponse devait être ailleurs.

Des chercheurs de l’Institut d’informatique de l’Académie tchèque des sciences de Prague, en République tchèque, et de l’Université de Californie à San Diego, ont également étudié le sommeil, mais sous un autre angle.

Ils ont évité un réseau neuronal conventionnel - un réseau qui ajuste constamment ses synapses (les liens entre les neurones) jusqu'à ce qu'il soit capable de trouver une solution - pour un réseau « à pointe » qui, selon eux, ressemble le plus au cerveau humain.

Un réseau « à pointe » envoie une sortie seulement après avoir reçu tout un tas de signaux au fil du temps et déplace donc beaucoup moins de données et utilise beaucoup moins d'énergie et de bande passante, selon les chercheurs. Ce faisant, il est capable de réactiver les neurones impliqués dans l’apprentissage d’anciennes tâches. Cela semblait fonctionner.

Le réseau neuronal de pointe était capable d’effectuer les deux tâches après avoir subi des phases de sommeil.

"Nos travaux mettent en évidence l'utilité de développer des solutions d'inspiration biologique", déclare l'un des chercheurs de l'étude, Jean Erik Delanois, de l'Université de Californie à San Diego.

À l'image de ton créateur

Pendant ce temps, plus récemment, des chercheurs de l’Ohio State University ont évité le sommeil tout en s’attaquant au même problème d’oubli catastrophique dans les réseaux neuronaux d’apprentissage profond.

Ils ont utilisé une approche totalement différente et ingénieuse pour résoudre ce problème.

"Nos recherches se penchent sur les complexités de l'apprentissage continu dans ces réseaux de neurones artificiels, et nous avons découvert des informations qui commencent à combler le fossé entre la façon dont une machine apprend et la façon dont un humain apprend", a déclaré Ness Shroff, professeur d'informatique et ingénierie à l'État de l'Ohio.

Shroff et ses collègues ont découvert que les algorithmes d'apprentissage automatique traditionnels sont alimentés de force en une seule fois, mais ce n'est pas nécessairement bon pour la machine. En fait, la proximité des tâches, ce qu’elles ont en commun et même l’ordre dans lequel les tâches sont enseignées affectent la façon dont l’algorithme s’en souvient.

Dans ce qui pourrait bien être l’une des ironies les plus curieuses de notre époque, Shroff et ses collègues ont découvert que les algorithmes, tout comme les humains, étaient capables de mieux se souvenir lorsqu’ils étaient soumis à des tâches très différentes successivement au lieu d’une série de tâches similaires.

Le cerveau humain fonctionne également de cette façon. Les mêmes événements - fêtes, vacances, voire jours de la semaine - se confondent si le même lieu ou la même expérience se répète. Mais les différents se démarquent.

Les chercheurs de l’État de l’Ohio ont découvert que des tâches différentes devraient être introduites très tôt dans le processus d’apprentissage continu pour que l’IA puisse apprendre de nouvelles choses ainsi que des tâches similaires aux anciennes.

"Leur travail est particulièrement important car comprendre les similitudes entre les machines et le cerveau humain pourrait ouvrir la voie à une compréhension plus approfondie de l'IA", a déclaré Shroff.

Pour que l’IA soit réellement efficace et sûre, les algorithmes doivent être capables de mieux apprendre, de gérer des situations différentes et inattendues et d’être évolutifs.

Ces deux solutions pour les mémoires machine altérées devraient contribuer considérablement à atteindre cet objectif.