Une percée de l’IA permet aux scientifiques de lire des manuscrits romains une fois enterrés par le Vésuve
ZDNET en profondeur : découvrez le voyage de 20 ans pour décoder les rouleaux d'Herculanum, carbonisés par une éruption volcanique historique il y a deux mille ans - et illisibles jusqu'à présent.
Parchemin d'Herculanum avec lignes laser rouges scanné à l'Institut de France par Brent Seales et son équipe.
Après une éruption volcanique historique, deux millénaires et un effort international visant à utiliser l'intelligence artificielle pour lire un ensemble de mystérieux manuscrits anciens, les chercheurs savent ce qu'au moins un philosophe épicurien romain avait en tête : la nourriture.
Les humains, bien que pleins de surprises, peuvent être terriblement prévisibles.
Cette révélation constitue le point culminant du Vesuvius Challenge, un concours lancé en mars 2023 par le chercheur Brent Seales de l'Université du Kentucky, l'ancien PDG de GitHub Nat Friedman et l'entrepreneur et investisseur Daniel Gross. L'objectif était de prendre des tomodensitométries (CT) de ce que l'on appelle les manuscrits d'Herculanum ainsi que des logiciels basés sur l'apprentissage automatique et de les mettre entre les mains de détectives avertis du monde entier dans l'espoir que quelqu'un puisse lire les manuscrits. sans même les toucher.
Avec le soutien de la Silicon Valley, les organisateurs ont fait miroiter des prix en argent pour progresser dans la recherche de la lecture des écrits autrefois ensevelis et carbonisés dans l'éruption du Vésuve. Cela comprenait 700 000 $qui seront répartis entre l'équipe gagnante de trois : Youssef Nader, Luke Farritor et Julian Schilliger, tous étudiants. Ils ont soumis 15 colonnes de texte, dont l'analyse préliminaire suggère qu'elles contiennent des écrits indiquant si la rareté ou l'abondance de biens comme la nourriture affecte le plaisir que les humains les trouvent.
Le Vesuvius Challenge marque un moment charnière dans la quête pour pénétrer à l’intérieur des parchemins. C'est aussi un grand moment pour Seales, le chercheur de l'Université du Kentucky : il essaie d'accomplir cet objectif depuis deux décennies.
Seales et diverses incarnations de son équipe n’ont jamais été aussi proches de la lecture du trésor de textes. D'une certaine manière, la date limite du concours, le 31 décembre, n'avait pas vraiment d'importance. Le défi, tant en termes de grand prix que de puzzle lui-même, a suscité l'intérêt et recruté de nouveaux collaborateurs dont les contributions se comparent à environ 10 ans de travail humain au cours des trois premiers mois seulement.
"C'est stupéfiant de ressentir ce genre de pouvoir rédempteur que nous pouvons détenir maintenant grâce à l'IA, à la tomographie et au calcul", a déclaré Seales dans une interview avant l'annonce du grand prix.
Cela peut sembler beaucoup à faire, mais Michael McOsker, un chercheur qui a étudié les manuscrits, estime que tous ces efforts pourraient donner lieu à environ 200 nouveaux livres. La collection est également la seule bibliothèque de l’Antiquité qui subsiste.
"Nous possédons probablement moins de 1 % de toute la littérature écrite", a-t-il déclaré. "Tout gain de connaissances est important."
L'histoire dévoilée
Brent Seales et Seth Parker (responsable du projet Digital Restoration Initiative) scannant une réplique du rouleau d'Herculanum sur le campus de l'Université du Kentucky.
Seales n’avait pas l’intention de passer deux décennies à déballer des textes anciens. Originaire de l'ouest de New York, il était un spécialiste de l'imagerie qui s'intéressait à l'IA. Le problème : il ne se passait pas grand-chose avec l’IA à l’époque. La vision par ordinateur semble cependant être un domaine dans lequel des progrès sont réalisés.
Il a rencontré un professeur de l’Université du Kentucky au milieu des années 1990 qui travaillait sur un manuscrit du poème épique anglo-saxon Beowulf, à une époque où l’on s’efforçait de numériser les bibliothèques. Ayant lu Beowulf au lycée, comme tant d'enfants, l'intérêt de Seales a été piqué. Il a réfléchi au pouvoir de numériser ce seul texte - le seul manuscrit existant témoignant de l’histoire.
La numérisation est passée à la restauration. Une fois qu’un texte était numérique, la qualité de l’image pouvait être améliorée. Faire une copie ne devait pas nécessairement être la fin. Et s’ils pouvaient aplatir numériquement un document froissé, pourquoi ne pourraient-ils pas également le déployer ?
"Nous avons inventé l'idée de déballer complètement quelque chose avant de savoir ce que nous allions réellement déballer", a déclaré Seales.
En 2004, Seales a finalement trouvé quelque chose à déballer lorsqu'un spécialiste des classiques de l'Université du Michigan, Richard Janko, lui a dit qu'il avait identifié la solution idéale.
Entrez : Les rouleaux d'Herculanum.
Les caractères grecs, πορφύραc, révélés comme le mot « VIOLET », font partie des multiples caractères et lignes de texte qui ont été extraits par Luke Farritor, candidat au Vesuvius Challenge.
Creuser le passé
Dans les temps modernes, l’éruption du Vésuve pourrait évoquer des images de ces corps ensevelis dans les cendres se tenant les uns les autres alors que leur monde prenait fin. C'est un événement historique à la fois fascinant, tragique et même un peu effrayant.
Le seul récit de cette époque provient des lettres de l'auteur et avocat romain Pline le Jeune, qui décrivait des foules paniquées et un « épais nuage noir » qui consumait la terre comme une inondation.
"Certaines personnes avaient tellement peur de mourir qu'elles priaient pour la mort", a-t-il écrit.
Lorsque le nuage s'est suffisamment éclairci pour laisser entrer la lumière du jour, Pline le Jeune a vu tout enfoui profondément dans une cendre qui lui rappelait la neige.
À Herculanum, une ville située à environ 16 km à l'ouest de Pompéi et encore plus proche du volcan en éruption, toutes les cendres et les débris qui tombaient ont enterré une villa qui appartenait autrefois au beau-père de Jules César. Les rendus du domaine montrent une cour géante, des jardins et des arches. Surtout, la villa abritait également une bibliothèque de rouleaux de papyrus.
Alors qu'environ 20 mètres de cendres chaudes peuvent sembler être le pire résultat possible pour le papyrus, la chaleur a carbonisé les rouleaux, les préservant des effets naturels de détérioration de l'air.
Ce n'est que dans les années 1700 qu'un agriculteur, alors qu'il creusait un puits, heurta du marbre et lança des travaux d'excavation qui révélèrent plus de 600 rouleaux non ouverts. (Le nombre exact de papyrus d'Herculanum est difficile à déterminer, a déclaré Seales, étant donné que les chercheurs comptent les fragments et les morceaux partiels. Certains évaluent ce nombre à 1 800.)
Les rouleaux ont été confiés aux soins d'Antonio Piaggio, un érudit de la Bibliothèque du Vatican, qui a inventé une machine pour déballer certains des rouleaux les mieux conservés. Piaggio n'a pas toujours réussi.
Ce qui a été déballé contenait principalement de la philosophie épicurienne, ce qui a amené McOsker à croire que les parchemins restants pourraient être de la même nature. Ils ne réécriveront peut-être pas la façon dont les érudits perçoivent le monde antique, mais compte tenu de la pénurie d’écrits de l’époque, 200 livres supplémentaires pourraient constituer une récolte décente.
Ce n'est pas une "expérience"
Aujourd'hui, les manuscrits sont conservés dans plusieurs endroits en Europe, la majeure partie se trouvant à la Bibliothèque nationale de Naples en Italie.
Il n'est pas surprenant que la plupart des gens ne puissent pas entrer et s'amuser avec des parchemins fragiles vieux de 2 000 ans. Il a fallu des années à Seales pour monter son dossier grâce au financement, au succès d’autres projets et à la diplomatie universitaire pour y accéder.
Seales, qui avait une expérience en innovation chirurgicale comme la laparoscopie, souhaitait utiliser la tomodensitométrie pour numériser les rouleaux, puis créer un logiciel pour envelopper ces scans.
En 2005, Seales a eu l’occasion de partager son idée lors d’une conférence à Oxford. À cette époque, lui et son équipe avaient rassemblé un exemple de papyrus encastré dans une sphère en polyuréthane, qu'ils avaient numérisé et virtuellement déballé.
"C'était en quelque sorte la débutante qui descendait les escaliers avec la robe en disant : 'viens danser avec moi'", a déclaré Seales.
La réponse a été positive, mais aux oreilles des conservateurs protecteurs, cela ressemblait encore beaucoup à une expérience, et « expérimentation » est un gros mot lorsqu'il est appliqué à quelque chose d'aussi rare et ancien.
Après quatre années de travail acharné, de relations et de finesse, en 2009, Seales et son équipe se rendent à l'Institut de France pour réaliser leurs premiers micro-CT scans des papyrus.
"J'étais à la fois terrifié et incroyablement excité", a déclaré Seales. Les rouleaux étaient petits et ressemblaient à du charbon de bois. "On vous dit que c'est tout un livre de l'Antiquité… et que ce n'est qu'une toute petite chose parce qu'elle a rétréci lorsqu'elle s'est carbonisée."
Même s'il s'agissait d'un exploit d'obtenir enfin des analyses des parchemins, Seales a eu du mal à faire fonctionner le logiciel comme l'équipe le souhaitait.
S’ils ne voulaient pas déchiffrer les parchemins d’Herculanum immédiatement, ils avaient besoin d’un autre objectif vers lequel viser.
Dépannage
Dire que Seales travaille sur les manuscrits d'Herculanum depuis 20 ans pourrait donner l'impression qu'il entrait et sortait du bureau chaque jour avec cette concentration singulière.
En réalité, il y avait des périodes de temps où l'équipe ne pouvait pas travailler sur les parchemins, ou travaillait sur la numérisation numérique et le déballage d'autres textes qui, d'une manière ou d'une autre, les aidaient encore à se rapprocher de leur objectif final.
En 2006, l'équipe de Seale a déballé une copie médiévale du Livre de l'Ecclésiaste écrite en hébreu. Un an plus tard, en 2007, Seales faisait partie d'une équipe qui s'est rendue à Venise pour numériser la plus ancienne copie complète de l'Iliade d'Homère.
Parchemin d'Herculanum en cours de numérisation à la Diamond Light Source à l'intérieur de son boîtier de numérisation.
"Chacun de ces projets que j'ai menés au cours de mon parcours m'a donné un peu de crédibilité en tant que chercheur et une certaine connaissance en ma capacité d'approcher les décideurs de ces musées et bibliothèques pour avoir une conversation avec eux." dit-il. Il a même appris suffisamment de français pour parler avec les chercheurs à Paris.
Pourtant, en 2012, la campagne d’Herculanum était un peu en retrait. L'année suivante, Seales a pris un congé sabbatique et a passé un an à Paris en tant que scientifique invité à l'Institut culturel de Google. Cela lui a donné l'occasion de rétablir la confiance et de bénéficier d'une infusion de nouvelles personnes et de nouvelles idées, au moment même où Google était sur le point d'acquérir le laboratoire de recherche en IA DeepMind.
À cette époque, Seales a commencé à poursuivre l’idée de réaliser des scans à l’intérieur d’un accélérateur de particules, ce qui augmenterait considérablement la résolution des images.
La réinitialisation était pratique, car le défi technique de la lecture des parchemins restait épineux.
L’un des principaux problèmes est ce qu’on appelle la segmentation. Bien que les parchemins soient assez petits, les scans sont détaillés. Le responsable technique Stephen Parsons, qui a d'abord travaillé avec Seales alors qu'il était étudiant à l'Université du Kentucky, a décrit sa tentative de séparer numériquement les couches de papyrus partiellement broyé et le réseau de fibres visible dans les scans. Il l'a comparé à ce à quoi pourrait ressembler une section transversale d'une bûche, mais quelque peu brisée.
Un autre défi a été de lire l’encre sur le papyrus. Parsons a déclaré que la meilleure technologie d’imagerie qu’ils doivent voir à l’intérieur des rouleaux est le microCT à rayons X. Le problème ? Il n'y a pas assez de contraste pour lire l'encre.
Les rouleaux d'Herculanum ont été écrits avec de la suie provenant essentiellement de lampes à huile, qui chimiquement est du carbone presque pur. Comme le papyrus est également chimiquement constitué de carbone, l’équipe s’est retrouvée à regarder du gris sur du gris.
D'autres projets, comme le rouleau d'En-Gedi en 2016 - le plus ancien rouleau du Pentateuque (relatif aux cinq premiers livres de la Bible) depuis les rouleaux de la Mer Morte, dont le déballage numérique réussi a été une étape majeure pour l'équipe de Seales - ont utilisé de l'encre. contenant du fer, qui apparaît aux points lumineux des rayons X.
Parsons a déclaré qu’ils émettaient l’hypothèse qu’il pourrait encore y avoir une différence détectable. Il l’a comparé à des lignes peintes en noir sur l’asphalte. Peut-être qu’un modèle d’apprentissage automatique pourrait être formé pour voir l’encre.
Il a fallu des années de travail, testant l'idée sur des parchemins qu'ils avaient fabriqués et des fragments de parchemins d'Herculanum qui s'étaient brisés et révélaient leur écriture, pour arriver au point où ils étaient capables de lire deux caractères à partir des couches profondes d'un parchemin.
"C'était clair à ce moment-là. Même s'il faut de nombreuses années pour se développer et se perfectionner... cette approche finira par porter ses fruits", a déclaré Parsons. Un an plus tard, c’est chose faite.
Un problème logiciel
Ce à quoi la segmentation et la détection d’encre font allusion, c’est que l’obtention des scans n’a été qu’une partie du défi global des parchemins. Prendre les données et les trier de manière algorithmique a été une toute autre aventure.
Après plusieurs itérations, l'équipe de Seales a créé Volume Cartographer, écrit principalement par le chef de projet Seth Parker, qui a rejoint l'équipe en 2012. Il s'agit d'un logiciel open source utilisé pour cartographier l'intérieur des parchemins et donner un sens à la « soupe de mots flottante, " comme l'a dit Parker.
Les 12 pezzi, ou « morceaux », du rouleau de papyrus d'Herculanum ouvert connu sous le nom de P.Herc.118. La compilation d'images appartient à la bibliothèque Bodleian de l'Université d'Oxford.
Parker a commencé sa carrière en tant que monteur vidéo en travaillant sur des documentaires de recherche. Il avait travaillé avec Seales, et lorsqu'un membre de l'équipe est parti et que Seales avait besoin de quelqu'un qui connaisse les caméras et la capture d'images, il a recruté Parker. Autrefois spécialisé en médias et communication, il s'est tourné vers un doctorat. en informatique.
Il reçoit également une aide supplémentaire avec le Volume Cartographer de la part de personnes embauchées par le Vesuvius Challenge qui travaillent sur une liste de souhaits de corrections de bugs.
Créer le Vesuvius Challenge signifiait ouvrir des années de travail à une main-d’œuvre mondiale inconnue. Parsons estime que plus de 1 000 personnes ont travaillé sur le projet pendant la majeure partie de l'année - quelque chose à la fois effrayant et excitant, a-t-il déclaré.
Après tout, ce sont des étudiants en informatique qui ont fait la première découverte du mot « violet » en octobre.
Continuez à faire défiler
Bien que 15 colonnes de texte soient plus que ce à quoi Seales s’attendait, ce n’est pas la fin de l’histoire.
En regardant plus loin, Parker et Parsons imaginent que leur travail pourrait également inspirer d’autres domaines utilisant l’imagerie dimensionnelle.
Les tomodensitogrammes et les IRM sont déjà puissants, mais que se passe-t-il s'il existe encore des informations cachées à l'œil nu des médecins qui pourraient améliorer la détection des tumeurs, etc. ?
"Il existe des moyens de transformer ces données pour les rendre plus interprétables par un humain", a déclaré Parker.
"Il n'y a aucune raison de ralentir. Lisons toute la bibliothèque", a déclaré Luke Farritor, étudiant et membre de l'équipe.
Et il reste encore des textes anciens à lire. Parallèlement, ils travaillent sur un manuscrit médiéval de la bibliothèque Morgan, un évangile copte dont les pages sont fusionnées. Ils ont passé plusieurs scanners et tentent une fois de plus de démêler virtuellement ce qui est écrit à l'intérieur.
L’objectif à court terme pour 2024 est de lire 90 % du parchemin lancé par Nader, Farritor et Schilliger. Et oui, il y aura encore plus de prix en jeu.
"Nous sommes en train de faire la fête en ce moment, mais il n'y a aucune raison de ralentir. Lisons toute la bibliothèque !" Farritor a déclaré dans un communiqué.
Pour Parsons, il y a quelque chose de profond à travailler sur ces textes et à imaginer les humains qui les ont écrits il y a 2 000 ans - des gens qui n'auraient jamais deviné que quelqu'un en 2024 serait si intéressé par ce qu'ils avaient à dire, et n'auraient certainement pas pu le faire. conçu la technologie derrière ces efforts. Même aujourd’hui, la plupart des gens auraient probablement du mal à définir « l’apprentissage automatique ».
"Tout ce temps a passé et cette partie de ce voyage est arrivée à moi et à mon écran d'ordinateur", a déclaré Parsons. "C'est assez humiliant."
Après toutes ces années, Seales connaît l’importance de cette lignée de l’humanité. Les textes anciens parlent d'amour, de guerre, de musique, de rhétorique, de poésie - des sujets qui font encore l'objet d'angoisses aujourd'hui. Et de la nourriture, bien sûr.
"Le dialogue intellectuel mature qui se produit dans ces manuscrits anciens est distinctement humain. Être capable de raconter des histoires est distinctement humain", a déclaré Seales.
Seales imagine qu'il y a 2 000 ans, débarrassé de toutes les frontières religieuses, politiques ou autres, il existe un moyen de se rallier autour de ce que signifie être humain.
"Nous devons le lire", a déclaré Seales. "Nous devons l'étudier. Nous ne pouvons pas l'oublier."