L’outil d’IA d’édition d’images du MIT remplace facilement l’arrière-plan de n’importe quelle image
Cet outil d’édition d’images assisté par l’IA du MIT peut changer l’arrière-plan de n’importe quelle image
Pendant longtemps, Photoshop a été le programme que beaucoup d’entre nous utilisent pour rendre nos photos superbes avec des corrections rapides et des améliorations créatives.
Aujourd’hui, des chercheurs du Laboratoire d’informatique et d’intelligence artificielle (CSAIL) du MIT ont mis au point un outil d’édition d’images assisté par l’IA qui automatise de nombreuses parties du processus d’édition des photos. Cela facilitera le travail d’édition des photos.
« Au lieu d’avoir besoin d’un monteur expert pour passer plusieurs minutes à peaufiner une image image par image et pixel par pixel, nous aimerions rendre le processus plus simple et plus rapide afin que l’édition d’images puisse être plus accessible aux utilisateurs occasionnels », explique Yagiz Aksoy, chercheur invité au CSAIL du MIT.
« L’objectif est d’arriver à un point où il suffit d’un seul clic pour que les monteurs combinent les images afin de créer ces mondes fantastiques réalistes à part entière. ”
Appelée « Semantic Soft Segmentation » (SSS), cette méthode utilise l’IA (intelligence artificielle) pour séparer automatiquement les objets d’une image, ce qui permet une édition facile de l’image. Par exemple, en utilisant cette technique, vous pouvez modifier l’apparence de l’arrière-plan ou fusionner les images de premier plan et d’arrière-plan dans une scène entièrement nouvelle.
Comment fonctionne le SSS ?
L’outil étudie la texture et la couleur de l’image d’origine et les combine avec des informations collectées par un réseau neuronal sur ce que sont réellement les objets de l’image. Le réseau neuronal traite les caractéristiques de l’image et détecte les « transitions douces » telles que les cheveux et l’herbe.
« Une fois ces segments souples calculés, l’utilisateur n’a pas besoin de modifier manuellement les transitions ou d’apporter des modifications individuelles à l’apparence d’un calque spécifique d’une image », explique Aksoy. « Les tâches d’édition manuelles, comme le remplacement des arrière-plans et l’ajustement des couleurs, seraient beaucoup plus faciles. ”
Les pixels de l’image sont ensuite associés les uns aux autres par couleur. Ces informations sont combinées avec les caractéristiques détectées par le réseau neuronal pour estimer les couches d’images. Cependant, cette tâche n’est pas simple, car il faut apprendre aux ordinateurs à le faire.
« Ce qui est délicat avec ces images, c’est que chaque pixel n’appartient pas uniquement à un seul objet », a ajouté Aksoy, qui a présenté l’article à la conférence annuelle SIGGRAPH sur l’infographie à Vancouver la semaine dernière. « Dans de nombreux cas, il peut être difficile de déterminer quels pixels font partie de l’arrière-plan et lesquels font partie d’une personne spécifique. ”
Où peut-on utiliser le SSS ?
Selon Aksoy, SSS dans son itération actuelle pourrait être utilisé par des plateformes sociales comme Instagram et Snapchat pour rendre leurs filtres plus réalistes, principalement pour changer les arrière-plans des selfies ou simuler des types spécifiques d’appareils photo.
Projets pour l’avenir
À l’avenir, les chercheurs ont l’intention de réduire le temps nécessaire pour calculer une image de quelques minutes à quelques secondes et de rendre les images encore plus réalistes en améliorant la capacité du système à faire correspondre les couleurs et à gérer des éléments tels que l’éclairage et les ombres.
Source : CSAIL