Une IA arrive à « lire » le cerveau pour recréer des images
Le collectif d'artistes Obvious crée de l'art à partir de la technologie.
Photo : afp via getty images / THOMAS SAMSON
Une montagne sombre qui surplombe des plaines rouges, entourant une étrange forme bleue : un trio d'artistes français a présenté à l'AFP une image générée par une intelligence artificielle (IA) à partir de l'activité cérébrale de l'un d'eux. « Une première », selon le collectif.
Dans ma tête, j'ai pensé très fort à un volcan
, raconte Pierre Fautrel, l'un des membres du collectif Obvious, qui s'est prêté à l'expérience.
Pendant une heure dans une machine IRM de l'Institut du cerveau de l'hôpital de la Pitié Salpêtrière à Paris, il a imaginé plusieurs scènes, chacune inspirée par une courte description. Pendant le processus, l'activité de son cerveau a été enregistrée pour ensuite être traitée par une IA spécialement entraînée.
Si Pierre Fautrel confesse que l'œuvre générée n'est pas exactement ce qu'il avait en tête, elle en a gardé les éléments sémantiques : une montagne enflammée avec de la lave qui coule avec un paysage sur fond clair
.
Depuis près d'un an, lui, Hugo Caselles-Dupré et Gauthier Vernier consacrent toute leur énergie au projet Mind to Image (de l'esprit à l'image), qui semble relever de la science-fiction : retranscrire l'imagination d'un artiste grâce à une IA générative.
Une prouesse technique
Pour y parvenir, ces trentenaires sont partis d'un modèle en accès libre (open source) existant, MindEye, qui associe des images vues à l'activité du cerveau, et ont ensuite entraîné leur propre IA en plusieurs étapes.
D'abord, en diffusant des portraits et des paysages à l'un des artistes dans l'IRM pour observer quelles zones de son cerveau s'activent, et en utilisant ces données pour nourrir l'IA.
Celle-ci tente de reconstruire les images originales uniquement à partir des données de cerveau, sans les avoir vues lors de l'entraînement.
Le collectif Obvious est un trio d'artistes, d'amis et de chercheurs.
Photo : afp via getty images / THOMAS SAMSON
Un processus répété de nombreuses fois pendant une dizaine d'heures pour créer une base de données
, explique Hugo Caselles-Dupré.
Dans un deuxième temps, ils ont refait l'exercice en se basant uniquement sur des souvenirs de ces images, avant de tenter l'expérience sur de l'imagination pure à la lecture des textes descriptifs (prompts) écrits avant d'entrer dans l'IRM.
On sait depuis une dizaine d'années que c'est possible de reconstruire une image vue à partir de l'activité de ce cortex visuel.
Mais une image "imaginée", non. Ça représente un défi
, ajoute la chercheuse.
Plusieurs dizaines d'heures sont nécessaires afin de faire le tri dans les informations recueillies dans l'IRM avant de les fournir à l'IA.
Mais une fois ce travail effectué, la génération des images est plus ou moins instantanée, sur des ordinateurs très puissants
, résume Hugo Caselles-Dupré.
Il y a encore deux ans, je n'aurais jamais cru que ça puisse exister.
Pour Charles Mellerio, cette prouesse technique
est liée à un double progrès ces dernières années : celui de l'imagerie médicale, qui a fait un bond en avant en termes de résolution et de précision
, et le développement fulgurant des IA génératives.
L'IA surréaliste
Le trio d'artistes s'est également inspiré du mouvement surréaliste, qui fête ses 100 ans en 2024, pour donner un ton particulier aux créations de son algorithme.
C'est un mouvement où on essaye d'aller le plus rapidement possible entre l'image mentale et la réalisation plastique
, note Pierre Fautrel, qui voit dans leur expérimentation un moyen de réinterpréter le surréalisme
.
Pour nous, il y a vraiment des liens entre l'art et la science.
Huhgo Caselles-Dupré reconnaît que ce type de technologie peut faire très peur si elle était utilisée de la mauvaise manière
.
À l'avenir, les trois artistes espèrent décliner leur expérimentation sur d'autres formats, en reconstruisant du son ou de la vidéo. D'ici là, ils vont présenter leurs différentes créations en octobre à la galerie Danysz, à Paris.
La toile Portrait d'Edmond de Belamy, signée simplement d'une formule mathématique qui a servi à sa création.
Photo : FIFA/Obvious
En 2018, ils avaient sidéré le monde de l'art en vendant plus de 400 000 euros (590 700 $ CA) chez Christie's, à New York, une œuvre présentée comme la première produite par un logiciel d'intelligence artificielle, Edmond de Belamy, un portrait fictif aux contours flous imprimé sur toile.
