Une nouvelle IA est capable de lire dans nos pensées et de créer les images auxquelles nous pensons

Grâce aux dernières avancées de l’Intelligence Artificielle générative, nous pouvons concrétiser notre imagination. Même si nous ne savons pas dessiner, des projets comme Midjourney nous permettent de créer des dessins ou des photographies à partir de nos explications.

[El as en la manga de Android: imágenes creadas con Inteligencia Artificial en cualquier app]

Cependant, ce n’est pas aussi simple que cela. La clé pour obtenir une bonne image créée par l’IA est précisément la façon dont nous la leur expliquons, et les meilleurs résultats sont obtenus si nous écrivons en gardant à l’esprit les limites de l’IA et la façon dont elle interprète nos commandes. Et si nous n’avions rien à écrire pour qu’une IA dessine ce que nous pensons ?

C’est ce qu’ont réalisé des chercheurs de l’Université d’Osaka, après une étude (PDF) qui a duré plus d’une décennie mais qui est sortie, curieusement, juste au moment où l’IA générative est sur toutes les lèvres.

Les chercheurs reconnaissent que ces derniers temps, les modèles génératifs réussissent à recréer des images réalistes, tant qu’ils sont basés sur des phrases très fidèles à ce que l’utilisateur pense, ce qui est un défi. Pour résoudre ce problème, ils proposent un nouveau modèle de diffusion capable de reconstruire des images à partir de l’activité cérébrale de l’utilisateur.

Dans les expériences, les chercheurs ont obtenu des données sur l’activité cérébrale à l’aide de l’imagerie par résonance magnétique fonctionnelle (IRMf), capable de générer des images d’activité dans diverses régions du cerveau. Le système qu’ils ont créé était capable d’interpréter ces données pour créer des images haute résolution de ce que pensaient les volontaires.

Plus précisément, lors des tests, diverses images ont été montrées aux volontaires, et l’IA a pu “interpréter” leur activité cérébrale et créer une image très similaire à celle d’origine qu’ils avaient vue de leurs propres yeux. Les résultats parlent d’eux-mêmes, et bien que les images résultantes ne soient pas exactement les mêmes que celles d’origine, l’idée générale est maintenue, comme la perspective, les couleurs et la position des éléments. Les résultats étaient différents pour chaque sujet de test, puisque chaque personne “pensait” différemment, mais ils avaient tous des éléments en commun.

En fait, ce n’est pas la première étude à essayer de « voir » les images auxquelles nous pensons ; La réussite de ces chercheurs a été dans l’utilisation d’un modèle de diffusion qui a permis d’obtenir ces résultats si fidèles à l’original. Pour ce faire, ils ont dû cartographier des composants spécifiques du modèle avec des régions spécifiques du cerveau.