Aucun mot d'invite requis, Stability AI démontre MindEye : la cible peut générer ce qu'elle veut

Nouvelles du 21 mars, la vague de l'IA déferle. Auparavant, beaucoup de gens pensaient que « ingénieur de mots rapides » deviendrait un type d'emploi émergent, mais l'avènement de MindEye montre quece poste n'a peut-être pas lieu. valeur.

Beaucoup de gens pensaient autrefois que la clé de l'ère de l'IA n'était pas la puissance des modèles eux-mêmes, mais plutôt la capacité des humains à utiliser efficacement ces modèles d'IA pour accomplir des tâches spécifiques.

Par conséquent, le concept d'« ingénieurs de mots rapides » a été proposé. Ils ont des capacités de compréhension plus profondes et peuvent fournir des mots rapides plus précis pour l'intelligence artificielle, aidant ainsi l'IA à mieux répondre aux besoins des utilisateurs.

StabilityAI a lancé MindEye1 en juillet 2023 et a récemment lancé à nouveau MindEye2, ce qui réduit considérablement la valeur de « l'ingénieur de mots d'invite ». Ce modèle ne repose pas sur des mots d'invite spécifiques, mais est directement généré en fonction des ondes cérébrales de l'utilisateur, et C'est-à-dire que ce que veut le cerveau de l'utilisateur sera ce que le modèle pourra générer à l'avenir.

MindEye reconstruit et récupère des images directement à partir de l'activité cérébrale IRMf et peut convertir des images 2D en vidéos 3D.

L'imagerie par résonance magnétique fonctionnelle (IRMf) est une technique de neuroimagerie qui mesure l'activité cérébrale en détectant les changements dans le flux sanguin vers le cerveau. L'objectif principal de cette technologie est de cartographier les fonctions cérébrales, fournissant ainsi des données importantes pour étudier l'activité cérébrale et évaluer les traitements potentiels des maladies neurologiques. Grâce à la technologie IRMf, nous pouvons acquérir une compréhension approfondie des schémas d'activité du cerveau lors de l'exécution de différentes tâches, aidant ainsi les scientifiques à mieux comprendre le fonctionnement du cerveau

MindEye est basé sur l'observation de l'activité cérébrale des participants sur un scanner IRM. système défini. L’équipe de recherche a utilisé ces enregistrements pour former un système capable d’analyser et de récupérer des images brutes ou de générer des images reconstruites. Le système est capable de reconstruire les images que les participants ont vues à partir de leur activité cérébrale lorsqu'ils ont visualisé une série d'images statiques, fournissant ainsi aux chercheurs des informations et des informations précieuses. De cette manière, MindEye peut aider les chercheurs à mieux comprendre les schémas et les mécanismes d'activité du cerveau lors du traitement visuel. Cette technologie est prometteuse pour la recherche en neurosciences

Les chercheurs ont démontré que MindEye surpassait les méthodes précédentes dans les tâches de récupération d'images, identifiant les images originales à partir d'images candidates avec une précision de plus de 90 %. Pour la reconstruction, MindEye utilise des modèles génératifs pré-entraînés.

MindEye peut être appliqué dans divers domaines. Dans le domaine médical, sa capacité à reconstruire la perception visuelle à partir de l’activité cérébrale pourrait être utilisée dans des méthodes de diagnostic et d’évaluation, notamment dans les situations où les patients ont des difficultés à communiquer. Le potentiel d’analyse en temps réel de MindEye promet d’améliorer les performances des interfaces cerveau-ordinateur.

L'équipe de recherche a souligné les limites liées à la collecte de données, notamment les longs temps d'analyse requis et le potentiel de bruit de données dû au mouvement ou à l'inattention des participants.

Joint avec des références papier

• Reconstruire l'œil de l'esprit : IRMf vers image avec des priorités d'apprentissage et de diffusion contrastées
• MindEye2 : les modèles de sujets partagés permettent l'IRMf vers l'image avec 1 heure de données
• MindEye2 : les modèles à sujets partagés permettent l'IRMf vers l'image avec 1 heure de données