Es sind keine schnellen Worte erforderlich, Stability AI demonstriert MindEye: Das Ziel kann erzeugen, was es will

Nachrichten vom 21. März, die KI-Welle breitet sich aus. Früher dachten viele Leute, dass „Prompt Word Engineer“ ein aufstrebender Jobtyp werden würde, aber das Aufkommen von MindEye zeigt, dassdiese Position möglicherweise nicht vorhanden ist Wert.

Viele Menschen glaubten einst, dass der Schlüssel zum KI-Zeitalter nicht in der Leistungsfähigkeit der Modelle selbst liegt, sondern vielmehr darin, ob Menschen diese KI-Modelle effektiv nutzen können, um bestimmte Aufgaben zu erledigen.

Daher wurde das Konzept der „Prompt Word Engineers“ vorgeschlagen. Sie verfügen über tiefere Verständnisfähigkeiten und können präzisere Prompt Words für künstliche Intelligenz bereitstellen, wodurch die KI besser auf die Bedürfnisse der Benutzer eingeht.

StabilityAI hat MindEye1 im Juli 2023 und kürzlich MindEye2 erneut auf den Markt gebracht, was den Wert des „Prompt Word Engineer“ erheblich verringert. Dieses Modell basiert nicht auf bestimmten Prompt-Wörtern, sondern wird direkt auf der Grundlage der Gehirnwellen des Benutzers generiert Das heißt, was das Gehirn des Benutzers will, wird das sein, was das Modell in Zukunft generieren kann.

MindEye rekonstruiert und ruft Bilder direkt aus der fMRT-Gehirnaktivität ab und kann 2D-Bilder in 3D-Videos umwandeln.

Funktionelle Magnetresonanztomographie (fMRT) ist eine bildgebende Technologie, die die Gehirnaktivität misst, indem sie Veränderungen im Blutfluss zum Gehirn erkennt. Der Hauptzweck dieser Technologie besteht darin, die Funktionen des Gehirns abzubilden und wichtige Daten für die Untersuchung der Gehirnaktivität und die Bewertung möglicher Behandlungen für neurologische Erkrankungen bereitzustellen. Durch die fMRT-Technologie können wir ein detailliertes Verständnis der Aktivitätsmuster des Gehirns bei der Ausführung verschiedener Aufgaben erlangen und so Wissenschaftlern helfen, die Funktionsweise des Gehirns besser zu verstehen.

MindEye basiert auf der Beobachtung der Gehirnaktivität der Teilnehmer mit einem MRT-Scanner. Datensatzsystem. Das Forschungsteam nutzte diese Aufzeichnungen, um ein System zu trainieren, das Rohbilder analysieren und abrufen oder rekonstruierte Bilder erstellen kann. Das System ist in der Lage, die Bilder zu rekonstruieren, die die Teilnehmer aus ihrer Gehirnaktivität sahen, als sie eine Reihe statischer Bilder betrachteten, und den Forschern wertvolle Erkenntnisse und Informationen zu liefern. Auf diese Weise kann MindEye Forschern helfen, ein tieferes Verständnis der Aktivitätsmuster und Mechanismen des Gehirns bei der visuellen Verarbeitung zu erlangen. Diese Technologie ist vielversprechend für die neurowissenschaftliche Forschung

Forscher haben gezeigt, dass MindEye frühere Methoden bei Bildabrufaufgaben übertrifft und Originalbilder aus Kandidatenbildern mit einer Genauigkeit von über 90 % identifiziert. Zur Rekonstruktion nutzt MindEye vorab trainierte generative Modelle.

MindEye kann in verschiedenen Bereichen eingesetzt werden. Im medizinischen Bereich könnte seine Fähigkeit, die visuelle Wahrnehmung aus der Gehirnaktivität zu rekonstruieren, in Diagnose- und Beurteilungsmethoden eingesetzt werden, insbesondere in Situationen, in denen Patienten Schwierigkeiten bei der Kommunikation haben. Das Echtzeit-Analysepotenzial von MindEye verspricht eine Verbesserung der Leistung von Gehirn-Computer-Schnittstellen.

Das Forschungsteam wies auf Einschränkungen im Zusammenhang mit der Datenerfassung hin, einschließlich der erforderlichen langen Scanzeiten und der Möglichkeit von Datenrauschen aufgrund von Bewegungen oder Unaufmerksamkeit der Teilnehmer.

Anbei mit Papierreferenzen

• Rekonstruktion des geistigen Auges: fMRI-to-Image mit kontrastivem Lernen und Diffusionsprioritäten
• MindEye2: Shared-Subject-Modelle ermöglichen fMRI-to-Image mit 1 Stunde Daten
• MindEye2: Shared-Subject-Modelle ermöglichen fMRT-to-Image mit 1 Stunde Daten