Wie verarbeitet das Gehirn Sprache? Princeton-Team analysiert Transformer-Modell

Editor |. Radish Skin

Bei der Verarbeitung von Sprache setzt das Gehirn spezielle Berechnungen ein, um aus komplexen sprachlichen Strukturen Bedeutung zu konstruieren. Künstliche neuronale Netze auf Basis der Transformer-Architektur sind wichtige Werkzeuge für die Verarbeitung natürlicher Sprache.

Forscher der Princeton University erforschen das Transformer-Modell und die funktionale Spezialisierung des menschlichen Gehirns bei der Sprachverarbeitung.

Transformer integriert Kontextinformationen zwischen Wörtern durch strukturierte Schaltkreisberechnungen. Die aktuelle Forschung konzentriert sich jedoch hauptsächlich auf die internen Darstellungen („Einbettungen“), die von diesen Schaltkreisen erzeugt werden.

Die Forscher analysierten Schaltungsberechnungen direkt: Sie dekonstruierten diese Berechnungen in funktional spezialisierte „Transformationen“, die Kontextinformationen über Wörter hinweg integrieren. Anhand funktioneller MRT-Daten, die gewonnen wurden, während die Teilnehmer naturalistische Geschichten hörten, testeten die Forscher, ob diese „Transformationen“ für signifikante Unterschiede in der Gehirnaktivität über kortikale Sprachnetzwerke hinweg verantwortlich sein könnten.

Untersuchungen haben bewiesen, dass neue Berechnungen, die von jedem funktionell spezialisierten „Aufmerksamkeitskopf“ durchgeführt werden, die Gehirnaktivität in bestimmten kortikalen Bereichen auf unterschiedliche Weise vorhersagen. Diese Aufmerksamkeitsköpfe steigen entlang von Gradienten ab, die verschiedenen Schichten und Kontextlängen im niedrigdimensionalen kortikalen Raum entsprechen.

Die Forschung wurde am 29. Juni 2024 in „Nature Communications“ unter dem Titel „Gemeinsame funktionale Spezialisierung in transformatorbasierten Sprachmodellen und dem menschlichen Gehirn“ veröffentlicht.

Sprachverstehen ist grundsätzlich ein konstruktiver Prozess. Unser Gehirn löst lokale Abhängigkeiten zwischen Wörtern, fügt Spracheinheiten auf niedriger Ebene zu Bedeutungseinheiten auf hoher Ebene zusammen und bildet letztendlich die Erzählungen, mit denen wir der Welt einen Sinn geben.

Wenn der Sprecher beispielsweise „geheimer Plan“ erwähnt, werden wir implizit die Beziehung zwischen den Wörtern in dieser Struktur verarbeiten, um zu verstehen, dass „geheim“ „plan“ modifiziert. Auf einer höheren Ebene nutzen wir den Kontext der umgebenden Erzählung, um die Bedeutung des Satzes zu verstehen – was beinhaltet dieser Plan, wer hält dieses Geheimnis und vor wem verheimlichen sie es?

Dieser Kontext kann über Minuten verteilt Hunderte von Wörtern enthalten. Es wird angenommen, dass das menschliche Gehirn diese Prozesse durch eine Reihe funktional spezialisierter Berechnungen umsetzt, die Sprachsignale in umsetzbare Bedeutungsdarstellungen umwandeln.

Traditionelle Neuroimaging-Forschung verwendet experimentelle Mittel, um spezifische Sprachberechnungsprozesse zu analysieren und sie der Gehirnaktivität in einer kontrollierten Umgebung zuzuordnen. Dieser Ansatz hat jedoch Schwierigkeiten, die Komplexität natürlicher Sprache zu verallgemeinern.

In den letzten Jahren haben tiefe neuronale Netze auf Basis der Transformer-Architektur die Art und Weise der Verarbeitung natürlicher Sprache verändert. Diese Modelle lernen durch selbstüberwachtes Training an großen echten Textkorpora und ermöglichen so eine kontextsensitive Bedeutungsdarstellung jedes Wortes in langen Sequenzen.

Zusätzlich zur eingebetteten Darstellung innerhalb des Transformer-Modells implementieren einige Aufmerksamkeitsköpfe im Transformer-Modell spezifische funktionale Spezialisierungen, wie z. B. das Parsen direkter Verbobjekte oder das Verfolgen von Substantivmodifikatoren.

In der aktuellen Studie glauben die Forscher, dass kopfweise Transformationen (funktionell spezialisierte Kontextberechnungen, die von einzelnen Aufmerksamkeitsköpfen durchgeführt werden) ein ergänzendes Fenster zur Sprachverarbeitung im Gehirn bieten können. Eine neuroinformatische Theorie der Verarbeitung natürlicher Sprache muss letztendlich festlegen, wie die Bedeutung von Wörtern aufgebaut wird.

Die Transformer-Architektur bietet expliziten Zugriff auf Kandidatenmechanismen zur Quantifizierung, wie die Bedeutung vergangener Wörter in die Bedeutung des aktuellen Wortes passt.

Wenn dies ein wichtiger Teil der menschlichen Sprachverarbeitung ist, dann sollten diese Transformationen eine gute Grundlage für die Simulation der menschlichen Gehirnaktivität beim Verstehen natürlicher Sprache bieten.

Die Forscher extrahierten Transformationen aus dem umfassend untersuchten BERT-Modell und verwendeten ein Kodierungsmodell, um zu bewerten, wie gut diese Transformationen zusammen mit mehreren anderen Sprachmerkmalsfamilien bei der Vorhersage der Gehirnaktivität beim Verstehen natürlicher Sprache funktionieren.

Abbildung: Vergleich von drei Klassen von Sprachmodellen über kortikale Sprachbereiche hinweg. (Quelle: Paper)

Die Forscher verglichen die Leistung von drei Sprachmodellen: klassische Sprachfunktionen, nicht kontextuelle Worteinbettungen (GloVe) und kontextbezogene Transformer-Funktionen (BERT).

Abbildung: Ebeneneinstellungen für Einbettungen und Transformationen. (Quelle: Papier)

Die Forscher fanden heraus, dass Transformationen auf Augenhöhe mit Einbettungen waren und im Allgemeinen nicht-kontextuelle Einbettungen und klassische syntaktische Annotationen übertrafen, was darauf hindeutet, dass die aus umgebenden Wörtern extrahierten Kontextinformationen sehr umfangreich sind.

Tatsächlich erklären Transformationen in frühen Schichten des Modells mehr der einzigartigen Unterschiede in der Gehirnaktivität als die Einbettungen selbst. Schließlich zerlegen die Forscher diese Transformationen in funktionsspezifische Berechnungen, die von einzelnen Aufmerksamkeitsköpfen durchgeführt werden.

Abbildung: Korrespondenz zwischen Headwise-Gehirn und Abhängigkeitsvorhersage. (Quelle: Papier)

Forscher haben herausgefunden, dass bestimmte Eigenschaften von Headwise (z. B. die Rückblickentfernung) die Zuordnung zwischen Headwise-Transformationen und kortikalen Sprachohren bestimmen. Die Forscher fanden außerdem heraus, dass für bestimmte Sprachbereiche kopfweise Transformationen, die bestimmte Sprachabhängigkeiten bevorzugt kodieren, auch die Gehirnaktivität besser vorhersagen.

Zusammenfassend bietet diese Forschung eine neue Perspektive zum Verständnis der menschlichen Sprachverarbeitung.

Link zum Papier:https://www.nature.com/articles/s41467-024-49173-5

Das obige ist der detaillierte Inhalt vonWie verarbeitet das Gehirn Sprache? Princeton-Team analysiert Transformer-Modell. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!