Wichtiger Durchbruch! Das Team der Westlake University und das Zhejiang Second Hospital realisierten gemeinsam die chinesische Entschlüsselung der Gehirn-Computer-Schnittstelle

Das Team von Professor Mohammed Sawan am Advanced Neural Chip Center, das Team von Professor Zhang Yue und das Team von Professor Zhu Junming vom Natural Language Processing Laboratory veröffentlichten gemeinsam ihre neuesten Forschungsergebnisse: „Eine leistungsstarke Gehirn-Satz-Kommunikation, die für logosyllabische Sprache entwickelt wurde“ Diese Forschung realisiert eine vollständige chinesische Dekodierung durch eine Gehirn-Computer-Schnittstelle, die in gewissem Maße die Lücke in der internationalen chinesischen Dekodierungs-Gehirn-Computer-Schnittstellentechnologie schließt.

Brain-Computer Interface (BCI) gilt als das wichtigste Schlachtfeld für die zukünftige Schnittstelle und Integration von Biowissenschaften und Informationstechnologie. Es handelt sich um eine Forschungsrichtung mit wichtigem gesellschaftlichem Wert und strategischer Bedeutung.

Die Gehirn-Computer-Schnittstellentechnologie bezieht sich auf die Schaffung eines Verbindungspfads für den Informationsaustausch zwischen dem menschlichen oder tierischen Gehirn und externen Geräten. Ihr Kern ist ein neuartiger Informationsübertragungskanal, der es ermöglicht, die ursprünglichen Muskel- und peripheren Nervenbahnen zu umgehen Die Verbindung zur Außenwelt ersetzt somit gewissermaßen menschliche Bewegung, Sprache und andere Funktionen.

Design und Leistung des chinesischen Vollspektrum-Decoders für die Gehirn-Computer-Schnittstelle

Im August dieses Jahres demonstrierten zwei aufeinanderfolgende Nature-Artikel die Leistungsfähigkeit von Gehirn-Computer-Schnittstellen bei der Sprachwiederherstellung. Allerdings sind die meisten vorhandenen Sprach-Gehirn-Computer-Schnittstellentechnologien für alphabetische Sprachsysteme wie Englisch konzipiert, und die Forschung zu Sprach-Gehirn-Computer-Schnittstellensystemen für nichtalphabetische Systeme wie chinesische Schriftzeichen ist noch leer.

In dieser Studie nutzte das Forschungsteam die stereotaktische Elektroenzephalographie (SEEG), um neuronale Aktivitätssignale im Gehirn zu sammeln, die dem Ausspracheprozess aller Mandarin-Chinesisch-Schriftzeichen entsprechen, und kombinierte sie mit Deep-Learning-Algorithmen und Sprachmodellen, um eine Dekodierung des gesamten Spektrums von zu erreichen Es wurde ein chinesisches Gehirn-Computer-Schnittstellensystem eingerichtet, das die Aussprache aller chinesischen Mandarin-Schriftzeichen abdeckt und eine durchgängige Ausgabe der Gehirnaktivität bis hin zu vollständigen Mandarin-Sätzen ermöglicht.

Chinesisch hat als Sprache, die Piktogramme und Silben kombiniert, mehr als 50.000 Zeichen, was sich deutlich vom Englischen unterscheidet, das aus 26 Buchstaben besteht. Daher ist dies eine große Herausforderung für bestehende Sprach-Gehirn-Computer-Schnittstellensysteme. Um dieses Problem zu lösen, hat das Forschungsteam in den letzten drei Jahren eine eingehende Analyse der Ausspracheregeln und Merkmale der chinesischen Sprache selbst durchgeführt. Ausgehend von den drei Elementen Anfangskonsonanten, Töne und Auslaute chinesischer Aussprachesilben und der Kombination der Merkmale des Pinyin-Eingabesystems wurde ein neues, für Chinesisch geeignetes Sprach-Gehirn-Computer-Schnittstellensystem entwickelt. Das Forschungsteam baute eine chinesische Sprach-SEEG-Datenbank von mehr als 100 Stunden auf, indem es eine Sprachdatenbank entwarf, die alle 407 chinesischen Pinyin-Silben und chinesischen Aussprachemerkmale abdeckte und gleichzeitig EEG-Signale sammelte. Durch Modelltraining mit künstlicher Intelligenz erstellte das System ein Vorhersagemodell für die drei Elemente der Silbenaussprache chinesischer Schriftzeichen (einschließlich Anfangskonsonanten, Töne und Endlaute) und integrierte schließlich alle vorhergesagten Elemente über ein Sprachmodell, wobei semantische Informationen kombiniert wurden, um die wahrscheinlichsten zu generieren Vervollständigen Sie chinesische Sätze.

Das Forschungsteam bewertete die Dekodierungsfähigkeit dieses Gehirn-Computer-Schnittstellensystems in einer simulierten täglichen chinesischen Umgebung. Nach mehr als 100 zufällig ausgewählten Tests zur Dekodierung komplexer Kommunikationsszenen mit 2 bis 15 Zeichen betrug die durchschnittliche mittlere Zeichenfehlerrate aller Teilnehmer nur 29 %, und einige Teilnehmer erreichten durch EEG-Dekodierung völlig korrekte Sätze. Die relativ effiziente Decodierungsleistung profitiert von der hervorragenden Leistung der drei unabhängigen Silbenelement-Decoder und der perfekten Zusammenarbeit des intelligenten Sprachmodells. Insbesondere bei der Klassifizierung von 21 Anfangskonsonanten übersteigt die Genauigkeit des Anfangskonsonantendecoders 40 % (mehr als das Dreifache der Basislinie), und die Top-3-Genauigkeitsrate erreicht fast 100 %, während der Tondecoder zur Unterscheidung von 4 Tönen verwendet wird Die Rate erreichte ebenfalls 50 % (mehr als das Doppelte des Ausgangswerts). Zusätzlich zu den herausragenden Beiträgen der drei unabhängigen Silbenelement-Decoder machen die leistungsstarken automatischen Fehlerkorrekturfunktionen und kontextbezogenen Verbindungsfunktionen des intelligenten Sprachmodells auch die Leistung des gesamten Sprach-Gehirn-Computer-Schnittstellensystems noch herausragender.

Diese Forschung bietet eine neue Perspektive für die Untersuchung der BCI-Dekodierung von Chinesisch, einer phonetischen Sprache, und beweist außerdem, dass die Leistung sprachlicher Gehirn-Computer-Schnittstellensysteme durch leistungsstarke Sprachmodelle erheblich verbessert werden kann, was zukünftige Forschungen zu neuronalen Prothesen für phonetische Sprache liefert . eine neue Richtung. Diese Arbeit weist auch darauf hin, dass Patienten mit neurologischen Erkrankungen bald in der Lage sein werden, computergenerierte chinesische Sätze durch ihre Gedanken zu kontrollieren und ihre Kommunikationsfähigkeit wiederzuerlangen!

Referenzinhalt

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1.full.pdf

Das obige ist der detaillierte Inhalt vonWichtiger Durchbruch! Das Team der Westlake University und das Zhejiang Second Hospital realisierten gemeinsam die chinesische Entschlüsselung der Gehirn-Computer-Schnittstelle. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!