重要な突破口！西湖大学のチームと浙江第二病院は共同でブレイン・コンピューター・インターフェースの中国語解読を実現した

先進ニューラルチップセンターのモハメド・サワン教授のチーム、自然言語処理研究室の張岳教授のチーム、朱俊明教授のチームは共同で最新の研究成果「ロゴ音節言語向けに設計された高性能脳文コミュニケーション」を発表した。この研究は、ブレイン・コンピュータ・インターフェースによるフルスペクトルの中国語解読を実現し、国際的な中国語解読ブレイン・コンピュータ・インターフェース技術のギャップをある程度埋めるものである。

ブレイン・コンピューター・インターフェース（BCI）は、ライフサイエンスと情報技術の将来の交差点と統合の主戦場として認識されており、重要な社会的価値と戦略的意義を持つ研究の方向性です。

ブレイン・コンピューター・インターフェース技術とは、人間または動物の脳と外部デバイスとの間の情報交換のための接続経路の作成を指し、その本質は、情報が元の筋肉および末梢神経経路をバイパスできるようにする新しいタイプの情報伝達チャネルです。したがって、脳とのコミュニケーションが達成され、外界とのつながりが人間の動き、言語、その他の機能をある程度置き換えます。

ブレインコンピューターインターフェースフルスペクトル中国語デコーダーの設計と性能

今年 8 月、2 つの連続した Nature 記事で、言語回復における脳とコンピューターのインターフェースの力が実証されました。しかし、既存の言語脳-コンピュータインターフェース技術のほとんどは、英語などのアルファベット言語系を対象に構築されており、漢字などの非アルファベット言語系に対する言語脳-コンピュータインターフェースシステムの研究はまだ空白である。

この研究では、研究チームは定位脳波計（SEEG）を使用して、すべての北京語の発音プロセスに対応する脳内の神経活動信号を収集し、深層学習アルゴリズムと言語モデルと組み合わせて、中国語の全スペクトルの解読を達成しました。中国語の文字の発音 すべての中国語の中国語文字の発音をカバーする中国語の脳とコンピュータのインターフェイス システムが確立され、脳の活動から中国語の文章を完成させるまでのエンドツーエンドの出力が実現されました。

中国語は絵文字と音節を組み合わせた言語であり、26文字で構成される英語とは大きく異なり、5万文字以上あるため、これは既存の言語の脳とコンピューターのインターフェースシステムにとって大きな課題です。この問題を解決するために、研究チームは過去3年間にわたり、中国語自体の発音規則と特徴を徹底的に分析してきました。中国語の発音音節の頭子音、声調、語尾の3つの要素から出発し、ピンイン入力システムの特徴を組み合わせて、中国語に適した新しい言語脳-コンピュータインターフェースシステムを設計しました。研究チームは、中国語のピンイン407音節すべてと中国語の発音特徴を網羅する音声データベースを設計し、同時にEEG信号を収集することで、100時間以上の中国語音声SEEGデータベースを構築した。このシステムは、人工知能モデルのトレーニングを通じて、漢字の発音音節の 3 つの要素 (頭音、声調、語尾を含む) の予測モデルを構築し、最終的に言語モデルを通じてすべての予測要素を統合し、意味情報を組み合わせて最も可能性の高い音声を生成しました。漢文を完成させます。

研究チームは、模擬中国語環境を日常的に使用して、このブレイン・コンピューター・インターフェース・システムの解読能力を評価しました。ランダムに選択された 2 ～ 15 文字の複雑なコミュニケーション シーンのデコード テストを 100 回以上行った結果、全参加者の平均文字誤り率はわずか 29% であり、一部の参加者は EEG デコードを通じて完全に正しい文を取得しました。比較的効率的なデコード パフォーマンスは、3 つの独立した音節要素デコーダーの優れたパフォーマンスとインテリジェント言語モデルの完璧な連携による恩恵を受けています。特に、21 個の頭音の分類に関して、頭音デコーダの精度は 40% (ベースラインの 3 倍以上) を超え、上位 3 個の精度率はほぼ 100% に達します。一方、音調デコーダは 4 音の識別に使用されます。正解率も 50% (ベースラインの 2 倍以上) に達しました。 3 つの独立した音節要素デコーダーの優れた貢献に加えて、インテリジェント言語モデルの強力な自動エラー修正機能とコンテキスト接続機能も、言語脳コンピューター インターフェイス システム全体のパフォーマンスをさらに優れたものにします。

この研究は、音声言語である中国語のBCI解読研究に新たな視点を提供するとともに、言語の脳とコンピューターのインターフェースシステムのパフォーマンスが強力な言語モデルによって大幅に向上できることを証明し、音声言語の神経補綴物に関する将来の研究に貢献します。新しい方向性。また、この研究は、神経疾患を患う患者が近いうちにコンピューターで生成された中国語の文章を思考を通じて制御し、コミュニケーション能力を取り戻すことができるようになるということも示しています。

参考内容

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1.full.pdf

以上が重要な突破口！西湖大学のチームと浙江第二病院は共同でブレイン・コンピューター・インターフェースの中国語解読を実現したの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。