Comment le cerveau traite-t-il le langage ? L'équipe de Princeton analyse le modèle Transformer

Éditeur | Radis Skin

Lors du traitement du langage, le cerveau déploie des calculs spécialisés pour construire du sens à partir de structures linguistiques complexes. Les réseaux de neurones artificiels basés sur l'architecture Transformer sont des outils importants pour le traitement du langage naturel.

Des chercheurs de l'Université de Princeton explorent le modèle Transformer et la spécialisation fonctionnelle du cerveau humain dans le traitement du langage.

Transformer intègre des informations contextuelles entre les mots grâce à des calculs de circuits structurés. Cependant, les recherches actuelles se concentrent principalement sur les représentations internes (« embeddings ») générées par ces circuits.

Les chercheurs ont analysé directement les calculs de circuits : ils ont déconstruit ces calculs en « transformations » fonctionnellement spécialisées qui intègrent des informations contextuelles à travers les mots. En utilisant les données d'IRM fonctionnelle obtenues pendant que les participants écoutaient des histoires naturalistes, les chercheurs ont testé si ces « transformations » pouvaient expliquer des différences significatives dans l'activité cérébrale à travers les réseaux corticaux du langage.

La recherche a prouvé que les calculs émergents effectués par chaque « tête d'attention » fonctionnellement spécialisée prédisent l'activité cérébrale dans des zones corticales spécifiques de différentes manières. Ces têtes d'attention descendent le long de gradients correspondant à différentes couches et longueurs de contexte dans l'espace cortical de basse dimension.

La recherche a été publiée dans « Nature Communications » le 29 juin 2024 sous le titre « Spécialisation fonctionnelle partagée dans les modèles de langage basés sur des transformateurs et le cerveau humain ».

La compréhension d'une langue est fondamentalement un processus constructif. Notre cerveau résout les dépendances locales entre les mots, assemble des unités de langage de bas niveau en unités de sens de haut niveau et forme finalement les récits que nous utilisons pour donner un sens au monde.

Par exemple, si le locuteur mentionne « plan secret », nous traiterons implicitement la relation entre les mots dans cette structure pour comprendre que « secret » modifie « plan ». À un niveau supérieur, nous utilisons le contexte du récit environnant pour comprendre le sens de l’expression : qu’implique ce plan, qui garde ce secret et à qui le cache-t-il ?

Ce contexte peut contenir des centaines de mots répartis sur plusieurs minutes. On pense que le cerveau humain met en œuvre ces processus grâce à une série de calculs fonctionnellement spécialisés qui convertissent les signaux vocaux en représentations exploitables du sens.

La recherche traditionnelle en neuroimagerie utilise des moyens expérimentaux pour analyser des processus spécifiques de calcul du langage et les mapper à l'activité cérébrale dans un environnement contrôlé. Cependant, cette approche a du mal à généraliser la complexité du langage naturel.

Ces dernières années, les réseaux de neurones profonds basés sur l'architecture Transformer ont changé la façon dont le traitement du langage naturel est effectué. Ces modèles apprennent sur des corpus de textes réels à grande échelle grâce à une formation auto-supervisée, permettant une représentation contextuelle de la signification de chaque mot dans de longues séquences.

En plus de s'appuyer sur la représentation intégrée à l'intérieur du modèle Transformer, certaines têtes d'attention du modèle Transformer implémenteront des spécialisations fonctionnelles spécifiques, telles que l'analyse des objets directs des verbes ou le suivi des modificateurs de noms.

Dans la présente étude, les chercheurs pensent que les transformations headwise (calculs contextuels fonctionnellement spécialisés effectués par des têtes d'attention individuelles) peuvent fournir une fenêtre complémentaire sur le traitement du langage dans le cerveau. Une théorie neuroinformatique du traitement du langage naturel doit en fin de compte préciser comment le sens est construit à travers les mots.

L'architecture Transformer fournit un accès explicite aux mécanismes candidats permettant de quantifier la manière dont le sens des mots passés s'intègre dans le sens du mot actuel.

S'il s'agit d'une partie importante du traitement du langage humain, alors ces transformations devraient fournir une bonne base pour simuler l'activité cérébrale humaine lors de la compréhension du langage naturel.

Les chercheurs ont extrait les transformations du modèle BERT largement étudié et ont utilisé un modèle de codage pour évaluer dans quelle mesure ces transformations, ainsi que plusieurs autres familles de caractéristiques du langage, permettent de prédire l'activité cérébrale lors de la compréhension du langage naturel.

Illustration : Comparaison de trois classes de modèles de langage dans les aires corticales du langage. (Source : article)

Les chercheurs ont comparé les performances de trois modèles de langage : les fonctionnalités de langage classiques, les intégrations de mots non contextuelles (GloVe) et les fonctionnalités contextuelles de Transformer (BERT).

Illustration : Préférences de calque pour les incorporations et les transformations. (Source : papier)

Les chercheurs ont découvert que les transformations étaient comparables aux intégrations et surpassaient généralement les intégrations non contextuelles et les annotations syntaxiques classiques, ce qui indique que les informations contextuelles extraites des mots environnants sont très riches.

En fait, les transformations dans les premières couches du modèle expliquent davantage les différences uniques dans l'activité cérébrale que les intégrations elles-mêmes. Enfin, les chercheurs décomposent ces transformations en calculs spécifiques à une fonction effectués par des têtes d'attention individuelles.

Illustration : Correspondance entre cerveau tête pensante et prédiction de dépendance. (Source : article)

Les chercheurs ont découvert que certaines propriétés de headwise (telles que la distance de rétrospection) déterminent la correspondance entre les transformations headwise et les oreilles corticales de la parole. Les chercheurs ont également découvert que pour certaines zones linguistiques, les transformations tête à tête qui codent préférentiellement certaines dépendances linguistiques prédisent également mieux l’activité cérébrale.

En résumé, cette recherche offre une nouvelle perspective sur la compréhension du traitement du langage humain.

Lien papier :https://www.nature.com/articles/s41467-024-49173-5

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!