Éditeur | KX

Les grands modèles de langage (LLM) formés sur de grandes quantités de données fonctionnent bien sur les tâches de compréhension et de génération du langage naturel. Les LLM les plus populaires sont formés à l'aide de corpus généraux tels que Wikipédia, mais les changements de distribution du vocabulaire entraînent de mauvaises performances dans des domaines spécifiques.

Inspirée par cela, la NASA a collaboré avec IBM pour développer INDUS, un ensemble complet de LLM adaptés et utilisés dans les domaines des sciences de la Terre, de la biologie, de la physique, de l'héliophysique, des sciences planétaires et de l'astrophysique. Entraînez-vous sur des corpus scientifiques sélectionnés à partir de différentes sources de données.

INDUS contient deux types de modèles : encodeur et transformateur de phrase. L'encodeur convertit le texte en langage naturel en un codage numérique que le LLM peut traiter. L'encodeur INDUS est formé sur un corpus de 60 milliards de jetons contenant des données d'astrophysique, de sciences planétaires, de sciences de la Terre, d'héliophysique, de sciences biologiques et physiques.

Une recherche connexe intitulée « INDUS : Modèles linguistiques efficaces et efficients pour les applications scientifiques » a été publiée sur la plateforme de prépublication arXiv.

LLM formé sur un corpus de domaine général fonctionne bien sur les tâches de traitement du langage naturel (PNL). Cependant, des études antérieures ont montré que les LLM formés à l’aide de corpus spécifiques à un domaine sont plus performants sur des tâches spécialisées.

Par exemple, certains chercheurs ont développé des LLM dans plusieurs domaines spécifiques, tels que SCIBERT, BIOBERT, MATBERT, BATTERYBERT et SCHOLARBERT, dans le but d'améliorer la précision des tâches de PNL sur le terrain.

INDUS : Un ensemble complet de LLM

Dans cette étude, les chercheurs se sont concentrés spécifiquement sur des domaines interdisciplinaires tels que la physique, les sciences de la Terre, l'astrophysique, la physique solaire, les sciences planétaires et la biologie.

INDUS est un ensemble de LLM basés sur des encodeurs et axés sur ces domaines d'intérêt, formés avec des corpus soigneusement sélectionnés provenant de diverses sources. Plus de la moitié des 50 000 mots inclus dans INDUS sont propres au domaine scientifique spécifique utilisé pour la formation. Le modèle INDUS Encoder affine le modèle Sentence Transformer sur environ 268 millions de paires de textes, y compris titre/résumé et question/réponse.

Plus précisément :

1. Un tokenizer personnalisé INDUSBPE a été construit à partir d'un corpus scientifique organisé à l'aide d'un algorithme de codage par paire d'octets.

2. LLM pré-entraînés avec plusieurs encodeurs uniquement à l'aide de corpus scientifiques sélectionnés et du tagger INDUSBPE. Nous créons en outre un modèle d'incorporation de phrases en affinant le modèle d'encodeur uniquement avec un objectif d'apprentissage contrastif pour apprendre les incorporations de phrases « universelles ». Des versions plus petites et plus efficaces de ces modèles ont été formées à l’aide de techniques d’extraction de connaissances.

3. Création de trois nouveaux ensembles de données de référence scientifiques, CLIMATE-CHANGE NER (tâche de reconnaissance d'entités), NASA-QA (tâche de réponse aux questions d'extraction) et NASA-IR (tâche de récupération) pour accélérer davantage ce domaine de recherche multidisciplinaire.

4. Grâce à des résultats expérimentaux, nous démontrons les excellentes performances du modèle sur ces tâches de référence ainsi que sur les références spécifiques à un domaine existantes, surpassant les modèles généraux tels que RoBERTa et les encodeurs de domaine scientifique tels que SCIBERT.

Faire mieux que le LLM non spécifique à un domaine

En fournissant à INDUS un vocabulaire spécifique à un domaine, l'équipe de recherche a surpassé le LLM ouvert et non spécifique à un domaine sur les références de tâches biomédicales, les références de réponses aux questions scientifiques et l'entité des sciences de la Terre. les tests de reconnaissance sont meilleurs.

Comparé le modèle INDUS avec les modèles open source de taille similaire RoBERTaBASE, SCIBERT, MINILM et TINYBERT.

Dans la tâche de compréhension du langage naturel, parmi les modèles de base, INDUSBASE surpasse considérablement le modèle général RoBERTa sur les moyennes micro/macro, tout en atteignant également des performances compétitives dans le modèle correspondant spécifique au domaine biologique SCIBERT.

Tableau : résultats de l'évaluation BLURB. (Source : article)

BLURB surpasse considérablement les modèles de référence correspondants sur la tâche NER sur le changement climatique, démontrant l'efficacité de la formation sur de grandes données spécifiques à un domaine.

Tableau : Résultats du benchmark NER sur le changement climatique. (Source : papier)

Dans NASA-QA (tâche de réponse aux questions d'extraction), peaufiner l'ensemble d'entraînement augmenté à l'aide du SQuAD pertinent. Tous les modèles ont été affinés pour 15 époques, et il a été observé qu'INDUSBASE surpassait tous les modèles de taille similaire, tandis qu'INDUSSMALL fonctionnait relativement bien.

Tableau : résultats du benchmark NASA-QA. (Source : Papier)

Dans les tâches de récupération, le modèle INDUS est évalué sur l'ensemble de données NASA-IR et le benchmark BEIR, qui se compose de 12 tâches de récupération couvrant divers domaines.

Comme le montre le tableau ci-dessous, les deux modèles d'intégration de phrases fonctionnent nettement mieux que la ligne de base sur la tâche NASA-IR, tout en conservant de bonnes performances sur plusieurs tâches BEIR.

Tableau : résultats des évaluations NASA-IR et BEIR. (Source : article)

Les chercheurs ont également mesuré le temps de récupération moyen pour chacune des 4 202 requêtes de test sur le problème naturel BEIR défini sur un seul GPU A100. Ce temps inclut le temps de codage de la requête, du corpus et le temps de récupération des documents pertinents. Notamment, INDUS-RETRIEVERSMALL surpasse INDUS-RETRIEVERBASE à la fois sur NASA-IR et BEIR, tout en étant environ 4,6 fois plus rapide.

Le chercheur IBM Bishwaranjan Bhattacharjee a commenté l'approche globale : « Non seulement nous disposons d'un vocabulaire personnalisé, mais nous disposons également d'un vaste corpus professionnel pour former le modèle d'encodeur et d'une bonne stratégie de formation, ce qui conduit à d'excellentes performances. Pour les plus petits, version plus rapide, nous utilisons la recherche d'architecture neuronale pour obtenir l'architecture du modèle et utilisons la distillation des connaissances pour l'entraîner tout en supervisant le modèle plus grand. "

Dr Sylvain Costes, Division des sciences biologiques et physiques (BPS) de la NASA, a discuté. Avantages de l'intégration d'INDUS : « L'intégration d'INDUS à l'interface de programmation d'application (API) de l'Open Science Data Repository (OSDR) nous permet de développer et de piloter des chatbots qui offrent des capacités de recherche plus intuitives pour parcourir des ensembles de données individuels. Nous explorons actuellement des méthodes pour améliorer le système de données de conservation interne de l'OSDR. utiliser INDUS pour augmenter l'efficacité de l'équipe de conservation et réduire la quantité de travail manuel requis chaque jour. -large.html

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!