生物醫學NLP領域的特定預訓練模式：PubMedBERT

今年大语言模型的迅速发展导致像BERT这样的模型现在被称为“小”模型。在Kaggle的LLM科学考试比赛中，使用deberta的选手获得了第四名，这是一个非常出色的成绩。因此，在特定领域或需求中，并不一定需要大型语言模型作为最佳解决方案，小型模型也有其用武之地。因此，今天我们要介绍的是PubMedBERT，它是微软研究院于2022年在ACM上发布的一篇论文，该模型通过使用特定领域的语料库进行BERT的从头预训练

以下是论文的主要要点：

对于具有大量未标记文本的特定领域，例如生物医学领域，从头开始预训练语言模型比持续预训练通用领域语言模型效果显著。为此，我们提出了生物医学语言理解与推理基准（BLURB），用于特定领域的预训练

PubMedBERT

1、特定领域Pretraining

研究表明，从头开始的特定领域预训练大大优于通用语言模型的持续预训练，从而表明支持混合领域预训练的主流假设并不总是适用。

2、模型

利用BERT模型，对于掩码语言模型(MLM)，全词屏蔽(WWM)的要求是必须屏蔽整个词

3、BLURB数据集

据作者介绍，BLUE[45]是在生物医学领域创建NLP基准的第一次尝试。但BLUE的覆盖范围有限。针对基于pubmed的生物医学应用，作者提出了生物医学语言理解与推理基准(BLURB)。

PubMedBERT使用更大的特定领域语料库(21GB)。

结果展示

在大多数生物医学自然语言处理（NLP）任务中，PubMedBERT一直表现优于其他所有BERT模型，并且通常具有明显的优势

以上是生物醫學NLP領域的特定預訓練模式：PubMedBERT的詳細內容。更多資訊請關注PHP中文網其他相關文章！