普林斯顿开源34B数学模型：参数减半，性能媲美谷歌Minerva，使用550亿Token进行专业数据训练

数学，作为科学的基石，一直以来都是研究和创新的关键领域。

最近，普林斯顿大学等七家机构联合发布了一个专门用于数学的大语言模型LLEMMA，性能媲美谷歌Minerva 62B，并公开了其模型、数据集和代码，为数学研究带来了前所未有的机会和资源。

论文地址：https://arxiv.org/abs/2310.10631

数据集的链接地址为：https://huggingface.co/datasets/EleutherAI/proof-pile-2

项目地址：https://github.com/EleutherAI/math-lm 需要进行重写的是：

LLEMMA承袭了Code Llama的基础，在Proof-Pile-2上进行了预训练。

Proof-Pile-2，一个庞大的混合数据集，包含着550亿token的信息，其中包括科学论文、富含数学内容的网页数据以及数学代码。

这个数据集的一部分，Algebraic Stack，更是汇集了来自17种语言的11B数据集，覆盖了数值、符号和数学证明。

拥有7亿和34亿个参数，在MATH基准测试中表现卓越，超越了所有已知的开源基础模型。

在与Google Research开发的专门用于数学的封闭模型相比，参数量只有Minerva 62B一半的条件下，Llemma 34B获得了几乎相同的性能。

Llemma超越了Minerva在参数基础上解决问题的性能，它利用计算工具和形式定理证明，为数学问题的解决提供了无限的可能性

它能够方便地使用Python解释器和形式证明器，进一步展示了它在解决数学问题方面的能力

由于对形式证明数据的特别重视，Algebraic Stack成为了第一个展示出少样本定理证明能力的开放基础模型

图

研究人员还开放共享了LLEMMA的所有训练数据和代码。与以往的数学模型不同，LLEMMA是一个开源的、开放共享的模型，为整个科研社区敞开大门。

研究人员试图量化模型记忆效果，结果令人惊讶的是，他们发现Llemma对于训练集中出现的问题并没有变得更加准确。由于代码和数据是公开的，研究人员鼓励其他人复制并扩展他们的分析

训练数据和实验配置

LLEMMA是一个专门用于数学的大型语言模型，它在Code Llama的基础上继续在Proof-Pile-2上进行预训练。Proof-Pile-2是一个包含科学论文、含有数学内容的网页数据和数学代码的混合数据集，包含了550亿个标记

AlgebraicStack的代码部分包含了11B的数据集，其中包括17种语言源代码，覆盖数值、符号和形式数学，并已公开发布

LLEMMA的每个模型都是由Code Llama进行初始化的。Code Llama模型是一个仅包含解码器的语言模型，它是从Llama 2进行初始化的

作者对Code Llama模型在Proof-Pile-2上进行了进一步的训练，使用标准的自回归语言建模目标。对于7B模型，作者进行了200B个标记的训练，而对于34B模型，作者进行了50B个标记的训练

评估方法和实验结果

作者使用Proof-Pile-2对Code Llama进行继续预训练，并且在MATH和GSM8k等多个数学问题解决任务上对LLEMMA进行few-shot评估。

研究人员发现LLEMMA在这些任务上都有显著的提升，并且能够适应不同的问题类型和难度。

LLEMMA 34B在极高难度的数学题中展示了比其他开放式基础模型更强大的数学能力

在数学基准测试上，LLEMMA在Proof-Pile-2上的持续预训练改善了五个数学基准测试的few-shot性能。

在GSM8k上，LLEMMA 34B的改进比Code Llama高出20个百分点，在MATH上高出13个百分点。而且，LLEMMA 7B也优于相似大小的专有的Minerva模型，这证明了在Proof-Pile-2上进行预训练能有效提高大模型的数学解题能力

在解决数学问题时，利用计算工具如Python等，LLEMMA在MATH+Python和GSM8k+Python任务上都比Code Llama更出色

在使用MATH和GSM8k数据集时，LLEMMA的性能优于没有使用工具时的性能

在数学证明任务中，LLEMMA表现出色

非正式到正式证明的任务目标是在给定一个正式陈述、一个非正式的LATEX陈述和一个非正式的LATEX证明的情况下，生成一个正式证明，然后通过证明助手进行验证。

正式到正式证明则是通过生成一系列证明步骤（策略）来证明一个正式陈述。结果表明，LLEMMA在Proof-Pile-2上的持续预训练改善了这两个正式定理证明任务的few-shot性能。

LLEMMA不仅拥有令人瞩目的性能、还开放了革命性的数据集、展现了惊人的问题解决能力。

开源共享的精神，标志着数学界进入了一个新的时代。数学的未来在这里，而我们每一个数学爱好者、研究者和教育者都将从中受益。

LLEMMA的出现为我们提供了前所未有的工具，让数学问题的解决变得更加高效和创新。

此外，开放共享的理念也将促进全球科研社区更加深入的合作，共同推动科学的进步。

以上就是普林斯顿开源34B数学模型：参数减半，性能媲美谷歌Minerva，使用550亿Token进行专业数据训练的详细内容，更多请关注php中文网其它相关文章！