LoRA（Low-Rank Adaptation）是一项流行的技术，旨在微调大语言模型（LLM）。这项技术最初由微软的研究人员提出，并收录在《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》的论文中。 LoRA与其他技术不同之处在于，并非调整神经网络的所有参数，而是专注于更新少量低秩矩阵，从而显着减少了训练模型所需的计算量。
由于 LoRA 的微调质量与全模型微调相当，很多人将这种方法称为微调神器。自发布以来，很多人对这项技术感到好奇，希望通过编写代码来更好地理解这一研究。以往，缺乏适当的文档说明一直是一个困扰，但现在，我们有了教程的帮助。
这篇教程的作者是知名机器学习与 AI 研究者 Sebastian Raschka，他表示在各种有效的 LLM 微调方法中，LoRA 仍然是自己的首选。为此，Sebastian 专门写了一篇博客《Code LoRA From Scratch》，从头开始构建 LoRA，在他看来，这是一种很好的学习方法。
本文通过从头编写代码的方式介绍低秩自适应（LoRA），Sebastian在实验中对DistilBERT模型进行微调，并将其应用于分类任务。
LoRA方法与传统微调方法的比较结果表明，LoRA方法在测试准确率方面达到了92.39％，这比仅对模型最后几层进行微调（86.22％的测试准确率）表现出更优异的性能。这表明LoRA方法在优化模型性能方面具有明显优势，能够更好地提升模型的泛化能力和预测准确性。这个结果强调了在模型训练和调优过程中采用先进的技术和方法的重要性，以获得更好的性能表现和结果。通过比
Sebastian 是如何实现的，我们接着往下看。
用代码的方式表述一个LoRA 层是这样的：
其中，in_dim 是想要使用LoRA 修改的层的输入维度，与此对应的out_dim 是层的输出维度。代码中还添加了一个超参数即缩放因子 alpha，alpha 值越高意味着对模型行为的调整越大，值越低则相反。此外，本文使用随机分布中的较小值来初始化矩阵 A，并用零初始化矩阵 B。
值得一提的是，LoRA 发挥作用的地方通常是神经网络的线性（前馈）层。举例来说，对于一个简单的PyTorch 模型或具有两个线性层的模块（例如，这可能是Transformer 块的前馈模块），其前馈（forward）方法可以表述为：
在使用LoRA 时，通常会将LoRA 更新添加到这些线性层的输出中，又得到代码如下：
如果你想通过修改现有PyTorch 模型来实现LoRA ，一种简单方法是将每个线性层替换为LinearWithLoRA 层：
以上这些概念总结如下图所示：
为了应用LoRA，本文将神经网络中现有的线性层替换为结合了原始线性层和LoRALayer 的LinearWithLoRA 层。
LoRA 可用于 GPT 或图像生成等模型。为了简单说明，本文采用一个用于文本分类的小型 BERT（DistilBERT） 模型来说明。
由于本文只训练新的 LoRA 权重，因而需要将所有可训练参数的 requires_grad 设置为 False 来冻结所有模型参数：
接下来，使用 print (model) 检查一下模型的结构：
由输出可知，该模型由 6 个 transformer 层组成，其中包含线性层：
此外，该模型有两个线性输出层：
通过定义以下赋值函数和循环，可以选择性地为这些线性层启用 LoRA：
使用 print (model) 再次检查模型，以检查其更新的结构：
正如上面看到的，线性层已成功地被 LinearWithLoRA 层取代。
如果使用上面显示的默认超参数来训练模型，则会在 IMDb 电影评论分类数据集上产生以下性能：
在下一节中，本文将这些 LoRA 微调结果与传统微调结果进行了比较。
在上一节中，LoRA 在默认设置下获得了 89.44% 的测试准确率，这与传统的微调方法相比如何？
为了进行比较，本文又进行了一项实验，以训练 DistilBERT 模型为例，但在训练期间仅更新最后 2 层。研究者通过冻结所有模型权重，然后解冻两个线性输出层来实现这一点：
只训练最后两层得到的分类性能如下：
结果显示，LoRA 的表现优于传统微调最后两层的方法，但它使用的参数却少了 4 倍。微调所有层需要更新的参数比 LoRA 设置多 450 倍，但测试准确率只提高了 2%。
前面讲到的结果都是 LoRA 在默认设置下进行的，超参数如下：
假如用户想要尝试不同的超参数配置，可以使用如下命令：
不过，最佳超参数配置如下：
在这种配置下，得到结果：
值得注意的是，即使 LoRA 设置中只有一小部分可训练参数（500k VS 66M），但准确率还是略高于通过完全微调获得的准确率。
原文链接：https://lightning.ai/lightning-ai/studios/code-lora-from-scratch?cnotallow=f5fc72b1f6eeeaf74b648b2aa8aaf8b6
以上是如何从头开始编写LoRA代码，这有一份教程的详细内容。更多信息请关注PHP中文网其他相关文章！
