一般情况下，大型语言模型的部署通常采用"预训练-微调"的方式。然而，当对多个任务（如个性化助手）进行基础模型的微调时，训练和服务的成本会变得非常高。低秩适配（LowRank Adaptation，LoRA）是一种高效的参数微调方法，通常用于将基础模型适配到多个任务上，从而生成大量派生的LoRA适配程序
重新写作： 批量推理在服务过程中提供了许多机会，这种模式被证明可以通过微调适配器权重来实现与完全微调相当的性能。虽然这种方法可以实现低延迟的单个适配器推理和跨适配器的串行执行，但在同时为多个适配器提供服务时，会显著降低整体服务吞吐量并增加总延迟。因此，如何解决这些微调变体的大规模服务问题仍然未知
近期有来自UC伯克利、斯坦福等高校的研究人员在一篇论文中提出了一种被称为S-LoRA的新微调方法
S-LoRA 是专为众多 LoRA 适配程序的可扩展服务而设计的系统，它将所有适配程序存储在主内存中，并将当前运行查询所使用的适配程序取到 GPU 内存中。
S-LoRA 提出了「统一分页」（Unified Paging）技术，即使用统一的内存池来管理不同等级的动态适配器权重和不同序列长度的 KV 缓存张量。此外，S-LoRA 还采用了新的张量并行策略和高度优化的定制 CUDA 内核，以实现 LoRA 计算的异构批处理。
这些功能允许S-LoRA以较小的成本在单个或多个GPU上为数千个LoRA适配器提供服务（同时为2000个适配器提供服务），并将额外的LoRA计算成本降至最低。相比之下，vLLM-packed需要维护多个权重副本，并且由于GPU内存限制，只能为少于5个适配器提供服务
与 HuggingFace PEFT 和 vLLM（仅支持 LoRA 服务）等最先进的库相比，S-LoRA 的吞吐量最多可提高 4 倍，服务的适配器数量可增加几个数量级。因此，S-LoRA 能够为许多特定任务的微调模型提供可扩展的服务，并为大规模定制微调服务提供了潜力。
S-LoRA包含三个主要创新部分。第四部分介绍了批处理策略，该策略用于分解base模型和LoRA适配器之间的计算。此外，研究人员还解决了需求调度的难题，包括适配器集群和准入控制等方面。跨并发适配器的批处理能力给内存管理带来了新的挑战。第五部分，研究人员将PagedAttention推广到Unfied Paging，支持动态加载LoRA适配器。这种方法使用统一的内存池以分页方式存储KV缓存和适配器权重，可以减少碎片并平衡KV缓存和适配器权重的动态变化大小。最后，第六部分介绍了新的张量并行策略，能够高效地解耦base模型和LoRA适配器
以下為重點內容：
对于单个适配器，Hu等人（2021）提出了一种推荐的方法，即将适配器权重与基础模型权重合并，从而得到一个新模型（参见公式1）。这样做的好处是，在推理过程中不会有额外的适配器开销，因为新模型的参数数量与基础模型相同。实际上，这也是LoRA工作最初的一个显著特点
本文指出，将 LoRA 适配器合并到 base 模型中对于多 LoRA 高吞吐量服务设置来说效率很低。取而代之的是，研究者建议实时计算 LoRA 计算 xAB（如公式 2 所示）。
在 S-LoRA 中，计算 base 模型被批处理，然后使用定制的 CUDA 内核分别执行所有适配器的附加 xAB。这一过程如图 1 所示。研究者没有使用填充和 BLAS 库中的批处理 GEMM 内核来计算 LoRA，而是实施了定制的 CUDA 内核，以便在不使用填充的情况下实现更高效的计算，实施细节在第 5.3 小节中。
如果将 LoRA 适配器存储在主内存中，它们的数量可能会很大，但当前运行批所需的 LoRA 适配器数量是可控的，因为批大小受 GPU 内存的限制。为了利用这一优势，研究者将所有的 LoRA 适配卡都存储在主内存中，并在为当前正在运行的批进行推理时，仅将该批所需的 LoRA 适配卡取到 GPU RAM 中。在这种情况下，可服务的适配器最大数量受限于主内存大小。图 2 展示了这一过程。第 5 节也讨论了高效管理内存的技术
与为单个 base 模型提供服务相比，同时为多个 LoRA 适配卡提供服务会带来新的内存管理挑战。为了支持多个适配器，S-LoRA 将它们存储在主内存中，并将当前运行批所需的适配器权重动态加载到 GPU RAM 中。
在这个过程中，存在两个明显的挑战。首先是内存碎片问题，这是由于动态加载和卸载不同大小的适配器权重所导致的。其次是适配器加载和卸载所带来的延迟开销。为了有效解决这些问题，研究者提出了「统一分页」的概念，并通过预取适配器权重的方式来实现 I/O 和计算的重叠
Unified Paging
研究者将PagedAttention的概念扩展为统一分页（Unified Paging）。统一分页不仅用于管理KV缓存，还用于管理适配器权重。统一分页使用统一内存池来联合管理KV缓存和适配器权重。为了实现这一目标，他们首先为内存池静态分配了一个大缓冲区，该缓冲区利用了所有可用空间，除了用于存储基础模型权重和临时激活张量的空间。KV缓存和适配器权重以分页的方式存储在内存池中，每个页面对应一个H向量。因此，序列长度为S的KV缓存张量占用S页，而R级的LoRA权重张量占用R页。图3展示了内存池的布局，其中KV缓存和适配器权重以交错和非连续的方式存储。这种方法大大减少了碎片化，确保不同级别的适配器权重能够以结构化和系统化的方式与动态KV缓存共存
此外，研究者为批量 LoRA 推断设计了新颖的张量并行策略，以支持大型 Transformer 模型的多 GPU 推断。张量并行是应用最广泛的并行方法，因为它的单程序多数据模式简化了其实施和与现有系统的集成。张量并行可以减少为大模型提供服务时每个 GPU 的内存使用量和延迟。在本文设置中，额外的 LoRA 适配器引入了新的权重矩阵和矩阵乘法，这就需要为这些新增项目制定新的分区策略。
最终，研究人员通过为Llama-7B/13B/30B/70B提供服务来评估S-LoRA
结果表明，S-LoRA 可以在单个 GPU 或多个 GPU 上为数千个 LoRA 适配器提供服务，而且开销很小。与最先进的参数高效微调库 Huggingface PEFT 相比，S-LoRA 的吞吐量最多可提高 30 倍。与使用支持 LoRA 服务的高吞吐量服务系统 vLLM 相比，S-LoRA 可将吞吐量提高 4 倍，并将服务适配器的数量增加几个数量级。
更多研究细节，可参考原论文。
以上是S-LoRA：一个GPU运行数千大模型成为可能的详细内容。更多信息请关注PHP中文网其他相关文章！
