推进AI系统现代体系结构的六种方法

项目正在遇到内存限制。随着参数进入数十亿和万亿，数据中心必须保持步伐。利益相关者需要密切监视供应商服务门槛。成本仍然是一个持续关注的问题。

但是，正在出现新兴技术，可以处理此内存使用和计算需求，从而使其更易于管理。

今天的创新者如何实现这一目标？

让我们探索。

输入和数据压缩

首先，有输入压缩。

您可以开发一种损失算法来压缩模型，甚至执行压缩版本，而不是完整的版本。这些压缩技术保留了专门的神经网络功能中的空间。

这是苹果机器学习研究网站上发表的论文的摘录：

“最近，几项研究表明，LLM的无训练和无数据压缩（修剪和量化）取得了显着的成功，达到50-60％的稀疏性，并将比特宽度降低到每重量的3或4位，而与未压缩的基线相比，同意性降低最小。”

这只是如何应用这种方法的一个例子。

该Microsoft资源还探讨了提示压缩，这是最大程度地减少或简化系统中数据的另一个方面。

稀疏方法：重点和变化

有时，您可以消除系统设计的一部分以节省资源。

想象一个模型，所有注意力区域都起作用。但是，输入的某些部分本质上可能是空的空间，而其他部分则复杂而重要。该模型应该施加统一的覆盖范围吗？您在高和低注意区域都使用相同数量的计算。

另外，系统工程师可以取消几乎没有关注的令牌，具体取决于其重要性。

在此开发阶段，硬件创新也很明显。更专业的GPU和多核处理器为这种差异化提供了优势，因此值得研究制造商在介绍新一代GPU技术方面所做的工作。

修改上下文字符串

与网络大小相关的另一个主要挑战涉及系统使用的上下文窗口。

如果它们是按序列运行的标准大语言模型，则这些序列的长度很重要。上下文提供了更大的功能，但需要额外的资源。

通过调整上下文，您可以更改系统的“食欲”。这是前面提到的提示压缩资源的一部分：

“尽管更长的提示具有巨大的潜力，但它们也带来了各种问题，例如超过聊天窗口的最大限制，降低上下文保留能力以及增加的API成本 - 在经济上和计算上都是如此。”

在此之后，作者深入研究了解决方案，这些解决方案可能在理论上对不同的修复具有广泛的适用性。

动态模型和强烈的推理

目前获得关注的另外两个关键趋势包括强大的推理系统的兴起，这些推理系统随着时间的流逝从过去的经验中学习，而动态体重的发展，其中输入权重演化而不是保持静态。

两种方法都表明满足开发这些系统的人的设计和工程要求的希望。

还有一个扩散模型，它引入了噪声，分析了噪声，然后将其删除以产生新的生成结果。上周，我们在有关最佳AI策略的帖子中介绍了这一点。

最后，我们可以重新审视传统方法，例如数字孪生。双胞胎在精确的模拟上脱颖而出，但会消耗大量资源 - 如果存在更好的方法，则可以节省相当大的计算功率。

这些是我们一直在听到的一些解决方案，与Edge Computing Concept良好保持一致，其中更多处理发生在网络边缘的端点设备上。微控制器和小组件可以用作处理数据的有效方法，而无需将其传输到集中式云位置。

当我们继续观察人们今天在AI领域所取得的成就时，请考虑所有这些发展。

以上是推进AI系统现代体系结构的六种方法的详细内容。更多信息请关注PHP中文网其他相关文章！