现代大语言模型（LLMS）的关键特征（LLMS）
内部文化学习（ICL）允许变形金刚根据输入提示中的示例进行适应。 使用几个任务示例，很少有提示有效地证明了所需的行为。 但是，变形金刚如何实现这种适应？本文探讨了ICL背后的潜在机制。
ICL的核心是：给定的示例对（（x，y）），注意机制可以学习算法以将新查询（x）映射到其输出（y）？
> SoftMax的注意力和最近的邻居搜索
c ，修改了注意力分配：
> c 接近无穷大，注意变成了一个旋转向量，仅关注最相似的令牌 - 实际上是最近的邻居搜索。 使用有限的c ，注意与高斯内核平滑相似。 这表明ICL可能会在输入输出对上实现最近的邻居算法。 的含义和进一步的研究
>类似于预处理的梯度下降（PGD）：
一层线性注意执行一个PGD步骤。
结论
注意机制可以实现学习算法，通过从演示对学习来启用ICL。尽管多个注意层和MLP的相互作用很复杂，但研究阐明了ICL的力学。本文提供了这些见解的高级概述。
进一步阅读：
>本文的灵感来自密歇根大学2024年秋季研究生课程。 任何错误都是作者的。
以上是封闭式学习背后的数学的详细内容。更多信息请关注PHP中文网其他相关文章！
