AI 如何选择最重要的信息
快速阅读: 据《黑客 Noon》最新报道，本文综述了与选择性状态空间模型（SSM）相关的先前工作，包括S4及其变体，强调了选择机制的独特性和优势。这些方法多为非选择性且严格线性时不变（LTI），而本文提出的选择性SSM通过加入学习机制改进了这些局限。全文遵循CC BY 4.0许可。
顾阿尔伯特，卡内基梅隆大学机器学习系，同等贡献（[email protected]）；
陶特里，普林斯顿大学计算机科学系，同等贡献（[email protected]）。
顾阿尔伯特，卡内基梅隆大学机器学习系，同等贡献（[email protected]）；
链接表
摘要与引言
2 状态空间模型
3 选择性状态空间模型
2 状态空间模型
3.1 动机：选择作为压缩的手段
3.2 使用选择改进SSM
3.3 选择性SSM的有效实现
3.2 使用选择改进SSM
3.4 简化SSM架构
3.5 选择机制的特性
3.6 模型的其他细节
4 实验评估
4.1 合成任务
4.2 语言建模
4.3 DNA建模
4.4 音频建模与生成
4.5 速度和内存基准测试
4.6 模型消融研究
5 讨论
6 结论、致谢与参考文献
A 讨论：选择机制
B 相关工作
B.1 S4变体及衍生品
B.2 SSM架构
B.3 与RNN的关系
B.4 线性注意力与B.5 长上下文模型
C 选择性SSM的机制
D 为选择性SSM设计的硬件感知算法
E 实验细节与附加结果
E.1 合成任务
E.2 语言建模
E.3 DNA建模
E.4 音频细节
E.5 效率基准
A 讨论：选择机制
我们的选择机制受到了门控、超网络和数据依赖等概念的启发并与之相关。它也可以被视为与“快速权重”（J. Ba等人，2016年）有关，后者将经典RNN与线性注意力机制（Schlag, Irie, 和 Schmidhuber, 2021年）联系起来。然而，我们认为这是一个独特的概念，值得进一步澄清。
**门控**
门控最初指的是RNN如LSTM（Hochreiter和Schmidhuber，1997年）和GRU（J. Chung等人，2014年）中的门控机制，或是门控方程（5）定理1。这被解释为控制是否让输入进入RNN隐藏状态的一种特定机制。尤其是，这会影响信号随时间传播，并导致输入在序列长度维度上相互作用。
然而，在流行用法中，门控的概念已经变得宽松，仅仅意味着任何乘法交互（通常带有激活函数）。例如，神经网络架构中的逐元素相乘部分（不沿序列长度交互）现在常被称为门控架构（Hua等人，2022；Mehta等人，2023），尽管其含义与传统RNN的意义差异很大。因此，我们认为RNN门控的原始概念与多乘法门控的流行用法实际上具有非常不同的语义意义。
**超网络**
超网络是指其参数由较小的神经网络生成的神经网络。最初的构想（Ha, Dai, 和 Quoc V. Le, 2017年）狭义上定义为一个大型RNN，其递归参数由一个小的RNN生成。
**数据依赖性**
类似于超网络，数据依赖性可以指模型的一些参数依赖于数据的任何概念（Poli等人，2023年）。
**选择**
因此，虽然选择机制可以被视为架构门控、超网络或数据依赖性的特殊情况，但它也可以被认为几乎涵盖了所有包含乘法的内容——包括标准注意机制（Bahdanau, Cho, 和 Bengio, 2015年；Vaswani等人，2017年）等——我们认为这种思考方式并无实际价值。
B 相关工作
我们概述了几项与我们的方法相关的先前工作。我们提到一些最相关的模型包括循环层如S4、S5和准RNN；以及端到端架构包括H3、RetNet和RWKV。
**B.1 S4变体及衍生品**
我们简要概述了一些过去工作的结构化SSM，特别是那些与我们的方法有关系的。
– S4（Gu, Goel, 和 Ré, 2022年；Gu, Johnson, Goel, 等人，2021年）引入了第一个结构化的SSM，描述了对角结构以及对角加低秩（DPLR）。由于与连续时间在线记忆（HIPPO）（Gu, Dao, 等人，2020年）的联系，它专注于高效卷积算法的DPLR SSM。
– DSS（Gupta, Gu, 和 Berant, 2022年）首次通过近似HIPPO初始化验证了对角结构SSM的经验有效性。S4D（Gu, Gupta, 等人，2022年）在理论上对此进行了扩展。
– S5（Smith, Warrington, 和 Linderman, 2023年）独立发现了对角SSM近似，是第一个使用并行扫描实现递归计算的S4模型。然而，这需要降低有效状态维度，他们通过将SSM维度从单输入单输出（SISO）切换到多输入多输出（MIMO）公式来实现这一点。我们提出的S6共享扫描，但区别在于（i）保持SISO维度，提供更大的有效递归状态，（ii）使用硬件感知算法克服计算问题，（iii）添加选择机制。
– Lu等人（2023年）将S5应用于元强化学习，以处理SSM状态在轨迹之间的重置。他们的机制可以看作是一种特定的手动选择机制实例，其中A被手动设置为0，而不是我们依赖输入的学习机制。有趣的是，将选择性SSM通用地应用于此设置，并探查模型是否已学会自动在情节边界重置其状态。
– 大型模型（Ma等人，2023年）简化了S4使其成为实数而非复数值，赋予其指数移动平均（EMA）的含义。他们还有趣地连接了SSM离散化步骤与EMA阻尼项。与原始S4论文中的发现相反，这是第一个显示实数值SSM在某些设置下或与不同架构组件结合时经验有效的模型。
– 液态S4（Hasani等人，2023年）也受增强S4的启发，通过输入相关的状态转移。从这个角度来看，它与选择机制相似，尽管是以一种有限的形式，仍然以卷积方式计算且接近线性时不变（LTI）。
– SGConv（Y. Li等人，2023年），Hyena（Poli等人，2023年），LongConv（Fu等人，2023年），MultiresConv（J. Shi, K. A. Wang, 和 Fox, 2023年），以及Toeplitz神经网络（Qin, Han, W. Sun, He, 等人，2023年）都集中在S4的卷积表示上，并创建全局或长卷积核，采用不同的参数化方式。然而，这些方法不能直接进行快速自回归推理。
值得注意的是，所有这些方法以及其他我们所知的结构化SSM都是非选择性的，并且通常是严格线性时不变（LTI）的。
本文可在arxiv网站获取，采用CC BY 4.0 DEED许可。
(以上内容均由Ai生成)
