第四部分长上下文¶

在上一章节中，我们探讨了通过 MoE 提升模型容量的方法：依靠增加专家数量、扩大总参数量，增强模型本身的表达与推理能力。现在继续讨论怎么提升上下文窗口这个维度的容积

模型容量和上下文窗口属于两个独立维度（和第三部分是一种并行发展的技术）：提升容量不会自动获得超长上下文能力；不增大模型容量，仅改造注意力机制也可以扩展上下文窗口，但当窗口拓展至十几万 token 级别，稠密注意力会出现序列越长、单个 token 分得的注意力权重越低的现象，难以建立远距离 token 之间的关联的问题。

在这里我们将依次介绍稀疏注意力、线性注意力与状态空间模型（Mamba）；尽管当前旗舰大模型尚未以状态空间模型作为主干架构，我们依然梳理其研究进展