DeepSeek提出的mHC（流形约束超连接）技术是一种改进的神经网络架构，它通过数学方法对传统的“超连接”进行约束，以解决大模型训练中的不稳定性问题。该技术的核心创新在于将超连接的残差连接矩阵约束在“双拟随机矩阵流形”上，使用Sinkhorn-Knopp算法将矩阵投影至Birkhoff多胞形，使得信号传播变为特征的凸组合，从而在拓宽信息流的同时严格保证信号传播的稳定性，避免梯度爆炸或消失。这相当于给原有的“多车道”信息高速路安装了一套智能交通信号系统，在保留超连接性能优势的前提下恢复了训练的稳定性与可扩展性，并通过算子融合等工程优化将额外训练时间开销控制在较低水平（如6.7%），为大规模模型的高效训练提供了新方向。
mHC: Redefining Deep Learning Scalability - DeepSeek
Slides
mHC: Redefining Deep Learning Scalability - DeepSeek
1 / --
📚
知识回顾
(0 张闪卡)
▼
1 / 0
问题
在深度学习中，残差连接（residual connections）主要解决了什么问题？
答案
残差连接有助于缓解梯度消失（gradient vanishing）问题，从而能够有效训练非常深的网络。
问题
残差连接的两种主要变体是什么，它们各自在什么问题之间进行权衡？
答案
Pre-Norm和Post-Norm，它们在梯度消失和表示崩溃（representation collapse）之间进行权衡。
问题
Pre-Norm残差连接虽然解决了梯度消失问题，但可能导致什么新的问题？
答案
它可能导致深层表示的崩溃（representation collapse），即深层中的隐藏特征变得高度相似。
问题
Post-Norm残差连接通过在每个残差块的输出后应用归一化，缓解了表示崩溃，但重新引入了什么问题？
答案
它重新引入了梯度消失（vanishing gradients）的问题。
问题
什么是超连接（Hyper-Connections, HC）？
答案
它是一种替代残差连接的方法，通过引入可学习的连接，让网络能够自主学习特征之间连接的最佳强度。
问题
超连接（HC）的核心思想是提出哪两种可学习的连接？
答案
深度连接（depth-connections）和宽度连接（width-connections）。
问题
在超连接（HC）中，“扩展率” (expansion rate) $n$ 指的是什么？
答案
它指的是将网络输入复制成$n$份，以允许网络同时建模多个具有不同深度连接的模式。
问题
超连接（HC）中的宽度连接（width-connections）起什么作用？
答案
它允许在同一层内的$n$个隐藏向量之间进行信息交换。
问题
静态超连接（SHC）和动态超连接（DHC）之间的主要区别是什么？
答案
DHC的连接权重可以根据输入动态调整，而SHC的连接权重在训练后是固定的。
问题
根据论文中的图1，与基线模型OLMoE-1B-7B相比，使用DHC的模型收敛速度快多少？
答案
使用DHC的模型（OLMoE-1B-7B-DHC×4）收敛速度快1.8倍。
问题
超连接如何解决残差连接在梯度消失和表示崩溃之间的“跷跷板效应”？
答案
它允许网络动态调整不同深度特征之间的连接强度，并重新排列层，从而避免了固定的权衡。
问题
图3的余弦相似度分析表明，与Pre-Norm相比，使用超连接的模型相邻层特征的相似度有何不同？
答案
使用超连接的模型的相似度显著更低，且相似度范围更广，表明每一层的影响都得到了增强。
问题
在超连接的数学表示中，矩阵$H_C$的$A_m$部分用于什么目的？
答案
$A_m$用作权重，对输入$H$进行加权求和，以获得当前层的输入$h_0^\intercal$。
问题
在超连接的数学表示中，矩阵$H_C$的$A_r$部分的作用是什么？
答案
$A_r$用于连接输入$H$并将其映射到一个新的超隐藏矩阵$H’$。
问题
为了使超连接的初始化等效于Pre-Norm残差连接，静态矩阵$A_m^k$和$A_r^k$通常如何初始化？
答案
$A_m^k$初始化为$e_{k \pmod n}$（一个独热向量），$A_r^k$初始化为单位矩阵$I_{n \times n}$。
问题
超连接的“序列-并行二元性”（Sequential-Parallel Duality）指的是什么？
答案
指的是通过学习不同的超连接矩阵，网络可以将层排列成序列、并行或两者的混合形式。
问题
当扩展率$n=1$时，DHC的性能与基线相比如何？
答案
当$n=1$时，DHC的性能劣于基线模型。
问题
在OLMo-1B模型的消融研究中，DHC在哪一个扩展率$n$值上取得了最佳性能提升？
答案
在$n=4$时取得了优异结果，而增加到$n=8$带来的额外收益很小。
问题
在超连接中，什么组件的“可训练性”对于性能至关重要？
答案
宽度连接（WC）和输出权重（B）的可训练性都至关重要，尤其是WC。
问题
与基线OLMo-7B模型相比，OLMo-7B-DHC×4模型在训练稳定性方面表现出什么优势？
答案
OLMo-7B-DHC×4模型在整个训练过程中没有出现尖峰（spikes），表现出更好的稳定性。
问题
在MoE模型上的实验结果表明，超连接在哪些指标上取得了显著提升？
答案
在训练损失、C4-en验证损失、ARC-Challenge准确率和MMLU Var得分上均有显著提升。
问题
对超连接的可视化分析揭示了一种什么样的连接模式？
答案
一种“$\Lambda$形”连接模式，即层倾向于依赖少数相邻层的输出，同时底层（如第0、2层）被后续大多数层频繁使用。
问题
可视化分析显示，超连接学习到了类似_____的结构，其中注意力和FFN层可以并行操作。
答案
并行Transformer块（Parallel Transformer Blocks, PTB）
问题
在超连接模型中，输入词嵌入对最终模型输出的贡献是怎样的？
答案
输入词嵌入对大多数中间层有贡献，但对用于预测下一个词元的最后一层（模型输出）的贡献被消除了。
问题
在视觉任务（如图像分类）上，超连接对ViT模型的性能有何影响？
答案
超连接（SHC和DHC）显著提高了ViT模型的准确率，尤其是在Large模型规模上。
问题
mHC论文指出，原始超连接（HC）方法存在哪些主要问题？
答案
它损害了恒等映射属性，导致训练不稳定和可扩展性受限，并带来了显著的内存访问开销。
问题
什么是流形约束超连接（mHC）？
答案
这是一个通用框架，它将HC的残差连接空间投影到特定流形上以恢复恒等映射属性，并结合了基础设施优化以确保效率。
问题
mHC通过将残差连接矩阵$H_{res}^{l}$投影到哪个特定的数学对象（流形）上，来恢复恒等映射属性？
答案
Birkhoff多胞体（Birkhoff polytope），即双随机矩阵（doubly stochastic matrices）构成的流形。
问题
为什么将残差连接矩阵约束为双随机矩阵有助于提高训练稳定性？
答案
因为双随机矩阵的谱范数有界（非扩张性）、在矩阵乘法下是封闭的，并且可以解释为置换的凸组合，从而保证了信号的稳定传播。
问题
在mHC中，使用什么算法来执行到Birkhoff多胞体的投影？
答案
Sinkhorn-Knopp算法。
问题
在原始HC中，跨越多层的复合映射_____可能导致信号的无界放大或衰减。
答案
$\prod_{i=1}^{L-l} H_{res}^{L-i}$
问题
mHC论文中的图3(b)显示，HC中的复合映射的“Amax增益幅度”达到了多少，表明存在爆炸性残差流？
答案
峰值达到了3000，与理想的1相差甚远。
问题
除了数值不稳定性，原始HC设计还存在什么系统级开销问题？
答案
内存访问（I/O）成本过高，这被称为“内存墙”问题，显著降低了训练吞吐量。
问题
mHC中，对输入映射$H_{pre}^{l}$和输出映射$H_{post}^{l}$施加了什么约束？
答案
施加了非负性约束，以防止正负系数组合引起的信号抵消。
问题
在mHC的实现中，为了降低内存访问瓶颈，采用了哪些基础设施优化技术？
答案
采用了内核融合（kernel fusion）、混合精度策略、选择性重计算（selective recomputing）和在DualPipe调度中重叠通信。
问题
与基线模型和HC模型相比，27B规模的mHC模型在训练稳定性和最终损失方面表现如何？
答案
mHC有效缓解了HC的训练不稳定性，梯度范数更稳定，并且相对于基线模型实现了0.021的最终损失降低。
问题
根据mHC论文中的表4，与HC相比，mHC在哪些下游基准测试中表现出更强的推理能力？
答案
mHC在BBH和DROP等基准测试中表现更优，显示出更强的推理能力。
问题
mHC的计算扩展曲线（Compute Scaling Curve）表明了什么？
答案
表明mHC的性能优势在更高的计算预算下（从3B到27B参数）也能稳健地保持。
问题
什么是残差连接中的“恒等映射”（identity mapping）属性？
答案
它指信号可以直接从浅层映射到深层而不经过任何修改，这对于维持大规模训练的稳定性和效率至关重要。
问题
为什么说扩展率$n>1$对于超连接是必要的？
答案
因为当$n>1$时，超连接不仅能调整残差强度，还能重新排列层（序列或并行），而$n=1$时“跷跷板效应”仍然存在且性能没有提升。
问题
在mHC中，使用Sinkhorn-Knopp算法的迭代次数$t_{max}$被设置为多少？
答案
在实验中，$t_{max}$被设置为20作为一个实际值。
问题
mHC通过融合$H_{post}^{l}$和$H_{res}^{l}$的应用以及残差合并，减少了哪个内核的读写元素数量？
答案
它减少了$F_{post,res} := H_{res}^{l} x_l + H_{post}^{l\intercal} \mathcal{F}(\cdot, \cdot)$内核的I/O开销。
问题
在mHC的重计算（recomputing）策略中，需要为每$L_r$个连续层的块持久存储什么？
答案
只需要存储第一个层的输入$x_{l_0}$。
问题
在27B模型的系统级基准测试（表4）中，mHC在MMLU基准上的准确率是多少？
答案
mHC在MMLU上的准确率为63.4%。
问题
Reddit讨论中提到，双随机矩阵的一个特征向量对应的特征值总是1，这个特征向量是什么？
答案
这个特征向量是$[1/n, 1/n, …, 1/n]$，这意味着不消失的信号是向量的均值。
问题
在mHC框架下，即使将多个双随机矩阵相乘，其复合映射仍然保持什么性质？
答案
由于双随机矩阵在乘法下的封闭性，复合映射仍然是双随机的，从而保持了稳定性。
问题
根据mHC论文，当扩展率为$n=4$时，mHC只引入了大约多少额外的训练时间开销？
答案
仅引入了6.7%的额外时间开销。
问题
HC论文中，ResiDual方法被提出用来结合Pre-Norm和Post-Norm，它的核心思想是什么？
答案
ResiDual以双流（two-stream）的方式结合了Pre-Norm和Post-Norm。
问题
HC论文的实验表明，与ResiDual和Altup等相关工作相比，DHC在长期训练中的表现如何？
答案
尽管ResiDual和Altup在训练早期显示出增益，但它们最终被基线模型超越，而DHC则持续表现优异。
💡 点击卡片或按 Space 翻转 | ← → 切换
