概要
本文介绍了DeepSeek-V3，一种具有671B总参数的强大Mixture-of-Experts语言模型，采用创新的多头潜在注意力和DeepSeekMoE架构，实现高效推理和成本效益训练，并通过无辅助损失平衡策略和多令牌预测训练目标提升了性能。
【方法】：DeepSeek-V3采用Multi-head Latent Attention (MLA)和DeepSeekMoE架构，通过无辅助损失平衡策略和多令牌预测训练目标进行训练。
【实验】：DeepSeek-V3在14.8万亿个多样性和高质量令牌上进行了预训练，随后进行监督微调和强化学习阶段，实验结果显示其性能优于其他开源模型，与领先的商业闭源模型相当，训练过程仅需2.788M H800 GPU小时，且训练过程稳定，无不可恢复的损失峰值或回滚操作。数据集名称未在文中明确提及。模型检查点可在https://github.com/deepseek-ai/DeepSeek-V3。
学术概念解释
- 大型语言模型（LLMs）：这是指具有广泛语言理解和生成能力的计算机模型，它们通常基于深度学习技术，可以处理和理解自然语言文本。
- 通用人工智能（AGI）：一种理论上的AI形式，具有与人类相似的智能水平，能够在各种任务上表现出人类级别的理解和学习能力。
- 混合专家（MoE）模型：一种模型架构，它将多个专家模型组合起来，每个专家模型负责处理输入数据的一个子集，以提高效率和性能。
- 多头潜在注意力（MLA）：一种注意力机制，它允许模型在处理输入数据时关注多个不同的信息片段，以提高对复杂关系的理解。
- FP8混合精度训练：一种训练方法，使用8位浮点数进行计算，以减少内存需求和加速训练过程。
- 管道并行（Pipeline Parallelism）：一种并行计算方法，将计算任务分割成多个阶段，每个阶段在不同的处理器上并行执行，以提高效率。
- 节点间通信（All-to-All Communication）：分布式训练中的一种通信模式，其中所有节点之间都需要交换数据，以同步模型的状态。
Multi-head Latent Attention，MLA
- 定义：Multi-head Latent Attention（MLA）是一种用于提高语言模型推理效率的注意力机制。它通过低秩联合压缩来减少注意力推理过程中的计算量和内存占用，同时保持与传统多头注意力（MHA）相当的性能。
- 核心原理：MLA的核心在于对注意力键（Keys）和值（Values）进行低秩压缩，以减少它们的维度，从而降低计算复杂度。同时，对于查询（Queries），MLA也采用类似的低秩压缩方法。这种压缩方法显著减少了在生成过程中需要缓存的键向量和值向量的数量。
- 实现细节：在MLA中，键和值被压缩成低维的潜在向量（Latent Vectors），这些向量随后被用于计算注意力输出。此外，MLA还引入了Rotary Position Embedding（RoPE）来携带位置信息，这有助于模型在处理序列数据时保持位置敏感性。
MLA的优势：
- 效率提升：通过减少键和值的维度，MLA显著降低了注意力计算的内存占用和计算复杂度，从而提高了推理效率。
- 性能保持：尽管进行了低秩压缩，但MLA仍然能够保持与传统MHA相当的性能，这表明其压缩方法是有效的。
- 适应性广：MLA可以应用于各种规模的语言模型中，从小型模型到大型模型都能受益于其带来的效率提升。
MLA在DeepSeek-V3中的应用：
- 架构集成：DeepSeek-V3采用了MLA作为其注意力机制的一部分，以提高模型的推理效率。
- 优化训练：通过集成MLA，DeepSeek-V3能够在保持高性能的同时，减少训练过程中的计算资源和内存占用，从而降低训练成本。
- 综合性能：DeepSeek-V3在多个基准测试上表现出色，这在一定程度上得益于MLA机制带来的效率提升和性能保持。