大模型分布式训练并行技术（一）-概述
近年来，随着transformer、moe架构的提出，使得深度学习模型轻松突破上万亿规模参数，传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此，我们需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。
而利用ai集群，使深度学习算法更好地从大量数据中高效地训练出性能优良的大模型是分布式机器学习的首要目标。为了实现该目标，一般需要根据硬件资源与数据/模型规模的匹配情况，考虑对计算任务、训练数据和模型进行划分，从而进行分布式存储和分布式训练。因此，分布式训练相关技术值得我们进行深入分析其背后的机理。
下面主要对大模型进行分布式训练的并行技术进行讲解，本系列大体分九篇文章进行讲解。
大模型分布式训练并行技术（一）-概述
大模型分布式训练并行技术（二）-数据并行
大模型分布式训练并行技术（三）-流水线并行
大模型分布式训练并行技术（四）-张量并行
大模型分布式训练并行技术（五）-序列并行
大模型分布式训练并行技术（六）-多维混合并行
大模型分布式训练并行技术（七）-自动并行
大模型分布式训练并行技术（八）-moe并行
大模型分布式训练并行技术（九）-总结
本文为分布式训练并行技术的第一篇，对大模型进行分布式训练常见的并行技术进行简要介绍。
数据并行
数据并行是最常见的并行形式，因为它很简单。在数据并行训练中，数据集被分割成几个碎片，每个碎片被分配到一个设备上。这相当于沿批次（batch）维度对训练过程进行并行化。每个设备将持有一个完整的模型副本，并在分配的数据集碎片上进行训练。在反向传播之后，模型的梯度将被全部减少，以便在不同设备上的模型参数能够保持同步。典型的数据并行实现：pytorch ddp。
image.png
模型并行
在数据并行训练中，一个明显的特点是每个 gpu 持有整个模型权重的副本。这就带来了冗余问题。另一种并行模式是模型并行，即模型被分割并分布在一个设备阵列上。
通常有两种类型的模型并行：张量并行和流水线并行。
张量并行是在一个操作中进行并行计算，如：矩阵-矩阵乘法。
流水线并行是在各层之间进行并行计算。
因此，从另一个角度来看，张量并行可以被看作是层内并行，流水线并行可以被看作是层间并行。
张量并行
张量并行训练是将一个张量沿特定维度分成 n 块，每个设备只持有整个张量的 1/n，同时不影响计算图的正确性。这需要额外的通信来确保结果的正确性。
以一般的矩阵乘法为例，假设我们有 c = ab。我们可以将b沿着列分割成 [b0 b1 b2 ... bn]，每个设备持有一列。然后我们将 a 与每个设备上 b 中的每一列相乘，我们将得到 [ab0 ab1 ab2 ... abn] 。此刻，每个设备仍然持有一部分的结果，例如，设备(rank=0)持有 ab0。为了确保结果的正确性，我们需要收集全部的结果，并沿列维串联张量。通过这种方式，我们能够将张量分布在设备上，同时确保计算流程保持正确。
image.png
典型的张量并行实现：megatron-lm（1d）、colossal-ai（2d、2.5d、3d）。
流水线并行
流水线并行的核心思想是，模型按层分割成若干块，每块都交给一个设备。
在前向传播过程中，每个设备将中间的激活传递给下一个阶段。
在后向传播过程中，每个设备将输入张量的梯度传回给前一个流水线阶段。
这允许设备同时进行计算，从而增加训练的吞吐量。
image.png
流水线并行训练的一个明显缺点是训练设备容易出现空闲状态（因为后一个阶段需要等待前一个阶段执行完毕），导致计算资源的浪费，加速效率没有数据并行高。
image.png
典型的流水线并行实现：gpipe、pipedream、pipedream-2bw、pipedream flush（1f1b）。
优化器相关的并行
目前随着模型越来越大，单个gpu的显存目前通常无法装下那么大的模型了。那么就要想办法对占显存的地方进行优化。
通常来说，模型训练的过程中，gpu上需要进行存储的参数包括了模型本身的参数、优化器状态、激活函数的输出值、梯度以及一些零时的buffer。各种数据的占比如下图所示：
image.png
可以看到模型参数仅占模型训练过程中所有数据的一部分，当进行混合精度运算时，其中模型状态参数(优化器状态 + 梯度+ 模型参数）占到了一大半以上。因此，我们需要想办法去除模型训练过程中的冗余数据。
而优化器相关的并行就是一种去除冗余数据的并行方案，目前这种并行最流行的方法是 zero（即零冗余优化器）。针对模型状态的存储优化（去除冗余），zero使用的方法是分片，即每张卡只存 1/n 的模型状态量，这样系统内只维护一份模型状态。zero有三个不同级别，对模型状态进行不同程度的分片：
zero-1 : 对优化器状态分片（optimizer states sharding）
zero-2 : 对优化器状态和梯度分片（optimizer states & gradients sharding）
zero-3 : 对优化器状态、梯度分片以及模型权重参数分片（optimizer states & gradients & parameters sharding）
image.png
异构系统并行
上述的方法中，通常需要大量的 gpu 来训练一个大型模型。然而，人们常常忽略一点，与 gpu 相比，cpu 的内存要大得多。在一个典型的服务器上，cpu 可以轻松拥有几百gb甚至上tb的内存，而每张 gpu 卡通常只有 48 或 80 gb的内存。这促使人们思考为什么 cpu 内存没有被用于分布式训练。
而最近的进展是依靠 cpu 甚至是 nvme 磁盘来训练大型模型。主要的想法是，在不使用张量时，将其卸载回 cpu 内存或 nvme 磁盘。
通过使用异构系统架构，有可能在一台机器上容纳一个巨大的模型。
image.png
多维混合并行
多维混合并行指将数据并行、模型并行和流水线并行等多种并行技术结合起来进行分布式训练。
image.png
通常，在进行超大规模模型的预训练和全参数微调时，都需要用到多维混合并行。
image.png
为了充分利用带宽，通常情况下，张量并行所需的通信量最大，而数据并行与流水线并行所需的通信量相对来说较小。因此，同一个服务器内使用张量并行，而服务器之间使用数据并行与流水线并行。
image.png
自动并行
上面提到的数据并行、张量并行、流水线并行等多维混合并行需要把模型切分到多张ai加速卡上面，如果让用户手动实现，对开发者来说难度非常大，需要考虑性能、内存、通信、训练效果等问题，要是能够将模型按算子或者按层自动切分到不同的加速卡上，可以大大的降低开发者的使用难度。因此，自动并行应运而生。
image.png
moe并行 / 专家并行
通常来讲，模型规模的扩展会导致训练成本显著增加，计算资源的限制成为了大规模密集模型训练的瓶颈。为了解决这个问题，一种基于稀疏 moe 层的深度学习模型架构被提出，即将大模型拆分成多个小模型(专家，expert)， 每轮迭代根据样本决定激活一部分专家用于计算，达到了节省计算资源的效果；并引入可训练并确保稀疏性的门( gate )机制，以保证计算能力的优化。
使用 moe 结构，可以在计算成本次线性增加的同时实现超大规模模型训练，为恒定的计算资源预算带来巨大增益。而 moe 并行，本质上也是一种模型并行方法。下图展示了一个有六个专家网络的模型被两路专家并行地训练。其中，专家1-3被放置在第一个计算单元上，而专家4-6被放置在第二个计算单元上。
image.png
结语
本文针对大模型进行分布式训练常见的并行技术进行了简要的介绍。后续章节将针对常见并行技术的不同方案进行详细的讲解。
FPGA原型调试环境局限性的解决方案分析
i9-9900K开盖 使用了钎焊散热后实际效果如何
评估相机性能的几个关键要素
基于FPGA的可扩展高速FFT处理器的设计与实现
LG与麦格纳联手开发汽车控制模块，预计2027年启用
大模型分布式训练并行技术（一）-概述
【世说设计】优化移动天线调谐的简易方法
再过14年后，人工智能会是什么样子？
CMOS语音芯片WTN6096在防狼报警器的应用
大功率超声波pcb线路板设计
光隔离探头实测案例——氮化镓GaN半桥上管测试
恩智浦TrimensionTM超宽带技术助力小米MIX4智能手机提供全新“一指连”智能家居解决方案
AR、VR、MR和XR如何改变生活
渗透测试工程师精简化字典
中美贸易战白热化 5G技术将“鹿死谁手”？
敏芯半导体完成A轮融资，恒信华业基金独家投资
合众新能源旗下哪吒纯电动车将在三季度批量生产并投入市场
价格4998元起 vivo超大杯X60 Pro+明日正式开售
用于无人车辆和其它小型装备的功率放大器
三星10nm级16Gb LPDDR4X DRAM开始量产，主要用于汽车
而利用ai集群，使深度学习算法更好地从大量数据中高效地训练出性能优良的大模型是分布式机器学习的首要目标。为了实现该目标，一般需要根据硬件资源与数据/模型规模的匹配情况，考虑对计算任务、训练数据和模型进行划分，从而进行分布式存储和分布式训练。因此，分布式训练相关技术值得我们进行深入分析其背后的机理。
下面主要对大模型进行分布式训练的并行技术进行讲解，本系列大体分九篇文章进行讲解。
大模型分布式训练并行技术（一）-概述
大模型分布式训练并行技术（二）-数据并行
大模型分布式训练并行技术（三）-流水线并行
大模型分布式训练并行技术（四）-张量并行
大模型分布式训练并行技术（五）-序列并行
大模型分布式训练并行技术（六）-多维混合并行
大模型分布式训练并行技术（七）-自动并行
大模型分布式训练并行技术（八）-moe并行
大模型分布式训练并行技术（九）-总结
本文为分布式训练并行技术的第一篇，对大模型进行分布式训练常见的并行技术进行简要介绍。
数据并行
数据并行是最常见的并行形式，因为它很简单。在数据并行训练中，数据集被分割成几个碎片，每个碎片被分配到一个设备上。这相当于沿批次（batch）维度对训练过程进行并行化。每个设备将持有一个完整的模型副本，并在分配的数据集碎片上进行训练。在反向传播之后，模型的梯度将被全部减少，以便在不同设备上的模型参数能够保持同步。典型的数据并行实现：pytorch ddp。
image.png
模型并行
在数据并行训练中，一个明显的特点是每个 gpu 持有整个模型权重的副本。这就带来了冗余问题。另一种并行模式是模型并行，即模型被分割并分布在一个设备阵列上。
通常有两种类型的模型并行：张量并行和流水线并行。
张量并行是在一个操作中进行并行计算，如：矩阵-矩阵乘法。
流水线并行是在各层之间进行并行计算。
因此，从另一个角度来看，张量并行可以被看作是层内并行，流水线并行可以被看作是层间并行。
张量并行
张量并行训练是将一个张量沿特定维度分成 n 块，每个设备只持有整个张量的 1/n，同时不影响计算图的正确性。这需要额外的通信来确保结果的正确性。
以一般的矩阵乘法为例，假设我们有 c = ab。我们可以将b沿着列分割成 [b0 b1 b2 ... bn]，每个设备持有一列。然后我们将 a 与每个设备上 b 中的每一列相乘，我们将得到 [ab0 ab1 ab2 ... abn] 。此刻，每个设备仍然持有一部分的结果，例如，设备(rank=0)持有 ab0。为了确保结果的正确性，我们需要收集全部的结果，并沿列维串联张量。通过这种方式，我们能够将张量分布在设备上，同时确保计算流程保持正确。
image.png
典型的张量并行实现：megatron-lm（1d）、colossal-ai（2d、2.5d、3d）。
流水线并行
流水线并行的核心思想是，模型按层分割成若干块，每块都交给一个设备。
在前向传播过程中，每个设备将中间的激活传递给下一个阶段。
在后向传播过程中，每个设备将输入张量的梯度传回给前一个流水线阶段。
这允许设备同时进行计算，从而增加训练的吞吐量。
image.png
流水线并行训练的一个明显缺点是训练设备容易出现空闲状态（因为后一个阶段需要等待前一个阶段执行完毕），导致计算资源的浪费，加速效率没有数据并行高。
image.png
典型的流水线并行实现：gpipe、pipedream、pipedream-2bw、pipedream flush（1f1b）。
优化器相关的并行
目前随着模型越来越大，单个gpu的显存目前通常无法装下那么大的模型了。那么就要想办法对占显存的地方进行优化。
通常来说，模型训练的过程中，gpu上需要进行存储的参数包括了模型本身的参数、优化器状态、激活函数的输出值、梯度以及一些零时的buffer。各种数据的占比如下图所示：
image.png
可以看到模型参数仅占模型训练过程中所有数据的一部分，当进行混合精度运算时，其中模型状态参数(优化器状态 + 梯度+ 模型参数）占到了一大半以上。因此，我们需要想办法去除模型训练过程中的冗余数据。
而优化器相关的并行就是一种去除冗余数据的并行方案，目前这种并行最流行的方法是 zero（即零冗余优化器）。针对模型状态的存储优化（去除冗余），zero使用的方法是分片，即每张卡只存 1/n 的模型状态量，这样系统内只维护一份模型状态。zero有三个不同级别，对模型状态进行不同程度的分片：
zero-1 : 对优化器状态分片（optimizer states sharding）
zero-2 : 对优化器状态和梯度分片（optimizer states & gradients sharding）
zero-3 : 对优化器状态、梯度分片以及模型权重参数分片（optimizer states & gradients & parameters sharding）
image.png
异构系统并行
上述的方法中，通常需要大量的 gpu 来训练一个大型模型。然而，人们常常忽略一点，与 gpu 相比，cpu 的内存要大得多。在一个典型的服务器上，cpu 可以轻松拥有几百gb甚至上tb的内存，而每张 gpu 卡通常只有 48 或 80 gb的内存。这促使人们思考为什么 cpu 内存没有被用于分布式训练。
而最近的进展是依靠 cpu 甚至是 nvme 磁盘来训练大型模型。主要的想法是，在不使用张量时，将其卸载回 cpu 内存或 nvme 磁盘。
通过使用异构系统架构，有可能在一台机器上容纳一个巨大的模型。
image.png
多维混合并行
多维混合并行指将数据并行、模型并行和流水线并行等多种并行技术结合起来进行分布式训练。
image.png
通常，在进行超大规模模型的预训练和全参数微调时，都需要用到多维混合并行。
image.png
为了充分利用带宽，通常情况下，张量并行所需的通信量最大，而数据并行与流水线并行所需的通信量相对来说较小。因此，同一个服务器内使用张量并行，而服务器之间使用数据并行与流水线并行。
image.png
自动并行
上面提到的数据并行、张量并行、流水线并行等多维混合并行需要把模型切分到多张ai加速卡上面，如果让用户手动实现，对开发者来说难度非常大，需要考虑性能、内存、通信、训练效果等问题，要是能够将模型按算子或者按层自动切分到不同的加速卡上，可以大大的降低开发者的使用难度。因此，自动并行应运而生。
image.png
moe并行 / 专家并行
通常来讲，模型规模的扩展会导致训练成本显著增加，计算资源的限制成为了大规模密集模型训练的瓶颈。为了解决这个问题，一种基于稀疏 moe 层的深度学习模型架构被提出，即将大模型拆分成多个小模型(专家，expert)， 每轮迭代根据样本决定激活一部分专家用于计算，达到了节省计算资源的效果；并引入可训练并确保稀疏性的门( gate )机制，以保证计算能力的优化。
使用 moe 结构，可以在计算成本次线性增加的同时实现超大规模模型训练，为恒定的计算资源预算带来巨大增益。而 moe 并行，本质上也是一种模型并行方法。下图展示了一个有六个专家网络的模型被两路专家并行地训练。其中，专家1-3被放置在第一个计算单元上，而专家4-6被放置在第二个计算单元上。
image.png
结语
本文针对大模型进行分布式训练常见的并行技术进行了简要的介绍。后续章节将针对常见并行技术的不同方案进行详细的讲解。
FPGA原型调试环境局限性的解决方案分析
i9-9900K开盖 使用了钎焊散热后实际效果如何
评估相机性能的几个关键要素
基于FPGA的可扩展高速FFT处理器的设计与实现
LG与麦格纳联手开发汽车控制模块，预计2027年启用
大模型分布式训练并行技术（一）-概述
【世说设计】优化移动天线调谐的简易方法
再过14年后，人工智能会是什么样子？
CMOS语音芯片WTN6096在防狼报警器的应用
大功率超声波pcb线路板设计
光隔离探头实测案例——氮化镓GaN半桥上管测试
恩智浦TrimensionTM超宽带技术助力小米MIX4智能手机提供全新“一指连”智能家居解决方案
AR、VR、MR和XR如何改变生活
渗透测试工程师精简化字典
中美贸易战白热化 5G技术将“鹿死谁手”？
敏芯半导体完成A轮融资，恒信华业基金独家投资
合众新能源旗下哪吒纯电动车将在三季度批量生产并投入市场
价格4998元起 vivo超大杯X60 Pro+明日正式开售
用于无人车辆和其它小型装备的功率放大器
三星10nm级16Gb LPDDR4X DRAM开始量产，主要用于汽车