一种基于线性规划优化的分布式深度学习训练方法及系统

本发明涉及深度学习，尤其涉及一种基于线性规划优化的分布式深度学习训练方法及系统。

背景技术：

1、随着深度学习在计算机视觉、自然语言处理等领域的广泛应用，构建更加复杂的神经网络模型以取得更高的算法性能成为重要趋势。但是复杂的大模型意味着需要大量的训练数据和计算资源。因此，使用多台计算设备进行分布式并行训练成为一个关键技术。目前主流的分布式训练算法包括数据并行和模型并行，但都存在着通信效率低下的问题。尤其是随着参与训练的设备数量增加，梯度通信越来越成为训练时间的瓶颈。因此研究高效的分布式训练算法以减少通信成本，使之更好地规模化，是提升深度学习训练效率的重要方向。

2、目前分布式深度学习训练中，参数服务器和ring-allreduce都是常用的通信架构。参数服务器存在单点瓶颈问题，ring-allreduce的固定梯度传输频率又无法适应不同规模梯度的最优传输方案。现有算法大多依赖经验超参数设置通信频率，未能充分考虑网络和动态梯度变化对通信方案的影响。

技术实现思路

1、为了解决上述技术问题，本发明的目标是提供一种基于线性规划优化的分布式深度学习训练方法及系统，能够根据网络和梯度特征自动选择最佳通信方案，减少通信消耗，提升分布式训练性能。

2、本发明所采用的第一技术方案是：一种基于线性规划优化的分布式深度学习训练方法，包括以下步骤：

3、获取训练模型的环境参数及网络参数；

4、基于环境参数及网络参数构建梯度通信的各项时间约束，并组建线性规划模型；

5、利用线性规划求解器求解线性规划模型，得到耗时最短的梯度发送方案。

6、进一步，所述环境参数包括带宽、计算能力、通信额外成本和固定成本；所述网络参数包括训练模型中每一层的梯度计算量、梯度通信量、发送状态、梯度计算开始时间。

7、进一步，所述基于环境参数及网络参数构建梯度通信的各项时间约束，并组建线性规划模型这一步骤，其具体包括：

8、基于当前层的梯度计算量和计算能力构建梯度计算时间约束；

9、基于当前层的梯度通信量和带宽构建梯度通信理论时长约束；

10、基于当前层的梯度计算时间和上一层的梯度通信结束时间构建梯度通信开始时间约束；

11、基于梯度通信开始时间、当前层通信理论持续时间、通信额外成本和固定成本构建梯度通信结束时间约束；

12、基于梯度通信理论时长、上一层缓冲区的值和发送状态构建缓冲区约束；

13、基于发送状态、上一层缓冲区的值和梯度通信理论时长构建梯度通信的理论持续时间约束；

14、基于当前层缓冲区的值、梯度通信理论时长和缓冲阈值构建发送状态判断约束。

15、通过该优选步骤，利用线性规划模型对训练模型的梯度数据传输流程进行优化。

16、进一步，所述梯度通信结束时间约束，其表达式如下：

17、tecom(i)≥(tscom(i)+ttal(i)·(1+ex)+cost)

18、其中，tecom(i)表示第i层梯度通信结束时间，tscom(i)表示第i层梯度通信开始时间，ttal(i)表示第i层通信理论持续时间，ex表示通信额外成本，cost表示固定成本。

19、进一步，所述缓冲区约束，其表达式如下：

20、bf(i)≥(bf(i-1)+t(i))·(1-state(i))

21、其中，bf(i)表示第i层缓冲区的值，bf(i-1)表示第i-1层缓冲区的值，t(i)表示第i层梯度通信理论时长，state(i)表示第i层的发送状态。

22、进一步，所述梯度通信的理论持续时间约束，其表达式如下：

23、ttal(i)≥(bf(i-1)+t(i))·state(i)

24、其中，ttal(i)表示第i层梯度通信的理论持续时间，bf(i-1)表示第i-1层缓冲区的值，t(i)表示第i层梯度通信理论时长，state(i)表示第i层的发送状态。

25、进一步，所述发送状态判断约束，其表达式如下：

26、

27、其中，state(i)表示第i层的发送状态，buffer表示缓冲阈值，t(i)表示第i层梯度通信理论时长，bf(i)表示第i层缓冲区的值。

28、进一步，所述利用线性规划求解器求解线性规划模型，得到耗时最短的梯度发送方案这一步骤，其具体包括：

29、根据当前层的梯度规模，动态调整当前层的发送状态；

30、在求解过程中将最后一层梯度通信结束时间最小化作为优化目标，得到耗时最短的梯度发送方案。

31、通过该优选步骤，可以自动适应不同规模梯度，动态确定最优方案；当需要传输多个小批量梯度时，梯度发送方案会进行融合传输；当遇到大批量梯度时，梯度发送方案会根据梯度准备时间动态调整传输时机，避免固定频率带来的等待时间。

32、本发明所采用的第二技术方案是：一种基于线性规划优化的分布式深度学习训练系统，包括：

33、参数获取模块，用于获取训练模型的环境参数及网络参数；

34、模型构建模块，基于环境参数及网络参数构建梯度通信的各项时间约束，并组建线性规划模型；

35、模型求解模块，利用线性规划求解器求解线性规划模型，得到耗时最短的梯度发送方案。

36、本发明方法及系统的有益效果是：本发明根据训练模型的环境参数及网络参数构建线性规划模型；以最小化总传输时间为目标，利用线性规划求解器求解线性规划模型，得到梯度数据的最佳发送方案；从而减少通信消耗，提升分布式训练性能。

技术特征：

1.一种基于线性规划优化的分布式深度学习训练方法，其特征在于，包括以下步骤：

2.根据权利要求1所述一种基于线性规划优化的分布式深度学习训练方法，其特征在于，所述环境参数包括带宽、计算能力、通信额外成本和固定成本；所述网络参数包括训练模型中每一层的梯度计算量、梯度通信量、发送状态、梯度计算开始时间。

3.根据权利要求1所述一种基于线性规划优化的分布式深度学习训练方法，其特征在于，所述基于环境参数及网络参数构建梯度通信的各项时间约束，并组建线性规划模型这一步骤，其具体包括：

4.根据权利要求3所述一种基于线性规划优化的分布式深度学习训练方法，其特征在于，所述梯度通信结束时间约束，其表达式如下：

5.根据权利要求3所述一种基于线性规划优化的分布式深度学习训练方法，其特征在于，所述缓冲区约束，其表达式如下：

6.根据权利要求3所述一种基于线性规划优化的分布式深度学习训练方法，其特征在于，所述梯度通信的理论持续时间约束，其表达式如下：

7.根据权利要求3所述一种基于线性规划优化的分布式深度学习训练方法，其特征在于，所述发送状态判断约束，其表达式如下：

8.根据权利要求1所述一种基于线性规划优化的分布式深度学习训练方法，其特征在于，所述利用线性规划求解器求解线性规划模型，得到耗时最短的梯度发送方案这一步骤，其具体包括：

9.一种基于线性规划优化的分布式深度学习训练系统，其特征在于，包括：

技术总结
本发明公开了一种基于线性规划优化的分布式深度学习训练方法及系统，该方法包括：获取训练模型的环境参数及网络参数；基于环境参数及网络参数构建梯度通信的各项时间约束，并组建线性规划模型；利用线性规划求解器求解线性规划模型，得到耗时最短的梯度发送方案。该系统包括：参数获取模块、模型构建模块和模型求解模块。通过使用本发明，能够根据网络和梯度特征自动选择最佳通信方案，减少通信消耗，提升分布式训练性能。本发明可广泛应用于深度学习技术领域。

技术研发人员：王卓薇,郑铭强,杨乐,陈勇生,王瑞升
受保护的技术使用者：广东工业大学
技术研发日：
技术公布日：2024/1/16