数据传输方法及装置、设备和介质与流程

本公开涉及计算机，尤其涉及芯片技术、数据传输，具体涉及一种数据传输方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、随着人工智能技术的发展，越来越多的应用基于人工智能技术取得了远超过传统算法的效果。深度学习是数据密集型算法和计算密集型算法，为了提高大规模深度学习模型的训练速度和推理速度，可以利用包含多个节点的分布式系统来执行数据处理，满足算力要求。分布式系统中的数据交换过程将直接影响分布式计算的效率。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

1、本公开提供了一种数据传输方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

2、根据本公开的一方面，提供了一种应用于分布式系统的数据传输方法，所述分布式系统包括多个节点，所述多个节点构成环形拓扑或线形拓扑，所述方法包括：获取多个数据传输请求，所述多个数据传输请求中的每个数据传输请求包括待传输数据、数据发送节点和数据接收节点；针对所述多个数据传输请求中的每个数据传输请求，确定该数据传输请求的目标传输长度，所述目标传输长度指示该数据传输请求的数据发送节点和该数据传输请求的数据接收节点之间的节点个数的最小值；基于所述多个数据传输请求中的每个数据传输请求的目标传输长度，将所述多个数据传输请求划分为多个集合，其中，所述多个集合中的每个集合包括的至少一个数据传输请求的目标传输长度相等；以及确定由所述多个集合构成的序列，以依次针对所述多个集合中的每个集合执行数据传输操作，所述数据传输操作包括：将每个数据传输请求中的待传输数据从该数据传输请求的数据发送节点传输至该数据传输请求的数据接收节点，其中，每个集合包括的至少一个数据传输请求中的待传输数据是并行传输的。

3、根据本公开的一方面，提供了一种应用于分布式系统的数据传输装置，所述分布式系统包括多个节点，所述多个节点构成环形拓扑或线形拓扑，所述装置包括：获取单元，被配置为获取多个数据传输请求，所述多个数据传输请求中的每个数据传输请求包括待传输数据、数据发送节点和数据接收节点；确定单元，被配置为针对所述多个数据传输请求中的每个数据传输请求，确定该数据传输请求的目标传输长度，所述目标传输长度指示该数据传输请求的数据发送节点和该数据传输请求的数据接收节点之间的节点个数的最小值；划分单元，被配置为基于所述多个数据传输请求中的每个数据传输请求的目标传输长度，将所述多个数据传输请求划分为多个集合，其中，所述多个集合中的每个集合包括的至少一个数据传输请求的目标传输长度相等；以及传输单元，被配置为确定由所述多个集合构成的序列，以依次针对所述多个集合中的每个集合执行数据传输操作，所述数据传输操作包括：将每个数据传输请求中的待传输数据从该数据传输请求的数据发送节点传输至该数据传输请求的数据接收节点，其中，每个集合包括的至少一个数据传输请求中的待传输数据是并行传输的。

4、根据本公开的一方面，提供了一种芯片，包括如上所述的数据传输装置。

5、根据本公开的一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述数据传输方法。

6、根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述数据传输方法。

7、根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序在被处理器执行时能够实现上述数据传输方法。

8、根据本公开的一个或多个实施例，可以提升数据传输效率。

9、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

技术特征：

1.一种应用于分布式系统的数据传输方法，所述分布式系统包括多个节点，所述多个节点构成环形拓扑或线形拓扑，所述方法包括：

2.如权利要求1所述的方法，其中，当所述多个节点构成环形拓扑时，所述针对所述多个集合中的每个集合执行数据传输操作包括：

3.如权利要求2所述的方法，其中，所述确定该数据传输请求的数据传输方向包括：

4.如权利要求1-3中任一项所述的方法，其中，当所述多个节点构成环形拓扑时，所述针对所述多个数据传输请求中的每个数据传输请求，确定该数据传输请求的目标传输长度包括：

5.如权利要求1-4中任一项所述的方法，其中，所述多个数据传输请求满足如下条件：

6.一种应用于分布式系统的数据传输装置，所述分布式系统包括多个节点，所述多个节点构成环形拓扑或线形拓扑，所述装置包括：

7.如权利要求6所述的装置，其中，当所述多个节点构成环形拓扑时，所述传输单元包括：

8.如权利要求7所述的装置，其中，所述确定子单元被配置为：

9.如权利要求6-8中任一项所述的装置，其中，当所述多个节点构成环形拓扑时，所述确定单元被配置为：

10.如权利要求6-9中任一项所述的装置，其中，所述多个数据传输请求满足如下条件：

11.一种芯片，包括如上所述的数据传输装置。

12.一种电子设备，包括：

13.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-5中任一项所述的方法。d-ef230180。

14.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现根据权利要求1-5中任一项所述的方法。

技术总结
本公开提供了一种数据传输方法及装置、设备和介质，涉及计算机技术领域，尤其涉及芯片技术、数据传输技术领域。实现方案为：获取多个数据传输请求，每个数据传输请求包括待传输数据、数据发送节点和数据接收节点；确定每个数据传输请求的目标传输长度，目标传输长度指示该数据传输请求的数据发送节点和数据接收节点之间的节点个数的最小值；基于每个数据传输请求的目标传输长度，将多个数据传输请求划分为多个集合，每个集合包括的至少一个数据传输请求的目标传输长度相等；以及确定由所述多个集合构成的序列，以依次针对所述多个集合中的每个集合执行数据传输操作，并且每个集合包括的至少一个数据传输请求中的待传输数据是并行传输的。

技术研发人员：张孝慈,陈庆澍,王勇,欧阳剑
受保护的技术使用者：昆仑芯（北京）科技有限公司
技术研发日：
技术公布日：2024/1/14