一种用于网络集群的数据传输方法及装置与流程

本申请涉及数据传输，尤其涉及一种用于网络集群的数据传输方法及装置。

背景技术：

1、现有技术中，企业局域网内的一个节点下发数据处理任务时，会在局域网内随机选择一个节点或选择一个cpu负载较低的节点执行该任务，若两个节点之间需要进行较大的数据流传输时，由于频繁的对数据进行封包和拆包，容易产生数据丢失以及导致节点的cpu负载较大，影响了网络传输效率及稳定性。

技术实现思路

1、有鉴于此，本申请的目的在于至少提供一种用于网络集群的数据传输方法及装置，通过在源节点需要向其他节点下发数据处理任务时，依据各个节点的网络传输信息，确定执行数据处理任务的目标节点，进而将数据处理任务发送至目标节点，以使目标节点处理数据处理任务，解决了现有技术中两个节点之间进行较大的数据流传输时导致的数据丢失的技术问题，达到了提高网络传输的效率、稳定性及丢包率的技术效果。

2、本申请主要包括以下几个方面：

3、第一方面，本申请实施例提供一种用于网络集群的数据传输方法，该方法包括：在网络集群的源节点确定下发数据处理任务时，在网络集群的其他节点中确定出所述数据处理任务对应的多个待处理节点；依据每个待处理节点的网络传输信息，确定执行所述数据处理任务的目标节点；所述网络传输信息用于描述每个待处理节点的网络传输情况；将所述数据处理任务从所述源节点发送至所述目标节点，以使所述目标节点处理所述数据处理任务。

4、可选地，网络传输信息包括最大传输单元；所述依据每个待处理节点的网络传输信息，确定处理所述数据处理任务的目标节点，包括：依据每个待处理节点的最大传输单元，确定目标节点。

5、可选地，依据每个待处理节点的最大传输单元，确定目标节点之后，所述方法还包括：确定所述源节点上一次向所述目标节点发送数据的通信最大传输单元，以及所述目标节点接收数据时产生的丢包率；在所述丢包率不为零时，依据所述目标节点的所述丢包率及所述通信最大传输单元，调整所述源节点向所述目标节点发送数据处理任务的通信最大传输单元，以使所述源节点依据调整后的通信最大传输单元向所述目标节点发送数据处理任务。

6、可选地，网络传输信息包括最大传输单元和网络状态参数；所述依据每个待处理节点的网络传输信息，确定处理所述数据处理任务的目标节点，包括：依据每个待处理节点的最大传输单元，确定至少一个待选择节点；依据每个待选择节点的网络状态参数，确定目标节点。

7、可选地，依据每个待处理节点的最大传输单元，确定至少一个待选择节点，包括：依据多个待处理节点的最大传输单元，对多个待处理节点进行排序；依据排序后的结果，确定至少一个待选择节点。

8、可选地，网络状态参数包括：cpu负载和网络延迟。

9、第二方面，本申请实施例还提供一种用于网络集群的数据传输装置，所述装置包括：第一确定模块，用于在网络集群的源节点确定下发数据处理任务时，在网络集群的其他节点中确定出所述数据处理任务对应的多个待处理节点；第二确定模块，用于依据每个待处理节点的网络传输信息，确定执行所述数据处理任务的目标节点；所述网络传输信息用于描述每个待处理节点的网络传输情况；发送模块，用于将所述数据处理任务从所述源节点发送至所述目标节点，以使所述目标节点处理所述数据处理任务。

10、可选地，网络传输信息包括最大传输单元；所述第二确定模块，还用于依据每个待处理节点的最大传输单元，确定目标节点。

11、第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的用于网络集群的数据传输方法的步骤。

12、第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行上述第一方面或第一方面中任一种可能的实施方式中所述的用于网络集群的数据传输方法的步骤。

13、本申请实施例提供的一种用于网络集群的数据传输方法及装置，该方法包括：在网络集群的源节点确定下发数据处理任务时，在网络集群的其他节点中确定出数据处理任务对应的多个待处理节点；依据每个待处理节点的网络传输信息，确定执行数据处理任务的目标节点；网络传输信息用于描述每个待处理节点的网络传输情况；将数据处理任务从源节点发送至目标节点，以使目标节点处理数据处理任务。通过在源节点需要向其他节点下发数据处理任务时，依据各个节点的网络传输信息，确定执行数据处理任务的目标节点，进而将数据处理任务发送至目标节点，以使目标节点处理数据处理任务，解决了现有技术中两个节点之间进行较大的数据流传输时导致的数据丢失的技术问题，达到了提高网络传输的效率、稳定性及丢包率的技术效果。

14、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种用于网络集群的数据传输方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述网络传输信息包括最大传输单元；

3.根据权利要求2所述的方法，其特征在于，所述依据每个待处理节点的最大传输单元，确定目标节点之后，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述网络传输信息包括最大传输单元和网络状态参数；

5.根据权利要求4所述的方法，其特征在于，所述依据每个待处理节点的最大传输单元，确定至少一个待选择节点，包括：

6.根据权利要求4所述的方法，其特征在于，所述网络状态参数包括：cpu负载和网络延迟。

7.一种用于网络集群的数据传输装置，其特征在于，所述装置包括：

8.根据权利要求7所述的装置，其特征在于，所述网络传输信息包括最大传输单元；

9.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线进行通信，所述机器可读指令被所述处理器运行时执行如权利要求1至6任一所述的用于网络集群的数据传输方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至6任一所述的用于网络集群的数据传输方法的步骤。

技术总结
本申请提供了一种用于网络集群的数据传输方法及装置，其中，该方法包括：在网络集群的源节点确定下发数据处理任务时，在网络集群的其他节点中确定出数据处理任务对应的多个待处理节点；依据每个待处理节点的网络传输信息，确定执行数据处理任务的目标节点；网络传输信息用于描述每个待处理节点的网络传输情况；将数据处理任务从源节点发送至目标节点，以使目标节点处理数据处理任务。本申请解决了现有技术中两个节点之间进行较大的数据流传输时导致的数据丢失的技术问题，达到了提高网络传输的效率、稳定性及丢包率的技术效果。

技术研发人员：郑渊,吉孟扬,罗乐,张晶丽,杜博龙,葛文珍,刘明月,熊灿
受保护的技术使用者：鉴微数字科技（重庆）有限公司
技术研发日：
技术公布日：2024/1/15