一种基于协同处理的加速子卡处理方法及系统与流程

本发明涉及数据处理，尤其涉及一种基于协同处理的加速子卡处理方法及系统。

背景技术：

1、加速子卡处理方法是一种利用多个处理单元（例如gpu、fpga或其他加速器）共同协作来加速计算任务的方法，这种方法将计算任务分解成多个子任务，然后并行地在多个加速子卡上进行处理，加速子卡处理方法可以显著提高计算任务的处理速度和效率。通过充分利用多个加速子卡的并行计算能力，可以加快复杂计算任务的执行。

2、然而，在处理多个任务时，存在一些挑战和限制，首先，对于多个任务的并行处理，需要合理安排任务的优先级，根据任务的优先级，可以确定任务的处理顺序，确保优先级较高的任务先被处理。这样可以保证重要的任务能够及时得到处理，但也可能导致在处理优先级较高的任务时，其他任务需要等待，从而影响整体的处理效率；

3、其次，切换任务时可能存在临时阻塞的情况。当切换到下一个任务时，需要将当前任务的状态保存并加载下一个任务的状态，这个切换过程可能会导致一定的延迟和阻塞。这可能会影响到任务处理的效率，特别是当任务切换频繁时。

4、因此，有必要提供一种基于协同处理的加速子卡处理方法及系统解决上述技术问题。

技术实现思路

1、为解决上述技术问题，本发明提供一种基于协同处理的加速子卡处理方法及系统，实现兼容任务打开的优先级和待处理数据的权重，来进行自由调度加速子卡完成对任务数据的协同处理，降低了任务处理的阻塞，有效提高了对多任务的处理效率，为切换任务处理提供了良好的操作保障。

2、为实现上述目的，本发明提供如下技术方案：一种基于协同处理的加速子卡处理方法，所述处理方法包括以下步骤：

3、s1、获取待处理任务，其中，所述待处理任务包括各类数据，并对待处理任务进行预处理，得到各类数据的数据体量预估值；

4、s2、基于预处理后的数据体量预估值，计算出待处理任务中各类数据的权重；

5、s3、获取并分类处理加速子卡，将加速子卡划分为固定化加速子卡和自由化加速子卡；

6、s4、基于历史任务和历史任务对应的数据体量预估值构建偏差判断模型，将待处理任务的各类数据的数据体量预估值输入偏差判断模型，获得偏差判断模型输出的判断结果，并根据判断结果为待处理任务匹配处理方案，其中，所述处理方案包括协同处理和独立处理；

7、s5、基于待处理任务中各类数据的权重构建调配数学模型，并根据调配数学模型调度固定化加速子卡和自由化加速子卡协同处理待处理任务中的各类数据，得到由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据；

8、s6、将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并，获得最终处理结果。

9、优选的，所述步骤s1具体包括以下步骤：

10、s1.1、依次对待处理任务的各类数据进行类别识别，其中，类别包括图像数据和文本数据；

11、s1.2、根据识别的图像数据和文本数据，分别对图像数据和文本数据进行体量预估，得到图像数据体量预估值和文本数据体量预估值；

12、s1.3、利用相同标记标记同一待处理任务的图像数据和文本数据；

13、s1.4、对待处理任务的图像数据和文本数据进行清洗并进行梳理，并对应归类于图像数据类别和文本数据类别。

14、优选的，所述步骤s2具体包括以下步骤：

15、s2.1、根据步骤s1得到的各类数据的数据体量预估值，计算出总体量预估值；

16、s2.2、计算各类数据的数据体量预估值所需的计算力单量；

17、s2.3、对各类数据的数据体量预估值所需的计算力单量求和，得到待处理任务所需的计算力总量；

18、s2.4、分别计算各类数据的数据体量预估值所需的计算力单量在计算力总量中的占比，并将对应于各类数据的占比认定为在待处理任务中的权重。

19、优选的，所述步骤s3具体包括以下步骤：

20、s3.1、读取加速子卡的信息，并将加速子卡分类为固定化加速子卡和自由化加速子卡；

21、s3.2、分别为固定化加速子卡和自由化加速子卡设置计算阈值。

22、优选的，所述步骤s4具体包括以下步骤：

23、s4.1、基于历史任务和历史任务对应的数据体量预估值构建偏差判断模型；

24、s4.2、设置预设条件，所述预设条件为是否小于偏差阈值；

25、s4.3、将待处理任务的各类数据的数据体量预估值输入偏差判断模型，由偏差判断模型输出偏差值，判断偏差值是否小于偏差阈值，若偏差值小于偏差阈值，则进行独立处理，

26、若偏差值不小于偏差阈值，则进行协同处理。

27、优选的，所述步骤s5具体包括以下步骤：

28、s5.1、基于历史任务和历史任务中各类数据的权重构建调配数学模型；

29、s5.2、将待处理任务的各类数据的权重输入调配数学模型，由调配数学模型输出调配结果；

30、s5.3、根据调配结果，由固定化加速子卡和自由化加速子卡适配各类数据的权重进行协同并行处理，其中，各类数据中权重最大的数据由固定化加速子卡处理，除各类数据中权重最大的数据外，其余各类数据由自由化加速子则处理。

31、本发明还提供了一种基于协同处理的加速子卡处理系统，所述处理系统包括：

32、预处理模块，用于获取待处理任务，并对待处理任务进行预处理，得到各类数据的数据体量预估值；

33、权重提升模块，用于根据预处理后的数据体量预估值，计算出待处理任务中各类数据的权重；

34、划分模块，用于获取并分类处理加速子卡，将加速子卡划分为固定化加速子卡和自由化加速子卡；

35、判断模块，用于根据历史任务和历史任务对应的数据体量预估值构建偏差判断模型，将待处理任务的各类数据的数据体量预估值输入偏差判断模型，获得偏差判断模型输出的判断结果，并根据判断结果为待处理任务匹配处理方案；

36、调配模块，用于根据待处理任务中各类数据的权重构建调配数学模型，并根据调配数学模型调度固定化加速子卡和自由化加速子卡协同处理待处理任务中的各类数据，得到由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据；

37、整合模块，用于将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并，获得最终处理结果。

38、优选的，所述预处理模块还包括：

39、特征模块，用于依次对待处理任务的各类数据进行类别识别；

40、扫描模块，用于根据识别的图像数据和文本数据，分别对图像数据和文本数据进行体量预估，得到图像数据体量预估值和文本数据体量预估值；

41、标识模块，用于标记同一待处理任务的图像数据和文本数据；

42、数据清洗模块，用于对待处理任务的图像数据和文本数据进行清洗并进行梳理，并对应归类于图像数据类别和文本数据类别。

43、优选的，所述整合模块还包括：

44、识别模块，用于识别处理完成后的被标记的各种类数据；

45、整理模块，用于将归属于同一待处理任务的由固定化加速子卡处理的处理数据，以及由自由化加速子卡处理的处理数据进行合并。

46、与相关技术相比较，本发明提供的一种基于协同处理的加速子卡处理方法及系统具有如下有益效果：

47、本发明通过对各任务进行预处理，以得到的体量预估值，并由此计算出各类待处理数据的权重，且通过将加速子卡进行固定化加速子卡以及自由化加速子卡的划分，便于根据建立调配数学模型，以输入任务各类数据的权重来调度固定化加速子卡和自由化加速子卡，固定化加速子卡用于处理重要性较高或固定类别数据，而自由化加速子卡根据任务的权重和需求进行灵活调整，调配数学模型根据任务数据的权重调度加速子卡，使得资源的分配更加合理和高效，通过以上的调度和协同处理，本发明能够兼容任务的优先级和待处理数据的权重，降低任务处理的阻塞，提高多任务处理的效率，同时，为切换任务处理提供了良好的操作保障，使得任务处理能够更加顺畅和高效进行。