一种异构硬件多板卡融合资源调度系统的制作方法

本申请涉及一种板卡资源调度系统，属于资源分配，尤其涉及一种异构硬件多板卡融合资源调度系统。

背景技术：

1、在视频图像处理的过程中，单独的图像处理任务通常分配给单媒体板卡进行处理，各硬件模块都是独立地完成自己的任务，受限于单板卡性能，当有大型任务需求时无法实现任务完成。

技术实现思路

1、本申请提供了一种异构硬件多板卡融合资源调度系统，可兼容不同的异构媒体板卡，如不同的图形处理器(gpu，graphics processing unit)、片上系统(soc，system on achip)、现场可编程门阵列(fpga，field programmable gate array)等；能将单一的大型媒体理任务拆分，分配到不同板卡，从而提高媒体处理能力；能够实现异构硬件多板卡智能资源调度。所谓异构媒体板卡是指用于调度的多个媒体板卡，多个媒体板卡可以产自不同厂商，也可以采用相同厂商的不同型号，能够用来处理码流。

2、所述异构硬件多板卡融合资源调度系统包括：

3、任务分配单元，用于将整体任务拆分成不同的多媒体数据任务，将各所述多媒体数据任务的数据码流分解成横向的多组编解码程序，按需分别传输到接收控制单元中的不同的接收模块上；

4、接收控制单元，用于将接收到的数据码流发送给适配的板卡进行处理；

5、多板卡处理单元，用于根据信令对所述的数据码流进行解码处理，根据终端显示需求进行缩放处理，再对要在终端显示的所有缩放处理后的码流进行整合拼接，重新编码后发送到媒体终端设备；

6、媒体终端设备，用于发送自带的视频流到板卡和接收并显示对应的各板卡发送的图像。

7、可选地，所述任务分配单元用于根据映射算法将任务信息和数据码流发送给接收处理单元，使数据码流转发到对应的板卡上进行处理。

8、可选地，所述映射算法包括：根据会议模式，确定码流编解所需板卡个数，并根据板卡个数确定每一个板卡的样式，将个数、样式信息发送给所述接收控制单元，以将相应的码流转发到其对应的板卡上进行处理。

9、可选地，所述接收控制单元包括若干接收模块，每个所述接收模块用于获取多个待处理的多媒体数据任务及待处理的多媒体数据。

10、可选地，所述多板卡处理单元用于根据调度算法进行板卡资源分配。

11、可选地，所述调度算法包括以下调度方式中的至少一种：手工指定分配、均衡模式分配、单板卡优先模式分配。

12、优选地，所述手工指定分配是指，根据会议的重要程度设定优先级，对于优先级高的会议，指定板卡优先使用资源。

13、优选地，所述均衡模式分配是指，针对待处理数据任务，平均分配板卡资源。

14、优选地，所述单板卡优先模式是指，当系统空闲或工作承载任务量少(如系统还剩余板卡)时，优先使用单板卡。

15、可选地，该系统还包括若干终端，各终端将图像发送给任务分配单元，任务分配单元汇总各终端的图像的数据码流，根据总码流处理任务确定多媒体数据任务并确定对应的用于处理的板卡，通过接收控制单元将数据码流发送给确定的板卡进行数据码流的处理，并将处理后的码流发送到指定媒体终端。

16、可选地，所述多板卡处理单元包括：

17、解码子单元，用于控制若干解码模块对所述多媒体数据任务的数据码流进行解码，得多个解码后的多媒体数据，多个解码模块、多个待处理的多媒体数据与多个解码后的多媒体数据一一对应；

18、缩放控制子单元，用于控制若干缩放模块对解码后的多媒体数据进行缩放，得到缩放后的多媒体数据集，每个缩放后的多媒体数据集包括至少一个缩放后的多媒体数据，多个缩放模块、多个解码后的多媒体数据与多个缩放后的多媒体数据集一一对应；

19、拼接控制子单元，用于控制若干拼接模块对多媒体数据集中包括的缩放后的多媒体数据进行拼接，得到多个拼接后的多媒体数据，多个拼接模块与多个拼接后的多媒体数据一一对应；

20、编码控制子单元，用于控制若干编码模块对拼接后的多媒体数据进行编码，得到多个编码后的多媒体数据，多个编码模块、多个拼接后的多媒体数据与多个编码后的多媒体数据一一对应；

21、发送子单元，用于控制若干发送模块将编码后的多媒体数据发送至多个媒体终端进行显示，多个发送模块、多个编码后的多媒体数据与多个媒体终端一一对应。

22、本申请先利用缩放控制子单元将所需数据缩放成指定大小，然后再根据需求进行拼接、编码，最后将所有解码后的数据流压缩后流入对应的拼接模块。

23、可选地，所述解码模块用于基于识别结果对待处理的多媒体数据进行解码，得到解码后的多媒体数据。所述识别结果即所需解码的数据。

24、可选地，所述拼接模块用于获取若干所述缩放模块输出的缩放后的多媒体数据集，将其拼接得到拼接后的多媒体数据。

25、可选地，所述媒体终端设备包括至少一个媒体终端，所述媒体终端设备用于根据需要显示拼接后的多媒体数据；将拼接后的多媒体数据经编码后传输给指定的终端。

26、本申请能产生的有益效果包括：

27、1)本申请所提供的异构硬件多板卡融合资源调度系统，可用于实现大型任务，通过任务分配单元的统一接口接收整体任务，基于异构硬件架构中各异构硬件单元的资源特征(即各个硬件的承载任务量)，确定执行总体任务的调度，将任务所包含的各个子任务通过统一的硬件与应用接口分发至适配的异构介质执行。由于任务是统一接口接收，并且其子任务通过统一的硬件与应用接口分发，因此，可以兼容不同的介质，屏蔽了异构硬件单元的差异，打通异构资源的隔离，有效地分配到工作率低的硬件单元进行处理，提高执行效率。

28、2)本申请采用多板卡进行资源调度，避免传统多卡系统板卡间需要传输gb/s数据的巨大接口性能需求。与单板卡不同，多板卡可以对一路视频数据进行多次解码，并根据需要按照不同的调度需求进行解码。在这个过程中，解码后的原始视频数据不会在板卡间进行传输，而是使不同的码流根据指示流入最适配的板卡进行处理，然后将所有处理后的数据再次编码成所需格式并发送，最终在终端显示上呈现不同的画面效果。这种设计避免了在板卡间传输解码后的原始视频数据，大大提高了传输效率和扩展性。

29、3)本申请能够避免在数据处理中板卡数量受主机接口的物理限制，提高了数据处理效率；同时，实现了容量的扩大，可以大规模运营会议，增加参会人员。本申请较现有技术在性能方面有很大提高，可以根据需要进行无限增容，解决了目前由单板卡造成的局限性问题。

技术特征：

1.一种异构硬件多板卡融合资源调度系统，其特征在于，该系统包括：

2.根据权利要求1所述的异构硬件多板卡融合资源调度系统，其特征在于，所述任务分配单元用于根据映射算法将任务信息和数据码流发送给接收处理单元，使数据码流转发到对应的板卡上进行处理。

3.根据权利要求2所述的异构硬件多板卡融合资源调度系统，其特征在于，所述映射算法包括：根据会议模式，确定码流编解所需板卡个数，并根据板卡个数确定每一个板卡的样式，将个数、样式信息发送给所述接收控制单元，以将相应的码流转发到其对应的板卡上进行处理。

4.根据权利要求1所述的异构硬件多板卡融合资源调度系统，其特征在于，所述接收控制单元包括若干接收模块，每个所述接收模块用于获取多个待处理的多媒体数据任务及待处理的多媒体数据。

5.根据权利要求1所述的异构硬件多板卡融合资源调度系统，其特征在于，所述多板卡处理单元用于根据调度算法进行板卡资源分配。

6.根据权利要求5所述的异构硬件多板卡融合资源调度系统，其特征在于，所述调度算法包括以下调度方式中的至少一种：手工指定分配、均衡模式分配、单板卡优先模式分配；

7.根据权利要求1所述的异构硬件多板卡融合资源调度系统，其特征在于，该系统还包括若干终端，各终端将图像发送给任务分配单元，任务分配单元汇总各终端的图像的数据码流，根据总码流处理任务确定多媒体数据任务并确定对应的用于处理的板卡，通过接收控制单元将数据码流发送给确定的板卡进行数据码流的处理，并将处理后的码流发送到指定媒体终端；

8.根据权利要求1所述的异构硬件多板卡融合资源调度系统，其特征在于，所述多板卡处理单元包括：

9.根据权利要求8所述的异构硬件多板卡融合资源调度系统，其特征在于，所述解码模块用于基于识别结果对待处理的多媒体数据进行解码，得到解码后的多媒体数据；

技术总结
本申请公开了一种异构硬件多板卡融合资源调度系统，包括任务分配单元、接收控制单元、多板卡处理单元、媒体终端设备，所述任务分配单元用于将会议视频图像及多媒体数据处理任务分发给接收控制单元，通过网络流将图像传输到多板卡处理单元依次完成多媒体数据的解码、缩放、拼接、编码，最终在终端或媒体终端设备上进行显示。本申请可以兼容不同的异构介质，屏蔽了异构硬件单元的差异，打通异构资源的隔离，将数据有效分配到工作率低的硬件单元进行处理，提高了执行效率。同时，本申请不受主机接口的物理限制，适用于大规模运营会议，并可根据需要无限增容，解决了目前由单板卡的造成的局限性问题。

技术研发人员：李卫星,刘轩,张化坤
受保护的技术使用者：天地阳光通信科技（北京）有限公司
技术研发日：
技术公布日：2024/3/24