本技术涉及人工智能和分布式计算,特别是涉及一种基于分布式的算力模型聚合方法、装置和计算机设备。
背景技术:
1、随着医学影像技术的进步,医疗设备(如ct(computed tomography,计算机断层扫描)、mri(magnetic resonance imaging,磁共振成像)、x射线等)每天会产生大量的高分辨率影像数据。这些数据需要迅速且准确地进行分析,以帮助医生进行疾病诊断、病灶检测和肿瘤分类。然而,依靠传统人工分析的方式费时费力且易受人为因素影响,因此越来越多的医疗机构引入了ai(artificial intelligence,人工智能)辅助医学影像识别技术。因此如何提升低成本的ai模型算力优化是提升辅助医学影像识别的研究重点。
2、传统的ai模型的算力优化方式是通过分布式计算框架、边缘计算平台、小模型技术、以及模型聚合与融合技术对ai模型的算力进行综合优化,但是上述算力优化方式的硬件需求搞、处理能力慢、实时性差、且系统容错率低,从而导致低成本条件下的医学影像识别精准度较差。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种基于分布式的算力模型聚合方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种基于分布式的算力模型聚合方法,包括:
3、获取辅助医学影像数据、以及所述辅助医学影像数据的图像识别任务,并基于所述图像识别任务,通过识别代理单元,识别各子图像识别任务;
4、基于各所述子图像识别任务,在代理数据库中,查询每个子图像识别任务对应的子代理单元,并基于各所述子图像识别任务的执行顺序,通过各所述子图像识别任务对应的子代理单元,对所述辅助医学影像数据进行数据识别,得到各所述子代理单元反馈的子初始处理结果;
5、基于各所述子代理单元反馈的子初始处理结果、以及各所述子代理单元对应的子图像识别任务,通过检测代理单元,生成各所述子代理单元的代理反馈信息,并在存在代理反馈信息不满足数据输出条件的情况下,基于各所述子代理单元的代理反馈信息,通过各所述子代理单元,调整各所述子初始处理结果,得到各所述子代理单元反馈的新子初始处理结果;
6、将各所述新子初始处理结果,替换各所述子初始处理结果,并返回执行基于各所述子代理单元反馈的子初始处理结果、以及各所述子代理单元对应的子图像识别任务,通过检测代理单元,生成各所述子代理单元的代理反馈信息步骤,直到不存在代理反馈信息不满足数据输出条件时,基于最后一次迭代得到的各所述子代理单元反馈的新子初始处理结果,通过所述检测代理单元,生成所述辅助医学影像数据的目标识别结果。
7、可选的,所述基于所述图像识别任务,通过识别代理单元,识别各子图像识别任务,包括:
8、通过识别代理单元,识别所述图像识别任务的任务流程,并将所述任务流程拆分为各流程节点的子任务流程;
9、识别每个子任务流程对应的任务类型,并将相同任务类型的各子任务流程划分至同一任务组,得到各所述任务类型对应的识别任务组;
10、将每个识别任务组中的所有子任务流程、以及每个识别任务组中的各子任务流程对应的流程节点,作为各子图像识别任务。
11、可选的,所述基于各所述子图像识别任务,在代理数据库中,查询每个子图像识别任务对应的子代理单元,包括:
12、基于每个子图像识别任务对应的任务类型,在代理数据库中,查询每个任务类型对应的初始子代理单元,并针对每个任务类型,采集所述任务类型的每个初始子代理单元的当前运行状态、以及每个初始子代理单元的运行成本信息;
13、基于每个初始子代理单元的当前运行状态、以及每个初始子代理单元的运行成本信息,通过资源优化策略,筛选所述任务类型对应的目标子代理单元,并将所述目标子代理单元,作为所述任务类型对应的子图像识别任务的子代理单元。
14、可选的,所述基于各所述子图像识别任务的执行顺序,通过各所述子图像识别任务对应的子代理单元,对所述辅助医学影像数据进行数据识别,得到各所述子代理单元反馈的子初始处理结果,包括:
15、基于每个子图像识别任务中的各子任务流程对应的流程节点,识别每个子图像识别任务中的各子任务流程的数据识别顺序,并基于每个子图像识别任务中的各子任务流程的数据识别顺序,生成每个子代理单元的交互顺序;
16、基于每个子代理单元对应的各子任务流程、以及每个子代理单元的交互顺序,通过每个子代理单元,对所述辅助医学影像数据进行数据识别,得到每个子任务流程的数据识别结果,并将每个子代理单元所处理的所有子任务流程的数据识别处理结果,作为每个子代理单元反馈的子初始处理结果。
17、可选的,所述基于各所述子代理单元反馈的子初始处理结果、以及各所述子代理单元对应的子图像识别任务,通过检测代理单元,生成各所述子代理单元的代理反馈信息,包括:
18、针对每个子代理单元,基于所述子代理单元反馈的各子任务流程的数据识别结果、以及每个子任务流程对应的任务内容,通过检测代理单元,识别每个子任务流程对应的子结果评价信息、以及每个子任务流程对应的子结果优化校正信息;
19、将所有子任务流程对应的子结果评价信息、以及所有子任务流程对应的子结果优化校正信息,作为所述子代理单元的代理反馈信息。
20、可选的,所述基于各所述子代理单元的代理反馈信息,通过各所述子代理单元,调整各所述子初始处理结果,得到各所述子代理单元反馈的新子初始处理结果,包括:
21、针对每个子代理单元,基于所述子代理单元的各子任务流程对应的子结果优化校正信息,生成所述子代理单元对每个子任务流程的处理校正策略;
22、基于各所述子代理单元对每个子任务流程的处理校正策略、以及各所述子代理单元的交互顺序,通过各所述子代理单元,重新对所述辅助医学影像数据重新进行数据识别,得到各所述子任务流程的新数据识别结果;
23、将每个子代理单元的所有子任务流程的新数据识别结果,作为每个子代理单元反馈的新子初始处理结果。
24、第二方面,本技术还提供了一种基于分布式的算力模型聚合装置,包括:
25、获取模块,用于获取辅助医学影像数据、以及所述辅助医学影像数据的图像识别任务,并基于所述图像识别任务,通过识别代理单元,识别各子图像识别任务;
26、处理模块,用于基于各所述子图像识别任务,在代理数据库中,查询每个子图像识别任务对应的子代理单元,并基于各所述子图像识别任务的执行顺序,通过各所述子图像识别任务对应的子代理单元,对所述辅助医学影像数据进行数据识别,得到各所述子代理单元反馈的子初始处理结果;
27、调整模块,用于基于各所述子代理单元反馈的子初始处理结果、以及各所述子代理单元对应的子图像识别任务,通过检测代理单元,生成各所述子代理单元的代理反馈信息,并在存在代理反馈信息不满足数据输出条件的情况下,基于各所述子代理单元的代理反馈信息,通过各所述子代理单元,调整各所述子初始处理结果,得到各所述子代理单元反馈的新子初始处理结果;
28、迭代模块,用于将各所述新子初始处理结果,替换各所述子初始处理结果,并返回执行基于各所述子代理单元反馈的子初始处理结果、以及各所述子代理单元对应的子图像识别任务,通过检测代理单元,生成各所述子代理单元的代理反馈信息步骤,直到不存在代理反馈信息不满足数据输出条件时,基于最后一次迭代得到的各所述子代理单元反馈的新子初始处理结果,通过所述检测代理单元,生成所述辅助医学影像数据的目标识别结果。
29、可选的,所述获取模块,具体用于:
30、通过识别代理单元,识别所述图像识别任务的任务流程,并将所述任务流程拆分为各流程节点的子任务流程;
31、识别每个子任务流程对应的任务类型,并将相同任务类型的各子任务流程划分至同一任务组,得到各所述任务类型对应的识别任务组;
32、将每个识别任务组中的所有子任务流程、以及每个识别任务组中的各子任务流程对应的流程节点,作为各子图像识别任务。
33、可选的,所述处理模块,具体用于:
34、基于每个子图像识别任务对应的任务类型,在代理数据库中,查询每个任务类型对应的初始子代理单元,并针对每个任务类型,采集所述任务类型的每个初始子代理单元的当前运行状态、以及每个初始子代理单元的运行成本信息;
35、基于每个初始子代理单元的当前运行状态、以及每个初始子代理单元的运行成本信息,通过资源优化策略,筛选所述任务类型对应的目标子代理单元,并将所述目标子代理单元,作为所述任务类型对应的子图像识别任务的子代理单元。
36、可选的,所述处理模块,具体用于:
37、基于每个子图像识别任务中的各子任务流程对应的流程节点,识别每个子图像识别任务中的各子任务流程的数据识别顺序,并基于每个子图像识别任务中的各子任务流程的数据识别顺序,生成每个子代理单元的交互顺序;
38、基于每个子代理单元对应的各子任务流程、以及每个子代理单元的交互顺序,通过每个子代理单元,对所述辅助医学影像数据进行数据识别,得到每个子任务流程的数据识别结果,并将每个子代理单元所处理的所有子任务流程的数据识别处理结果,作为每个子代理单元反馈的子初始处理结果。
39、可选的,所述调整模块,具体用于:
40、针对每个子代理单元,基于所述子代理单元反馈的各子任务流程的数据识别结果、以及每个子任务流程对应的任务内容,通过检测代理单元,识别每个子任务流程对应的子结果评价信息、以及每个子任务流程对应的子结果优化校正信息;
41、将所有子任务流程对应的子结果评价信息、以及所有子任务流程对应的子结果优化校正信息,作为所述子代理单元的代理反馈信息。
42、可选的,所述调整模块,具体用于:
43、针对每个子代理单元,基于所述子代理单元的各子任务流程对应的子结果优化校正信息,生成所述子代理单元对每个子任务流程的处理校正策略;
44、基于各所述子代理单元对每个子任务流程的处理校正策略、以及各所述子代理单元的交互顺序,通过各所述子代理单元,重新对所述辅助医学影像数据重新进行数据识别,得到各所述子任务流程的新数据识别结果;
45、将每个子代理单元的所有子任务流程的新数据识别结果,作为每个子代理单元反馈的新子初始处理结果。
46、第三方面,本技术提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面中任一项所述的方法的步骤。
47、第四方面,本技术提供了一种计算机可读存储介质。其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
48、第五方面,本技术提供了一种计算机程序产品。所述计算机程序产品包括计算机程序,该计算机程序被处理器执行时实现第一方面中任一项所述的方法的步骤。
49、上述基于分布式的算力模型聚合方法、装置和计算机设备,通过获取辅助医学影像数据、以及所述辅助医学影像数据的图像识别任务,并基于所述图像识别任务,通过识别代理单元,识别各子图像识别任务;基于各所述子图像识别任务,在代理数据库中,查询每个子图像识别任务对应的子代理单元,并基于各所述子图像识别任务的执行顺序,通过各所述子图像识别任务对应的子代理单元,对所述辅助医学影像数据进行数据识别,得到各所述子代理单元反馈的子初始处理结果;基于各所述子代理单元反馈的子初始处理结果、以及各所述子代理单元对应的子图像识别任务,通过检测代理单元,生成各所述子代理单元的代理反馈信息,并在存在代理反馈信息不满足数据输出条件的情况下,基于各所述子代理单元的代理反馈信息,通过各所述子代理单元,调整各所述子初始处理结果,得到各所述子代理单元反馈的新子初始处理结果;将各所述新子初始处理结果,替换各所述子初始处理结果,并返回执行基于各所述子代理单元反馈的子初始处理结果、以及各所述子代理单元对应的子图像识别任务,通过检测代理单元,生成各所述子代理单元的代理反馈信息步骤,直到不存在代理反馈信息不满足数据输出条件时,基于最后一次迭代得到的各所述子代理单元反馈的新子初始处理结果,通过所述检测代理单元,生成所述辅助医学影像数据的目标识别结果。本方案通过将图像识别任务分散到设置于边缘设备的多个计算能力较低的小模型对应的代理单元,进行各代理单元之间的交互数据识别,显著降低了对高性能中央计算资源的依赖,从而减少了整体硬件资源的需求度,避免了传统ai模型中对高性能硬件的依赖问题。其次,通过各子代理单元独立运行、交互处理的方式,即使部分子代理单元对应的边缘设备发生故障,其他设备仍可以继续工作,从而有效减少了单点故障对整体数据识别的处理干扰风险,增强了在面对硬件故障或网络问题时的容错能力。再后,由于图像识别任务在设置于边缘设备的子处理单元,进行本地协同数据识别,从而显著减少了数据传输的延迟,改善了实时应用中的响应速度。这一方法解决了传统集中式模型中的数据传输延迟问题的同时,提高了需要低延迟的应用场景的数据识别响应时间,如智能交通和实时监控等。最后,本方案通过多个小模型对应的子处理单元的分布式处理和聚合模型的综合输出,并在分布式处理过程中进行迭代数据识别优化,从而在保证计算资源相对较低的情况下,确保了对辅助医学影像数据的数据识别精度,从而有效提升了低成本条件下的医学影像识别精准度。