一种调度多种AI框架的方法、系统、设备以及存储介质与流程

一种调度多种ai框架的方法、系统、设备以及存储介质
技术领域
1.本发明涉及人工智能领域，具体涉及一种调度多种ai框架的方法、系统、设备以及存储介质。


背景技术：

2.目前，人工智能处于蓬勃发展期，已广泛应用于安防监测、交通监测、图像识别、自动驾驶等领域。
3.当前市场上主流的云端ai服务器采用的是cpu+gpu的异构计算框架。通常的开发部署流程为：在ai云端服务器依托大量的数据集在某种单一的ai框架下进行训练、优化，最终将优化好的模型部署到终端硬件产品配合相应的ai框架去实现相应的目标识别、语音识别或语义识别等任务。这种方法应用灵活度并不高，当面向不同应用领域时，最终用户根据其以往经验往往很可能会采用不同的ai框架，无疑无法快速的满足多种ai框架同时被调用的需求。而且当前的云侧训练、端侧部署往往采用的还是人工方式，协同智能化程度不够。
4.此外，现阶段大部分厂商采用的云端ai服务器均是基于x86架构cpu+nvidia gpu设计实现，而终端产品则采用嵌入式的国外处理器+nvidia gpu实现，自主安全可控性较差。


技术实现要素：

5.有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种调度多种ai框架的方法，包括以下步骤：
6.利用国产软硬件构建云端ai服务器、边缘侧设备；
7.在所述云端ai服务器内部署多个容器，其中每一个容器配置一种ai框架；
8.响应于用户访问所述云端ai服务器中容器，利用被访问的容器中的ai框架以及所述云端ai服务器中的数据对待训练的模型进行第一次训练；
9.将经过第一次训练的模型发送到所述边缘侧设备；
10.利用所述边缘侧设备以及经过第一次训练的模型执行作业任务。
11.在一些实施例中，利用国产软硬件构建边缘侧设备，进一步包括：
12.利用国产软硬件构建边侧计算机和端侧设备，并在所述边侧计算机中根据算力部署若干个容器，其中每一个容器可以配置一种ai框架。
13.在一些实施例中，利用所述边缘侧设备以及经过第一次训练的模型执行作业任务，进一步包括：
14.针对第一次训练的模型，边侧设备利用其私有数据进行学习、修正和优化；
15.将经过学习、修正和优化的模型发送到所述端侧设备；
16.利用所述端侧设备以及经过学习、修正和优化的模型执行作业任务。在一些实施例中，还包括：
17.利用管理平台对所述ai服务器和所述边缘侧设备进行管理。
18.基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种调度多种ai框架的系统，包括：
19.构建模块，配置为利用国产软硬件构建云端ai服务器、边缘侧设备；
20.部署模块，配置为在所述云端ai服务器内部署多个容器，其中每一个容器配置一种ai框架；
21.第一训练模块，配置为响应于用户访问所述云端ai服务器中容器，利用被访问的容器中的ai框架以及所述云端ai服务器中的数据对待训练的模型进行第一次训练；
22.发送模块，配置为将经过第一次训练的模型发送到所述边缘侧设备；
23.执行模块，配置为利用所述边缘侧设备以及经过第一次训练的模型执行作业任务。
24.在一些实施例中，构建模块还配置为：
25.利用国产软硬件构建边侧计算机和端侧设备，并在所述边侧计算机中根据算力部署若干个容器，其中每一个容器可以配置一种ai框架。
26.在一些实施例中，执行模块还配置为：
27.针对第一次训练的模型，边侧设备利用其私有数据进行学习、修正和优化；
28.将经过学习、修正和优化的模型发送到所述端侧设备；
29.利用所述端侧设备以及经过学习、修正和优化的模型执行作业任务。
30.在一些实施例中，还包括管理模块，配置为：
31.利用管理平台对所述ai服务器和所述边缘侧设备进行管理。
32.基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机设备，包括：
33.至少一个处理器；以及
34.存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如上所述的任一种调度多种ai框架的方法的步骤。
35.基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时执行如上所述的任一种调度多种ai框架的方法的步骤。
36.本发明具有以下有益技术效果之一：本发明提出的方案主要面向采用国产关键硬件构建的异构计算(如国产cpu+国产gpu或国产cpu+国产npu等等)体系的云端ai服务器、ai计算机、ai终端设备等云、边缘端设备，构建一套多种ai框架可自由协同调度的方法，进而满足用户的不同业务需求，同时提升用户的自主安全性。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
38.图1为本发明的实施例提供的调度多种ai框架的方法的流程示意图；
39.图2为本发明的实施例提供的调度多种ai框架的方法的框图；
40.图3为本发明的实施例提供的调度多种ai框架的系统的结构示意图；
41.图4为本发明的实施例提供的计算机设备的结构示意图；
42.图5为本发明的实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
43.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
44.需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。
45.根据本发明的一个方面，本发明的实施例提出一种调度多种ai框架的方法，如图1所示，其可以包括步骤：
46.s1，利用国产软硬件构建云端ai服务器、边缘侧设备；
47.s2，在所述云端ai服务器内部署多个容器，其中每一个容器配置一种ai框架；
48.s3，响应于用户访问所述云端ai服务器中容器，利用被访问的容器中的ai框架以及所述云端ai服务器中的数据对待训练的模型进行第一次训练；
49.s4，将经过第一次训练的模型发送到所述边缘侧设备；
50.s5，利用所述边缘侧设备以及经过第一次训练的模型执行作业任务。
51.本发明提出的方案主要面向采用国产关键硬件构建的异构计算(如国产cpu+国产gpu或国产cpu+国产npu等等)体系的云端ai服务器、ai计算机、ai终端设备等云、边缘端设备，构建一套多种ai框架可自由协同调度的方法，进而满足用户的不同业务需求，同时提升用户的自主安全性。
52.在一些实施例中，利用国产软硬件构建边缘侧设备，进一步包括：
53.利用国产软硬件构建边侧计算机和端侧设备，并在所述边侧计算机中根据算力部署若干个容器，其中每一个容器可以配置一种ai框架。
54.具体的，如图2所示，可以基于国产关键软硬件构建异构计算体系的云端ai服务器、边侧ai计算机、端侧ai终端设备。然后可以通过ai智能管理平台实时监测以上三种云、边、端设备的资源使用情况，并根据用户要求实现特定的作业调度等。
55.其中，云端ai服务器、边侧ai计算机、端侧ai终端设备采用飞腾/龙芯/申威等国产自主cpu搭载国产gpu，或搭载国产npu等设计实现。云端ai服务器、边侧ai计算机、端侧ai终端设备相互之间通过2.4/5.8ghz无线网络、gps或北斗等卫星通信进行数据通信。
56.在数据中心云端ai服务器中，通过资源隔离的方式构建基于不同ai框架的容器，每个容器中只对应一种ai框架。容器1中配置paddlepaddle框架、容器2中配置pytorch框架、容器3中配置tensorflow框架、容器4配置mindspore框架等等，以此类推。容器1、容器2、容器3等可通过ai管理平台进行调用和管理。
57.在一些实施例中，利用所述边缘侧设备以及经过第一次训练的模型执行作业任务，进一步包括：
58.针对第一次训练的模型，边侧设备利用其私有数据进行学习、修正和优化；
59.将经过学习、修正和优化的模型发送到所述端侧设备；
60.利用所述端侧设备以及经过学习、修正和优化的模型执行作业任务。
61.具体的，当边侧、端侧算力要求不高的情况下，提前预置好对应算力且支持不同ai框架的边侧ai计算机、端侧ai终端设备。如支持paddlepaddle框架的边侧ai计算机1、端侧ai终端设备1；支持pytorch框架的边侧ai计算机2、端侧ai终端设备2；支持tensorfloe框架的边侧ai计算机3、端侧ai终端设备3；支持mindspore框架的边侧ai计算机4、端侧ai终端设备4等。
62.在云端ai服务器、边侧ai计算机、端侧ai终端设备中部署ai智能管理平台，基于异构可重构调度策略对云、边、端设备的资源、算力进行协同调度。具体通过以下三个阶段的资源协同、算力协同调度，以更好地满足边缘端的个性化服务需求。
63.第一阶段，用户通过ai智能管理平台，基于数据中心存储的大量数据，在数据中心的云端ai服务器上进行训练、优化，得到一个较为优秀的ai模型；
64.第二阶段，通过ai智能管理平台，将云端ai服务器训练得到的ai模型下发至边侧ai计算机，根据边侧计算机获取到的私有数据，进一步学习、修正优化，进而得到最终ai模型；
65.第三阶段，通过ai智能管理平台，将第二阶段获取到的最终ai模型输出到端侧ai设备，端侧ai设备依托此ai模型完成具体的任务，如具体物体的目标识别等。
66.在一些实施例中，边侧ai计算机与端侧ai终端产品可以合并为边缘侧ai设备，且统一执行原先边侧ai计算机与端侧ai终端产品的任务，或是仅执行端侧ai终端产品的作业任务。
67.在一些实施例中，当边侧ai计算机算力较高时，可以配置多个容器，且每个容器中支持一种特定ai框架下的模型自学习、修正优化。这样1台边侧ai计算机即可生成多种不同ai框架下的ai模型。
68.在一些实施例中，还包括：
69.利用管理平台对所述ai服务器和所述边缘侧设备进行管理。
70.具体的，用户往往会继承其之前的ai框架，不同用户可能采用的ai框架需求不一致，加之国内涌现出了以百度paddlepaddle、华为mindspore框架为代表的国产ai框架。因此，当用户拥有多种ai框架需求时，就可以通过ai智能管理平台去访问对应的容器去实现。
71.这样当用户需要采用paddlepaddle框架时，通过登录ai管理平台去访问数据中心中云端ai服务器中的对应容器即可。即采用paddlepaddle框架时访问容器1，采用pytorch框架时访问容器2、采用tensorflow框架时访问容器3中，采用mindspore时访问容器4，等等。
72.通过ai智能管理平台实时监测云、边、端设备的资源使用情况以及用户可任意选用ai框架，并依托云端ai服务器完成数据集训练，边侧ai计算机完成模型的修正优化，端侧ai终端设备进而执行最终的目标任务等。以此满足用户的最终使用需求。
73.本发明提出的方案主要面向采用国产关键硬件构建的异构计算(如国产cpu+国产gpu或国产cpu+国产npu等等)体系的云端ai服务器、ai计算机、ai终端设备等云、边缘端设备，构建一套多种ai框架可自由协同调度的方法，进而满足用户的不同业务需求，同时提升用户的自主安全性。
74.基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种调
度多种ai框架的系统400，如图3所示，包括：
75.构建模块401，配置为利用国产软硬件构建云端ai服务器、边缘侧设备；
76.部署模块402，配置为在所述云端ai服务器内部署多个容器，其中每一个容器配置一种ai框架；
77.第一训练模块403，配置为响应于用户访问所述云端ai服务器中容器，利用被访问的容器中的ai框架以及所述云端ai服务器中的数据对待训练的模型进行第一次训练；
78.发送模块404，配置为将经过第一次训练的模型发送到所述边缘侧设备；
79.执行模块405，配置为利用所述边缘侧设备以及经过第一次训练的模型执行作业任务。
80.在一些实施例中，构建模块401还配置为：
81.利用国产软硬件构建边侧计算机和端侧设备，并在所述边侧计算机中根据算力部署若干个容器，其中每一个容器可以配置一种ai框架。
82.在一些实施例中，执行模块405还配置为：
83.针对第一次训练的模型，边侧设备利用其私有数据进行学习、修正和优化；
84.将经过学习、修正和优化的模型发送到所述端侧设备；
85.利用所述端侧设备以及经过学习、修正和优化的模型执行作业任务。。
86.在一些实施例中，还包括管理模块，配置为：
87.利用管理平台对所述ai服务器和所述边缘侧设备进行管理。
88.基于同一发明构思，根据本发明的另一个方面，如图4所示，本发明的实施例还提供了一种计算机设备501，包括：
89.至少一个处理器520；以及
90.存储器510，存储器510存储有可在处理器上运行的计算机程序511，处理器520执行程序时执行如上的任一种调度多种ai框架的方法的步骤。
91.基于同一发明构思，根据本发明的另一个方面，如图5所示，本发明的实施例还提供了一种计算机可读存储介质601，计算机可读存储介质601存储有计算机程序610，计算机程序610被处理器执行时执行如上的任一种调度多种ai框架的方法的步骤。
92.最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
93.此外，应该明白的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。
94.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
95.以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例
的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
96.应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。
97.上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
98.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
99.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。