一种用于在视觉物联网中进行模型控制的方法和系统与流程

本说明书涉及计算机，尤其涉及一种用于在视觉物联网中进行模型控制的方法和系统。

背景技术：

1、目前，随着人工智能的广泛使用，机器学习在各个应用领域高速发展，越来越多的设备上集成了结合人工智能的机器学习模型，以提高设备的数据处理能力。例如，在视觉物联网（internet of things，iot）领域，有着大量具备端侧计算能力的iot终端，在终端上部署并运行机器学习模型对捕获的数据进行处理。为了对终端捕获的数据进行更加高效且准确的处理，可将终端捕获的数据或者处理后的数据，发送给部署了机器学习模型的边缘服务器或云服务器等具备更强计算能力的设备进行进一步处理，使得终端、边缘服务器以及云服务器三者之间进行协同处理，增强数据处理效率和提高数据利用率。

2、然而，如何根据终端、边缘服务器以及云服务器的计算能力，以及它们之间通信信道的条件等因素，合理地安排这些设备根据接收的数据进行模型运行的任务，能够确保包括终端、边缘服务器以及云服务器的系统高效运行，已经成为业界广泛关注的问题。

3、为此，本说明书提供了一种用于在视觉物联网中进行模型控制的方法和系统。

技术实现思路

1、本说明书提供一种用于在视觉物联网中进行模型控制的方法和系统，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种用于在视觉物联网中进行模型控制的方法，包括：

4、获取任务请求，所述任务请求包括用于表示模型任务所需的任务指标；

5、响应于所述任务请求，确定各计算节点实时的运行状况信息；

6、确定与所述任务请求匹配的模型的描述信息，并根据所述描述信息，确定与所述描述信息相匹配的模型所对应的退出点集合；

7、根据所述任务指标，从所述退出点集合中，确定符合所述任务指标的退出点的指示信息，以及根据所述运行状况信息，从所述各计算节点中确定运行所述模型的目标计算节点，其中，所述退出点的指示信息用于从所述退出点集合中确定退出点；

8、根据符合所述任务指标的退出点的指示信息以及所述描述信息，生成针对所述目标计算节点的模型执行策略；

9、将所述模型执行策略以及所述描述信息发送至所述目标计算节点，以使所述目标计算节点按照符合所述任务指标的退出点的指示信息，执行所述任务请求对应的模型任务并返回所述目标计算节点在执行所述模型任务时的模型执行信息；

10、接收所述模型执行信息，并根据所述模型执行信息调整模型执行策略；

11、将调整后的模型执行策略发送至所述目标计算节点，以使所述目标计算节点根据所述调整后的模型执行策略继续执行所述模型任务。

12、可选的，所述描述信息还包括与所述描述信息相匹配的模型所对应的分割点集合，所述分割点集合中不同的分割点用于将所述模型分割成多个子模型。

13、可选的，在根据符合所述任务指标的退出点的指示信息以及所述描述信息，生成针对所述目标计算节点的模型执行策略之前，所述方法还包括：

14、在确定所述目标计算节点为多个的情况下，根据各目标计算节点的运行状况信息，确定模型分割比例以及模型分割模式；

15、根据所述模型分割比例，从所述分割点集合中，确定符合所述模型分割比例的各分割点的指示信息，以及根据所述模型分割模式，确定各目标计算节点运行所述模型的顺序，其中，所述分割点的指示信息用于从所述分割点集合中确定分割点；

16、针对每个目标计算节点，按照所述顺序，根据确定出的各分割点，确定该目标计算节点对应的子模型。

17、可选的，根据符合所述任务指标的退出点的指示信息以及所述描述信息，生成针对所述目标计算节点的模型执行策略，具体包括：

18、针对每个目标计算节点，根据该目标计算节点对应的子模型中符合所述任务指标的退出点的指示信息以及该目标计算节点对应的子模型的描述信息，生成该目标计算节点的模型执行策略。

19、可选的，根据符合所述任务指标的退出点的指示信息以及所述描述信息，生成针对所述目标计算节点的模型执行策略，具体包括：

20、根据符合所述任务指标的退出点的指示信息、所述描述信息以及模型执行策略更新周期，生成所述目标计算节点的模型执行策略；

21、将所述模型执行策略发送至所述目标计算节点，以使所述目标计算节点按照符合所述任务指标的退出点的指示信息，执行所述任务请求对应的模型任务，具体包括：

22、将所述模型执行策略发送至所述目标计算节点，以使所述目标计算节点确定与所述描述信息相匹配的模型，按照符合所述任务指标的退出点的指示信息，执行所述任务请求对应的模型任务，并在确定到达所述模型执行策略更新周期后，返回所述目标计算节点在执行所述模型任务时的模型执行信息。

23、可选的，接收所述模型执行信息，并根据所述模型执行信息调整模型执行策略，具体包括：

24、根据所述模型分割模式，从各目标计算节点中，确定最后运行所述模型的目标计算节点，作为上传节点；

25、获取所述上传节点返回的模型执行信息；

26、根据所述上传节点返回的模型执行信息调整模型执行策略。

27、可选的，所述方法还包括：

28、在确定出多个目标计算节点的情况下，针对每个目标计算节点，接收该目标计算节点返回的该目标计算节点在执行所述任务请求对应模型任务时的模型执行信息，作为该目标计算节点对应的实时状态信息；

29、若根据该目标计算节点对应的实时状态信息确定该目标计算节点符合预设的执行条件，则根据其他目标计算节点对应的实时状态信息，从其他目标计算节点中确定出待替换节点，并确定所述待替换节点所对应的退出点，所述待替换节点所对应的退出点的模型分支包含有该目标计算节点对应退出点的模型分支；

30、按照所述待替换节点所对应的退出点，对该目标计算节点中部署的模型进行调整，得到包含有所述待替换节点所对应的退出点的模型分支的调整后模型分支；

31、通过所述调整后模型分支，执行所述待替换节点所需的模型任务，并得到执行过程中的中间结果，以及确定得到所述中间结果所消耗的资源数据；

32、若根据所述资源数据确定该目标计算节点得到所述中间结果所消耗的资源小于所述待替换节点得到所述中间结果的资源，则停止所述待替换节点所执行的模型任务，并通过该目标计算节点替代所述待替换节点继续执行所述待替换节点所需执行的模型任务。

33、本说明书提供了一种用于在视觉物联网中进行模型控制的系统，所述系统包括功能编排器与计算节点，其中：

34、所述功能编排器，用于接收所述计算节点发送的任务请求与运行状况信息；确定与所述任务请求匹配的模型的描述信息，并根据所述描述信息，确定与所述描述信息相匹配的模型所对应的退出点集合；根据所述任务请求中的任务指标，从所述退出点集合中，确定符合所述任务指标的退出点的指示信息，以及根据所述运行状况信息，从所述计算节点中确定运行所述模型的目标计算节点；根据符合所述任务指标的退出点的指示信息以及所述描述信息，生成针对所述目标计算节点的模型执行策略；将所述模型执行策略以及所述描述信息发送至所述目标计算节点；接收模型执行信息，并根据所述模型执行信息调整模型执行策略；将调整后的模型执行策略发送至所述目标计算节点；

35、所述计算节点，用于向所述功能编排器发送所述任务请求与所述运行状况信息，所述任务请求包括用于表示模型任务所需的所述任务指标；在被确定为所述目标计算节点时，接收针对所述目标计算节点的模型执行策略以及所述描述信息，根据所述模型执行策略以及所述描述信息，按照符合所述任务指标的退出点的指示信息，执行所述任务请求对应的模型任务，并返回所述目标计算节点在执行所述模型任务时的模型执行信息；接收所述调整后的模型执行策略，并根据所述调整后的模型执行策略继续执行所述模型任务。

36、可选的，所述功能编排器包括模型管理器以及模型调度器，其中：

37、所述模型调度器，用于接收所述计算节点发送的所述任务请求与所述运行状况信息；将所述任务请求发送至模型管理器；

38、所述模型管理器，用于接收所述任务请求，并根据所述任务请求，获取与所述任务请求相匹配的模型，以确定所述模型的描述信息；将所述描述信息返回所述模型调度器。

39、可选的，所述功能编排器还包括模型存储库，其中：

40、所述模型管理器，用于向所述模型管理库发送所述任务请求；接收所述模型存储库返回的模型；接收所述模型执行信息，并根据所述模型执行信息，调整所述模型，将调整后的模型的描述信息返回所述模型调度器；

41、所述模型存储库，用于接收所述任务请求，确定与所述任务请求相匹配的模型，并将所述模型返回所述模型管理器；

42、所述模型调度器，用于接收所述模型执行信息，将所述模型执行信息发送至所述模型管理器；接收调整后的模型的描述信息，以根据所述调整后的模型的描述信息，调整所述目标计算节点的模型执行策略，使所述目标计算节点根据调整后的模型执行策略继续执行所述模型任务。

43、可选的，所述功能编排器还包括数据管理器，其中：

44、所述模型管理器，用于根据接收的所述模型执行信息，向所述数据管理器发送数据获取请求；接收训练数据集，并根据所述训练数据集与所述模型执行信息，调整所述模型，将调整后的模型的描述信息返回所述模型调度器，使所述模型调度器根据所述调整后的模型的描述信息，调整所述目标计算节点的模型执行策略；

45、所述数据管理器，用于根据所述数据获取请求，向所述模型管理器返回所述训练数据集。

46、可选的，所述模型调度器包括模型执行策略生成组件、模型执行策略分发组件、模型描述信息分发组件以及模型性能监控组件，其中：

47、所述模型执行策略生成组件，用于接收所述计算节点发送的所述任务请求与所述运行状况信息；将所述任务请求发送至模型管理器；接收所述模型管理器返回的描述信息；根据所述描述信息，确定与所述描述信息相匹配的模型所对应的退出点集合；根据所述任务请求中的任务指标，从所述退出点集合中，确定符合所述任务指标的退出点的指示信息，以及根据所述运行状况信息，从所述计算节点中确定运行所述模型的目标计算节点；根据符合所述任务指标的退出点的指示信息以及所述描述信息，生成针对所述目标计算节点的模型执行策略；将所述模型执行策略发送至所述模型执行策略分发组件，将所述描述信息发送至所述模型描述信息分发组件；接收所述模型执行信息，并根据所述模型执行信息调整模型执行策略；将调整后的模型执行策略发送至所述模型执行策略分发组件；

48、所述模型执行策略分发组件，用于接收所述模型执行策略，并将所述模型执行策略发送至所述目标计算节点；接收所述调整后的模型执行策略，并将所述调整后的模型执行策略发送至所述目标计算节点；

49、所述模型描述信息分发组件，用于接收所述描述信息，并将所述描述信息发送至所述目标计算节点；

50、所述模型性能监控组件，用于接收所述目标计算节点返回的模型执行信息；将所述模型执行信息发送至所述模型执行策略生成组件。

51、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述用于在视觉物联网中进行模型控制的方法。

52、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现用于在视觉物联网中进行模型控制的方法。

53、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

54、本说明书提供的用于在视觉物联网中进行模型控制的方法，获取任务请求，任务请求包括用于表示模型任务所需的任务指标。响应于任务请求，确定各计算节点实时的运行状况信息。确定与任务请求匹配的模型的描述信息，并根据描述信息，确定与描述信息相匹配的模型所对应的退出点集合。根据任务指标，从退出点集合中，确定符合任务指标的退出点的指示信息，以及根据运行状况信息，从各计算节点中确定运行模型的目标计算节点，其中，退出点的指示信息用于从退出点集合中确定退出点。根据符合任务指标的退出点的指示信息以及描述信息，生成针对目标计算节点的模型执行策略。将模型执行策略发送至目标计算节点，以使目标计算节点按照符合任务指标的退出点的指示信息，执行任务请求对应的模型任务并返回目标计算节点在执行模型任务时的模型执行信息。接收模型执行信息，并根据模型执行信息调整模型执行策略。将调整后的模型执行策略发送至目标计算节点，以使目标计算节点根据调整后的模型执行策略继续执行模型任务。

55、在视觉物联网系统中的各计算节点，针对获得的图像数据或视频流数据等数据，可根据自身的计算能力分别运行模型，对这些数据进行处理，提高数据处理的效率。而在本方案中，首先通过任务请求，确定与任务请求匹配的模型，并确定符合任务请求中任务指标的模型分支的退出点。之后，根据各计算节点的运行状况信息选择运行模型的目标计算节点。对于选择出的目标计算节点，在本方案中是根据其运行状况信息，为其分配合适的模型或者子模型，确保目标计算节点在任务执行过程中，充分利用目标计算节点的计算能力，实现模型任务的高效执行。并且，目标计算节点可通过符合任务指标的模型分支，从模型分支对应的退出点输出模型输出结果。在兼顾任务指标的情况下执行模型任务，按照符合任务指标的模型分支，目标计算节点运行为其分配的模型，既能达到任务请求所需精度，也能减少计算节点的算力消耗、能耗等，提高模型运行效率。同时，还能根据目标计算节点返回的模型执行信息，调整模型执行策略，进一步提高目标计算节点的资源利用率和模型运行效率。