一种深度学习模型推理的实时校验方法与流程

本说明书涉及深度学习、系统容错交叉领域，尤其涉及一种深度学习模型推理的实时校验方法。

背景技术：

1、当前，在太空边缘计算领域中，为了减少卫星向地面传输数据所消耗的时间，某些任务可以直接在卫星上通过设备(cpu、gpu等)来进行执行，因此，在卫星端，可以直接通过深度学习模型来执行任务。例如，卫星端可以通过深度学习模型对采集的地面图像进行三维重建，再例如，卫星端可以通过深度学习模型对采集得到的空中图像进行目标识别(如飞行器的识别)。

2、在太空边缘计算中，当训练好的深度学习模型投入使用后，由于存在单粒子翻转(single-event upsets，seu)的现象，将影响卫星端通过深度学习模型进行任务推理的准确性。

3、而在现有技术中，通常对深度学习模型实时得到的结果进行验证的方式为三模冗余的方式，例如，对于一个深度学习模型来说，可以将该深度学习模型分别部署在三个设备中，每个设备都进行三次同样的推理，来保证结果的准确性。然而，这种校验方案存在一些缺点。首先，三模冗余通常需要额外的计算和存储开销，限制了其在资源受限环境中的应用；其次，三模冗余需要最后结果输出进行投票，模型加载三次，模型推理三次，等待三个模型的推理结果，也需要比较高的延时。

4、因此，如何在实现太空边缘计算场景中对深度学习模型的验证时，降低计算资源的开销，则是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种深度学习模型推理的实时校验方法，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种深度学习模型推理的实时校验方法，包括：

4、构建校验数据池，所述校验数据池包含每个校验数据及每个校验数据对应的结果数据；

5、响应于用户的预测指令，获取与太空边缘计算相关的待检测数据，并向所述待检测数据中加入至少一个校验数据，得到批数据；

6、将所述批数据输入到预测模型中，得到所述预测模型的预测结果，所述预测结果中包含所述待检测数据对应的预测结果和所述至少一个校验数据对应的预测结果；

7、根据所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据，确定校验结果，所述校验结果用于表示所述预测模型针对所述待检测数据的预测结果是否通过校验；

8、若确定所述校验结果表示校验通过，将所述待检测数据对应的预测结果返回给所述用户，若确定所述校验结果表示校验未通过，通过所述预测模型对所述待检测数据重新进行推理并对重新进行推理得到的预测结果进行校验。

9、可选地，构建校验数据池，具体包括：

10、在所述预测模型投入使用前，从所述预测模型的训练数据中抽取出至少部分数据，并根据所述至少部分数据，构建校验数据池，其中，所述至少部分数据中的样本数据作为校验数据、所述至少部分数据中的样本数据对应的标注信息作为结果数据。

11、可选地，构建校验数据池，具体包括：

12、获取历史上校验完成的批数据；

13、从所述批数据中获取到校验结果表示校验通过的待检测数据，作为目标数据；

14、根据所述目标数据，以及在校验通过的情况下所述预测模型针对目标数据输出的预测结果，构建所述校验数据池。

15、可选地，根据所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据，确定校验结果，具体包括：

16、若确定所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据一致，则确定所述校验结果表示校验通过。

17、可选地，获取与太空边缘计算相关的待检测数据，并向所述待检测数据中加入至少一个校验数据，得到批数据，具体包括：

18、根据所述待检测数据，构造所述预测模型所需要的张量，作为用户张量；

19、根据所述至少一个校验数据，确定校验张量；

20、将所述用户张量和所述校验张量进行合并，得到所述预测模型的输入张量，并将所述输入张量，作为批数据。

21、本说明书提供了一种深度学习模型推理的实时校验装置，包括：

22、构建模块，用于构建校验数据池，所述校验数据池包含每个校验数据及每个校验数据对应的结果数据；

23、获取模块，用于响应于用户的预测指令，获取与太空边缘计算相关的待检测数据，并向所述待检测数据中加入至少一个校验数据，得到批数据；

24、输入模块，用于将所述批数据输入到预测模型中，得到预测模型的预测结果，该预测结果中包含所述待检测数据对应的预测结果和所述至少一个校验数据对应的预测结果；

25、确定模块，用于根据所述至少一个校验数据对应的预测结果与所述至少一个校验数据对应的结果数据，确定校验结果，所述校验结果用于表示所述预测模型针对所述待检测数据的预测结果是否通过校验；

26、校验模块，用于若确定所述校验结果表示校验通过，将所述待检测数据对应的预测结果返回给所述用户，若确定所述校验结果表示校验未通过，通过所述预测模型对所述待检测数据重新进行推理并对重新进行推理得到的预测结果进行校验。

27、可选地，所述构建模块具体用于，在所述预测模型投入使用前，从所述预测模型的训练数据中抽取出至少部分数据，并根据所述至少部分数据，构建校验数据池，其中，所述至少部分数据中的样本数据作为校验数据、所述至少部分数据中的样本数据对应的标注信息作为结果数据。

28、可选地，所述构建模块具体用于，获取历史上校验完成的批数据；从所述批数据中获取到校验结果表示校验通过的待检测数据，作为目标数据；根据所述目标数据，以及在校验通过的情况下所述预测模型针对目标数据输出的预测结果，构建所述校验数据池。

29、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述深度学习模型推理的实时校验方法。

30、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述深度学习模型推理的实时校验方法。

31、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

32、从上述一种深度学习模型推理的实时校验方法中可以看出，构建校验数据池，校验数据池包含每个校验数据及每个校验数据对应的结果数据，而后，响应于用户的预测指令，获取与太空边缘计算相关的待检测数据，并向待检测数据中加入至少一个校验数据，得到批数据，将批数据输入到预测模型中，得到预测模型的预测结果，预测结果中包含待检测数据对应的预测结果和至少一个校验数据对应的预测结果。进而，根据至少一个校验数据对应的预测结果与至少一个校验数据对应的结果数据，确定校验结果，校验结果用于表示预测模型针对待检测数据的预测结果是否通过校验。若确定校验结果表示校验通过，将待检测数据对应的预测结果返回给所述用户，若确定校验结果表示校验未通过，通过预测模型对待检测数据重新进行推理并对重新进行推理得到的预测结果进行校验。

33、从上述内容中可以看出，本方法中可以生成校验数据和校验数据对应的结果数据，在预测模型需要对一批(也可以是一个)待检测数据进行推理时，可以在这之中加入校验数据，预测模型一次性得出待检测数据和校验数据的预测结果，在校验数据对应的预测结果与校验数据对应的结果数据一致时，则确定此次的推理校验通过，通过本方法避免了多次部署同一个深度学习模型，以及同时进行多个同一深度学习模型的计算，从而减少了计算资源的消耗。