云边架构下目标检测模型的训练方法、装置和存储介质与流程

本技术涉及神经网络技术，特别涉及一种云波架构下目标检测模型的训练方法、装置、存储介质和电子设备。

背景技术：

1、随着深度学习技术的不断发展，半监督技术已经越来越多被用来解决场景适应的问题。其中，半监督技术实现的目标检测模型能够依靠反馈的数据进行伪标签标注，然后通过自主学习进行模型优化和迭代来提升目标检测的精度，适应新的场景。

2、云边架构可以包括一个云端和多个边缘端，其中不同的边缘端可以属于不同的场景，同一场景下可以包括多个边缘端。例如，在一个商场布置云边架构，一个场景可以是一个店铺，边缘端可以是店铺中设置在不同位置上的摄像头，商场中包括多个店铺，每个店铺可以包括多个摄像头。在云边架构下，不同场景下的多个边缘端可以部署多台设备(超脑、摄像机等)，边缘端设备可以定时或由事件触发向云端回传无标签数据，云端利用回传的数据进行目标检测模型的训练，再将训练好的模型下发给回传数据的边缘端设备。

3、在通常的云边架构下都涉及多个不同场景和场景下的多个边缘端，回传数据涉及的边缘端和场景众多，如何减少训练模型数量，又能保证每个模型在这些场景普遍的适应性是一大难点。

技术实现思路

1、本技术提供一种云边架构下的目标检测模型的训练方法、装置、存储介质和电子设备，能够有效减少训练模型数量，又能保证每个目标检测模型在各场景普遍的适应性。

2、为实现上述目的，本技术采用如下技术方案：

3、一种云边架构下的目标检测模型的训练方法，在包括多个边缘端和一个云端的云边架构下，所述训练方法包括：

4、接收边缘端本轮回传的无标注图像样本数据；

5、在回传所述无标注图像样本数据的边缘端所属场景的数目大于预设的分类阈值n时，对所有回传的无标注图像样本数据进行基于场景信息的聚类分组，得到n个聚类簇；其中，n为预设的大于1的自然数；

6、针对每个聚类簇，利用该聚类簇下的所述无标注图像样本数据，进行该聚类簇对应的目标检测模型的训练，并在完成训练后，将所述目标检测模型下发给所述该聚类簇所包括场景下的边缘端；其中，聚类簇所包括的场景为聚类簇下的无标注图像样本数据对应的边缘端所属的场景。

7、较佳地，在所述进行该聚类簇对应的目标检测模型的训练后，该方法进一步包括：

8、利用基础模型和本轮训练得到的第一目标检测模型，分别对参与所述第一目标检测模型训练的每个无标注图像样本数据进行推理；

9、基于所述基础模型和所述第一目标检测模型对所述每个无标注图像样本数据的推理结果的差别，在参与所述第一目标检测模型训练的所有无标注图像样本数据中选择无标注图像样本数据作为继承数据，用于下一轮目标检测模型的训练；

10、其中，被选中的无标注图像样本数据的所述推理结果的差别大于未被选中的无标注图像样本数据的所述推理结果的差别；

11、在下一轮目标检测模型的训练中，所述利用该聚类簇下的所述无标注图像样本数据进行该聚类簇对应的目标检测模型的训练时，将所述该聚类簇下的所述无标注图像样本数据和当前的继承数据，共同用于所述该聚类簇对应的目标检测模型的训练。

12、较佳地，在所述进行该聚类簇对应的目标检测模型的训练后，该方法进一步包括：

13、利用基础模型和本轮训练得到的第一目标检测模型，分别对本轮回传的无标注图像样本数据进行推理；

14、统计所述基础模型在当前置信度阈值下的当前第一推理结果，并统计所述第一目标检测模型分别在当前置信度阈值和除所述当前置信度阈值之外的其他目标置信度阈值下的当前第二推理结果和其他推理结果；

15、基于所述当前第一推理结果与所述当前第二推理结果以及所述其他推理结果之间的关系，在当前置信度阈值和所有其他目标置信度阈值中，选择所述第一目标检测模型采用的置信度阈值；其中，相对于未采用的置信度阈值，所述第一目标检测模型在所述采用的置信度阈值下的推理结果更接近所述当前第一推理结果。

16、较佳地，所述对所有回传的无标注图像样本数据进行基于场景信息的聚类分组得到n个聚类簇，包括：

17、对于每个所述所属场景，基于该场景下各个边缘端本轮回传的无标注图像样本数据的图像特征，确定所述该场景下的中心图像样本数据；

18、对所有所述所属场景下的中心图像样本数据，进行基于场景信息的聚类分组；

19、将同一聚类簇下的所有中心图像样本数据所属场景下本轮回传的所有图像样本数据加入该聚类簇。

20、较佳地，所述确定所述该场景下的中心图像样本数据，包括：

21、利用通识模型对所述该场景下各个边缘端本轮回传的第一无标注图像样本数据提取图像特征；

22、对于每个第一无标注图像样本数据，计算其图像特征与所有第一无标注图像样本数据中除所述每个第一无标注图像样本数据之外的其他所有第一无标注图像样本数据的图像特征之间的距离，并对计算出的各个距离求和，得到所述每个第一无标注图像样本数据对应的距离和；

23、在所有所述第一无标注图像样本数据中选择距离和最小的第一无标注图像样本数据，作为所述该场景下的中心图像样本数据。

24、较佳地，当接收到对指定场景或指定边缘端进行单独调优的指示时，在进行所述目标检测模型的训练前，该方法进一步包括：对于与所述指定场景或指定边缘端位于同一聚类簇下、且不属于所述指定场景或指定边缘端的无标注图像样本数据，将其从相应聚类簇下删除。

25、较佳地，所述选择无标注图像样本数据，包括：

26、基于所述基础模型和所述第一目标检测模型对所述每个无标注图像样本数据的推理结果的差别，确定所述每个无标注图像样本数据的评分；其中，所述推理结果的差别越大，评分越高；

27、选择评分最高的若干无标注图像样本数据，或者，选择评分大于设定阈值的无标注图像样本数据。

28、较佳地，对参与所述第一目标检测模型训练的任一无标注图像样本数据进行评分，包括：

29、若所述基础模型的推理结果中包括推理框、且所述第一目标检测模型的推理结果中不包括推理框，则确定所述每个无标注图像样本数据的评分为所述基础模型的推理结果中所有推理框的置信度之和；

30、若所述第一目标检测图像的推理结果中包括推理框、且所述基础模型的推理结果中不包括推理框，则确定所述每个无标注图像样本数据的评分为所述第一目标检测模型的推理结果中所有推理框的置信度之和；

31、若所述基础模型和所述第一目标检测模型的推理结果中均包括推理框，则计算所述基础模型的推理结果中包括的第一推理框与所述第一目标检测模型的推理结果中包括的第二推理框之间的交并比，将交并比大于设定交并比阈值的第一推理框和第二推理框进行标记，在所述基础模型和所述第一目标检测模型的推理结果中包括的所有推理框中，确定未标记的各推理框的置信度之和，并将该置信度之和确定为所述每个无标注图像样本数据的评分。

32、较佳地，其他目标置信度阈值的确定方式包括：

33、若所述当前第二推理结果中的指定推理框数目小于所述当前第一推理结果中的指定推理框数目，则设置的所述其他目标置信度阈值小于所述当前置信度阈值；

34、若所述当前第二推理结果中的指定推理框数目大于所述当前第一推理结果中的指定推理框数目，则设置的所述其他目标置信度阈值大于所述当前置信度阈值；

35、若所述当前第二推理结果中的指定推理框数目等于所述当前第一推理结果中的指定推理框数目，则不设置所述其他目标置信度阈值，所述第一目标检测模型采用所述当前置信度阈值。

36、较佳地，所述其他目标置信度阈值包括第一目标置信度阈值和第二目标置信度阈值，所述其他推理结果包括第一推理结果和第二推理结果；

37、当所述当前置信度阈值小于所述第一目标置信度阈值、且所述第一目标置信度阈值小于所述第二目标置信度阈值时，所述确定所述第一目标检测模型采用的置信度阈值，包括：

38、若所述当前第一推理结果中的指定推理框数目大于所述当前第二推理结果中的指定推理框数目与所述第一推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为当前置信度阈值；

39、若所述当前第一推理结果中的指定推理框数目小于等于所述当前第二推理结果中的指定推理框数目与所述第一推理结果中的指定推理框数目的均值，且大于等于所述第一推理结果中的指定推理框数目与所述第二推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为第一目标置信度阈值；

40、若所述当前第一推理结果中的指定推理框数目小于所述第一推理结果中的指定推理框数目与所述第二推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为第二目标置信度阈值；

41、当所述当前置信度阈值大于所述第一目标置信度阈值、且所述第一目标置信度阈值大于所述第二目标置信度阈值时，所述确定所述第一目标检测模型采用的置信度阈值，包括：

42、若所述当前第一推理结果中的指定推理框数目小于所述当前第二推理结果中的指定推理框数目与所述第一推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为当前置信度阈值；

43、若所述当前第一推理结果中的指定推理框数目大于等于所述当前第二推理结果中的指定推理框数目与所述第一推理结果中的指定推理框数目的均值，且小于等于所述第一推理结果中的指定推理框数目与所述第二推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为第一目标置信度阈值；

44、若所述当前第一推理结果中的指定推理框数目大于所述第一推理结果中的指定推理框数目与所述第二推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为第二目标置信度阈值。

45、较佳地，所述指定推理框数目为推理结果中输出的推理框数目或伪标签的正报框数。

46、一种云边架构下的目标检测模型的训练装置，在包括多个边缘端和一个云端的云边架构下，所述训练装置包括：接收单元、聚类单元、训练单元和下发单元；

47、所述接收单元，用于接收边缘端本轮回传的无标注图像样本数据；

48、所述聚类单元，用于在回传所述无标注图像样本数据的边缘端所属场景的数目大于预设的分类阈值n时，对所有回传的无标注图像样本数据进行基于场景信息的聚类分组，得到n个聚类簇；其中，n为预设的大于1的自然数；

49、所述训练单元，用于针对每个聚类簇，利用该聚类簇下的所述无标注图像样本数据，进行该聚类簇对应的目标检测模型的训练；

50、所述下发单元，用于将所述训练单元本轮生成的所述目标检测模型下发给所述该聚类簇所包括场景下的边缘端；其中，聚类簇所包括的场景为聚类簇下的无标注图像样本数据对应的边缘端所属的场景。

51、较佳地，在所述训练单元和所述下发单元之间进一步包括继承数据选择单元，

52、用于利用基础模型和本轮训练得到的第一目标检测模型，分别对参与所述第一目标检测模型训练的每个无标注图像样本数据进行推理；

53、基于所述基础模型和所述第一目标检测模型对所述每个无标注图像样本数据的推理结果的差别，在参与所述第一目标检测模型训练的所有无标注图像样本数据中选择无标注图像样本数据作为继承数据，用于下一轮目标检测模型的训练；

54、其中，被选中的无标注图像样本数据的所述推理结果的差别大于未被选中的无标注图像样本数据的所述推理结果的差别；

55、在下一轮目标检测模型的训练中，所述利用该聚类簇下的所述无标注图像样本数据进行该聚类簇对应的目标检测模型的训练时，将所述该聚类簇下的所述无标注图像样本数据和当前的继承数据，共同用于所述该聚类簇对应的目标检测模型的训练。

56、较佳地，在所述训练单元和所述下发单元之间进一步包括置信度阈值调整单元，

57、用于利用基础模型和本轮训练得到的第一目标检测模型，分别对本轮回传的无标注图像样本数据进行推理；

58、统计所述基础模型在当前置信度阈值下的当前第一推理结果，并统计所述第一目标检测模型分别在当前置信度阈值和除所述当前置信度阈值之外的其他目标置信度阈值下的当前第二推理结果和其他推理结果；

59、基于所述当前第一推理结果与所述当前第二推理结果以及所述其他推理结果之间的关系，在当前置信度阈值和所有其他目标置信度阈值中，选择所述第一目标检测模型采用的置信度阈值；其中，相对于未采用的置信度阈值，所述第一目标检测模型在所述采用的置信度阈值下的推理结果更接近所述当前第一推理结果。

60、较佳地，在所述聚类单元中，所述对所有回传的无标注图像样本数据进行基于场景信息的聚类分组得到n个聚类簇，包括：

61、对于每个所述所属场景，基于该场景下各个边缘端本轮回传的无标注图像样本数据的图像特征，确定所述该场景下的中心图像样本数据；

62、对所有所述所属场景下的中心图像样本数据，进行基于场景信息的聚类分组；

63、将同一聚类簇下的所有中心图像样本数据所属场景下本轮回传的所有图像样本数据加入该聚类簇。

64、较佳地，在所述聚类单元中，所述确定所述该场景下的中心图像样本数据，包括：

65、利用通识模型对所述该场景下各个边缘端本轮回传的第一无标注图像样本数据提取图像特征；

66、对于每个第一无标注图像样本数据，计算其图像特征与所有第一无标注图像样本数据中除所述每个第一无标注图像样本数据之外的其他所有第一无标注图像样本数据的图像特征之间的距离，并对计算出的各个距离求和，得到所述每个第一无标注图像样本数据对应的距离和；

67、在所有所述第一无标注图像样本数据中选择距离和最小的第一无标注图像样本数据，作为所述该场景下的中心图像样本数据。

68、较佳地，在所述聚类单元中，当接收到对指定场景或指定边缘端进行单独调优的指示时，进一步用于对于与所述指定场景或指定边缘端位于同一聚类簇下、且不属于所述指定场景或指定边缘端的无标注图像样本数据，将其从相应聚类簇下删除。

69、较佳地，在所述继承数据选择单元中，所述选择无标注图像样本数据，包括：

70、基于所述基础模型和所述第一目标检测模型对所述每个无标注图像样本数据的推理结果的差别，确定所述每个无标注图像样本数据的评分；其中，所述推理结果的差别越大，评分越高；

71、选择评分最高的若干无标注图像样本数据，或者，选择评分大于设定阈值的无标注图像样本数据。

72、较佳地，在所述继承数据选择单元中，对参与所述第一目标检测模型训练的任一无标注图像样本数据进行评分，包括：

73、若所述基础模型的推理结果中包括推理框、且所述第一目标检测模型的推理结果中不包括推理框，则确定所述每个无标注图像样本数据的评分为所述基础模型的推理结果中所有推理框的置信度之和；

74、若所述第一目标检测图像的推理结果中包括推理框、且所述基础模型的推理结果中不包括推理框，则确定所述每个无标注图像样本数据的评分为所述第一目标检测模型的推理结果中所有推理框的置信度之和；

75、若所述基础模型和所述第一目标检测模型的推理结果中均包括推理框，则计算所述基础模型的推理结果中包括的第一推理框与所述第一目标检测模型的推理结果中包括的第二推理框之间的交并比，将交并比大于设定交并比阈值的第一推理框和第二推理框进行标记，在所述基础模型和所述第一目标检测模型的推理结果中包括的所有推理框中，确定未标记的各推理框的置信度之和，并将该置信度之和确定为所述每个无标注图像样本数据的评分。

76、较佳地，在所述置信度阈值调整单元中，其他目标置信度阈值的确定方式包括：

77、若所述当前第二推理结果中的指定推理框数目小于所述当前第一推理结果中的指定推理框数目，则设置的所述其他目标置信度阈值小于所述当前置信度阈值；

78、若所述当前第二推理结果中的指定推理框数目大于所述当前第一推理结果中的指定推理框数目，则设置的所述其他目标置信度阈值大于所述当前置信度阈值；

79、若所述当前第二推理结果中的指定推理框数目等于所述当前第一推理结果中的指定推理框数目，则不设置所述其他目标置信度阈值，所述第一目标检测模型采用所述当前置信度阈值。

80、较佳地，在所述置信度阈值调整单元中，所述其他目标置信度阈值包括第一目标置信度阈值和第二目标置信度阈值，所述其他推理结果包括第一推理结果和第二推理结果；

81、当所述当前置信度阈值小于所述第一目标置信度阈值、且所述第一目标置信度阈值小于所述第二目标置信度阈值时，所述确定所述第一目标检测模型采用的置信度阈值，包括：

82、若所述当前第一推理结果中的指定推理框数目大于所述当前第二推理结果中的指定推理框数目与所述第一推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为当前置信度阈值；

83、若所述当前第一推理结果中的指定推理框数目小于等于所述当前第二推理结果中的指定推理框数目与所述第一推理结果中的指定推理框数目的均值，且大于等于所述第一推理结果中的指定推理框数目与所述第二推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为第一目标置信度阈值；

84、若所述当前第一推理结果中的指定推理框数目小于所述第一推理结果中的指定推理框数目与所述第二推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为第二目标置信度阈值；

85、当所述当前置信度阈值大于所述第一目标置信度阈值、且所述第一目标置信度阈值大于所述第二目标置信度阈值时，所述确定所述第一目标检测模型采用的置信度阈值，包括：

86、若所述当前第一推理结果中的指定推理框数目小于所述当前第二推理结果中的指定推理框数目与所述第一推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为当前置信度阈值；

87、若所述当前第一推理结果中的指定推理框数目大于等于所述当前第二推理结果中的指定推理框数目与所述第一推理结果中的指定推理框数目的均值，且小于等于所述第一推理结果中的指定推理框数目与所述第二推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为第一目标置信度阈值；

88、若所述当前第一推理结果中的指定推理框数目大于所述第一推理结果中的指定推理框数目与所述第二推理结果中的指定推理框数目的均值，则确定所述第一目标检测模型采用的置信度阈值为第二目标置信度阈值。

89、一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时可实现上述任一项所述的云边架构下的目标检测模型训练方法。

90、一种电子设备，其特征在于，该电子设备至少包括计算机可读存储介质，还包括处理器；

91、所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述任一项所述的云边架构下的目标检测模型训练方法。

92、由上述技术方案可见，本技术中，接收边缘端本轮回传的无标注图像样本数据；在本轮回传无标注图像样本数据的边缘端所属场景的数目大于预设的分类阈值n时，也就是回传数据的场景数量较多时，对所有回传的无标注图像样本数据进行基于场景信息的聚类分组，得到n个聚类簇，由此得到的聚类簇的数量小于回传数据的场景数量。接下来，针对每个聚类簇，利用该聚类簇下的无标注图像样本数据，进行该聚类簇对应的目标检测模型的训练，并在完成训练后，将目标检测模型下发给相应聚类簇所对应的场景；由此，以聚类簇为单位，进行目标检测模型的训练，结合前述聚类处理的效果(即聚类簇的数量小于场景数量)，从而有效缩小训练模型数量。同时，由于聚类处理是基于场景信息进行，因此能够保证同一聚类簇内的回传数据所属的场景相似，可以利用这些相似场景的回传数据训练出一个目标检测模型，用于这些相似场景，由此可以保证每个目标检测模型在各场景普遍的适应性。