一种开合状态检测方法、电子设备和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种开合状态检测方法、电子设备和计算机可读存储介质。


背景技术：

2.目前，在一些领域(如，电力能源、石油化工、轨道交通、生产车间等)的场所内，需要对一些目标物(如，配电箱、集装箱等)的开合装置进行管控、监测。但是，现主要是通过人工进行管控、监测，无法及时有效地进行管控、监测。


技术实现要素：

3.本技术主要解决的技术问题是提供一种开合状态检测方法、电子设备和计算机可读存储介质，能够自动识别目标物的开合装置的开合状态。
4.为解决上述技术问题，本技术采用的一个技术方案是：提供一种开合状态检测方法，该方法包括：获取参考图像中的目标物上的至少一个参考显著性区域；其中，目标物上设有开合装置，参考图像是对开合装置处于第一开合状态下的目标物采集得到的；对目标图像中的目标物进行显著性识别，得到至少一个目标显著性区域；其中，目标图像与参考图像是在同一角度、同一位置对目标物采集得到的，参考显著性区域和目标显著性区域对应的实体隶属于目标物；基于至少一个目标显著性区域和至少一个参考显著性区域之间的差异，确定目标物的开合装置的开合状态。
5.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器和存储器，存储器存储有程序指令，处理器用于执行程序指令以实现上述的开合状态的检测方法。
6.为解决上述技术问题，本技术采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，程序指令能够被执行以实现上述的开合状态的检测方法。
7.上述技术方案，通过比较目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的差异，能够确定目标图像中的目标物的开合装置所处的开合状态相对于参考图像中的目标物的开合装置所处的第一开合状态的差异，而参考图像中的目标物的开合装置所处的第一开合状态是固定且已知的，所以通过比较目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的差异，能够确定目标图像中的目标物的开合装置的开合状态。另外，由于参考显著性区域和目标显著性区域对应的实体隶属于目标物，即，由于参考显著性区域和目标显著性区域均为目标物的与自身属性相关的区域，所以基于目标物本身即可对目标物的开合装置的开合状态进行检测，而无需额外在目标物上添加明显的标识素材，使得本技术提供的开合状态检测方法的适用范围更广。
附图说明
8.图1是本技术提供的开合状态检测方法一实施例的流程示意图；
9.图2是本技术提供的目标图像一实施例的示意图；
10.图3是本技术提供的目标图像另一实施例的示意图；
11.图4是本技术提供的目标图像另一实施例的示意图；
12.图5是本技术提供的目标图像另一实施例的示意图；
13.图6是本技术提供的确定目标图像中的目标实体一实施例的流程示意图；
14.图7是本技术提供的经检测目标图像一实施例的示意图；
15.图8是本技术提供的经检测目标图像另一实施例的示意图；
16.图9是图1所示步骤s12一实施例的流程示意图；
17.图10是本技术提供的待检测图像一实施例的示意图；
18.图11是本技术提供的待检测图像另一实施例的示意图；
19.图12是本技术提供的目标物的位置信息一实施例的示意图；
20.图13是本技术提供的目标物的位置信息另一实施例的示意图；
21.图14是本技术提供的目标显著性区域一实施例的示意图；
22.图15是本技术提供的基于至少一个目标显著性区域的参数信息与至少一个参考显著性区域的参数信息之间的目标参数差异确定开合装置的开合状态一实施例的流程示意图；
23.图16是图15所示步骤s1503一实施例的流程示意图；
24.图17是图16所示步骤s1605一实施例的流程示意图；
25.图18是本技术提供的电子设备一实施例的结构示意图；
26.图19是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
27.下面结合说明书附图，对本技术实施例的方案进行详细说明。
28.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本技术。
29.本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
30.请参阅图1，图1是本技术提供的开合状态检测方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例包括：
31.步骤s11：获取目标图像以及获取参考图像中的目标物上的至少一个参考显著性区域。
32.本实施例的方法用于确定目标物的开合装置的开合状态。其中，本文所述的目标
物包括但不限于配电箱、配电柜、集装箱等，开合装置包括但不限于门等；举例来说，以开合装置为门、目标物为配电箱为例，本实施例的方法用于确定配电箱的箱门的开合状态。
33.本实施方式中，获取目标图像，目标图像是对目标物采集得到的。在一实施方式中，具体可以从本地存储或者云端存储中获取得到目标图像。当然，在其他实施方式中，也可以利用图像采集设备对目标物实时采集得到，在此不做具体限定。举例来说，如图2-图5所示，图2是本技术提供的目标图像一实施例的示意图，图3是本技术提供的目标图像另一实施例的示意图，图4是本技术提供的目标图像另一实施例的示意图，图5是本技术提供的目标图像另一实施例的示意图，以目标物为配电箱为例，图2-图5所示的目标图像是在同一角度、同一位置、不同采集时刻对配电箱采集得到的。
34.另外，本实施方式中，还会获取参考图像中的目标物上的至少一个参考显著性区域，其中，目标图像与参考图像是在同一角度、同一位置对目标物采集得到的，目标物上设有开合装置，参考图像是对开合装置处于第一开合状态下的目标物采集得到的。其中，不对开合装置的第一开合状态进行限定，可根据实际使用需要具体设置；例如，开合装置的第一开合状态为开合装置的闭合状态、开合装置的第一开合状态也可以为开合装置处于打开状态且开合装置与目标物呈90
°
等。
35.在一实施方式中，具体可以从本地存储或者云端存储中获取得到参考图像中的目标物上的至少一个参考显著性区域。当然，在其他实施方式中，也可以实时对参考图像进行显著性识别而得到参考图像中的目标物上的至少一个参考显著性区域，在此不做具体限定。
36.步骤s12：对目标图像中的目标物进行显著性识别，得到至少一个目标显著性区域。
37.本实施方式中，对目标图像中的目标物进行显著性识别，得到至少一个目标显著性区域。在一实施方式中，可利用显著性识别模型对目标图像中的目标物进行显著性识别。当然，在其他实施方式中，也可利用显著性识别算法对目标图像中的目标物进行显著性识别，在此不做具体限定。
38.在一具体实施方式中，利用显著性识别模型对目标图像中的目标物进行显著性识别；其中，显著性识别模型的训练过程具体包括如下步骤：
39.步骤一：获取初始显著性识别模型，如，可以是u2-net等检测网络；步骤二：利用样本数据集对初始显著性识别模型进行训练，得到目标显著性识别模型。
40.为了减少目标图像中除目标物以外的其他元素存在对目标物进行显著性识别的影响，即，为了提高得到的至少一个目标显著性区域的准确性，在一实施方式中，可对目标图像进行裁剪而得到只包括目标物的待检测图像，并对待检测图像进行显著性识别。在其他实施方式中，也可不对目标图像进行任何处理，直接对目标图像中的目标物进行显著性识别。
41.由于在目标图像中存在目标实体或者说由于在目标图像中存在目标实体且目标实体的位置和目标物的位置存在重叠时，会影响对目标物的开合装置的开合状态确定的准确性，所以，在一实施方式中，如图6所示，图6是本技术提供的确定目标图像中的目标实体一实施例的流程示意图，在对目标图像中的目标物进行显著性识别，得到至少一个目标显著性区域之前，具体还包括如下子步骤：
42.步骤s61：确定目标图像中是否存在目标实体。
43.本实施方式中，确定目标图像中是否存在目标实体。具体地，对目标图像进行目标实体检测，以确定目标图像中是否存在目标实体。在一实施方式中，可利用目标实体识别模型对目标图像进行目标实体识别。当然，在其他实施方式中，也可利用目标实体识别算法对目标图像进行目标实体识别，在此不做具体限定。
44.在一具体实施方式中，利用目标实体识别模型对目标图像进行目标实体识别；其中，目标实体识别模型的训练过程具体包括如下步骤：步骤一：获取初始目标实体识别模型，如，可以是yolov4等检测网络；步骤二：利用样本数据集对初始目标实体识别模型进行训练，得到训练收敛的目标实体识别模型。
45.在一实施方式中，目标实体为人，由于人员的走动，可能会导致采集的关于目标物的目标图像中会存在人甚至是人对目标物产生遮挡等。当然，在其他实施方式中，目标实体也可以为其他实体，在此不做具体限定。举例来说，如图4和图5所示的目标图像中存在目标实体-人。
46.步骤s62：响应于目标图像中不存在目标实体，或者目标图像中存在目标实体且目标图像中的目标物与目标实体的位置关系不满足重叠条件，执行对目标图像中的目标物进行显著性识别，得到至少一个目标显著性区域及其后续步骤。
47.本实施方式中，响应于目标图像中不存在目标实体，或者目标图像中存在目标实体且目标图像中的目标物与目标实体的位置关系不满足重叠条件，执行对目标图像中的目标物进行显著性识别，得到至少一个目标显著性区域及其后续步骤。也就是说，在目标图像中不存在目标实体或者目标图像中存在目标实体且目标实体与目标物的位置关系不满足重叠条件时，对目标图像中的目标物进行显著性识别，减少了当目标实体出现时对后续确定的至少一个目标显著性区域的准确性产生影响，从而避免对后续目标物的开合装置的开合状态确定的干扰。
48.在一实施方式中，重叠条件为目标图像中的目标物与目标实体的位置存在重叠。在一具体实施方式中，以通过确定目标图像中的目标物对应的外接矩形框和目标实体对应的外接矩形框是否存在重叠来确定目标图像中的目标物与目标实体的位置是否存在重叠。
49.举例来说，以在目标图像中不存在目标实体时执行对目标图像中的目标物进行显著性识别、目标实体为人、目标物为配电箱为例：对如图2所示的目标图像进行人员检测，确定目标图像中不存在人，此时对目标图像中的配电箱进行显著性识别；如图7所示，图7是本技术提供的经检测目标图像一实施例的示意图，对如图4所示的目标图像进行人员检测，得到如图7所示的经检测图像，确定目标图像中存在人，此时不对目标图像中的目标物进行显著性识别。
50.又例如，以在目标图像中存在目标实体且目标图像中的目标物与目标实体的位置关系不满足重叠条件时对目标图像中的目标物进行显著性识别、重叠条件为目标图像中的目标物的外接矩形框与目标实体的外接矩形框存在重叠、目标实体为人、目标物为配电箱为例：对如图4所示的目标图像进行人员和配电箱检测，得到如图7所示的人的外接矩形框和配电箱的外接矩形框；由于人的外接矩形框和配电箱的外接矩形框不存在重叠，所以表明目标图像中的配电箱和人不存在重叠，即，表明目标图像中存在人且目标图像中的配电箱和人的位置关系不满足重叠要求，此时对目标图像进行显著性识别。如图8所示，图8是本
申请提供的经检测目标图像另一实施例的示意图，对如图5所示的目标图像进行人员和配电箱检测，得到如图8所示的人的外接矩形框和配电箱的外接矩形框；由于人的外接矩形框和配电箱的外接矩形框存在重叠，所以表明目标图像中的配电箱和人存在重叠，即，表明目标图像中存在人且目标图像中的配电箱和人的位置关系满足重叠要求，此时不对目标图像进行显著性识别。
51.步骤s13：基于至少一个目标显著性区域和至少一个参考显著性区域之间的差异，确定目标物的开合装置的开合状态。
52.本实施方式中，基于至少一个目标显著性区域和至少一个参考显著性区域之间的差异，确定目标物的开合装置的开合状态。通过比较目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的差异，能够确定目标图像中的目标物的开合装置所处的开合状态相对于参考图像中的目标物的开合装置所处的第一开合状态的差异，而参考图像中的目标物的开合装置所处的第一开合状态是固定且已知的，所以通过比较目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的差异，能够确定目标图像中的目标物的开合装置的开合状态，即，通过比较目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的差异，能够自动识别目标图像中的目标物的开合装置的开合状态。另外，由于参考显著性区域和目标显著性区域对应的实体隶属于目标物，即，由于参考显著性区域和目标显著性区域均为目标物的与自身属性相关的区域，所以基于目标物本身即可对目标物的开合装置的开合状态进行检测，而无需额外在目标物上添加明显的标识素材，使得本技术提供的开合状态检测方法的适用范围更广。
53.举例来说，以第一开合状态为闭合状态、目标物为配电箱、开合装置为箱门为例；通过比较目标图像中的配电箱的至少一个目标显著性区域和参考图像中的配电箱的至少一个参考显著性区域之间的差异，能够确定目标图像中的配电箱的箱门所处的开合状态相对于参考图像中的配电箱的箱门所处的闭合状态的差异；若目标图像中的配电箱的至少一个目标显著性区域和参考图像中的配电箱的至少一个参考显著性区域之间无差异，则表明目标图像中的配电箱的箱门所处的开合状态与参考图像中的配电箱所处的第一开合状态即闭合状态相同，即，目标图像中的配电箱的箱门处于闭合状态；若目标图像中的配电箱的至少一个目标显著性区域和参考图像中的配电箱的至少一个参考显著性区域之间有差异，则表明目标图像中的配电箱的箱门所处的开合状态与参考图像中的配电箱所处的第一开合状态即闭合状态不同，即，目标图像中的配电箱的箱门处于打开状态。
54.又例如，以第一开合状态为打开状态且与参考图像中的目标物的开合装置与目标物呈90
°
、目标物为配电箱、开合装置为箱门为例；通过比较目标图像中的配电箱的至少一个目标显著性区域和参考图像中的配电箱的至少一个参考显著性区域之间的差异，能够确定目标图像中的配电箱的箱门所处的开合状态相对于参考图像中的配电箱的箱门所处的开合状态的差异；若目标图像中的配电箱的至少一个目标显著性区域和参考图像中的配电箱的至少一个参考显著性区域之间无差异，则表明目标图像中的配电箱的箱门处于打开状态；若目标图像中的配电箱的至少一个目标显著性区域和参考图像中的配电箱的至少一个参考显著性区域之间有差异且差异在预设范围内，则表明目标图像中的配电箱的箱门处于打开状态；若目标图像中的配电箱的至少一个目标显著性区域和参考图像中的配电箱的至
少一个参考显著性区域之间有差异且差异不在预设范围内，则表明目标图像中的配电箱的箱门处于闭合状态。
55.由于若目标图像中的目标物的开合装置的开合状态与参考图像中的目标物的开合装置所处的第一开合状态存在差异，那么目标图像中的目标物对应的至少一个目标显著性区域的参数信息和参考图像中的目标物对应的至少一个参考显著性区域的参数信息必然会存在差异。所以，在一实施方式中，可基于至少一个目标显著性区域的参数信息与至少一个参考显著性区域的参数信息之间的参数差异，确定目标图像中的目标物的开合装置的开合状态；其中，参数信息包括区域数量、位置和尺寸表征参数中的至少一者。
56.在一具体实施方式中，尺寸表征参数包括面积、轮廓长度中的至少一者，轮廓长度包括轮廓周长、轮廓单边长度中的至少一者。可以理解地，在其他具体实施方式中，尺寸表征参数还可以包括半径、直径等，在此不做具体限定。
57.上述实施方式中，通过比较目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的差异，能够确定目标图像中的目标物的开合装置所处的开合状态相对于参考图像中的目标物的开合装置所处的第一开合状态的差异，而参考图像中的目标物的开合装置所处的第一开合状态是固定且已知的，所以通过比较目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的差异，能够确定目标图像中的目标物的开合装置的开合状态。另外，由于参考显著性区域和目标显著性区域对应的实体隶属于目标物，即，由于参考显著性区域和目标显著性区域均为目标物的与自身属性相关的区域，所以基于目标物本身即可对目标物的开合装置的开合状态进行检测，而无需额外在目标物上添加明显的标识素材，使得本技术提供的开合状态检测方法的适用范围更广。
58.请参阅图9，图9是图1所示步骤s12一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图9所示的流程顺序为限。如图9所示，本实施例中，对目标图像进行裁剪而得到只包括目标物的待检测图像，并对待检测图像进行显著性识别，具体包括：
59.步骤s91：基于目标图像中的目标物的位置信息，对目标图像进行裁剪，得到目标物对应的待检测图像。
60.本实施方式中，利用目标图像中的目标物的位置信息，对目标图像进行裁剪，得到目标物对应的待检测图像。由于经剪裁得到的待检测图像中只包括目标物或者说由于经剪裁得到的待检测图像中包括的除目标物以外的其他元素很少，所以后续对待检测图像进行显著性识别得到的至少一个目标显著性区域的准确性较高，从而提高后续对目标物的开合状态确定的准确性。举例来说，如图2和图10所示，图10是本技术提供的待检测图像一实施例的示意图，以目标物为配电箱为例；基于如图2所示的目标图像中的配电箱的位置信息，对目标图像进行剪裁，得到如图10所示的配电箱对应的待检测图像。又例如，如图3和图11所示，图11是本技术提供的待检测图像另一实施例的示意图，以目标物为配电箱为例；基于如图3所示的目标图像中的配电箱的位置信息，对目标图像进行剪裁，得到如图11所示的配电箱对应的待检测图像。
61.由于是基于同一角度、同一位置对目标物进行图像采集且目标物一般情况下是不动的，在一实施方式中，目标物的位置信息可基于若干采集图像中的目标物的先验位置信
息得到；也就是说，由于目标物的位置是不动的，在前期基于若干采集图像中确定目标物的位置信息后，目标图像中的目标物的位置信息无需再进行检测，直接复用基于若干采集图像确定的目标物的位置信息即可，可以减小整个方法的耗时，提高检测效率，减少占用的设备资源。具体地，对目标物的位置信息的确定所采用的若干采集图像中不存在目标实体或者存在目标实体且目标实体与目标物的位置关系不满足重叠要求；然后，确定各采集图像中的目标物的位置信息；然后，对各采集图像中的目标物的位置信息求平均处理，得到目标物的最终位置信息。
62.在其他实施方式中，目标物的位置信息也可以为对目标图像进行实时目标检测得到。其中，可利用目标检测模型或者目标检测算法等对目标图像进行目标检测而得到目标物的位置信息。在一具体实施方式中，利用目标检测模型对目标图像中的目标物进行目标检测；其中，目标检测模型的训练过程具体包括如下步骤：步骤一：获取初始目标检测模型，如，可以是yolov4等检测网络；步骤二：利用样本数据集对初始目标检测模型进行训练，得到训练收敛的目标检测模型。
63.在一具体实施方式中，目标物的位置信息具体为目标物的外接矩形框。举例来说，以目标物的位置信息是对目标图像进行目标检测得到的、目标物的位置信息为目标物的外接矩形框、目标物为配电箱为例：首先，如图2、图10和图12所示，图12是本技术提供的目标物的位置信息一实施例的示意图，对如图2所示的目标图像进行目标检测，得如图12所示的配电箱的外接矩形框；然后，基于配电箱的外接矩形框对目标图像进行剪裁，得到如图10所示的配电箱对应的待检测图像。又例如，以目标物的位置信息是对目标图像进行目标检测得到的、目标物的位置信息为目标物的外接矩形框、目标物为配电箱为例：首先，对如图3、图11和图13所示，图13是本技术提供的目标物的位置信息另一实施例的示意图，对如图3所示的目标图像进行目标检测，得如图13所示的配电箱的外接矩形框；然后，基于配电箱的外接矩形框对目标图像进行剪裁，得到如图13所示的配电箱对应的待检测图像。
64.在其他具体实施方式中，目标物的位置信息也可以具体为目标物的中心的坐标等，在此不做具体限定。
65.步骤s92：对待检测图像进行显著性识别，得到至少一个目标显著性区域。
66.本实施方式中，对待检测图像进行显著性识别，得到至少一个目标显著性区域。由于经剪裁得到的待检测图像中只包括目标物或者说由于经剪裁得到的待检测图像中包括的除目标物以外的其他元素很少，所以对待检测图像进行显著性识别得到的至少一个目标显著性区域的准确性较高，从而提高后续对目标物的开合状态确定的准确性。
67.举例来说，如图14所示，图14是本技术提供的目标显著性区域一实施例的示意图。对图14中的待检测图像(a)、待检测图像(b)、待检测图像(c)和待检测图像(d)进行显著性识别，得到各待检测图像对应的至少一个目标显著性区域。
68.请参阅图15，图15是本技术提供的基于至少一个目标显著性区域的参数信息与至少一个参考显著性区域的参数信息之间的目标参数差异确定开合装置的开合状态一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图15所示的流程顺序为限。如图15所示，本实施例包括：
69.步骤s1501：确定参数差异是否属于状态变化差异。
70.本实施方式中，确定参数差异是否属于状态变化差异，状态变化差异表征目标物
在开合装置分别处于不同开合状态下的显著性区域之间的参数差异。因此，通过确定目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的参数差异是否属于状态变化差异，即可确定目标图像中的目标物的开合装置所处的开合状态是否与参考图像中的目标物的开合装置所处的第一开合状态相同，从而确定目标图像中的目标物的开合装置的开合状态。
71.其中，在目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的参数差异属于状态变化差异时，执行步骤s1503；而在目标图像中的目标物的至少一个目标显著性区域和参考图像中的目标物的至少一个参考显著性区域之间的参数差异是不属于状态变化差异，执行步骤s1502。
72.在一实施方式中，状态变化差异包括以下至少一种：至少一个目标显著性区域与至少一个参考显著性区域之间的区域数量不同、存在关于位置的差异超出预设位置变化范围的区域对、存在关于尺寸表征参数的差异超出预设尺寸变化范围的区域对；其中，区域对包括一个参考显著性区域和对应的一个目标显著性区域。
73.其中，不对预设位置变化范围和预设尺寸变化范围进行限定，可根据实际使用需要具体设置。
74.步骤s1502：响应于参数差异不属于状态变化差异，确定开合装置处于第一开合状态。
75.本实施方式中，响应于参数差异不属于状态变化差异，确定目标图像中的目标物的开合装置处于第一开合状态。也就是说，在参数差异不属于状态变化差异时，说明目标图像中的目标物的开合装置和参考图像中的目标物的开合装置处于相同的开合状态，即，目标图像中的目标物的开合装置处于第一开合状态。
76.步骤s1503：响应于参数差异属于状态变化差异，确定开合装置处于第二开合状态。
77.本实施方式中，响应于目标参数差异属于状态变化差异，确定目标图像中的目标物的开合装置处于第二开合状态。其中，第一开合状态和第二开合状态中的其中一个为闭合状态，另一个为打开状态。也就是说，在第一开合状态为闭合状态时，当参数差异属于状态变化差异时，说明目标图像中的目标物的开合装置和参考图像中的目标物的开合装置处于不同的开合状态，即，目标图像中的目标物的开合装置处于打开状态；在第一开合状态为打开状态时，当参数差异属于状态变化差异时，说明目标图像中的目标物的开合装置和参考图像中的目标物的开合装置处于不同的开合状态，即，目标图像中的目标物的开合装置处于闭合状态。
78.由于在目标图像中的目标物的开合装置和参考图像中的目标物的开合装置均处于打开状态而打开的程度不同时，两者之间也可能存在参数差异，此时若设置第一开合状态为打开状态时，可能会对目标图像中的目标物的开合装置的开合状态产生误判，所以，在设置第一开合状态为打开状态时，需要进一步对目标图像中的目标物的开合装置的开合状态进行确定，较为复杂、耗时长。因此，在一实施方式中，设置第一开合状态处于闭合状态，以提高对目标图像中的目标物的开合装置的开合状态的检测准确性和效率。
79.第一开合状态为闭合状态，第二开合状态为打开状态；状态变化差异包括至少一个目标显著性区域与至少一个参考显著性区域之间的区域数量不同、存在关于位置的差异
超出预设位置变化范围的区域对和存在关于尺寸表征参数的差异超出预设尺寸变化范围的区域对。在一实施方式中，分别确定至少一个目标显著性区域与至少一个参考显著性区域之间的区域数量不同、存在关于位置的差异超出预设位置变化范围的区域对和存在关于尺寸表征参数的差异超出预设尺寸变化范围的区域对。为了提高对目标图像中的目标物的开合装置的开合状态的确定效率，减少资源消耗，在一实施方式中，如图16所示，图16是图15所示步骤s1503一实施例的流程示意图，可按照顺序执行至少一个目标显著性区域与至少一个参考显著性区域之间的区域数量不同、存在关于位置的差异超出预设位置变化范围的区域对和存在关于尺寸表征参数的差异超出预设尺寸变化范围的区域对，其中，在通过其中一种方式确定了开合装置的开合状态后，停止执行后续的方式，具体包括如下步骤：
80.步骤s1601：分别获取至少一个目标显著性区域的第一区域数量和至少一个参考显著性区域的第二区域数量。
81.相比于位置差异和尺寸表征参数差异，至少一个目标显著性区域与至少一个参考显著性区域之间的区域数量差异更加直观，所以对至少一个目标显著性区域与至少一个参考显著性区域之间的区域数量差异的确定更加快速、简单。因此，本实施方式中，首先分别获取至少一个目标显著性区域的第一区域数量和至少一个参考显著性区域的第二区域数量。
82.步骤s1602：响应于第一区域数量与第二区域数量不同，确定开合装置处于第二开合状态。
83.本实施方式中，响应于至少一个目标显著性区域的第一区域数量与至少一个参考显著性区域的第二区域数量不同，确定目标图像中的目标物的开合装置处于第二开合状态，即，确定目标图像中的目标物的开合装置处于打开状态。由于至少一个目标显著性区域的第一区域数量与至少一个参考显著性区域的第二区域数量不同，所以目标图像中的目标物的开合装置的开合状态与参考图像中的目标物的开合装置的开合状态不同，而参考图像中的目标物的开合装置处于闭合状态，所以确定目标图像中的目标物的开合装置处于打开状态。
84.举例来说，如图14所示，假定图14(a)为参考图像，图14(b)、图14(c)和图14(d)为不同采集时刻采集得到的目标图像；由于目标图像-图14(d)中的目标物对应的目标显著性区域的第一区域数量为3且参考图像-图14(a)中的目标物对应的参考显著性区域的第二区域数量为3，所以确定目标图像-14(d)中的目标物的开合装置与参考图像-14(a)中的目标物的开合装置处于相同的开合状态，即，确定目标图像-14(d)中的目标物的开合装置处于闭合状态；由于目标图像-图14(b)和目标图像-图14(c)中的目标物对应的目标显著性区域的第一区域数量均为1且参考图像-图14(a)中的目标物对应的参考显著性区域的第二区域数量为3，所以确定目标图像-14(b)和目标图像-14(c)中的目标物的开合装置与参考图像-14(a)中的目标物的开合装置处于不同的开合状态，即，确定目标图像-14(b)和目标图像-14(c)中的目标物的开合装置处于打开状态。
85.步骤s1603：响应于第一区域数量与第二区域数量相同，获取各区域对关于位置的第一差异。
86.本实施方式中，响应于至少一个目标显著性区域的第一区域数量与至少一个参考显著性区域的第二区域数量相同，获取各区域对关于位置的第一差异。由于在目标图像中
目标物的开合装置打开的幅度在一定大小时，目标物对应的至少一个目标显著性区域的数量可能不会发生变化，以至于至少一个目标显著性区域的第一区域数量与至少一个参考显著性区域的第二区域数量相同，而目标图像中的目标物的开合装置实际处于打开状态，所以在第一区域数量与第二区域数量相同时，并不能直接确定目标图像中的目标物的开合装置所处的开合状态，此时获取各区域对关于位置的第一差异，以通过各区域对的位置差异确定目标图像中的目标物的开合装置所处的开合状态。
87.步骤s1604：响应于存在第一差异超出预设位置变化范围的区域对，确定开合装置处于第二开合状态。
88.本实施方式中，响应于存在第一差异超出预设位置变化范围的区域对，确定目标图像中的目标物的开合装置处于第二开合状态，即，确定目标图像中的目标物的开合装置处于打开状态。由于存在第一差异超出预设位置变化范围的区域对，所以目标图像中的目标物的开合装置的开合状态与参考图像中的目标物的开合装置的开合状态不同，而参考图像中的目标物的开合装置处于闭合状态，所以确定目标图像中的目标物的开合装置处于打开状态。
89.步骤s1605：响应于各区域对的第一差异均在预设位置变化范围内，获取各区域对关于尺寸表征参数的第二差异，并响应于存在第二差异超出预设尺寸变化范围的区域对，确定开合装置处于第二开合状态。
90.本实施方式中，响应于各区域对的第一差异均在预设位置变化范围内，获取各区域对关于尺寸表征参数的第二差异。由于在目标图像中目标物的开合装置打开的幅度在一定大小时，各区域对关于位置的第一差异可能均为在预设位置变化范围内，而目标图像中的目标物的开合装置实际处于打开状态，所以在各区域对的第一差异均在预设位置变化范围内，并不能直接确定目标图像中的目标物的开合装置所处的开合状态，此时获取各区域对关于尺寸表征参数的第二差异，以通过各区域对的尺寸差异确定目标图像中的目标物的开合装置所处的开合状态。
91.其中，响应于存在第二差异超出预设尺寸变化范围的区域对，确定开合装置处于第二开合状态，即，确定目标图像中的目标物的开合装置处于打开状态。由于存在第二差异超出预设尺寸变化范围的区域对，所以目标图像中的目标物的开合装置的开合状态与参考图像中的目标物的开合装置的开合状态不同，而参考图像中的目标物的开合装置处于闭合状态，所以确定目标图像中的目标物的开合装置处于打开状态。
92.在一实施方式中，如图17所示，图17是图16所示步骤s1605一实施例的流程示意图，尺寸表征参数包括面积和轮廓长度参数，基于各区域对关于尺寸表征参数的第二差异确定开合装置的开合状态具体包括如下子步骤：
93.步骤s1701：获取各区域对关于面积的第二差异。
94.本实施方式中，获取各区域对关于面积的第二差异。在一实施方式中，各区域的面积具体为各区域所包含的像素点个数。
95.步骤s1702：响应于存在关于面积的第二差异超出预设面积变化范围的区域对，确定开合装置处于第二开合状态。
96.本实施方式中，响应于存在关于面积的第二差异超出预设面积变化范围的区域对，确定目标图像中的目标物的开合装置处于第二开合状态，即，确定目标图像中的目标物
的开合装置处于打开状态。由于存在关于面积的第二差异超出预设面积变化范围的区域对，所以目标图像中的目标物的开合装置的开合状态与参考图像中的目标物的开合装置的开合状态不同，而参考图像中的目标物的开合装置处于闭合状态，所以确定目标图像中的目标物的开合装置处于打开状态。
97.步骤s1703：响应于各区域对关于面积的第二差异均在预设面积变化范围内，获取各区域对关于轮廓长度的第二差异。
98.本实施方式中，响应于各区域对关于面积的第二差异均在预设面积变化范围内，获取各区域对关于轮廓长度的第二差异。由于在目标图像中的目标物的开合装置打开的幅度在一定大小时，各区域对关于面积的第二差异可能均为在预设面积变化范围内，而目标图像中的目标物的开合装置实际处于打开状态，所以在各区域对关于面积的第二差异均在预设面积变化范围内时，并不能直接确定目标图像中的目标物的开合装置所处的开合状态，此时获取各区域对关于轮廓长度的第二差异，以通过各区域对的轮廓长度差异确定目标图像中的目标物的开合装置所处的开合状态。
99.步骤s1704：响应于存在关于轮廓长度的第二差异超出预设长度变化范围的区域对，确定开合装置处于第二开合状态。
100.本实施方式中，响应于存在关于轮廓长度的第二差异超出预设长度变化范围的区域对，确定开合装置处于第二开合状态，即，确定目标图像中的目标物的开合装置处于打开状态。由于存在关于轮廓长度的第二差异超出预设长度变化范围的区域对，所以目标图像中的目标物的开合装置的开合状态与参考图像中的目标物的开合装置的开合状态不同，而参考图像中的目标物的开合装置处于闭合状态，所以确定目标图像中的目标物的开合装置处于打开状态。
101.另外，在各区域对关于轮廓长度的第二差异均在预设长度变化范围内时，目标图像中的目标物的开合装置的开合状态与参考图像中的目标物的开合装置的开合状态相同，而参考图像中的目标物的开合装置处于闭合状态，所以确定目标图像中的目标物的开合装置处于闭合状态。
102.请参阅图18，图18是本技术提供的电子设备一实施例的结构示意图。电子设备180包括相互耦接的存储器1801和处理器1802，处理器1802用于执行存储器1801中存储的程序指令，以实现上述任一开合状态检测方法实施例的步骤。在一个具体的实施场景中，电子设备180可以包括但不限于：微型计算机、服务器，此外，电子设备180还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。
103.具体而言，处理器1802用于控制其自身以及存储器1801以实现上述任一开合状态检测方法实施例的步骤。处理器1802还可以称为cpu(central processing unit，中央处理单元)。处理器1802可能是一种集成电路芯片，具有信号的处理能力。处理器1802还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器1802可以由集成电路芯片共同实现。
104.请参阅图19，图19是本技术提供的计算机可读存储介质一实施例的结构示意图。
本技术实施例的计算机可读存储介质190存储有程序指令1901，该程序指令1901被执行时实现本技术开合状态检测方法任一实施例以及任意不冲突的组合所提供的方法。其中，该程序指令1901可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质190中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质190包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
105.以上所述仅为本技术的实施方式，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。