一种异常确定方法、装置、电子设备及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种异常确定方法、装置、电子设备及存储介质。


背景技术：

2.目前，可以通过人工监视的方式确定某一物体或者该物体所处的操作现场是否存在异常情况。
3.但是，上述人工监视的方式可能需要长时间高度集中注意力，会产生视觉疲劳，影响了异常确定的有效性。


技术实现要素：

4.本发明提供一种异常确定方法、装置、电子设备及存储介质，解决了人工监视的方式确定是否存在异常情况可能需要长时间高度集中注意力，影响了异常确定的有效性的技术问题。
5.第一方面，本发明提供一种异常确定方法，包括：获取第一物体在多个时刻中每个时刻所处的区域；确定第一区域与第二区域之间的匹配程度，该第一区域为该第一物体在第一时刻所处的区域，该第二区域为该第一物体在第二时刻所处的区域，该第一时刻为该多个时刻中的一个，该第二时刻为该多个时刻中除该第一时刻以外的时刻；在该第一区域与该第二区域之间的匹配程度不满足预设条件的情况下，确定该第一物体处于异常状态。
6.可选地，该异常确定方法还包括：在多个区域中任意两个区域之间的匹配程度满足该预设条件的情况下，确定该第一物体处于正常状态，该多个区域为该第一物体在该多个时刻所处的区域。
7.可选地，该异常确定方法还包括：在该第一物体处于正常状态的情况下，从目标任务对应的多个待检测图像中确定至少一个目标图像，该至少一个目标图像中包括目标对象的预设动作；在该至少一个目标图像中包括预设组件以及第二物体的情况下，确定该目标任务为正常任务，该预设组件为该第一物体中包括的组件。
8.可选地，在上述确定该目标任务为正常任务之后，该异常确定方法还包括：对至少一个待检测图像进行识别处理，确定该至少一个待检测图像中是否包括该预设动作，该至少一个待检测图像的生成时刻在该多个待检测图像的生成时刻之后；在该至少一个待检测图像中不包括该预设动作的情况下，确定该目标任务执行完成。
9.可选地，上述确定第一区域与第二区域之间的匹配程度，具体可以包括：确定该第一区域与该第二区域之间的匹配程度满足下述公式：
[0010][0011]
其中，o
1,2
表示该第一区域与该第二区域之间的匹配程度，s1表示第一交集，s1'表示第一并集，该第一交集为该第一区域与该第二区域的交集，该第一并集为该第一区域与
该第二区域的并集。
[0012]
第二方面，本发明提供一种异常确定装置，包括：获取模块和确定模块；该获取模块，用于获取第一物体在多个时刻中每个时刻所处的区域；该确定模块，用于确定第一区域与第二区域之间的匹配程度，该第一区域为该第一物体在第一时刻所处的区域，该第二区域为该第一物体在第二时刻所处的区域，该第一时刻为该多个时刻中的一个，该第二时刻为该多个时刻中除该第一时刻以外的时刻；该确定模块，还用于在该第一区域与该第二区域之间的匹配程度不满足预设条件的情况下，确定该第一物体处于异常状态。
[0013]
可选地，该确定模块，还用于在多个区域中任意两个区域之间的匹配程度满足该预设条件的情况下，确定该第一物体处于正常状态，该多个区域为该第一物体在该多个时刻所处的区域。
[0014]
可选地，该确定模块，还用于在该第一物体处于正常状态的情况下，从目标任务对应的多个待检测图像中确定至少一个目标图像，该至少一个目标图像中包括目标对象的预设动作；该确定模块，还用于在该至少一个目标图像中包括预设组件以及第二物体的情况下，确定该目标任务为正常任务，该预设组件为该第一物体中包括的组件。
[0015]
可选地，该确定模块，还用于对至少一个待检测图像进行识别处理，确定该至少一个待检测图像中是否包括该预设动作，该至少一个待检测图像的生成时刻在该多个待检测图像的生成时刻之后；该确定模块，还用于在该至少一个待检测图像中不包括该预设动作的情况下，确定该目标任务执行完成。
[0016]
可选地，该确定模块，具体用于确定该第一区域与该第二区域之间的匹配程度满足下述公式：
[0017][0018]
其中，o
1,2
表示该第一区域与该第二区域之间的匹配程度，s1表示第一交集，s1'表示第一并集，该第一交集为该第一区域与该第二区域的交集，该第一并集为该第一区域与该第二区域的并集。
[0019]
第三方面，本发明提供一种电子设备，包括：处理器和被配置为存储处理器可执行指令的存储器；其中，处理器被配置为执行所述指令，以实现上述第一方面中任一种可选地异常确定方法。
[0020]
第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质上存储有指令，当该计算机可读存储介质中的指令由电子设备执行时，使得该电子设备能够执行上述第一方面中任一种可选地异常确定方法。
[0021]
本发明提供的异常确定方法、装置、电子设备及存储介质，电子设备可以获取第一物体在多个时刻中每个时刻所处的区域；然后该电子设备可以确定第一区域(即第一物体在第一时刻所处的区域)与第二区域(即第一物体在第二时刻所处的区域)之间的匹配程度；在该第一区域与该第二区域之间的匹配程度不满足预设条件的情况下，说明该第一区域与该第二区域之间的匹配程度较低，此时电子设备可以确定该第一物体处于异常状态。可以准确地确定第一物体是否处于异常状态，能够提升异常确定的有效性。
附图说明
[0022]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
[0023]
图1为本发明实施例提供的一种异常确定方法的流程示意图；
[0024]
图2为本发明实施例提供的一种第一物体在两个时刻所处的区域的示意图；
[0025]
图3为本发明实施例提供的另一种异常确定方法的流程示意图；
[0026]
图4为本发明实施例提供的另一种异常确定方法的流程示意图；
[0027]
图5为本发明实施例提供的另一种异常确定方法的流程示意图；
[0028]
图6为本发明实施例提供的另一种异常确定方法的流程示意图；
[0029]
图7为本发明实施例提供的一种异常确定装置的结构示意图；
[0030]
图8为本发明实施例提供的另一种异常确定装置的结构示意图。
具体实施方式
[0031]
下面将结合附图对本发明实施例提供的异常确定方法、装置、电子设备及存储介质进行详细的描述。
[0032]
本技术的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述对象的特定顺序，例如，第一时刻和第二时刻等是用于区别不同的时刻，而不是用于描述时刻的特定顺序。
[0033]
此外，本技术的描述中所提到的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0034]
需要说明的是，本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
[0035]
本技术中所述“和/或”，包括用两种方法中的任意一种或者同时使用两种方法。
[0036]
在本技术的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
[0037]
基于背景技术中所描述，由于相关技术中，通过人工监视的方式确定某一物体或者该物体所处的操作现场是否存在异常情况可能需要长时间高度集中注意力，会产生视觉疲劳，影响了异常确定的有效性。基于此，本发明实施例提供一种异常确定方法、装置、电子设备及存储介质，在该一区域与第二区域之间的匹配程度不满足预设条件的情况下，说明该第一区域与该第二区域之间的匹配程度较低，此时电子设备可以确定第一物体处于异常状态。可以准确地确定第一物体是否处于异常状态，能够提升异常确定的有效性。
[0038]
示例性的，执行本发明实施例提供的异常确定方法的电子设备可以是手机、平板电脑、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本，以及蜂窝电话、个人数字助理(personal digital assistant，pda)、增强现实(augmented reality，ar)\虚拟现实(virtual reality，vr)设备，本发明实施例对电子设备的具体形态不作特殊限制。其可以与用户通过键盘、触摸板、
触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互。
[0039]
如图1所示，本发明实施例提供的异常确定方法可以包括s101-s103。
[0040]
s101、电子设备获取第一物体在多个时刻中每个时刻所处的区域。
[0041]
应理解，电子设备可以获取第一物体对应的视频流(或视频)，该视频流中包括该第一物体。电子设备对该视频流进行抽帧处理，可以得到多个视频帧。该多个视频帧中的一个视频帧对应一个图像，一个视频帧对应上述多个时刻中的一个时刻。上述第一物体在该多个时刻中某一个时刻所处的区域也可以理解为该第一物体在该时刻对应的图像中所处的区域。
[0042]
示例性的，该第一物体可以为某一车辆(例如油罐车)，油罐车在一个时刻所处的区域可以为卸油区域(或卸油现场)中的部分区域。
[0043]
s102、电子设备确定第一区域与第二区域之间的匹配程度。
[0044]
其中，该第一区域为上述第一物体在第一时刻所处的区域，该第二区域为该第一物体在第二时刻所处的区域，该第一时刻为上述多个时刻中的一个，该第二时刻为该多个时刻中除该第一时刻以外的时刻。
[0045]
应理解，电子设备可以确定任一区域(即第一物体在多个时刻中任一时刻所处的区域)与其他区域(即第一物体在多个时刻中除该任一时刻以外的时刻所处的区域)之间的匹配程度。
[0046]
s103、在第一区域与第二区域之间的匹配程度不满足预设条件的情况下，电子设备确定第一物体处于异常状态。
[0047]
可以理解的是，电子设备在确定出该第一区域与该第二区域之间的匹配程度之后，可以确定该第一区域与该第二区域之间的匹配程度是否满足该预设条件。在该第一区域与该第二区域之间的匹配程度不满足该预设条件的情况下，说明该第一区域与该第二区域之间的匹配程度较低，此时电子设备可以确定该第一物体处于异常状态。
[0048]
在一种可选的实现方式中，一个区域(例如第一区域)与另一个区域(例如第二区域)之间的匹配程度也可以理解为该第一区域与该第二区域之间的位移程度。在第一区域与第二区域之间的匹配程度不满足预设条件的情况下，说明该第一区域与该第二区域之间的位移程度较大，即第一物体在上述第一时刻与第二时刻之间处于移动状态。本发明实施例中，当第一物体在某两个时刻之间处于移动状态时，电子设备可以确定该第一物体处于异常状态。
[0049]
至此，电子设备可以确定多个区域(即第一物体在多个时刻所处的区域)中任意两个区域之间的匹配程度，并且确定该第一物体是否处于异常状态。
[0050]
示例性的，如图2所示，假设上述第一物体为油罐车。区域a可以为上述第一区域，即油罐车在第一时刻所处的区域，区域b可以为上述第二区域，即油罐车在第二时刻所处的区域。
[0051]
上述实施例提供的技术方案至少能够带来以下有益效果：由s101-s103可知：电子设备可以获取第一物体在多个时刻中每个时刻所处的区域；然后该电子设备可以确定第一区域(即第一物体在第一时刻所处的区域)与第二区域(即第一物体在第二时刻所处的区域)之间的匹配程度；在该第一区域与该第二区域之间的匹配程度不满足预设条件的情况下，说明该第一区域与该第二区域之间的匹配程度较低，此时电子设备可以确定该第一物
体处于异常状态。可以准确地确定第一物体是否处于异常状态，能够提升异常确定的有效性。
[0052]
结合图1，如图3所示，本发明实施例提供的异常确定方法还包括s104。
[0053]
s104、在多个区域中任意两个区域之间的匹配程度满足预设条件的情况下，电子设备确定第一物体处于正常状态。
[0054]
其中，该多个区域为该第一物体在上述多个时刻所处的区域。
[0055]
应理解，在该多个区域中任意两个区域之间的匹配程度满足该预设条件的情况下，说明任意两个区域之间的匹配程度较高，此时电子设备可以确定该第一物体处于正常状态。
[0056]
在一种可选的实现方式中，一个区域(例如第一区域)与另一个区域(例如第二区域)之间的匹配程度也可以理解为该第一区域与该第二区域之间的位移程度。在上述多个区域中任意两个区域之间的匹配程度不满足预设条件的情况下，说明该任意两个区域之间的位移程度较小，即第一物体在上述多个时刻中的任意两个时刻之间处于稳定状态(或非移动状态)，具体为该第一物体持续处于稳定状态。本发明实施例中，当第一物体持续处于稳定状态时，电子设备可以确定该第一物体处于正常状态。
[0057]
结合图3，如图4所示，本发明实施例提供的异常确定方法还可以包括s105-s106。
[0058]
s105、在第一物体处于正常状态的情况下，电子设备从目标任务对应的多个待检测图像中确定至少一个目标图像。
[0059]
其中，该至少一个目标图像中包括目标对象的预设动作。
[0060]
应理解，在该第一物体处于正常状态的情况下，目标对象可以开始执行目标任务。电子设备可以获取该目标任务对应的视频流(或视频)，并且对该视频流进行抽帧处理得到该多个待检测图像。
[0061]
可以理解的是，该预设动作为该目标对象执行目标任务的过程中所必需的动作。
[0062]
示例性的，该目标任务可以为卸尽余油任务，该目标对象可以为卸油员工，该预设动作可以为取油动作。
[0063]
s106、在至少一个目标图像中包括预设组件以及第二物体的情况下，电子设备确定目标任务为正常任务。
[0064]
其中，该预设组件为上述第一物体中包括的组件。
[0065]
应理解，上述目标对象的预设动作、该预设组件以及第二物体为执行该目标任务所必须的条件。在该至少一个目标图像中包括该预设组件以及该第二物体的情况下，说明该至少一个目标图像中包括了执行该目标任务所必须的条件，此时电子设备可以确定该目标任务为正常任务。
[0066]
示例性的，该预设组件可以为油罐车的接油口，该第二物体可以为油桶。即在包括取油动作的至少一个目标图像中包括油罐车的接油口以及油桶的情况下，电子设备可以确定卸尽余油任务为正常任务。即卸油员工在正常进行卸尽余油任务。
[0067]
结合图4，如图5所示，在上述电子设备确定目标任务为正常任务之后，本发明实施例提供的异常确定方法还可以包括s107-s108。
[0068]
s107、电子设备对至少一个待检测图像进行识别处理，确定至少一个待检测图像中是否包括预设动作。
[0069]
其中，该至少一个待检测图像的生成时刻在上述多个待检测图像的生成时刻之后。
[0070]
应理解，电子设备对该至少一个待检测图像进行识别处理，可以得到(或识别出)该至少一个待检测图像中每个待检测图像包括的内容(例如动作、组件、对象以及物体等)。
[0071]
s108、在至少一个待检测图像中不包括预设动作的情况下，电子设备确定目标任务执行完成。
[0072]
可以理解的是，在该至少一个待检测图像中不包括该预设动作的情况下，说明目标对象已经不再执行目标任务，即电子设备可以确定该目标任务执行完成。
[0073]
结合图1，如图6所示，上述电子设备确定第一区域与第二区域之间的匹配程度，具体可以包括s1021。
[0074]
s1021、电子设备确定第一区域与第二区域之间的匹配程度满足下述公式：
[0075][0076]
其中，o
1,2
表示该第一区域与该第二区域之间的匹配程度，s1表示第一交集，s1'表示第一并集，该第一交集为该第一区域与该第二区域的交集，该第一并集为该第一区域与该第二区域的并集。
[0077]
应理解，该第一区域与该第二区域之间的匹配程度也可以理解为该第一区域与该第二区域的交并比(intersection over union，iou)。
[0078]
可以理解的是，在该第一区域与该第二区域之间的匹配程度为该第一区域与该第二区域的iou的情况下，上述预设条件可以为iou阈值。在该第一区域与该第二区域的iou小于该iou阈值的情况下，电子设备可以确定该第一区域与该第二区域之间的匹配程度不满足该预设条件。
[0079]
在一种可选的实现方式中，电子设备也可以将该第一交集与该第一并集之间的乘积确定为该第一区域与该第二区域之间的匹配程度。
[0080]
本发明实施例可以根据上述方法示例对电子设备等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0081]
在采用对应各个功能划分各个功能模块的情况下，图7示出了上述实施例中所涉及的异常确定装置的一种可能的结构示意图，如图7所示，异常确定装置10可以包括：获取模块101和确定模块102。
[0082]
获取模块101，用于获取第一物体在多个时刻中每个时刻所处的区域。
[0083]
确定模块102，用于确定第一区域与第二区域之间的匹配程度，该第一区域为该第一物体在第一时刻所处的区域，该第二区域为该第一物体在第二时刻所处的区域，该第一时刻为该多个时刻中的一个，该第二时刻为该多个时刻中除该第一时刻以外的时刻。
[0084]
确定模块102，还用于在该第一区域与该第二区域之间的匹配程度不满足预设条件的情况下，确定该第一物体处于异常状态。
[0085]
可选地，确定模块102，还用于在多个区域中任意两个区域之间的匹配程度满足该
预设条件的情况下，确定该第一物体处于正常状态，该多个区域为该第一物体在该多个时刻所处的区域。
[0086]
可选地，确定模块102，还用于在该第一物体处于正常状态的情况下，从目标任务对应的多个待检测图像中确定至少一个目标图像，该至少一个目标图像中包括目标对象的预设动作。
[0087]
确定模块102，还用于在该至少一个目标图像中包括预设组件以及第二物体的情况下，确定该目标任务为正常任务，该预设组件为该第一物体中包括的组件。
[0088]
可选地，确定模块102，还用于对至少一个待检测图像进行识别处理，确定该至少一个待检测图像中是否包括该预设动作，该至少一个待检测图像的生成时刻在该多个待检测图像的生成时刻之后。
[0089]
确定模块102，还用于在该至少一个待检测图像中不包括该预设动作的情况下，确定该目标任务执行完成。
[0090]
可选地，确定模块102，具体用于确定该第一区域与该第二区域之间的匹配程度满足下述公式：
[0091][0092]
其中，o
1,2
表示该第一区域与该第二区域之间的匹配程度，s1表示第一交集，s1'表示第一并集，该第一交集为该第一区域与该第二区域的交集，该第一并集为该第一区域与该第二区域的并集。
[0093]
在采用集成的单元的情况下，图8示出了上述实施例中所涉及的异常确定装置的一种可能的结构示意图。如图8所示，异常确定装置20可以包括：处理模块201和通信模块202。处理模块201可以用于对异常确定装置20的动作进行控制管理。通信模块202可以用于支持异常确定装置20与其他实体的通信。可选地，如图8所示，该异常确定装置20还可以包括存储模块203，用于存储异常确定装置20的程序代码和数据。
[0094]
其中，处理模块201可以是处理器或控制器。通信模块202可以是收发器、收发电路或通信接口等。存储模块203可以是存储器。
[0095]
其中，当处理模块201为处理器，通信模块202为收发器，存储模块203为存储器时，处理器、收发器和存储器可以通过总线连接。总线可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。
[0096]
应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0097]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0098]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、
装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0099]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0100]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户终端线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，dvd)、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0101]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。