轿厢异常行为检测方法、装置、设备及存储介质与流程

本发明涉及电梯安全，尤其涉及一种轿厢异常行为检测方法、装置、设备及存储介质。

背景技术：

1、目前，轿厢异常行为检测中，视觉技术是最常用的一种，通过摄像头采集轿厢内部的图像信息，利用图像处理技术和计算机视觉技术对异常的目标行为进行识别和分析，从而实现轿厢异常行为的检测与报警。

2、相关技术中，基于视觉技术的轿厢异常行为检测，都是基于一个维度的信息进行的目标行为识别，存在较大的局限性，比如通过骨架信息对扒门行为进行检测时，难以区分扒门行为与抱头行为两种整体相似但局部又有差异的行为，导致抱头行为被识别成了异常行为，经常出现错检现象。

技术实现思路

1、本发明的主要目的在于：提供一种轿厢异常行为检测方法、装置、设备及存储介质，旨在解决相关技术中存在异常行为检测准确率较低的技术问题。

2、为实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种轿厢异常行为检测方法，该方法包括：

4、获取电梯轿厢的视频帧图像；

5、利用第一识别模型对视频帧图像进行目标检测和骨架识别，得到第一行为特征和人体骨架特征；

6、利用第二识别模型对视频帧图像进行目标检测和语义分割，得到第二行为特征和人体边缘特征；

7、基于第一行为特征和第二行为特征进行匹配处理，得到异常行为识别结果；

8、基于人体骨架特征和人体边缘特征进行对照分析，得到异常行为预测结果；

9、根据异常行为识别结果和异常行为预测结果，获得最终检测结果。

10、可选地，上述轿厢异常行为检测方法中，基于第一行为特征和第二行为特征进行匹配处理，得到异常行为识别结果的步骤，包括：

11、对第一行为特征和第二行为特征进行匹配；

12、当匹配一致时，得到第一疑似异常行为；

13、当匹配不一致时，按预设的第一优先级确定疑似异常行为，得到第二疑似异常行为；

14、根据第一疑似异常行为或第二疑似异常行为，得到异常行为识别结果。

15、可选地，上述轿厢异常行为检测方法中，基于人体骨架特征和人体边缘特征进行对照分析，得到异常行为预测结果的步骤，包括：

16、对人体骨架特征和人体边缘特征进行对照处理，得到人体识别结果；

17、针对多个视频帧图像对应的人体识别结果，进行行为状态变化识别，得到异常行为预测结果。

18、可选地，上述轿厢异常行为检测方法中，对人体骨架特征和人体边缘特征进行对照处理，得到人体识别结果的步骤，包括：

19、对人体骨架特征和人体边缘特征进行匹配，得到具有关联关系的特征对；

20、当特征对的数量超过预设数量时，判断特征对所对应的预测框是否存在重叠；其中，预测框包括人体骨架特征对应的第一预测框和人体边缘特征对应的第二预测框，第一预测框基于第一识别模型对视频帧图像进行目标检测时产生，第二预测框基于第二识别模型对视频帧图像进行目标检测时产生；

21、若不存在重叠，则根据特征对确定人体识别结果；

22、若存在重叠，则对预测框进行去重处理，获得去重后的特征对，并根据去重后的特征对确定人体识别结果。

23、可选地，上述轿厢异常行为检测方法中，针对多个视频帧图像对应的人体识别结果，进行行为状态变化识别，得到异常行为预测结果的步骤，包括：

24、针对多个视频帧图像对应的人体识别结果，构建人体特征向量，人体特征向量为多维的时域特征向量；

25、将人体特征向量输入利用深度学习算法建立的人体行为预测模型，得到异常行为预测结果。

26、可选地，上述轿厢异常行为检测方法中，根据异常行为识别结果和异常行为预测结果，获得最终检测结果的步骤，包括：

27、针对多个视频帧图像对应的异常行为识别结果，构建异常行为特征向量，异常行为特征向量为多维的时域特征向量；

28、对异常行为预测结果和异常行为特征向量进行匹配；

29、当匹配一致时，得到第一特征向量修正结果；

30、当匹配不一致时，按预设的第二优先级确定异常行为，得到第二特征向量修正结果；

31、根据第一特征向量修正结果或第二特征向量修正结果，得到最终检测结果。

32、可选地，上述轿厢异常行为检测方法中，根据第一特征向量修正结果或第二特征向量修正结果，得到最终检测结果的步骤，包括：

33、根据第一特征向量修正结果或第二特征向量修正结果，得到修正后的异常行为特征向量；

34、对修正后的异常行为特征向量进行统计分析，得到异常行为的统计结果；

35、根据统计结果和预设判定条件，得到最终检测结果。

36、第二方面，本发明提供了一种轿厢异常行为检测装置，该装置包括：

37、图像获取模块，用于获取电梯轿厢的视频帧图像；

38、第一识别模块，用于利用第一识别模型对视频帧图像进行目标检测和骨架识别，得到第一行为特征和人体骨架特征；

39、第二识别模块，用于利用第二识别模型对视频帧图像进行目标检测和语义分割，得到第二行为特征和人体边缘特征；

40、第一结果模块，用于基于第一行为特征和第二行为特征进行匹配处理，得到异常行为识别结果；

41、第二结果模块，用于基于人体骨架特征和人体边缘特征进行对照分析，得到异常行为预测结果；

42、结果输出模块，用于根据异常行为识别结果和异常行为预测结果，获得最终检测结果。

43、第三方面，本发明提供了一种轿厢异常行为检测设备，该设备包括处理器和存储器，存储器中存储有轿厢异常行为检测程序，该轿厢异常行为检测程序被处理器执行时，实现如上述的轿厢异常行为检测方法。

44、第四方面，本发明提供了一种计算机可读存储介质，该存储介质上存储有计算机程序，该计算机程序被一个或多个处理器执行时，实现如上述的轿厢异常行为检测方法。

45、本发明提供的上述一个或多个技术方案，可以具有如下优点或至少实现了如下技术效果：

46、本发明提出的一种轿厢异常行为检测方法、装置、设备及存储介质，通过利用第一识别模型对电梯轿厢的视频帧图像进行目标检测和骨架识别，得到第一行为特征和人体骨架特征，并利用第二识别模型对视频帧图像进行目标检测和语义分割，得到第二行为特征和人体边缘特征，分别对骨架信息和边缘信息进行提取，实现了不同维度的特征信息提取；再基于第一行为特征和第二行为特征进行匹配处理来得到异常行为识别结果，先对轿厢内空间环境下的异常行为进行挖掘，实现空间维度上的特征提取，再将不同识别模型检测到的行为特征进行匹配，统一为一套异常行为识别结果，实现空间维度上的异常行为识别；同时，基于人体骨架特征和人体边缘特征进行对照分析来得到异常行为预测结果，先对轿厢内的目标进行不同维度的信息提取，再进行对照纠错，以基于确定的目标进行行为预测，得到一套异常行为预测结果，实现更准确的异常行为预测；最后根据异常行为识别结果和异常行为预测结果获得最终检测结果，实现了结合视觉体系内多个维度信息进行异常行为检测，各维度信息相互纠错，达到了提升异常行为检测准确率和泛化能力的效果。