本发明属于视频行为分析技术领域，具体涉及一种基于单目摄像头和三维姿态估计的剧烈运动检测方法。
背景技术：
在监管场所中，被监控者的剧烈运动是发生异常行为的一个重要信号。正确地检测到监控视频实时流中的人体剧烈运动，能让监管人员对异常行为及时做出反应，对公共安全意义重大。
传统的视频中剧烈运动检测方法，通常是利用背景差分法、帧间差分法、光流法等对视频中相邻图像的变化、混乱程度进行计算，以此为依据分析是否存在人体的剧烈运动。然而，这种方法由于没有以人为主体去分析，会产生很多非人造成的图像巨大变化引起的剧烈运动误检，如光线变化、动物跳动、树叶飘动等。
随着深度卷积神经网络在计算机视觉领域的发展，基于深度卷积神经网络的图像检测识别技术在精确度和稳健度有了大幅提升。视频中剧烈运动检测方法也从中得到启发，利用基于深度卷积神经网络的二维人体关键点检测技术，对相邻图像中同一个人的运动状态进行计算，从而判断是否存在人体的剧烈运动。
基于二维人体关键点检测技术的剧烈运动检测方案，虽然解决了以人为主体的问题，减少了很多非人造成的剧烈运动误检。然而，二维的人体关键点，难以准确表征三维人体的运动状态；例如，一个二维人体姿态可映射为多个三维人体姿态。因此，基于二维人体关键点检测技术的剧烈运动检测方案在精确度和稳健度上有其上限。
技术实现要素：
针对上述的不足，本发明提供一种基于单目摄像头和三维姿态估计的剧烈运动检测方法。
本发明通过以下技术方案实现：
基于单目摄像头和三维姿态估计的剧烈运动检测方法，所述的方法包含如下步骤：
s1.基于人体检测模型和人体二维关键点检测模型，输入单目摄像头的rgb图像，输出图像中的人体位置信息和人体二维关键点位置信息；
s2.利用人体二维关键点提升为人体三维关键点模型，输入人体二维关键点位置信息，输出相应的人体三维关键点位置信息；
s3.基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算帧间各个人体两两之间的相似度，利用匈牙利算法对帧间人体进行匹配，获取多帧图像中的各个人体是否是同一个人；
s4.基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，利用剧烈运动检测模型，输入基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征，判断是否存在剧烈运动。
所述的步骤s1中进一步包括步骤：
1.1训练基于深度卷积神经网络的人体检测模型；获取大量标注有人体位置信息的图像数据，训练所选的人体检测模型，其中，人体位置信息具体指人体外接矩形在图像像素坐标中的四个值(x,y,w,h)，x和y分别指人体外接矩形左上角在图像像素坐标中的x坐标和y坐标，w和h分别指人体外接矩形在图像像素坐标中的宽和高；
1.2训练基于深度卷积神经网络的人体二维关键点检测模型；获取大量标注有人体二维关键点位置信息的图像数据，训练所选的人体二维关键点检测模型，其中，人体二维关键点位置信息具体指所选人体关键点在图像像素坐标中的x坐标和y坐标；
1.3将图像输入到训练好的人体检测模型，输出人体位置信息；利用每个人体位置信息从图像将该人体外接矩形裁出，并调整尺寸，作为训练好的人体二维关键点检测模型的输入，输出人体二维关键点位置信息。
进一步地，所述的人体检测模型包括faster-rcnn、yolov3、ssd或refinedet检测模型的一个或多个的组合。
进一步地，所述的人体二维关键点检测模型包括alphapose、simplepose、mspn或cpn检测模型的一个或多个的组合。
所述的步骤s2中进一步包括步骤：
2.1训练基于深度卷积神经网络的人体三维关键点检测模型；获取大量标注有人体三维关键点位置信息的图像数据，训练所选的人体三维关键点检测模型；其中，人体三维关键点位置信息具体指所选人体关键点在世界坐标中的x坐标、y坐标和z坐标；人体三维关键点的所选人体关键点与人体二维关键点的所选人体关键点相同；
2.2将每个人体二维关键点位置信息输入到训练好的人体二维关键点提升为人体三维关键点模型，输出相应的人体三维关键点位置信息。
进一步地，所述的人体三维关键点检测模型包括semgcn、videopose3d或simple3dpose检测模型的一个或多个的组合；
所述的步骤s3中进一步包括步骤：
3.1基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算当前帧各个人体与上一帧各个人体两两之间的相似度；
3.2基于当前帧各个人体与上一帧各个人体两两之间的相似度，利用匈牙利算法得到最优匹配；在最优匹配中，对于相似度高于设定阈值的匹配对，则认定为同一个人体；对于相似度低于设定阈值的匹配对或当前帧未匹配上的人体，则认定为新的人体。
进一步地，所述的相似度可以是人体位置相似度、人体三维关键点位置相似度、人体图像特征相似度或人体三维姿态相似度，也可以是上述相似度的任意加权组合。
所述的步骤s4中进一步包括步骤：
4.1获取大量标注有人体三维关键点位置信息及身份信息的剧烈运动视频数据和非剧烈运动视频数据，基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，训练基于随机森林的剧烈运动检测模型；
4.2将基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征输入到训练好的剧烈运动检测模型，输出1或0，表征是否存在剧烈运动。
进一步地，所述的运动特征可以是限定时间内左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿的角速度累加值、角加速度累加值、角速度最大值、角加速度最大值、角速度超过设定阈值的次数、角加速度超过设定阈值的次数，限定时间内中臀、左手腕、左手肘、右手腕、右手肘、左膝、左脚踝、右膝、右脚踝的速度累加值、加速度累加值、速度最大值、加速度最大值、速度超过设定阈值的次数或加速度超过设定阈值的次数，也可以是上述运动特征的任意加权组合。
与现有技术相比，本发明至少具有下述的有益效果或优点：
1.本方案提出，利用基于深层卷积神经网络的人体检测模型、人体二维关键点检测模型、人体二维关键点提升为人体三维关键点模型，输入单目摄像头的rgb图像，输出人体三维关键点位置信息，为剧烈运动检测提供人体三维姿态表征。相比通过人体二维关键点位置信息进行人体三维姿态表征的技术方案，由于人体二维关键点位置信息在表征人体三维姿态上有一定局限性，本方案能提供更准确的人体三维姿态表征；
2.本方案提出，基于深层卷积神经网络模型检测到的人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，对多帧图像中人体的进行身份匹配，为剧烈运动检测提供人体身份信息。相比通过人体二维关键点位置信息进行人体身份匹配的技术方案，本方案能提供更稳健的人体身份匹配；
3.本方案提出，对多帧图像中同一个人的人体三维关键点位置信息进行提取特征，利用预训练的随机森林剧烈运动检测模型，检测是否存在剧烈运动。人体三维关键点位置信息在表征人体三维姿态的准确性和稳健性，决定了由此产生的特征更有效，更能产生可信的检测结果。
具体实施方式
下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对二维关键点在表征人体姿态上的局限，本方案提出基于单目摄像头和三维姿态估计的剧烈运动检测方案。首先，利用基于深层卷积神经网络的人体检测模型、人体二维关键点检测模型、人体二维关键点提升为人体三维关键点模型，输入单目摄像头的rgb图像，输出人体三维关键点位置信息，为剧烈运动检测提供人体三维姿态表征。其次，基于深层卷积神经网络模型检测到的人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，对多帧图像中人体的进行身份匹配，为剧烈运动检测提供人体身份信息。最后，对多帧图像中同一个人的人体三维关键点位置信息进行提取特征，利用预训练的随机森林剧烈运动检测模型，检测是否存在剧烈运动。本方案以人为主体，利用人体三维关键点更准确地表征人体三维姿态、匹配人体身份，提高剧烈运动检测的精确度和稳健度。本方案具体步骤如下：
s1.训练基于深度卷积神经网络的人体检测模型和二维人体关键点检测模型。利用训练好的人体检测模型和二维人体关键点检测模型，输入图像，输出图像中的人体位置信息和人体二维关键点位置信息。
1.1训练基于深度卷积神经网络的人体检测模型。该模型可以是faster-rcnn、yolov3、ssd、refinedet等任一目标检测模型，也可以是上述目标检测模型的组合。获取大量标注有人体位置信息的图像数据，训练所选的人体检测模型。其中，人体位置信息具体指人体外接矩形在图像像素坐标中的四个值(x,y,w,h)，x和y分别指人体外接矩形左上角在图像像素坐标中的x坐标和y坐标，w和h分别指人体外接矩形在图像像素坐标中的宽和高。
1.2训练基于深度卷积神经网络的二维人体关键点检测模型。该模型可以是alphapose、simplepose、mspn、cpn等任一自顶向下的二维人体关键点检测模型，也可以是上述二维人体关键点检测模型的组合。获取大量标注有二维人体关键点位置信息的图像数据，训练所选的二维人体关键点检测模型。其中，二维人体关键点位置信息具体指所选人体关键点在图像像素坐标中的x坐标和y坐标。所选人体关键点可以是鼻子、脖子、右肩、右手肘、右手腕、左肩、左手肘、左手腕、中臀、右臀、右膝、右脚踝、左臀、左膝、左脚踝、右眼、左眼、右耳、左耳、左脚大拇指、左脚小拇指、左脚后跟、右脚大拇指、右脚小拇指、右脚后跟等25个人体关键点，也可以是上述25个人体关键点的任意组合。
1.3将图像输入到训练好的人体检测模型，输出人体位置信息。利用每个人体位置信息从图像将该人体外接矩形裁出，并调整尺寸，作为训练好的二维人体关键点检测模型的输入，输出二维人体关键点位置信息。
s2.训练基于深度卷积神经网络的二维人体关键点提升为三维人体关键点模型。利用训练好的二维人体关键点提升为三维人体关键点模型，输入人体二维关键点位置信息，输出相应的人体三维关键点位置信息。
2.1训练基于深度卷积神经网络的三维人体关键点检测模型。该模型可以是semgcn、videopose3d、simple3dpose等任一二维人体关键点提升为三维人体关键点的模型，也可以是上述二维人体关键点提升为三维人体关键点模型的组合。获取大量标注有三维人体关键点位置信息的图像数据，训练所选的三维人体关键点检测模型。其中，三维人体关键点位置信息具体指所选人体关键点在世界坐标中的x坐标、y坐标和z坐标。三维人体关键点的所选人体关键点与二维人体关键点的所选人体关键点相同。
2.2将每个人体二维关键点位置信息输入到训练好的二维人体关键点提升为三维人体关键点模型，输出相应的人体三维关键点位置信息。
s3.基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算帧间各个人体两两之间的相似度，利用匈牙利算法对帧间人体进行匹配。
3.1基于当前帧和上一帧人体位置信息、人体二维关键点位置信息和人体三维关键点位置信息，计算当前帧各个人体与上一帧各个人体两两之间的相似度。其中相似度可以是人体位置相似度、人体三维关键点位置相似度、人体图像特征相似度、人体三维姿态相似度等，也可以是上述相似度的任意加权组合。人体位置相似度具体指两个人体框之间的iou值，即两个人体框相交的面积除以两个人体框相并的面积。人体三维关键点位置相似度具体指先将人体三维关键点拓展为以人体三维关键点为中心的立方体，再计算两个人体三维关键点立方体之间的iou值，即两个人体三维关键点立方体相交的体积除以两个人体三维关键点立方体相并的体积。人体图像特征相似度具体指先将人体框裁剪图像输入到预训练的行人重识别模型，得到人体图像特征，再计算两个人体图像特征在余弦相似度。人体三维姿态相似度具体指先将人体三维关键点位置信息输入到预训练的人体三维姿态相似模型，输出人体三维姿态相似度。
3.2基于当前帧各个人体与上一帧各个人体两两之间的相似度，利用匈牙利算法得到最优匹配。在最优匹配中，对于相似度高于设定阈值的匹配对，则认定为同一个人体；对于相似度低于设定阈值的匹配对或当前帧未匹配上的人体，则认定为新的人体。
s4.基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，训练基于随机森林的剧烈运动检测模型。利用训练好的剧烈运动检测模型，输入基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征，判断是否存在剧烈运动。
4.1获取大量标注有三维人体关键点位置信息及身份信息的剧烈运动视频数据和非剧烈运动视频数据，基于多帧图像中同一个人的人体三维关键点位置信息，提取运动特征，训练基于随机森林的剧烈运动检测模型。其中运动特征可以是限定时间内左上臂、左下臂、右上臂、右下臂、左大腿、左小腿、右大腿、右小腿的角速度累加值、角加速度累加值、角速度最大值、角加速度最大值、角速度超过设定阈值的次数、角加速度超过设定阈值的次数，限定时间内中臀、左手腕、左手肘、右手腕、右手肘、左膝、左脚踝、右膝、右脚踝的速度累加值、加速度累加值、速度最大值、加速度最大值、速度超过设定阈值的次数、加速度超过设定阈值的次数等特征，也可以是上述特征的任意加权组合。
4.2将基于多帧图像中同一个人的人体三维关键点位置信息提取的运动特征输入到训练好的剧烈运动检测模型，输出1或0，表征是否存在剧烈运动。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于单目摄像头和三维姿态估计的剧烈运动检测方法的步骤。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于单目摄像头和三维姿态估计的剧烈运动检测方法的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。