一种基于RGB相机和深度学习的人体姿态识别方法与系统与流程

本发明涉及人体姿态识别领域，尤其涉及一种基于rgb相机和深度学习的人体姿态识别方法与系统。

背景技术：

人体姿态识别是人机交互的重要部分，以人为中心的交互方式，近年来得到了越来越多的关注，在各领域具有广阔的应用前景。由于人体姿态的多样性，背景干扰，衣服以及其他物体的遮挡等情况，准确识别人体姿态具有很大挑战性。

人体姿态识别是人机交互的一项关键技术，传统的人体姿态识别是基于人工提取特征，这种方法的识别速度慢，准确率低和鲁棒性较差，而随着微软kinect设备在2010年的推出，给人体姿态识别带来极大的方便，人体姿态识别应用微软kinect设备得到较大的发展，在kinect设备使用过程中，一般采用深度摄像头，该深度摄像头还兼具红外传感摄像头的功能，但是若采用深度摄像头，则会存在深度摄像头的识别范围较小、自身分辨率较低、物体边缘容易产生空洞，延迟较大等问题；若采用红外传感摄像头，则会存在分辨率较低、纹理和色彩缺失，以及容易受到各种热源噪声影响等问题，而这些都限制了kinect设备的应用；同时，在2017年10月份，微软宣布永久停产kinect设备产品，使得微软kinect设备在后续使用中存在较大不变，目前人体姿态识别领域亟需一种能替代微软kinect设备的产品。

因此，目前的人体姿态识别领域，存在人工提取特征识别速度慢、准确率低和鲁棒性较差，或依赖微软kinect设备，从而受深度摄像头限制的问题。

技术实现要素：

为了解决目前人体姿态识别领域，存在人工提取特征识别速度慢、准确率低和鲁棒性较差，或依赖微软kinect设备，从而受深度摄像头限制的问题，一方面，本发明提供了一种人体姿态识别方法，包括：

s1、获取待识别图像；s2、将待识别图像输入至训练好的第一神经网络，进行人体目标检测，获取人体目标图像；s3、将人体目标图像输入至训练好的第二神经网络，进行人体关节点位置检测，获取待匹配人体关节点位置信息；s4、将待匹配人体关节点位置信息进行模板匹配，识别出人体姿态。

优选地，步骤s1和步骤s2之间，还包括：对待识别图像进行图像预处理，图像预处理包括图像去噪和图像滤波。

优选地，第一神经网络为采用faster-rcnn算法的深度卷积神经网络。

优选地，第二神经网络为采用cpm算法的深度卷积神经网络。

另一方面，本发明还提供了一种人体姿态识别系统，包括：依次连接的拍摄装置、人体目标检测装置、人体关节点位置检测装置和人体姿态识别装置。

其中，拍摄装置用于获取待识别图像；人体目标检测装置用于将待识别图像输入至训练好的第一神经网络，进行人体目标检测，获取人体目标图像；人体关节点位置检测装置用于将人体目标图像输入至训练好的第二神经网络，进行人体关节点位置检测，获取待匹配人体关节点位置信息；人体姿态识别装置用于将待匹配人体关节点位置信息进行模板匹配，识别出人体姿态。

优选地，人体姿态识别系统还包括图像预处理装置，拍摄装置和人体目标检测装置分别与图像预处理装置连接，图像预处理装置用于对待识别图像进行图像预处理。

优选地，人体关节点位置检测装置包括依次连接的人体关节点定位单元和人体关节点分类单元，人体关节点定位单元用于根据人体目标检测装置获取的人体目标图像确认人体关节点的位置信息；人体关节点分类单元用于根据人体关节点的位置信息确认待匹配人体关节点位置信息。

优选地，拍摄装置包括单目rgb相机。

优选地，人体姿态识别装置包括人体姿态匹配模板，人体姿态识别装置根据待匹配人体关节点位置信息与人体姿态匹配模板进行模板匹配，识别出人体姿态。

优选地，人体关节点的位置和数目根据人体姿态匹配模板设定。

本发明提供了一种基于rgb相机和深度学习的人体姿态识别方法与系统，基于采用faster-rcnn算法的深度卷积神经网络作为第一神经网络进行人体目标检测，以及采用cpm算法的深度卷积神经网络作为第二神经网络进行人体关节点位置检测，能够快速、准确地从待识别图像中准确识别人体关节点的位置信息，从而识别出人体姿态。

附图说明

图1为根据本发明一个优选实施方式的一种人体姿态识别方法的流程示意图；

图2为根据本发明一个优选实施方式的一种人体姿态识别系统的结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

目前的人体姿态识别领域，存在人工提取特征识别速度慢，准确率低和鲁棒性较差，或依赖微软kinect设备，从而受深度摄像头限制的问题，因此目前人体姿态识别领域亟需一种能替代微软kinect设备且不受深度摄像头的限制的产品，同时也能克服传统的人工提取特征识别速度慢、准确率低和鲁棒性较差的问题。

图1为根据本发明一个优选实施方式的一种人体姿态识别方法的流程示意图，如图1所示，本发明实施例提供了一种人体姿态识别方法，该方法包括：

s1、获取待识别图像；s2、将待识别图像输入至训练好的第一神经网络，进行人体目标检测，获取人体目标图像；s3、将人体目标图像输入至训练好的第二神经网络，进行人体关节点位置检测，获取待匹配人体关节点位置信息；s4、将待匹配人体关节点位置信息进行模板匹配，识别出人体姿态。

具体地，首先，需要获取待识别图像，待识别图像通常由照相机或摄像机采集，待识别图像中包含目标人体；将待识别图像经第一神经网络进行人体目标检测，从而获取人体目标图像；再讲人体目标图像经第二神经网络进行人体关节点位置检测，对人体目标图像中人体关节点位置进行定位和分类，获取待匹配的人体关节点位置信息；最后将人体关节点位置信息与预先设定的模板进行模板匹配，从而识别出人体姿态。

进一步地，步骤s1和步骤s2之间，还包括：对待识别图像进行图像预处理，图像预处理包括图像去噪和图像滤波。由于拍摄到的待识别图像可能出现噪声大、变形、模糊等情况，因此对待识别图像做预处理，可以有效地达到降噪、矫正形变、去除模糊等目的，为后续人体目标检测提供方便。

基于上述实施例，第一神经网络为采用faster-rcnn算法的深度卷积神经网络。

对于目标检测算法近些两年出现很多，典型代表有faster-rcnn、yolov2、ssd等模型。本发明实施例中，人体目标检测中，主要采用faster-rcnn算法。

faster-rcnn网络是目前目标的识别检测准确率比较高的深度学习算法。fasterr-cnn模型主要有两部分结构组成：rpn网络和fast-rcnn网络。rpn网络的作用是人体目标候选框提取，fastr-cnn网络对rpn网络提取的人体目标候选框进行分类和回归，这两个网络相互配合生成较高置信度的目标检测边框。

具体地，人体目标检测中，从待识别图像中检测到人体信息，用矩形框框处人体，从而获得人体目标图像。其中，采用faster-rcnn算法的深度卷积神经网络，能快速、有效地从待识别图像中获取人体目标图像并输出。

基于上述实施例，第二神经网络为采用cpm算法的深度卷积神经网络。

人体关节点位置检测主要使用的是cpm(使用顺序化的卷积架构来表达空间信息和纹理信息)和stackedhourglass(使用多个残差沙漏结构捕捉人体多尺度特征)，本发明实施例中，人体关节点位置检测主要采用cpm算法。

人体关节点位置检测cpm算法是一种顺序化的卷积架构，通过设计了多阶段网络来表达空间信息和纹理信息，后面阶段使用前面阶段的检测结果和从人体检测框图像提取的特征作为输入，这样做同时利用了人体关节点局部信息和人体全局信息，更好的融合空间信息、纹理信息以及中心约束。

具体地，人体关节点点位置检测中，定位人体目标图像中的人体关节点位置信息。其中，采用cpm算法的深度卷积神经网络，同时利用了人体关节点局部信息和人体全局信息，更好的融合空间信息、纹理信息以及中心约束。

本发明实施例中，人体关节点位置具体包括但不限于以下15类别：头顶、顶部、颈下脊椎，左肩、右肩、左肘、右肘、左手腕、右手腕、左胯、右胯、左膝、右膝、左脚踝和右脚踝。

图2为根据本发明一个优选实施方式的一种人体姿态识别系统的结构示意图，如图2所示，本发明还提供了一种人体姿态识别系统，该系统包括：依次连接的拍摄装置、人体目标检测装置、人体关节点位置检测装置和人体姿态识别装置。

具体地，拍摄装置用于获取待识别图像；人体目标检测装置用于将待识别图像输入至训练好的第一神经网络，进行人体目标检测，获取人体目标图像；人体关节点位置检测装置用于将人体目标图像输入至训练好的第二神经网络，进行人体关节点位置检测，获取待匹配人体关节点位置信息；人体姿态识别装置用于将待匹配人体关节点位置信息进行模板匹配，识别出人体姿态。

进一步地，拍摄装置、人体目标检测装置、人体关节点位置检测装置和人体姿态识别装置可以通过有线设备集成于一体；也可以分别独立设置而互相通过无线信号传输，从而完成人体姿态识别。

基于上述实施例，人体姿态识别系统还包括图像预处理装置，拍摄装置和人体目标检测装置分别与图像预处理装置连接，图像预处理装置用于对待识别图像进行图像预处理。

具体地，图像预处理装置设于拍摄装置和人体目标检测装置之间，拍摄装置拍摄的待识别图像经过图像预处理装置之后，再传输至人体目标检测装置。图像预处理装置用于对所述拍摄单元提取的每一帧图像进行图像变换和滤波预处理，将预处理后的图像输入到所述人体目标检测单元来更好地进行人体目标检测。

进一步地，本发明实施例中，拍摄装置包括单目rgb相机，只需要通过单目rgb相机采集二维图像即可快速、准确地完成人体姿态识别，而不需要深度信息，消除了目前人体姿态识别领域对深度摄像机的依赖，以及深度摄像机识别范围较小、自身分辨率较低、物体边缘容易产生空洞，延迟较大等问题，有利于人体姿态识别的普及与大众化。

基于上述实施例，人体关节点位置检测装置包括依次连接的人体关节点定位单元和人体关节点分类单元，人体关节点定位单元用于根据人体目标检测装置获取的人体目标图像确认人体关节点的位置信息；人体关节点分类单元用于根据人体关节点位置信息确认待匹配人体关节点位置信息，将获取的人体关节点位置分类成不同类别。

具体地，人体关节点定位单元的输出，为人体关节点位置在人体目标图像中的二维坐标。

进一步地，人体姿态识别装置包括人体姿态匹配模板，人体姿态识别装置根据待匹配人体关节点位置信息与人体姿态匹配模板进行模板匹配，识别出人体姿态。

具体地，人体姿态识别装置，将人体关节点位置检测装置中人体关节点定位单元输出的人体目标图像中的人体关节点位置的二维坐标，与预先设定的人体姿态匹配模板作比较，将人体关节点位置与人体姿态匹配模板中的某一种预设的人体姿态匹配。

例如，人体在rgb相机前面连续做出两个或两个以上的姿态，人体目标检测装置和人体姿态检测装置就会识别出人体关节点位置信息，人体姿态匹配装置根据识别到的人体关节点位置信息，按照模板匹配法将人体关节点位置信息匹配到预定义好的两个或两个以上的姿态，从而实现人体姿态识别的操作。

其中，人体姿态模板中预设的人体姿态具体包括但不限于：右手向上举起、左手向上举起、双臂伸开、双手交叉抱胸、体感交互开始指令的人体姿态、体感交互介绍指令的人体姿态、体感拍摄指令的人体姿态。各人体姿态根据人体不同关节点的角度和关节点之间的长短距离来定义。

进一步地，人体关节点的位置和数目根据人体姿态匹配模板设定。由于人体姿态取决于人体关节点的位置，因此可以使得人体姿态的具体数目和具体样式能够根据实际需要而进行预先定义，从而使得对人体姿态识别的控制更加方便快捷。

本发明提供了一种基于rgb相机和深度学习的人体姿态识别方法与系统，基于采用faster-rcnn算法的深度卷积神经网络作为第一神经网络进行人体目标检测，以及采用cpm算法的深度卷积神经网络作为第二神经网络进行人体关节点位置检测，能够快速、准确地从待识别图像中准确识别人体关节点的位置信息，从而识别出人体姿态。同时，拍摄单元只需单目rgb相机采集二维图像来识别人体关节点，降低了对专业摄像设备的需求。

最后，本发明的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。