人体动作识别方法、装置及系统与流程

本发明属于动作识别技术领域，具体涉及一种人体动作识别方法、装置及系统。

背景技术：

错误的运动方式可能会给人体带来损伤。为了纠正或避免错误的人体动动，现在技术中，通常采用人体运行智能分析来对错误的人体运动进行分析。在整个分析流程中，基于rgb图像的人体关键点检测算法是关键。但是，人体姿态变化多样，对检测算法造成了巨大的困难；同时人体在运动中难免存在若干自遮挡的情况，使得人体关键点的检测精度较低。

为了解决遮挡和姿态变化的技术问题，现在技术中，利用kinect来获取人体关键点的空间位置信息，然后根据通过判断其是否满足预先设定的动作判定标准来判断动作类型，但是，该方法中通过单个kinect摄像头进行数据采集，在遮挡情形下依赖算法无法达到很高的精度，且判断的动作类别较少，无法对复杂动作做出判别。

因此，如何解决自身关键点遮挡问题，精准获取人体姿态，识别人体动作，成为现有技术中亟待解决的技术问题。

技术实现要素：

本发明提供了一种人体动作识别方法、装置及系统，以解决自身关键点遮挡问题，精准获取人体姿态，识别人体动作。

本发明提供的技术方案如下：

一方面，一种人体动作识别方法，包括：

获取多角度的人体运动视频；

将所述人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹；

基于fms打分器，对所述人体关键点运动轨迹进行评价，获取评价结果；

根据所述评价结果，识别人体运动视频中的错误动作。

可选的，所述将所述人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，包括：

将所述人体运动视频输入预设神经网络模型，提取人体关键点；

根据聚合算法，对所述人体关键点进行聚合，获取目标人员人体关键点运动轨迹。

可选的，所述将所述人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，包括：

将所述人体运动视频的每一帧输入所述预设神经网络模型，提取人体关键点；

根据每一帧对应的人体关键点，获取人体关键点的运动轨迹。

可选的，所述将所述人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，之前，还包括：

基于对齐算法，将所述人体运动视频与预设标准视频对齐。

可选的，所述基于对齐算法，将所述人体运动视频与预设标准视频对齐，包括：

将所述人体运动视频中与预设标准视频第一帧相似度最高的一帧作为人体运动视频的第一帧；

将所述人体运动视频的第一帧与所述预设标准视频的第一帧对齐。

可选的，所述将所述人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，包括：

获取人体关键点，对人体关键点进行筛选，并计算每个关键点的置信度；

将置信度高于预设阈值的关键点作为目标关键点；

根据所述目标关键点，获取人体目标关键点运动轨迹。

又一方面，一种人体动作识别装置，包括：第一获取模块、第二获取模块、评价模块和识别模块；

所述第一获取模块，用于获取多角度的人体运动视频；

所述第二获取模块，用于将所述人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹；

所述评价模块，用于基于fms打分器，对所述人体关键点运动轨迹进行评价，获取评价结果；

所述识别模块，用于根据所述评价结果，识别人体运动视频中的错误动作。

又一方面，一种人体动作识别系统，包括：

设置于目标人员不同角度的多个摄像头；

与所述多个摄像头均相连的控制器；

所述控制器用于执行上述任一所述的人体动作识别方法。

可选的，每个所述摄像头均设置在不同的固定架上；所述摄像头的个数为三个；

三个摄像头分别设置在面向目标人员人脸的一方及目标人员的人体两侧；

所述摄像头的设置方向为以相机坐标系的x轴竖直向下旋转30度；

所述摄像头之间的同步连接方式采用菊花链配置连接。

可选的，所述固定架为三脚架；和/或，所述摄像头为kinectazure摄像头。

本发明的有益效果为：

本发明实施例提供的人体动作识别方法、装置及系统，通过多摄像头进行人体运动视频采集，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹；基于fms打分器，对人体关键点运动轨迹进行评价，获取评价结果；根据评价结果，识别人体运动视频中的错误动作。保证提取的关键点足够鲁棒，解决自身关键点遮挡问题，精准获取人体姿态，识别人体动作。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种人体动作识别系统的结构示意图；

图2为本发明实施例提供的一种人体关键点示意图；

图3为本发明实施例提供的一种人体动作识别方法的流程示意图；

图4为本发明实施例提供的一种人体动作识别装置的结构示意图；

图5为本发明实施例提供的一种人体动作识别设备的结构示意图。

附图标记：1-摄像头；2-控制器；a-目标人员。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式，都属于本发明所保护的范围。

为了至少解决本发明中提出的技术问题，本发明实施例提供一种人体动作识别系统。

图1为本发明实施例提供的一种人体动作识别系统的结构示意图，参阅图1，本发明实施例提供的人体动作识别系统，包括：设置于目标人员a不同角度的多个摄像头1；与多个摄像头均相连的控制器2；控制器用于执行设定的人体动作识别方法。

在一个人体动作识别过程中，可以应用本申请的人体动作识别装置对目标人员的动作进行识别。

在一些实施例中，可选的，每个摄像头均设置在不同的固定架上；摄像头的个数为三个；

三个摄像头分别设置在面向目标人员人脸的一方及目标人员的人体两侧；

摄像头的设置方向为以相机坐标系的x轴竖直向下旋转30度；

所述摄像头之间的同步连接方式采用菊花链配置连接。

在一些实施例中，可选的，固定架为三脚架；和/或，摄像头为kinectazure摄像头。

例如，在本实施例中，摄像头可以采用kinectazure摄像头，摄像头的个数可以为3个，并将摄像头分别设置在目标人员的正面和两侧，从而从三个角度来采集目标人员的人体运动视频。在人体运动视频的采集过程中，可以在单个人员做完指定动作后停止，也可以持续采集多个人员的人体运动视频后停止，此处不做具体限定。

在本实施例中，三脚架可以选用专业的摄影三角架，架设高度为1.7米，拍摄头能够前后左右自如调整，从而保证足够的拍摄视野和灵活性。

本实施例中，可以采用kinectazure摄像头捕获人体rgb图像和深度图像。kinectazure摄像头包含tof深感相机，广角彩色相机，360度麦克风阵列，还有陀螺仪和加速度传感器，满足rgb图像和深度图像的同步获取需求，从而捕捉人体的二维信息和三维信息。

本实施例中，为了削弱自遮挡对人体关键点检测算法的影响，或者方便人体三维重建，从而采用多摄像头方式对人体进行多视角的拍摄。

其中，在硬件部分，控制器可以为计算机和cpu处理器，可以设置同步传输线、光纤usb传输线。通过多台kinectazure摄像头捕捉人体运动视频，计算机端通过对摄像头的控制和同步完成人体数据的采集和保存等相关工作，最后将采集到的数据送入到cpu处理器完成对人体动作的分析。

其中，为了能够获得人体全身的视觉信息，摄像头以相机坐标系的x轴向下旋转30°，同时保证x轴与水平面的平行。

例如，可选的，可以设置三个三脚架之间的距离为4m、4m和5m,其中，人体两侧三脚架之间的距离为5m，从而保证获得人体全身的视觉信息。为了保证kinectazure之间的同步采集，减少设备冗余，采用菊花链配置完成主从连接，整套装置可以采用一主二从的方式，其中，正面相机配为总系统主机，采用音频线完成摄像机间的同步。根据菊花链的配置方式，每台从机也是菊花链下一个节点相机的主机。音频线一端插入主机的输出同步端口，另一端插入从机的输入同步端口，依次完成设备的同步。重复上述步骤，直到所有设备都已连接。音频线长度为10米。计算机与kinectazure之间的数据传递通过光纤usb传输线完成，为保证数据的长距离的传输，usb数据线采用光纤usb传输线，长度约为10米。

为了避免信号损失，本实施例中，kinectazure之间可以采用光纤usb传输线进行数据的传输。

在本发明实施例中，在获取人体运动视频时，为了实现人性化管理，可以在采集人体运动视频前，输入对应目标人员的信息。例如，可以从“输入名字”完成名字录入，“路径选择”完成视频保存路径的选择，“性别选择”完成男/女性别选择，“身高”“体重”完成人体身高体重的录入，“视频录制开始1”为第一个动作的开始录制视频按钮，“保存视频结束1”为第一个动作的视频终止保存按钮，对应的保存进程将会在右侧“状态”文本框中加以显示，“回放1”按钮完成对刚刚录制的第一个视频进行回放。每个人需要完成对应的七套动作，每个动作包含三个角度的视频，最后每个人采集21个视频，保存在指定的路径下。除却第一个动作的剩余六个动作采集流程和第一个动作的采集流程是一致的。为防止软件卡死，“复位”按钮完成软件的重启。

在进行人体动作识别时，可以根据本申请的人体动作识别方法来对人体动作进行识别，具体的人体动作识别方法，可以包括：获取多角度的人体运动视频；将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹；基于fms打分器，对人体关键点运动轨迹进行评价，获取评价结果；根据评价结果，识别人体运动视频中的错误动作。

例如，可以通过不同角度的摄像头来获取人体运动视频，在获取到体运动视频后，将人体运动视频输入到预设神经网络模型中，从而获取人体关键点运动轨迹和人体肢干。在获取到人体关键点运动轨迹以后，根据fms打分器对人体关键点运动轨迹进行评价，从而获取评价结果，在评价结果中，不合格运动，则为错误动作。

其中，根据fms标准对人体关键点运动轨迹进行分析，通过分析人体关键点运动轨迹和人体肢干角度变化来进行打分，根据不同动作的评分标准选取适当角度的人体图像进行判别。根据fms标准，每个人都需要做够7个动作，分别依次是深蹲，跨栏架步，直线弓箭步，肩部灵活性，主动直膝抬腿，躯干稳定俯卧撑，躯干旋转稳定性。根据每个动作类型的具体要求，每个人的所有的动作都被给予相应的评判，根据每个动作下人的不同关节间的相对位置，肢干间的夹角是否符合标准动作要求来打分。具体打分准则，此处不做赘述，用户可根据需求自行设定。

其中，预设神经网络模型的训练过程，可以通过采集大量样本，通过样本信息中的人体关键点进行训练、测试，最终获取准确的预设神经网络模型。其中，具体的训练、测试过程为现有技术，此处不做赘述。图2为本发明实施例提供的一种人体关键点示意图，参阅图2，其中，人体关键点包含头顶，颈部，左眼，右眼，左耳，右耳，鼻，左肩，右肩，左肘，右肘，左腕，右腕，左掌心，右掌心，左中指尖，右中指尖，左臀中心，右臀中心，左膝，右膝，左踝，右踝，左足跟，右足跟，左足尖，右足尖，胸骨，骶骨，胸椎，腰椎。

在人体动作识别方法中，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，包括：将人体运动视频输入预设神经网络模型，提取人体关键点；根据聚合算法，对人体关键点进行聚合，获取目标人员人体关键点运动轨迹。

例如，获取到的人体运动视频中可以为多个人员的人体运动视频，在提取到人体关键点后，人体关键点也为多个人员的人体关键点，通过聚合算法，在多个人员的人体关键点中，确认目标人员的人体关键点，得到目标人员的人体关键点运动轨迹。

其中，聚合算法为基于相关嵌入的关键点匹配算法。具体地，网络为每个关键点分配一个特定的标签，属于同一人体实例的标签值一致，而不同人体实例的标签值则不同。在聚合过程中，首先提取各关键点的标签值，标签值一致的人体关键点则被分配到同一个人体实例，进而完成人体实例的聚合。具体的聚合过程，为聚合算法的执行过程，请参照现有技术，此处不做赘述。

在人体动作识别方法中，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，可以包括：将人体运动视频的每一帧输入预设神经网络模型，提取人体关键点；根据每一帧对应的人体关键点，获取人体关键点的运动轨迹。

例如，在对人体运动视频进行处理中，可以根据每一帧进行处理。

在人体动作识别方法中，在将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，之前，还包括：基于对齐算法，将人体运行视频与预设标准视频对齐。基于对齐算法，将人体运行视频与预设标准视频对齐，包括：将人体运动视频中与预设标准视频第一帧相似度最高的一帧作为人体运动视频的第一帧；将人体运动视频的第一帧与预设标准视频的第一帧对齐。

例如，为了保证人体运动视频的准确性，采集视频的第一帧并不一定和标准视频第一帧对齐，为完成后续判断，首先要完成视频对齐，即找到采集人体运动视频中和标准视频第一帧最相似的帧作为采集起始帧。其中，相似度的计算为计算提取的人体关键点之间的相似度。

其中，人体关键点之间相似的的计算过程，可以为如下：

首先将得到目标的人体关键点表示成人体骨架，任意两个存在连接关系的关键点之间将进行连接，共形成n组连接关系，具体表示为n组向量：v＝[v1,v2,v3,…,vn]，

其中，v为目标人体中任意两个存在连接关系的关键点之间将进行连接形成的一组连接关系。

类似地，标准的人体关键点形成的人体骨架的n组连接关系可表示为：

u＝[u1,u2,u3,…,un]

其中，u为标准人体中任意两个存在连接关系的关键点之间将进行连接形成的一组连接关系。

接下来计算目标人体骨架和标准人体骨架的相似度。分别计算n组对应向量间的余弦距离从而形成n组相似度度量，将n组相似度求和即可获得最终的相似度度量，具体表示如下：

s值越高表示相似度越高，当相似度大于阈值θ时，可判别对应的目标帧为采集起始帧。

在人体动作识别方法中，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，包括：获取人体关键点，对人体关键点进行筛选，并计算每个关键点的置信度；将置信度高于预设阈值的关键点作为目标关键点；根据目标关键点，获取人体目标关键点运动轨迹。

例如，为了避免自遮挡对结果的影响，对关键点进行筛选，只保留置信度高的人体关键点用于动作的判别，保存三个视角的人体关键点运动轨迹。

基于一个总的发明构思，本发明实施例还提供一种人体动作识别方法。

图3为本发明实施例提供的一种人体动作识别方法的流程示意图，参阅图3，本发明实施例提供的方法，可以包括以下步骤：

s31、获取多角度的人体运动视频。

s32、将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹。

s33、基于fms打分器，对人体关键点运动轨迹进行评价，获取评价结果。

s34、根据评价结果，识别人体运动视频中的错误动作。

在一些实施例中，可选的，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，包括：

将人体运动视频输入预设神经网络模型，提取人体关键点；

根据聚合算法，对人体关键点进行聚合，获取目标人员人体关键点运动轨迹。

在一些实施例中，可选的，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，包括：

将人体运动视频的每一帧输入预设神经网络模型，提取人体关键点；

根据每一帧对应的人体关键点，获取人体关键点的运动轨迹。

在一些实施例中，可选的，在将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，之前，还包括：

基于对齐算法，将人体运行视频与预设标准视频对齐。

在一些实施例中，可选的，基于对齐算法，将人体运行视频与预设标准视频对齐，包括：

将人体运动视频中与预设标准视频第一帧相似度最高的一帧作为人体运动视频的第一帧；

将人体运动视频的第一帧与预设标准视频的第一帧对齐。

在一些实施例中，可选的，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹，包括：

获取人体关键点，对人体关键点进行筛选，并计算每个关键点的置信度；

将置信度高于预设阈值的关键点作为目标关键点；

根据目标关键点，获取人体目标关键点运动轨迹。

关于上述实施例中的方法，其中各个步骤执行操作的具体方式已经在有关该系统的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例提供的人体动作识别方法，通过多摄像头进行人体运动视频采集，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹；基于fms打分器，对人体关键点运动轨迹进行评价，获取评价结果；根据评价结果，识别人体运动视频中的错误动作。保证提取的关键点足够鲁棒，解决自身关键点遮挡问题，精准获取人体姿态，识别人体动作。

基于一个总的发明构思，本发明实施例还提供一种人体动作识别装置。

图4为本发明实施例提供的一种人体动作识别设备的结构示意图，参阅图4，本发明实施例提供的装置，可以包括以下结构：第一获取模块41、第二获取模块42、评价模块43和识别模块44。

其中，第一获取模块41，用于获取多角度的人体运动视频；

第二获取模块42，用于将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹；

评价模块43，用于基于fms打分器，对人体关键点运动轨迹进行评价，获取评价结果；

识别模块44，用于根据评价结果，识别人体运动视频中的错误动作。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本发明实施例提供的人体动作识别装置，通过多摄像头进行人体运动视频采集，将人体运动视频输入预设神经网络模型，获取人体关键点运动轨迹；基于fms打分器，对人体关键点运动轨迹进行评价，获取评价结果；根据评价结果，识别人体运动视频中的错误动作。保证提取的关键点足够鲁棒，解决自身关键点遮挡问题，精准获取人体姿态，识别人体动作。

基于一个总的发明构思，本发明实施例还提供一种人体动作识别设备。

图5为本发明实施例提供的一种人体动作识别设备的结构示意图，请参阅图5，本发明实施例提供的一种人体动作识别设备，包括：处理器51，以及与处理器相连接的存储器52。

存储器52用于存储计算机程序，计算机程序至少用于上述任一实施例记载的人体动作识别方法；

处理器51用于调用并执行存储器中的计算机程序。

基于一个总的发明构思，本发明实施例还提供一种存储介质。

一种存储介质，该存储介质存储有计算机程序，当计算机程序被处理器执行时，实现上述的人体动作识别方法中各个步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

可以理解的是，上述各实施例中相同或相似部分可以相互参考，在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。