一种基于kapao网络的人体姿态识别与模拟系统的制作方法

1.本发明涉及人体姿态识别技术领域，尤其涉及一种基于kapao网络的人体姿态识别与模拟系统。


背景技术：

2.随着人口老龄化趋势的加剧和工业机器人技术的日趋成熟与完善，机器人开始逐步走入医疗、保健、家庭、体育和服务性行业，对机器人的要求也从简单重复的机械动作提升为研制具有高度智能型、自主性以及与其他智能体交互的仿人机器人。人体姿态模仿机器人就是典型的仿人机器人，它具有和人类相似的头部和身体特征，可以模仿人类的肢体动作，为人和机器人的深入研究提供了一个平台。鉴于此，本案的人体姿态识别系统由此产生。
3.不同于传统的机器人，人们希望现代智能机器人能够进行肢体交流，能理解人们手臂动作想要表达的肢体语言，使机器人更加智能化，也就是能更像人或者某些方面超过人类。现如今机器人朝着更加智能化的方向发展，让机器人的言行举止能达到或者超过人类的水平，利用运动控制达到更加多样的人机交互场景。例如本发明机器人能识别人的肢体语言后模仿人类做出相应的肢体动作。人体姿态识别的应用范围十分广泛,可用于人机交互、影视制作、运动分析、游戏娱乐等各种领域。人们可以利用人体姿态识别定位人体关节点运动轨迹并记录其运动数据,实现3d动画模拟人体运动来制作电影电视；也可以通过记录的轨道和数据对运动进行分析；还可以实现人机交互、游戏娱乐,比如体感游戏就是通过对人体运动姿态进行识别来实现游戏互动，显示出其在人机交互领域里巨大的商业开发价值和发展潜力。
4.现有技术存在以下问题：(1)所存在的一些姿态识别机器人使用传统的卷积神经网络不仅计算量大，而且容易出现过拟合的现象。(2)现有的人体姿态识别技术中模型识别精度差、识别速度慢。


技术实现要素：

5.本发明提供一种基于kapao网络的人体姿态识别与模拟系统，实现了对人体姿态的快速识别和模拟。
6.本发明一实施例提供一种基于kapao网络的人体姿态识别与模拟系统，包括视觉模块、控制模块、推理模块和驱动模块；
7.所述视觉模块用于获取人体姿态图像；
8.所述控制模块用于通过控制其他模块进行对系统任务进行调度；
9.所述推理模块用于通过基于kapao网络的人体姿态识别模型对所述人体姿态图像进行识别；
10.所述驱动模块用于驱动舵机旋转，所述舵机用于控制机器人手部关节；
11.并根据以下步骤进行人体姿态识别和模拟：
12.所述控制模块通过指令控制所述视觉模块获取人体姿态图像并将所述人体姿态图像传输至所述推理模块；
13.所述推理模块通过基于kapao网络的人体姿态识别模型对所述人体姿态图像进行识别，输出人体姿态识别结果；
14.所述控制模块根据所述人体姿态识别结果发送驱动指令至所述驱动模块，所述驱动模块根据所述驱动指令驱动对应舵机进行旋转。
15.进一步的，所述舵机包括第一舵机、第二舵机和第三舵机，所述第一舵机用于控制所述机器人的肩关节，所述第二舵机用于控制所述机器人的肘关节，所述第三舵机用于机器人的腕关节。
16.进一步的，所述第一舵机和第二舵机的数量均为4个，所述第三舵机的数量为2个；其中，采用2个所述第一舵机、2个所述第二舵机和1个所述第三舵机控制所述机器人的一侧手臂。
17.进一步的，根据以下步骤对所述基于kapao网络的人体姿态识别模型进行训练：
18.步骤s1：初始化所述人体姿态识别模型的网络权重参数、偏置项、分类器网络和多尺度特征提取网络；
19.步骤s2：将用于训练的人体姿态图像输入至所述分类器网络，再向前传递至所述多尺度特征提取网络进行下采样与多尺度融合处理后输入至所述人体姿态识别模型的预测头；
20.步骤s3：所述预测头对输入的特征图进行通道与空间计算，得到预测框的位置和对应的置信率；
21.步骤s4：通过偏移量模块对所述特征图进行偏移量计算，再对所述特征图进行对齐矫正操作；
22.步骤s5：将步骤s3的通道与空间计算结果和步骤s4的偏移量计算结果进行后处理，所述后处理具体为采用nms非极大值抑制方法选取置信率最大的预测框的识别结果作为人体姿态识别结果；
23.步骤s6：所述预测头和偏移量模块反向传递loss值，再通过梯度下降算法计算所述网络权重参数和偏置项并得到相应的加权损失值，根据所述加权损失值更新所述人体姿态识别模型的网络权重参数；重复步骤s2～s6至所述人体姿态识别模型收敛。
24.进一步的，对训练好的所述基于kapao网络的人体姿态识别模型进行剪枝处理后，再通过tensorrt对所述基于kapao网络的人体姿态识别模型进行推理加速处理。
25.本发明的实施例，具有如下有益效果：
26.本发明提供了一种基于kapao网络的人体姿态识别与模拟系统，该系统的推理模块通过基于kapao网络的人体姿态识别模型对所述人体姿态图像进行识别，输出人体姿态识别结果；再通过控制模块根据所述人体姿态识别结果发送驱动指令至所述驱动模块，所述驱动模块根据所述驱动指令驱动对应舵机进行旋转。因此，本发明通过基于kapao网络的人体姿态识别模型可以实现对人体姿态的快速识别，并根据人体姿态识别结果控制相应的舵机进行旋转，可见本发明将人体姿态识别技术和模拟技术同时应用于智能机器人时，通过驱动模块的舵机控制智能机器人的关节点进行模型，该技术设计巧妙的将kapao网络的关键点检测方法和智能机器人的关节点结合起来，实现了对人体姿态的快速识别和模拟。
附图说明
27.图1是本发明一实施例提供的基于kapao网络的人体姿态识别与模拟系统的流程示意图；
28.图2是本发明一实施例提供的基于kapao网络的人体姿态识别与模拟系统的舵机位置示意图；
29.图3是本发明一实施例提供的基于kapao网络的人体姿态识别与模拟系统的结构示意图。
具体实施方式
30.下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.如图1所示，本发明一实施例提供的一种基于kapao网络的人体姿态识别与模拟系统，所述视觉模块用于获取人体姿态图像；
32.所述控制模块用于通过控制其他模块进行对系统任务进行调度；
33.所述推理模块用于通过基于kapao网络的人体姿态识别模型对所述人体姿态图像进行识别；
34.所述驱动模块用于驱动舵机旋转，所述舵机用于控制机器人手部关节；
35.并根据以下步骤进行人体姿态识别和模拟，如图1所示：
36.步骤s101：所述控制模块通过指令控制所述视觉模块获取人体姿态图像并将所述人体姿态图像传输至所述推理模块；
37.步骤s102：所述推理模块通过基于kapao网络的人体姿态识别模型对所述人体姿态图像进行识别，输出人体姿态识别结果；
38.步骤s103：所述控制模块根据所述人体姿态识别结果发送驱动指令至所述驱动模块，所述驱动模块根据所述驱动指令驱动对应舵机进行旋转。
39.优选的，所述视觉模块采用d435相机，所述控制模块为cpu单元，所述驱动模块包括10个舵机。
40.本发明实施例采用基于kapao网络的人体姿态识别模型可以快速且精准的对人体姿态进行识别。模型采用无热图关键点检测方法kapao(keypoints and poses as objects)，并将其应用于单阶段多人人体姿态估计。其中单个关键点和空间相关的关键点(即姿态)集被建模为基于anchor的密集检测框架中的目标。这种把关键点和姿态视为目标的kapao方法可以同时检测关键点目标和姿态目标，并使用简单的匹配算法融合结果。通过检测姿态目标，统一了人体检测和关键点估计，从而可以高效的应用于单阶段多人人体姿态估计。
41.作为其中一种实施例，所述舵机包括第一舵机、第二舵机和第三舵机，所述第一舵机用于控制所述机器人的肩关节，所述第二舵机用于控制所述机器人的肘关节，所述第三舵机用于机器人的腕关节。
42.所述第一舵机和第二舵机的数量均为4个，所述第三舵机的数量为2个；其中，采用
2个所述第一舵机、2个所述第二舵机和1个所述第三舵机控制所述机器人的一侧手臂。
43.作为其中一种实施例，如图2所示，通过10个舵机对所述机器人的手部关节进行控制；其中，编号为1和2的第一舵机用于控制所述机器人一侧的肩关节，编号为3和4的的第一舵机用于控制所述机器人另一侧的肩关节；编号为5和6的第二舵机用于控制所述机器人一侧的肘关节，编号为7和8的第二舵机用于控制所述机器人另一侧的肘关节；编号为9的第三舵机用于控制所述机器人一侧的腕关节，编号为10的第三舵机用于控制所述机器人另一侧的腕关节。
44.作为其中一种实施例，根据以下步骤对所述基于kapao网络的人体姿态识别模型进行训练，其中s1-s6仅用于作为步骤标识，无相应附图：
45.步骤s1：初始化所述人体姿态识别模型的分类器网络backbone、多尺度特征提取网络neck、网络权重参数w和偏置项bias。
46.步骤s2：将用于训练的人体姿态图像处理成预设大小的图像后，输入至所述分类器网络，再向前传递至所述多尺度特征提取网络进行下采样与多尺度融合处理后输入至所述人体姿态识别模型的预测头prediction head；优选的，将用于训练的人体姿态图像处理成640
×
640像素的图像。
47.步骤s3：通过所述预测头对输入的特征图进行通道与空间计算，得到anchor的位置(即预测框的位置)和置信率等预测信息。
48.步骤s4：通过偏移量模块offset对所述特征图进行偏移量计算，将偏移量计算结果和人体姿态标准库进行比对，根据比对结果对所述特征图进行对齐矫正操作。
49.步骤s5：将步骤s3的通道与空间计算结果和步骤s4的偏移量计算结果进行后处理(即采用nms非极大值抑制方法进行处理)，采用nms非极大值抑制方法选取置信率最大的预测框的识别结果作为所述人体姿态识别模型的人体姿态识别结果。
50.步骤s6：所述预测头和偏移量模块反向传递loss值，再通过梯度下降算法计算所述网络权重参数和偏置项并得到相应的加权损失值，根据所述加权损失值更新所述人体姿态识别模型的网络权重参数；重复步骤s2～s6至所述人体姿态识别模型收敛。
51.通过获取人体姿态的数据集构建所述训练集，所述人体姿态包括抬胳膊和放胳膊等人体姿态动作。
52.作为其中一种实施例，对训练好的所述基于kapao网络的人体姿态识别模型进行剪枝处理后，再通过tensorrt对所述基于kapao网络的人体姿态识别模型进行推理加速处理。通过剪枝处理对模型进行压缩，去除掉不重要的层和参数，让模型尽可能轻量化。再使用tensorrt对模型进行推理加速，tensorrt通过将浮点型运算转化为整型运算，大大减少参数运算量，使得模型推理速度大幅提升，从而机器人能够快速完成模仿人体的姿态。
53.作为其中一种实施例，所述基于kapao网络的人体姿态识别模型在进行人体姿态识别时，先获取人体姿态特征，再获取人体各个区域(如人体的肩部、腕部和手部区域)的姿态特征，再识别各个区域的姿态特征。
54.本发明创造性地实现了机器人根据姿态识别结果动态模仿人体姿态，使机器人赋予人的动态特征，让机器人跟人交流更加自然，交流体验更好。本发明从深度学习出发，构建基于kapao网络的人体姿态识别模型。不依赖于传统的传感器，图像处理等方法，利用深度学习的方法极大的减少了对硬件系统的依赖。
55.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
56.本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。