一种镜面捕捉全身建模的方法及装置与流程

本发明涉及智能设备，具体是一种镜面捕捉全身建模的方法及装置。

背景技术：

1、现有的ar和vr领域，都会涉及到构建与用户姿态一致的虚拟人，用于在ar和vr设备中显示出来，虚拟人的动作随着用户动作的变化而变化，从而达到虚实结合的效果。要达到这种效果，首先需要建立用户全身的虚拟模型。但是现有的ar和vr设备由于摄像头的位置和角度问题，只能构建用户的手部模型或者上半身模型，不能构建全身模型，即建立的模型不能准确的追踪用户下半身的运动，必须借助外置设备完成。

2、专利cn202111211761.8骨骼动作识别方法、装置、电子设备及存储介质，该方法包括：基于视频序列的骨骼点数据和时序边生成时空图，并将所述时空图传入构建的动作识别模型中，以迭代的方式配置多个分区个数对所述时空图进行识别，以识别准确率最高的分区个数作为目标配置分区个数；基于所述目标配置分区个数生成骨骼点的目标连接关系以替代所述动作识别模型中基于邻接矩阵表示的预定义连接关系；基于所述目标连接关系对人体动作进行识别。能够解决目前骨骼动作识别精度低的问题。但是该方案采集在采集用户的图像信息进行骨骼建模上并没有优化，也不方便实时采集用户的全身骨骼姿态信息。

技术实现思路

1、基于上述问题，本发明通过反射镜和智能眼镜构建一种能够捕捉用户全身的动作，并且进行全身建模和输出的用户全身虚拟模型的建模方法及装置。

2、一种镜面捕捉全身建模的方法，包括以下步骤：

3、s1.通过智能眼镜的摄像头获取图像序列帧；

4、s2.通过智能眼镜的算法处理图像序列帧，包括图像畸变和镜像处理；

5、s3.标定识别全身图像，通过算法捕捉关键点位置和坐标；

6、s4.判断关键点是否可用，若否，返回步骤s1，若是，执行下一步操作；

7、s5.将检测到的关键点位置，合理化优化到整个身体姿势或骨架；

8、s6.将获取的关键点位置和坐标在虚拟人的对应位置进行对应绑定，使虚拟人和当前全身图像的关键点位置和坐标一致，重复步骤s1。

9、其中，所述步骤s1通过智能眼镜的摄像头获取图像序列帧包括：用户站立在反射镜前面，通过智能眼镜的摄像头拍摄反射镜中的画面，形成图像序列帧。

10、其中，所述图像畸变和镜像处理包括：对图像序列帧中图像的畸变进行反畸变调节，并且对所述图像进行左右对称镜像处理，使处理后的图像与真实画面接近。

11、其中，所述步骤s3标定识别全身图像，通过算法捕捉关键点位置和坐标，包括：

12、对获取的图像进行识别，判断所述图像中是否包含有用户的全身图像；

13、若是，对所述全身图像进行标定；

14、在标定全身图像中，通过算法捕捉全身的骨骼关节点作为关键点标记，计算出各个关键点的坐标；

15、若否，重新通过智能眼镜的摄像头获取图像序列帧。

16、其中，所述步骤s4判断关键点是否可用，包括判断相邻关键点组成的骨骼关节是否符合人体运动学，符合时，所述关键点可用。

17、其中，所述虚拟人为调取系统中原有的模型或者根据获取的用户全身图像，构建虚拟人模型。

18、一种镜面捕捉全身建模装置，包括：智能眼镜、反射镜，用户佩戴智能眼镜，站立在反射镜前面，通过智能眼镜的摄像头获取图像序列帧，通过获取的用户全身图像识别和标记用户的关键点，生成虚拟骨架，将虚拟骨架的关键点匹配到建成的虚拟人模型中，虚拟人模型显示在用户的智能眼镜上，实时获取用户全身图像中关键点位置的变化，根据关键点的位置变化驱动虚拟人同步运动。

19、其中，所述智能眼镜包括眼镜本体、光学模块、显示模块、摄像模块、图像处理模块、处理器、判断模块；摄像模块通过反射镜获取用户的全身图像，实时传输给图像处理器，图像处理模块对全身图像进行左右镜像处理并且识别和标记关键点，处理器根据特征点算法计算出基于用户的人体虚拟骨骼，并绑定眼镜的姿态和双手柄及双手的手指的姿态，匹配到用户人体虚拟模型。

20、其中，所述摄像模块包含一个或多个摄像头，摄像头包含可见光和红外波段，具有高帧率的全局曝光属性。

21、其中，所述智能眼镜包括ar眼镜、vr眼镜、或头戴显示设备。

22、其中，所述反射镜包括平面反射镜、凸面镜或半透半反镜。

23、对比现有技术，本发明的有益效果在于：

24、本发明一种镜面捕捉全身建模的方法及装置，通过反射镜的反射，智能眼镜能够实时获取图像序列帧，标定识别用户的全身图像，并且对用户全身图像进行关键点标记，构建人体姿态骨架，将关键点对应地映射到构建的虚拟人模型中，控制虚拟人的对应关键点同步响应，使虚拟人与用户同步动作。本方案能够方便快捷的实时获取用户的全身图像，从而方便建模，以及实时地追踪用户的全身动作，控制虚拟人同步动作。

技术特征：

1.一种镜面捕捉全身建模的方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的镜面捕捉全身建模的方法，其特征在于，所述步骤s1通过智能眼镜的摄像头获取图像序列帧包括：用户站立在反射镜前面，通过智能眼镜的摄像头拍摄反射镜中的画面，形成图像序列帧。

3.根据权利要求1所述的镜面捕捉全身建模的方法，其特征在于，所述图像畸变和镜像处理包括：对图像序列帧中图像的畸变进行反畸变调节，并且对所述图像进行左右对称镜像处理，使处理后的图像与真实画面接近。

4.根据权利要求1所述的镜面捕捉全身建模的方法，其特征在于，所述步骤s3标定识别全身图像，通过算法捕捉关键点位置和坐标，包括：

5.根据权利要求1所述的镜面捕捉全身建模的方法，其特征在于，所述步骤s4判断关键点是否可用，包括判断相邻关键点组成的骨骼关节是否符合人体运动学，符合时，所述关键点可用。

6.一种镜面捕捉全身建模装置，其特征在于，包括：智能眼镜、反射镜，用户佩戴智能眼镜，站立在反射镜前面，通过智能眼镜的摄像头获取图像序列帧，通过获取的用户全身图像识别和标记用户的关键点，生成虚拟骨架，将虚拟骨架的关键点匹配到建成的虚拟人模型中，虚拟人模型显示在用户的智能眼镜上，实时获取用户全身图像中关键点位置的变化，根据关键点的位置变化驱动虚拟人同步运动。

7.根据权利要求6所述的镜面捕捉全身建模装置，其特征在于，所述智能眼镜包括眼镜本体、光学模块、显示模块、摄像模块、图像处理模块、处理器、判断模块；摄像模块通过反射镜获取用户的全身图像，实时传输给图像处理器，图像处理模块对全身图像进行左右镜像处理并且识别和标记关键点，处理器根据特征点算法计算出基于用户的人体虚拟骨骼，并绑定眼镜的姿态和双手柄及双手的手指的姿态，匹配到用户人体虚拟模型。

8.根据权利要求6所述的镜面捕捉全身建模装置，其特征在于，所述摄像模块包含一个或多个摄像头，摄像头包含可见光和红外波段，具有高帧率的全局曝光属性。

9.根据权利要求6所述的镜面捕捉全身建模装置，其特征在于，所述智能眼镜包括ar眼镜、vr眼镜、或头戴显示设备。

10.根据权利要求6所述的镜面捕捉全身建模装置，其特征在于，所述反射镜包括平面反射镜、凸面镜或半透半反镜。

技术总结
本发明一种镜面捕捉全身建模的方法及装置，通过反射镜的反射，智能眼镜能够实时获取图像序列帧，标定识别用户的全身图像，并且对用户全身图像进行关键点标记，构建人体姿态骨架，将关键点对应地映射到构建的虚拟人模型中，控制虚拟人的对应关键点同步响应，使虚拟人与用户同步动作。本方案能够方便快捷的实时获取用户的全身图像，从而方便建模，以及实时地追踪用户的全身动作，控制虚拟人同步动作。

技术研发人员：卫荣杰
受保护的技术使用者：塔普翊海（上海）智能科技有限公司
技术研发日：
技术公布日：2024/6/11