一种基于增强现实的跑步机全景体感运动系统及方法与流程

本发明涉及全景体感，尤其涉及一种基于增强现实的跑步机全景体感运动系统及方法。

背景技术：

1、得益于虚拟现实技术的发展，近年来基于虚拟现实的健身设备及健身系统发展迅速，跑步机全景体感是一种结合了运动科学、人机交互和虚拟/增强现实技术（vr/ar）的创新健身解决方案，通过全景体感可以模拟真实世界的跑步体验，提高室内跑步机锻炼的吸引力和效果。

2、现有的跑步机体感运行系统主要是利用opengl（open graphics library）图形库，实现了跑步虚拟场景的绘制，并实时将速度、路程、心率等运动状态数据显示于三维场景中，或基于osg(open scene graph)图形库，利用传感器采样数据实时反馈跑步者的状态，但使用过程中都需要绑定一个传感器，有碍于人的正常运动，且人只是被动地输出身体的各项指标，没有真正达到自然运动交互的效果，因此，如何提高跑步机全景体感运动系统的运动交互效果成为亟待解决的问题。

技术实现思路

1、本发明提供一种基于增强现实的跑步机全景体感运动系统及方法，其主要目的在于解决跑步机全景体感运动系统的运动交互效果较差的问题。

2、为实现上述目的，本发明提供的一种基于增强现实的跑步机全景体感运动系统，所述系统包括虚拟场景构建模块、图像去噪及背景分割模块、运动位姿识别模块、运动轨迹计算模块及运动交互模块，其中：

3、所述虚拟场景构建模块，用于获取跑步机全景体感的全景图像，识别所述全景图像中的虚拟运动目标， 根据所述虚拟运动目标构建所述跑步机全景体感的虚拟场景；

4、所述图像去噪及背景分割模块，用于采集所述跑步机全景体感的运动图像帧序列，对所述运动图像帧序列中的每个运动图像帧进行图像去噪及背景分割，得到目标图像帧；

5、所述运动位姿识别模块，用于计算每个所述目标图像帧中的运动关节信息，根据所述运动关节信息识别每个所述运动图像帧的运动位姿；

6、所述运动轨迹计算模块，用于对所述运动位姿进行运动建模，得到所述运动图像帧的运动位姿序列，根据所述运动位姿序列计算所述运动图像帧序列的运动轨迹；

7、所述运动交互模块，用于根据所述运动轨迹计算所述运动图像帧序列对应的运动策略，利用所述运动策略与所述运动轨迹对所述虚拟场景进行运动交互，得到运动交互场景。

8、可选地，所述所述虚拟场景构建模块在识别所述全景图像中的虚拟运动目标时，具体用于：

9、对所述全景图像进行中值滤波，得到滤波图像；

10、将所述滤波图像转换为二值化图像，识别所述二值化图像中的目标区域；

11、计算所述目标区域的颜色直方图函数，根据所述直方图函数识别所述全景图像中的虚拟运动目标。

12、可选地，所述虚拟场景构建模块在根据所述直方图函数识别所述全景图像中的虚拟运动目标时，具体用于：

13、计算所述直方图函数与预设的目标直方图函数之间的函数距离；

14、利用如下公式计算所述直方图函数与预设的目标直方图函数之间的函数距离：其中，表示直方图函数与预设的目标直方图函数之间的函数距离，表示第个像素值在直方图函数中的函数值，表示第个像素值在目标直方图函数中的函数值；

15、根据所述函数距离确定所述全景图像中的虚拟运动目标。

16、可选地，所述图像去噪及背景分割模块在对所述运动图像帧序列中的每个运动图像帧进行图像去噪及背景分割，得到目标图像帧时，具体用于：

17、对所述运动图像帧进行加性高斯加噪，得到高斯加噪图像，对所述高斯加噪图像进行第一形态学计算，得到形态学图像；

18、利用如下公式对所述高斯加噪图像进行第一形态学计算，得到形态学图像：其中，表示对高斯加噪图像中像素点进行开运算的形态学图像，表示高斯加噪图像中像素点的像素值，表示腐蚀运算，表示膨胀运算，表示对高斯加噪图像中像素点进行闭运算的形态学图像；

19、根据所述形态学图像确定所述运动图像帧中的噪声像素点，对所述噪声像素点进行第二形态学计算，得到去噪图像；

20、利用预设的阈值对所述去噪图像进行背景分割，得到目标图像帧。

21、可选地，所述图像去噪及背景分割模块在对所述噪声像素点进行第二形态学计算，得到去噪图像时，具体用于：

22、分别对所述噪声像素点进行开闭运算及闭开运算，得到开闭运算像素值及闭开运算像素值；

23、计算所述开闭运算像素值及所述闭开运算像素值的像素值均值；

24、利用所述像素值均值对所述噪声像素点的像素值进行替换，得到去噪图像。

25、可选地，所述运动位姿识别模块在计算每个所述目标图像帧中的运动关节信息时，具体用于：

26、对每个所述目标图像帧进行卷积及归一化，得到归一化特征图，对所述归一化特征图进行多头自注意力计算，得到注意力特征图；

27、将所述注意力特征图与所述归一化特征图进行残差连接，得到残差特征图；

28、对所述残差特征图进行全连接，得到全连接特征图，将所述全连接特征图与所述残差特征图进行残差连接，得到目标特征图；

29、根据所述目标特征图进行运动关节识别，得到所述目标图像帧中的运动关节信息。

30、可选地，所述运动轨迹计算模块在根据所述运动位姿序列计算所述运动图像帧序列的运动轨迹时，具体用于：

31、提取所述运动位姿序列中每个运动关节的关节坐标，得到关节坐标序列；

32、根据所述关节坐标序列计算所述运动关节的轨迹向量序列；

33、根据所述轨迹向量序列及所述关节坐标序列绘制所述运动图像帧序列的运动轨迹。

34、可选地，所述运动交互模块在根据所述运动轨迹计算所述运动图像帧序列对应的运动策略时，具体用于：

35、将所述运动轨迹中每个运动关节的节点坐标进行线性映射，得到位置坐标特征；

36、对所述位置坐标特征进行空间特征编码，得到编码特征；

37、利用如下公式对所述位置坐标特征进行空间特征编码，得到编码特征：其中，表示第层的编码特征，表示注意力机制，表示层归一化操作，表示第层的编码特征，表示进行空间特征编码的总编码层数，表示编码特征；

38、根据所述编码特征计算所述运动图像帧序列对应的运动策略。

39、可选地，所述运动交互模块在利用所述运动策略与所述运动轨迹对所述虚拟场景进行运动交互，得到运动交互场景时，具体用于：

40、提取所述虚拟场景中的虚拟运动关节，根据所述运动轨迹对所述虚拟运动关节进行运动轨迹控制，得到轨迹交互场景；

41、根据所述运动策略设置所述虚拟场景的虚拟运动策略，得到策略交互场景；

42、根据所述轨迹交互场景及所述策略交互场景对所述虚拟场景进行场景交互，得到所述虚拟场景对应的运动交互场景。

43、为了解决上述问题，本发明还提供一种基于增强现实的跑步机全景体感运动方法，所述方法包括：

44、获取跑步机全景体感的全景图像，识别所述全景图像中的虚拟运动目标， 根据所述虚拟运动目标构建所述跑步机全景体感的虚拟场景；

45、采集所述跑步机全景体感的运动图像帧序列，对所述运动图像帧序列中的每个运动图像帧进行图像去噪及背景分割，得到目标图像帧；

46、计算每个所述目标图像帧中的运动关节信息，根据所述运动关节信息识别每个所述运动图像帧的运动位姿；

47、对所述运动位姿进行运动建模，得到所述运动图像帧的运动位姿序列，根据所述运动位姿序列计算所述运动图像帧序列的运动轨迹；

48、根据所述运动轨迹计算所述运动图像帧序列对应的运动策略，利用所述运动策略与所述运动轨迹对所述虚拟场景进行运动交互，得到运动交互场景。

49、本发明实施例通过根据跑步机全景体感的全景图像构建跑步机全景体感的虚拟场景，可以确保虚拟场景的视觉效果和交互性满足要求；对跑步机全景体感的运动图像帧序列进行图像去噪及背景分割，可以得到去除噪声信息，增强结构细节信息的目标图像帧；构建目标图像帧的运动位姿，可以根据运动位姿识别用户在跑步机上的位姿变化，更自然的地进行交互，有利于提高运动交互的效果；构建运动图像帧序列的运动轨迹，并根据运动轨迹计算运动图像帧序列对应的运动策略，可以根据运动轨迹以及运动策略对虚拟场景进行运动交互，可以提高运动交互时的真实感，以及满足跑步机在运动交互时的需求，有效地提高跑步机全景体感运动系统的运动交互效果。因此本发明提出的基于增强现实的跑步机全景体感运动系统及方法，可以提高跑步机全景体感运动系统的运动交互效果。