一种消防救援训练场景仿真方法、装置及系统与流程

本发明涉及图像分析，具体涉及一种消防救援训练场景仿真方法、装置及系统。

背景技术：

1、vr设备的高分辨率可以提供更清晰的画面减少视觉模糊感、高刷新率能使画面更加流畅降低卡顿和闪烁感、精准的视觉追踪则有助于根据使用者的视角变化及时调整画面减少视觉延迟和不适感，因此，需要提升vr设备的高分辨率、高刷新率和视觉追踪的精准度，以提高使用者感受。

2、常规的vr设备根据用户的移动速度、方向等进行对应场景的高频率刷新，但对于消防员在通过消防救援训练场景仿真进行训练的过程中，消防员需要在限定时间内灭火、救人并快速逃生，相比常规用户来说消防员的操作速度更快且场景更复杂，通过常规的vr设备进行消防救援训练场景仿真时，难以根据消防员的操作速度和方向变化进行及时的场景刷新和动作响应，导致消防员的模拟训练效果不好。

技术实现思路

1、为了解决常规的vr设备难以根据消防员的操作速度和方向变化进行及时的场景刷新和动作响应，影响消防员模拟训练效果的技术问题，本发明的目的在于提供一种消防救援训练场景仿真方法、装置及系统，所采用的技术方案具体如下：

2、第一方面，本发明一个实施例提供了一种消防救援训练场景仿真方法，该方法包括以下步骤：

3、获取训练者在消防救援训练场景对应的拓扑三角网中所要经过的参考环境关键点；获取训练者在当前场景中的人体图像；

4、根据参考环境关键点在拓扑三角网中的位置分布、当前场景中的环境关键点与人物图像中的人体关键点的位置关系、以及当前场景中每个人体关键点的动作情况，获取当前场景中每个人体关键点的关注程度；

5、基于所述关注程度和预测模型，预测训练者的下一操作和场景。

6、进一步地，所述参考环境关键点的获取方法为：

7、对于任一个训练者，将该训练者的最佳前进路线作为标准路线，将标准路线在拓扑三角网中经过的小三角，作为参考三角；其中，拓扑三角网由该训练者所要经过的所有场景中的环境关键点构成的，拓扑三角网中的各个顶点为环境关键点；

8、将拓扑三角网中的参考三角以及与参考三角直接相连的小三角共同构成的区域，作为该训练者的标准途径区域；

9、将标准途径区域中的环境关键点，作为该训练者所要经过的参考环境关键点。

10、进一步地，所述关注程度的获取方法为：

11、根据参考环境关键点在拓扑三角网中的位置分布，获取训练者途径的环境复杂度；

12、根据当前场景中的环境关键点与人物图像中的人体关键点的位置关系，获取当前场景中训练者的局限程度；

13、将所述环境复杂度与所述局限程度的乘积，作为当前场景中训练者的受影响程度；

14、根据当前场景中每个人体关键点的动作情况和所述受影响程度，获取当前场景中每个人体关键点的关注程度。

15、进一步地，所述环境复杂度的获取方法为：

16、对于任一个训练者，将该训练者的标准途径区域中属于同一区域的相邻小三角进行合并，均作为该训练者的途径局部区域；

17、获取每个途径局部区域中每个参考环境关键点的度，作为对应参考环境关键点的第一特征值；

18、获取该训练者的每个参考环境关键点与标准路线的最短距离，作为对应参考环境关键点的第二特征值；

19、根据每个参考环境关键点的第一特征值和第二特征值，获取每个参考环境关键点的局部环境复杂度；其中，第一特征值与局部环境复杂度为正相关关系，第二特征值与局部环境复杂度为负相关关系；

20、将该训练者的所有参考环境关键点的局部环境复杂度的相加结果，作为该训练者途径的环境复杂度。

21、进一步地，所述局限程度的获取方法为：

22、获取当前场景中每个环境关键点与每个人体关键点的欧氏距离并进行升序排列，获得距离序列；

23、通过多阈值分割算法将距离序列划分为多个分割段；获取每个分割段中对应的环境关键点与该训练者的参考环境关键点的交并比，作为每个分割段的可参考程度；

24、将可参考程度大于0的分割段划分为第一分割段类别，将可参考程度等于0的分割段划分为第二分割段类别；

25、将当前场景中的人体关键点和第一分割段类别中对应的环境关键点划分为同一个簇，作为第一目标聚类簇；

26、将第二分割段类别中对应的环境关键点划分为同一个簇，作为第二目标聚类簇；

27、将当前场景中的环境关键点和人体关键点根据位置坐标进行聚类，获取多个参考聚类簇；

28、将参考聚类簇与目标聚类簇的类间方差的差值进行负相关且归一化的结果，作为当前场景中该训练者的局限程度。

29、进一步地，所述关注程度的获取方法为：

30、对于当前场景中的任一个人体关键点，获取该人体关键点的动作频率和动作幅度，根据该人体关键点的动作频率和动作幅度、以及所述受影响程度，获取该人体关键点的关注程度；其中，动作频率和所述受影响程度均与关注程度为正相关关系，动作幅度与关注程度为负相关关系。

31、进一步地，所述预测训练者的下一操作和场景的方法为：

32、采用机器学习算法、决策树和支持向量机训练一个预测模型；其中，预测模型的输入为场景中每个人体关键点的动作状态、关注程度以及场景信息，输出为预测训练者的下一步操作和场景；

33、将当前场景中每个人体关键点的动作状态、关注程度以及当前场景信息输入到训练好的预测模型中，输出为预测的该训练者的下一操作和场景。

34、进一步地，所述拓扑三角网是通过delaunay三角剖分算法获取的。

35、第二方面，本发明另一个实施例提供了一种消防救援训练场景仿真系统，该系统包括：

36、参数获取模块，用于获取训练者在消防救援训练场景对应的拓扑三角网中所要经过的参考环境关键点；获取训练者在当前场景中的人体图像；

37、关注程度获取模块，用于根据参考环境关键点在拓扑三角网中的位置分布、当前场景中的环境关键点与人物图像中的人体关键点的位置关系、以及当前场景中每个人体关键点的动作情况，获取当前场景中每个人体关键点的关注程度；

38、预测模块，用于基于所述关注程度和预测模型，预测训练者的下一操作和场景。

39、第三方面，本发明另一个实施例提供了一种消防救援训练场景仿真装置，该装置包括：存储器、处理器以及存储在所述存储器中并在处理器上运行的计算机程序，处理器执行所述计算机程序时，实现上述任意一项方法的步骤。

40、本发明具有如下有益效果：

41、本发明首先根据训练者所要经过的参考环境关键点在拓扑三角网中的位置分布，准确分析出训练者所途径环境的复杂情况，初步分析需要对训练者进行关注的程度；为了准确获取出对训练者的关注情况，有利于后续准确预测训练者的行为，进一步分析当前场景中的环境关键点与人物图像中的人体关键点的位置关系，准确反映出在当前场景中训练者的操作受到的局限性，进一步确定需要对训练者进行关注的程度；结合需要对训练者进行关注的程度以及当前场景中每个人体关键点的动作情况，准确获取当前场景中每个人体关键点的关注程度，进而通过关注程度准确设置对应的行为预测网络中每个人体关键点的损失，使得更准确的预测训练者的下一操作和场景，提前进行数据缓存，确保训练者的操作被及时响应同时提高场景的刷新频率，有效避免仿真画面卡顿，提高消防救援训练场景仿真画面的流畅感，进而有效提高训练者的模拟效果。