基于混合现实的培训方法、电子设备及存储介质与流程

1.本技术涉及混合现实技术领域，尤其涉及一种基于混合现实的培训方法、电子设备及存储介质。


背景技术：

2.目前，对人员进行培训的方式大多都是专业技师现场培训。不同领域需要不同的专业技师，不能实现跨领域、跨地域培训，通用性低，同时需要耗费大量的人力物力，培训费用较高。且诸多行业实操培训存在一定的危险性，例如，在电控维修培训中，由于参与培训人员操作不熟练，容易出现被电控设备误伤的情况。可见传统的培训方式费时费力，且人员的安全也无法得到保证。


技术实现要素：

3.鉴于以上内容，有必要提供一种基于混合现实的培训方法、电子设备及存储介质，可以提高培训效率，降低培训成本，同时保证培训过程的安全性。
4.本技术的第一方面提供一种基于混合现实的培训方法，所述基于混合现实的培训方法包括：
5.接收所述用户终端发送的目标对象的人脸信息；
6.根据所述人脸信息判断所述目标对象是否合法；
7.若所述目标对象合法，发送登录控制信息至混合现实设备；
8.在接收到所述混合现实设备反馈的成功登录信息后，启动混合现实培训流程，包括:
9.获取培训过程中待使用物料对应的三维虚拟物料；
10.在接收到所述混合现实设备发送的真实培训场景的空间信息后，设置所述三维虚拟物料在所述空间信息中的位置，将所述三维虚拟物料与设置的位置信息发送至所述混合现实设备；
11.发送多个培训步骤提示信息至所述混合现实设备；
12.接收所述混合现实设备实时发送的所述目标对象的肢体三维信息，其中，所述肢体三维信息为所述目标对象根据每个培训步骤提示信息执行培训时获取的信息；
13.根据所述目标对象的肢体三维信息确定所述目标对象的培训结果。
14.在一种可能的实现方式中，所述方法还包括：
15.根据接收的所述肢体三维信息更新所述设置的位置信息，并将更新后的位置信息发送给所述混合现实设备。
16.在一种可能的实现方式中，所述根据所述人脸信息判断所述目标对象是否合法包括：
17.基于所述人脸信息提取所述目标对象的人脸特征数据；
18.若所述提取到的人脸特征数据与预先存储的人脸特征数据匹配，输出所述目标对
象合法的提示信息；
19.若所述提取到的人脸特征数据与所述预先存储的人脸特征数据不匹配，输出所述目标对象不合法的提示信息。
20.在一种可能的实现方式中，所述根据所述目标对象的肢体三维信息确定所述目标对象的培训结果包括：
21.获取所述目标对象在每个培训步骤中的培训结果，得到多个培训结果；
22.根据所述多个培训结果确定所述目标对象的培训结果。
23.在一种可能的实现方式中，所述获取所述目标对象在每个培训步骤中的培训结果，得到多个培训结果包括：
24.提取每个培训步骤中所述目标对象的肢体三维信息的多个第一关键帧图像及预先存储的标准操作肢体三维信息的多个第二关键帧图像；
25.检测每个第一关键帧图像中的多个第一肢体关键点及每个第二关键帧图像中的多个第二肢体关键点；
26.获取每个第一肢体关键点位于所述第一关键帧图像中的第一三维坐标点；
27.获取每个第二肢体关键点位于所述第二关键帧图像的第二三维坐标点；
28.根据所述第一三维坐标点与所述第二三维坐标点计算所述差异度；
29.根据多个所述差异度分别确定所述目标对象在每个培训步骤的培训结果。
30.在一种可能的实现方式中，所述根据所述第一三维坐标点与所述第二三维坐标点计算所述差异度包括：
31.根据时间轴的顺序关联所述第一三维坐标点和第二三维坐标点；
32.计算关联后的所述第一三维坐标点和第二三维坐标点之间的欧氏距离得到所述差异度。
33.在一种可能的实现方式中，所述根据多个所述差异度分别确定所述目标对象在每个培训步骤的培训结果包括：
34.分别计算所述每个培训步骤中差异度的方差；
35.根据所述方差与预设的阈值区间分别确定所述目标对象在所述每个培训步骤中的分值，其中每个阈值区间对应一个分值。
36.在一种可能的实现方式中，根据所述每个培训结果与其对应的权重，确定所述目标对象的培训结果，其中所述权重表示每个培训步骤的关键程度。
37.本技术的第二方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的基于混合现实的培训方法。
38.本技术的第三方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于混合现实的培训方法。
39.本技术公开的基于混合现实的培训方法、电子设备及存储介质，可以提高培训效率，降低培训成本。
附图说明
40.图1是本技术公开的一种基于混合现实的培训方法的应用环境图。
41.图2是本技术实现基于混合现实的培训方法的较佳实施例的用户终端的结构示意
图。
42.图3是本技术实现基于混合现实的培训方法的较佳实施例的混合现实设备的结构示意图。
43.图4是本技术实现基于混合现实的培训方法的较佳实施例的电子设备的结构示意图。
44.图5是本技术公开的一种基于混合现实的培训方法的较佳实施例的流程图。
45.图6是本技术公开的在接收到所述混合现实设备反馈的成功登录信息后，启动混合现实培训流程的流程图。
46.主要元件符号说明
47.用户终端1混合现实设备2电子设备3存储器31处理器32计算机程序33通讯总线34
48.如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
49.下面将结合本实施例中的附图，对本实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
50.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
51.请参见图1，图1是本技术实施例提供的一种基于混合现实的培训方法的应用环境图。本技术实施例的基于混合现实的培训方法应用在电子设备3中,所述电子设备3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)、数字处理器(digital signal processor，dsp)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(cloud computing)的由大量主机或网络设备构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理pda等。
52.所述电子设备3与用户终端1和混合现实设备2通信连接。
53.如图2所示，所述用户终端1包括摄像头10、通信单元11、存储器12及处理器13。所
述摄像头10、通信单元11、存储器12及处理器13之间电性连接。在本实施方式中，所述摄像头10用于拍摄目标对象的人脸信息。所述通信单元11用于为所述用户终端1提供网络通信功能。例如，所述用户终端1通过所述通信单元11与所述电子设备3通信连接。所述用户终端1包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理pda等。
54.如图3所示，所述混合现实设备2包括，但不限于，摄像头20、通信单元21、存储器22、处理器23、传感器24、显示器25。所述摄像头20、通信单元21、存储器22、处理器23、传感器24、显示器25之间电性连接。所述混合现实设备2是可独立运行的一体化头戴式设备，负责人机交互的输入与输出功能，例如，microsoft公司的hololens设备。
55.所述摄像头20用于拍摄培训测评视频；所述通信单元21用于为所述混合现实设备2提供网络通信功能。例如，所述混合现实设备2通过所述通信单元21与所述电子设备3通信连接。所述显示器25用于显示培训教学视频，方便用户基于所述培训教学视频进行培训。需要说明的是，所述混合现实设备2还可以包括耳机及无线连接适配器，图中未示出。
56.如图4所示，所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34和通信单元35。
57.本领域技术人员可以理解，图4所示的示意图仅仅是所述电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备等。
58.所述至少一个处理器32可以是cpu，还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic、现场可编程门阵列fpga或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。
59.所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据等。此外，存储器31可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件等。
60.所述通信单元35用于为所述电子设备3提供网络通信功能。例如，所述电子设备3通过所述通信单元35与所述混合现实设备2通信连接。
61.所述电子设备3中的所述存储器31存储多个指令以实现如下文图5所示的一种基于混合现实的培训方法。
62.请参见图5，图5是本技术实施例提供的一种基于混合现实的培训方法的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。所述基于混合现实的培训方法的执行主体可以是所述电子设备。
63.s11、接收所述用户终端发送的目标对象的人脸信息。
64.在进行培训之前，为了防止所述目标对象非法参与培训，例如，非培训范围内的人员私自参与培训。需要对目标对象的身份进行认证，以确认所述目标对象是否为合法用户，只有合法的用户才能进行培训，以避免信息外泄的情况出现。在本实施方式中，采用人脸认证的方法确定所述目标对象是否为合法用户。具体地，所述用户终端采集所述目标对象的人脸信息，并将所述人脸信息发送至所述电子设备。
65.作为一种可选的实施方式，所述步骤s11之前，所述方法还包括:
66.创建培训人员数据库，其中，所述数据库用于存储培训人员的信息，例如，人脸特征信息。
67.s12、根据所述人脸信息判断所述目标对象是否合法。
68.在本技术的一个实施例中，在接收到所述用户终端发送的目标对象的人脸信息后，所述电子设备根据所述人脸信息判断所述目标对象是否合法。具体地，
69.基于所述人脸信息提取所述目标对象的人脸特征数据；
70.比对所述提取到的人脸特征数据与所述数据库中的人脸特征数据是否匹配；
71.若所述提取到的人脸特征数据与所述数据库中的人脸特征数据匹配，输出所述目标对象合法的提示信息；
72.若所述提取到的人脸特征数据与所述数据库中的人脸特征数据不匹配，输出所述目标对象不合法的提示信息。
73.在本实施方式中，所述提取到的人脸特征数据与所述数据库中的人脸特征数据匹配描述的是提取到的人脸特征数据与数据库中的人脸特征数据之间的欧氏距离小于预设值。
74.需要说明的是，人脸特征提取技术为现有技术，本技术不再详细阐述。
75.s13、若所述目标对象合法，发送登录控制信息至所述混合现实设备。
76.在本技术的一个实施例中，在合法的目标对象开始参与培训之前，需要先登录所述目标对象佩戴的所述混合现实设备。
77.在本实施方式中，所述电子设备发送登录控制信息至所述混合现实设备，其中，所述登录控制信息包括所述目标对象的个人信息。例如，所述个人信息包括姓名、工号等。所述电子设备根据所述登录控制信息控制所述混合现实设备输入所述目标对象的个人信息，以执行登录。所述混合现实设备在接收到所述登陆控制信息之后，发送成功登陆信息至所述电子设备。
78.此外，在其他实施例中，所述基于混合现实的培训方法除了在开始对培训用户进行身份认证以识别目标对象是否合法之外，还可在培训过程中每间隔预设时间便采集一次目标对象的人脸信息，以判断培训中途是否发生培训用户有替换的情况。
79.s14、在接收到所述混合现实设备反馈的成功登录信息后，启动混合现实培训流程。
80.传统的培训方式为专业技师现场培训，在本技术的一个实施例中，为了降低培训成本，同时使所述目标对象身临其境的对操作过程进行学习，可以通过所述混合现实设备对所述目标对象培训。
81.结合图5，所述在接收到所述混合现实设备反馈的成功登录信息后，启动混合现实
培训流程包括:
82.s41、获取培训过程中待使用物料对应的三维虚拟物料。
83.在本实施方式中，所述物料为所述目标对象进行培训时所需要的物品。
84.所述三维虚拟物料为与所述物料对应的三维模型，可以利用任何一种三维建模软件进行构建，例如bim、solidworks等，本技术对此不作任何限定。
85.s42、接收所述混合现实设备发送的真实培训场景的空间信息，设置所述三维虚拟物料在所述空间信息中的位置信息，将所述三维虚拟物料与设置的位置信息发送至所述混合现实设备。
86.在本技术的一个实施例中，为了使所述三维虚拟物料准确地放置在真实的培训场景中，需要对所述真实培训场景进行空间信息提取。
87.在本实施方式中，所述电子设备利用所述混合现实设备的传感器对真实培训场景进行扫描，基于即时定位与地图构建(simultaneous localization and mapping，slam)技术来获取真实场景的空间信息。进一步的，所根据具体培训内容设置所述三维虚拟物料在所述空间信息中的位置信息，所述位置信息可以根据用户的实际需求进行设定。所述电子设备将所述步骤s41获得的三维虚拟物料与设置的位置信息发送至所述混合现实设备。所述混合现实设备通过所述显示器将所述虚拟物料传递给所述目标对象。
88.s43、发送多个培训步骤提示信息至所述混合现实设备。
89.在本实施方式中，所述电子设备根据培训内容将操作流程拆分为多个培训步骤，并生成培训步骤提示信息所述混合现实设备，所述培训步骤提示信息包括语音、文字、数字、图形和方向标示中的至少一种。
90.所述目标对象根据所述培训步骤提示信息进行操作。具体地，所述目标对象使用实体设备与所述三维虚拟物料进行交互操作，完成工站作业步骤及流程的标准化培训。所述混合现实设备通过摄像头实时捕捉每个培训步骤中的所述目标对象的肢体三维信息，并将所述肢体三维信息发送给所述电子设备。
91.s44、接收所述混合现实设备实时发送的所述目标对象的肢体三维信息，其中，所述肢体三维信息为所述目标对象根据每个培训步骤提示信息执行培训时获取的信息。
92.在本技术的一个实施例中，所述电子设备根据接收到的所述目标对象的肢体三维信息进行后续操作。
93.作为一种可选的实施方式，所述步骤s44之后，所述方法还包括：
94.根据接收的所述肢体三维信息更新所述设置的位置信息，并将更新后的位置信息发送给所述混合现实设备。
95.具体地，所述电子设备根据接收到的肢体三维信息，实时更新所述三维虚拟物料在所述空间信息中的位置信息，并将更新后的位置信息发送给所述混合现实设备。所述混合现实设备通过所述显示器将更新后的三维虚拟物料传递给所述目标对象。
96.结合所述混合现实设备与所述电子设备，能够建立基于现实场景和虚拟物料的混合现实培训场景，并根据所述目标对象的操作实时更新虚拟物料，所述目标对象可获得媲美现场培训的混合现实培训体验，达到最接近现场培训的效果。
97.s45、根据所述目标对象的肢体三维信息确定所述目标对象的培训结果。
98.在本实施方式中，所述肢体三维信息可以根据用户的需求进行选取，例如，选取所
述目标对象的手部三维信息作为培训的衡量标准。
99.在本实施方式中，所述根据所述目标对象的肢体三维信息确定所述目标对象的培训结果，包括：
100.获取所述目标对象在每个培训步骤中的培训结果，得到多个培训结果；
101.根据所述多个培训结果确定所述目标对象的培训结果。
102.具体地，
103.(1)提取每个培训步骤中所述目标对象的肢体三维信息的多个第一关键帧图像及预先存储的标准培训操作肢体三维信息的多个第二关键帧图像。
104.(2)检测每个第一关键帧图像中的多个第一肢体关键点及每个第二关键帧图像中的多个第二肢体关键点。具体地，可以将每个第一关键帧图像及每个第二关键帧图像输入至预先训练完成的肢体关键点检测模型，通过所述肢体关键点检测模型检测出所述第一关键帧图像中的多个第一肢体关键点及所述第二关键帧图像中的多个第二肢体关键点。肢体关键点检测模型的训练过程为现有技术，本技术不再详细阐述。
105.(3)计算每个第一肢体关键点和对应的每个第二肢体关键点之间的差异度，得到多个所述差异度。具体地，获取每个第一肢体关键点位于所述第一关键帧图像中的第一三维坐标点以及每个第二肢体关键点位于所述第二关键帧图像的第二三维坐标点。根据时间轴的顺序关联所述第一三维坐标点和第二三维坐标点，计算关联后的所述第一三维坐标点和第二三维坐标点之间的欧氏距离得到所述差异度。
106.(4)根据多个所述差异度分别确定所述目标对象在每个培训步骤的培训结果。具体地，分别计算所述每个培训步骤中差异度的方差，根据所述方差所在的预设阈值区间，确定所述目标对象的分值，其中每个阈值区间对应一个分值。示例性的，若某一步骤中所述方差位于[0,0.1)区间，输出所述某一步骤的培训结果为“培训得分90分，培训合格”；若某一步骤中所述方差位于[0.1,0.2)区间，输出所述某一步骤的培训结果为“培训得分80分，培训合格”；若某一步骤中所述方差位于[0.2,0.3)区间，输出所述某一步骤的培训结果为“培训得分70分，培训合格”；若某一步骤中所述方差位于[0.3,+∞)区间，输出所述某一步骤的培训结果为“培训不合格”。
[0107]
(5)根据所述每个培训结果与其对应的权重，确定所述目标对象的培训结果，其中所述权重表示每个培训步骤的关键程度，且所有培训步骤的权重相加之后结果为1。其中每个培训步骤对应的权重可以根据用户的实际需求进行设定，例如，设定某一培训步骤的权重为0.3，若所述培训步骤的培训结果为90分，则所述培训步骤的最终培训结果为90乘以0.3，及27分。将所有培训步骤的得分相加，获得所述目标对象的培训结果。
[0108]
作为一种可选的实施方式，所述步骤s45之前，所述方法还包括：
[0109]
对所述第一关键帧图像及所述第二关键帧图像进行图像处理，所述图像处理包括：图像对齐处理，动态时间对齐处理。
[0110]
在一实施方式中，所述方法还可以包括将所述培训结果发送给所述用户终端的步骤。如此，可以方便所述目标对象通过所述用户终端查看培训结果。
[0111]
在图5与图6所描述的方法流程中，可以接收所述用户终端发送的目标对象的人脸信息；根据所述人脸信息判断所述目标对象是否合法；若所述目标对象合法，发送登录控制信息至混合现实设备；在接收到所述混合现实设备反馈的成功登录信息后，启动混合现实
培训流程，包括:获取培训过程中待使用物料对应的三维虚拟物料；接收所述混合现实设备发送的真实培训场景的空间信息，设置所述三维虚拟物料在所述空间信息中的位置，将所述三维虚拟物料与设置的位置信息发送至所述混合现实设备；发送多个培训步骤提示信息至所述混合现实设备；接收所述混合现实设备实时发送的所述目标对象的肢体三维信息，其中，所述肢体三维信息为所述目标对象根据每个培训步骤提示信息执行培训时获取的信息；根据所述目标对象的肢体三维信息确定所述目标对象的培训结果。本技术能提高培训效率，降低培训成本，同时保证培训过程的安全性。
[0112]
需要说明的是，所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(read-only memory，rom)。
[0113]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0114]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0115]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0116]
对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本技术的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本技术内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
[0117]
最后应说明的是，以上实施例仅用以说明本技术的技术方案而非限制，尽管参照较佳实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，可以对本技术的技术方案进行修改或等同替换，而不脱离本技术技术方案的精神和范围。