位置确定模型训练方法、位置确定方法、装置、介质与流程

1.本公开涉及计算机技术领域，具体而言，涉及位置确定模型训练方法、位置确定方法、位置确定模型训练装置、位置确定装置、计算机可读存储介质及电子设备。


背景技术：

2.随着互联网的快速发展，虚拟场景的应用领域也越来越广泛。例如，虚拟直播、虚拟穿戴、游戏互动、内容创作等场景，可以通过虚拟场景中的虚拟对象实现相应的业务需求。
3.在相关技术中，单摄像模组的动作补充方案的成本较低，可以通过单摄像模组捕捉人物的动作，并将捕捉到的动作映射到虚拟场景中，以实现业务需求。然而，现有技术中通过单摄像模组捕捉动作时，能够捕捉到人物的动作，但是难以确定人物在虚拟场景中的位置，在虚拟场景中容易出现虚拟对象执行了相应的动作，但移动的位置出现错误。举例而言，人物进行了走路动作，通过单摄像模组捕捉动作时，能够捕捉到腿部的弯曲变化，但是虚拟对象在虚拟场景中的位置不变。
4.需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的目的在于提供一种位置确定模型训练方法、位置确定模型训练装置、计算机可读存储介质及电子设备，可以解决现有技术中通过单摄像模组捕捉动作时位置不准确的问题。
6.本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
7.根据本公开的第一方面，提供了一种位置确定模型训练方法，包括：获取检测对象样本数据；其中，检测对象样本数据中包括2d关键位置信息、3d关键位置信息以及3d位置信息标签；其中，3d位置信息标签用于指示检测对象在3d虚拟环境中的位置；将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息；根据检测对象的预测3d位置信息与3d位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
8.可选的，基于前述方案，第一待训练模型包括第一待训练子模型与第二待训练子模型，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息，包括：将2d关键位置信息输入第一待训练子模型得到第一预测结果，将3d关键位置信息输入第二待训练子模型第二预测结果；根据第一预测结果与第二预测结果确定检测对象的预测3d位置信息。
9.可选的，基于前述方案，所述将所述2d关键位置信息以及所述3d关键位置信息输入第一待训练模型得到所述检测对象的预测3d位置信息，包括：将第一数量的所述2d关键
位置信息以及第二数量的所述3d关键位置信息输入所述第一待训练模型，得到第二数量的检测对象的预测3d位置信息；其中，所述第一数量的2d关键位置信息对应的检测对象样本数据为第一时间段内获取的数据，所述第二数量的3d关键位置信息为第二时间段内获取的数据；所述第二时间段位于所述第一时间段的时间区间内，所述第一数量大于第二数量。
10.可选的，基于前述方案，根据检测对象的预测3d位置信息与3d位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型，包括：根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型。
11.可选的，基于前述方案，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型，包括：获取多个检测对象的预测3d位置信息；其中，多个检测对象的预测3d位置信息是通过对第三时间段内的多个检测对象样本数据进行预测得到的；根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动速度；根据多个检测对象的预测3d位置信息确定检测对象的预测运动速度；在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
12.可选的，基于前述方案，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型，包括：获取多个检测对象的预测3d位置信息；其中，多个检测对象的预测3d位置信息是通过对第四时间段内的多个检测对象样本数据进行预测得到的；根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动加速度；根据多个检测对象的预测3d位置信息确定检测对象的预测运动加速度；在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
13.可选的，基于前述方案，所述在所述第一待训练模型满足收敛条件时，将所述第一待训练模型确定为位置确定模型，包括：根据所述检测对象的预测3d位置信息与所述3d位置信息标签确定预测3d位置信息差值；在所述预测3d位置信息差值小于第三阈值时，所述第一待训练模型满足收敛条件，将所述第一待训练模型确定为位置确定模型。
14.可选的，基于前述方案，在获取检测对象样本数据之前，方法还包括：获取检测对象对应的图像，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息；采用多视角重建方法获取检测对象对应的3d位置信息标签，以及获取检测对象对应的3d关键位置信息；根据检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签确定检测对象样本数据。
15.可选的，基于前述方案，获取检测对象对应的3d关键位置信息，包括：将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息。
16.可选的，基于前述方案，根据检测对象对应的3d位置信息标签确定检测对象对应的3d关键位置信息；将检测对象对应的2d关键位置信息输入第二待训练模型得到预测3d关键位置信息；根据预测3d关键位置信息与3d关键位置信息对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型。
17.根据本公开的第二方面，提供了一种位置确定方法，方法包括：获取检测对象对应的图像；将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置
信息；将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息；将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息；其中，3d位置信息用于指示检测对象在3d虚拟环境中的位置，位置确定模型是通过如上述任意一项的位置确定模型训练方法得到的。
18.根据本公开的第三方面，提供了一种位置确定模型训练装置，装置包括：样本数据获取单元，被配置为执行获取检测对象样本数据；其中，检测对象样本数据中包括2d关键位置信息、3d关键位置信息以及3d位置信息标签；其中，3d位置信息标签用于指示检测对象在3d虚拟环境中的位置；预测信息获取单元，被配置为执行将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息；位置确定模型训练单元，被配置为执行根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
19.根据本公开的第四方面，提供了一种位置确定装置，装置包括：检测图像获取单元，被配置为执行获取检测对象对应的图像；2d关键位置获取单元，被配置为执行将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息；3d关键位置获取单元，被配置为执行将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息；位置确定单元，被配置为执行将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息；其中，3d位置信息用于指示检测对象在3d虚拟环境中的位置，位置确定模型是通过如上述第一方面的位置确定模型训练方法得到的。
20.根据本公开的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，程序被处理器执行时实现如上述实施例中第一方面的位置确定模型训练方法以及第二方面的位置确定方法。
21.根据本公开的第六方面，提供了一种电子设备，包括：
22.处理器；以及
23.存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现如上述实施例中第一方面位置确定模型训练方法以及第二方面位置确定方法。
24.本公开实施例提供的技术方案可以包括以下有益效果：
25.本公开的一种实施例提供的位置确定模型训练方法中，可以获取检测对象样本数据；其中，检测对象样本数据中包括2d关键位置信息、3d关键位置信息以及3d位置信息标签，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息，根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
26.本公开的实施例，可以将2d关键位置信息以及3d关键位置信息输入待训练模型的得到预测3d位置信息，并根据预测3d位置信息与标签对待训练模型进行训练。可以在位置确定模型中加入了检测对象的3d关键位置信息，能够在位置确定模型中融入检测对象的空间信息，从而提升检测对象在虚拟场景中的位置的准确性。
27.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
28.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
29.图1示意性示出了本公开示例性实施例中位置确定模型训练方法示例性系统架构的示意图；
30.图2示意性示出了本公开示例性实施例中位置确定模型训练方法的流程图；
31.图3示意性示出本公开示例性实施例中根据第一预测结果与第二预测结果确定检测对象的预测3d位置信息的流程图；
32.图4示意性示出本公开示例性实施例中位置确定模型的示意图；
33.图5示意性示出本公开示例性实施例中在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型的流程图；
34.图6示意性示出本公开示例性实施例中在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型的流程图；
35.图7示意性示出本公开示例性实施例中根据检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签确定检测对象样本数据的流程图；
36.图8示意性示出本公开示例性实施例中根据预测3d关键位置信息与3d关键位置标签对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型的流程图；
37.图9示意性示出本公开示例性实施例中位置确定方法的流程图；
38.图10示意性示出本公开示例性实施例中一种位置确定模型训练装置的组成示意图；
39.图11示意性示出本公开示例性实施例中一种位置确定装置的组成示意图；
40.图12示意性示出了适于用来实现本公开示例性实施例的电子设备的计算机系统的结构示意图。
具体实施方式
41.现在将参照附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免模糊本公开的各方面。
42.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个软件硬化的模块中实现这些功能实体或功能实体的一部分，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
43.图1示出了可以应用本公开实施例的位置确定模型训练方法或位置确定方法示例性系统架构的示意图。
44.如图1所示，系统架构1000可以包括终端设备1001、1002、1003中的一种或多种，网络1004和服务器1005。网络1004用以在终端设备1001、1002、1003和服务器1005之间提供通信链路的介质。网络1004可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
45.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器1005可以是多个服务器组成的服务器集群等。
46.用户可以使用终端设备1001、1002、1003通过网络1004与服务器1005交互，以接收或发送消息等。终端设备1001、1002、1003可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、便携式计算机和台式计算机等等。另外，服务器1005可以是提供各种服务的服务器。
47.在一种实施例中，本公开的位置确定模型训练方法的执行主体可以是服务器1005，服务器1005可以获取由终端设备1001、1002、1003发送的检测对象样本数据，并将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息，根据检测对象的预测3d位置信息与3d位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。此外，还可以通过终端设备1001、1002、1003等执行本公开的位置确定模型训练方法，以实现根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，以得到位置确定模型的过程。
48.此外，本公开位置确定模型训练方法的实现过程还可以由终端设备1001、1002、1003和服务器1005共同实现。例如，终端设备1001、1002、1003可以获取检测对象样本数据，再将检测对象样本数据发送给服务器1005，以使服务器1005可以将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息，根据检测对象的预测3d位置信息与3d位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
49.随着互联网的快速发展，虚拟场景的应用领域也越来越广泛。例如，虚拟直播、虚拟穿戴、游戏互动、内容创作等场景，可以通过虚拟场景中的虚拟对象实现相应的业务需求。
50.在现有技术中，单摄像模组的动作补充方案的成本较低，可以通过单摄像模组捕捉人物的动作，并将捕捉到的动作映射到虚拟场景中，以实现业务需求。然而，现有技术中通过单摄像模组捕捉动作时，能够捕捉到人物的动作，但是难以确定人物在虚拟场景中的位置，在虚拟场景中容易出现虚拟对象执行了相应的动作，但移动的位置出现错误。举例而言，人物进行了走路动作，通过单摄像模组捕捉动作时，能够捕捉到腿部的弯曲变化，但是虚拟对象在虚拟场景中的位置不变。
51.根据本示例性实施例中所提供的位置确定模型训练方法中，可以获取检测对象样本数据，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息，根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。如图2所示，该位置确定模型训练方法可以包括以下步骤s210～s230：
52.步骤s210，获取检测对象样本数据；其中，检测对象样本数据中包括2d关键位置信息、3d关键位置信息以及3d位置信息标签；其中，3d位置信息标签用于指示检测对象在3d虚拟环境中的位置；
53.步骤s220，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息；
54.步骤s230，根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
55.本公开的实施例，可以将2d关键位置信息以及3d关键位置信息输入待训练模型的得到预测3d位置信息，并根据预测3d位置信息与标签对待训练模型进行训练。能够在位置确定模型中加入了检测对象的3d关键位置信息，能够在位置确定模型中融入检测对象的空间信息，从而提升检测对象在虚拟场景中的位置的准确性。
56.下面，将结合附图及实施例对本示例性实施例中的位置确定模型的步骤s210～s230进行更详细的说明。
57.步骤s210，获取检测对象样本数据；
58.在本公开的一种示例实施例中，可以获取检测对象样本数据。其中，检测对象样本数据中包括2d关键位置信息、3d关键位置信息以及3d位置信息标签，3d位置信息标签用于指示检测对象在3d虚拟环境中的位置。举例而言，本公开的方案可以应用于虚拟现实的场景中。需要说明的是，本公开对于3d虚拟环境的类型并不做特殊限定。
59.具体的，2d关键位置信息用于指示检测对象在平面上的关键位置。举例而言，检测对象为人，2d关键位置信息可以包括人的头部、四肢等关键位置。3d关键位置信息用于指示检测对象在空间中的关键位置。举例而言，检测对象为人，3d关键位置信息可以包括人的头部、四肢等关键位置。3d位置信息标签用于指示检测对象在3d虚拟环境中的位置。举例而言，检测对象为人，3d位置信息标签可以用于指示该人在虚拟3d环境中的具体位置。
60.进一步的，可以建立平面坐标系以表示2d关键位置信息；可以建立空间坐标系以表示3d关键位置信息，例如，检测对象为人，可以以人体的重心为坐标原点建立空间坐标系，可以通过该坐标系表示人体的四肢、头部等关键位置的坐标；可以通过建立空间坐标系以表示3d位置信息标签，举例而言，可以以虚拟环境中的虚拟镜头所在位置为坐标原点建立空间坐标系，以检测对象所在位置作为3d位置信息标签。
61.需要说明的是，本公开对于2d关键位置信息、3d关键位置信息以及3d位置信息标签的具体形式并不做特殊限定。
62.进一步的，检测对象在3d虚拟环境中的位置可以包括检测对象的重心的位置，或者，检测对象在3d虚拟环境中的位置可以包括检测对象的顶点的位置，或者，检测对象在3d虚拟环境中的位置可以包括检测对象的最低点的位置。
63.需要说明的是，本公开对于检测对象在3d虚拟环境中的位置的参考标准并不做特
殊限定。
64.步骤s220，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息；
65.在本公开的一种示例实施例中，在通过上述步骤得到检测对象样本数据之后，可以将2d关键位置信息以及3d关键位置信息输入第一待训练模型，得到检测对象的预测3d位置信息。具体的，第一待训练模型可以用于根据检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息预测该检测对象的预测3d位置信息，该检测对象的预测3d位置信息用于指示检测对象在3d虚拟环境中的预测位置。
66.具体而言，第一待训练模型可以为具有神经网络的模型，该第一待训练模型可以包括卷积层、池化层、激励层、全连接层等。举例而言，第一待训练模型可以为基于带孔卷积神经网络的模型，或者，第一待训练模型可以为基于稠密卷积神经网络的模型。
67.进一步的，在将2d关键位置信息以及3d关键位置信息输入第一待训练模型之后，可以将2d关键位置信息以及3d关键位置信息转换为2d关键位置特征向量以及3d关键位置特征向量，再将2d关键位置特征向量以及3d关键位置特征向量输入第一待训练模型得到检测对象的预测3d位置信息。
68.举例而言，可以采用基于图神经网络(gnn，graph neural networks)的向量转化模型将2d关键位置信息转换为2d关键位置特征向量，将3d关键位置信息转换为3d关键位置特征向量，再将2d关键位置特征向量以及3d关键位置特征向量输入第一待训练模型得到检测对象的预测3d位置信息。
69.需要说明的是，本公开对于将2d关键位置信息以及3d关键位置信息转换为2d关键位置特征向量以及3d关键位置特征向量的具体方式并不做特殊限定。
70.在本公开的一种示例实施例中，第一待训练模型中可以包括多个隐层，隐层中可以包括卷积层、归一化层、激励层等。可以将2d关键位置信息以及3d关键位置信息依次输入第一待训练模型的多个隐层中，得到隐层计算结果，通过隐层计算结果得到检测对象的预测3d位置信息。
71.在本公开的一种示例实施例中，可以将2d关键位置信息输入第一待训练子模型得到第一预测结果，将3d关键位置信息输入第二待训练子模型第二预测结果，根据第一预测结果与第二预测结果确定检测对象的预测3d位置信息。参照图3所示，根据第一预测结果与第二预测结果确定检测对象的预测3d位置信息，可以包括以下步骤s310～s320：
72.步骤s310，将2d关键位置信息输入第一待训练子模型得到第一预测结果，将3d关键位置信息输入第二待训练子模型第二预测结果；
73.在本公开的一种示例实施例中，在通过上述步骤得到检测对象对应的2d关键位置信息以及3d关键位置信息之后，可以将2d关键位置信息输入第一待训练子模型得到第一预测结果，将3d关键位置信息输入第二待训练子模型第二预测结果。具体的，第一待训练模型中可以包括第一待训练子模型与第二待训练子模型。其中，第一待训练子模型用于处理检测对象对应的2d关键位置信息，第二待训练子模型用于处理检测对象对应的3d关键位置信息。
74.具体而言，第一待训练子模型中可以包括至少一个隐层，隐层中可以包括卷积层、归一化层、激励层等，第一待训练子模型中可以包括至少一个隐层，隐层中可以包括卷积
层、归一化层、激励层等。
75.举例而言，可以将检测对象对应的2d关键位置信息输入第一待训练子模型中对应的第一隐层得到第一待训练子模型对应的第一隐层结果，再将第一待训练子模型对应的第一隐层结果输入第一待训练子模型中对应的第二隐层得到第一待训练子模型对应的第二隐层结果，再将第一待训练子模型对应的第二隐层结果输入第一待训练子模型中对应的第三隐层得到第一预测结果；可以将检测对象对应的3d关键位置信息输入第二待训练子模型中对应的第一隐层得到第二待训练子模型对应的第一隐层结果，再将第二待训练子模型对应的第一隐层结果输入第二待训练子模型中对应的第二隐层得到第二预测结果。
76.步骤s320，根据第一预测结果与第二预测结果确定检测对象的预测3d位置信息。
77.在本公开的一种示例实施例中，在通过上述步骤得到第一预测结果与第二预测结果之后，可以根据第一预测结果与第二预测结果确定检测对象的预测3d位置信息。具体的，可以将第一预测结果与第二预测结果输入全连接层，再通过第一待训练模型的隐层进行处理得到检测对象的预测3d位置信息。
78.举例而言，如图4所示，可以将2d关键位置信息输入第一待训练子模型，该第一待训练子模型中包括6个隐层，每个隐层中分别包括卷积层、归一化层以及激活层，得到第一预测结果，并将3d关键位置信息输入第二待训练子模型，该第二待训练子模型中包括1个隐层，该隐层中分别包括卷积层、归一化层以及激活层，得到第二预测结果，将第一预测结果与第二预测结果输入全连接层，再输入第一待训练模型的隐层得到检测对象的预测3d位置信息。其中，卷积层中可以包括多个卷积参数，例如卷积核大小、输入通道数、输出通道数，如图4中(5,51,1024)中的三个数字分别表示该卷积层的卷积核大小、输入通道数、输出通道数。
79.通过上述步骤s310～s320，可以将2d关键位置信息输入第一待训练子模型得到第一预测结果，将3d关键位置信息输入第二待训练子模型第二预测结果，根据第一预测结果与第二预测结果确定检测对象的预测3d位置信息，通过本公开的实施例，可以分别将2d关键位置信息以及3d关键位置信息输入不同的待训练子模型，且针对不同维度的关键信息采用不同的神经网络结构，能够提升不同维度的关键位置信息的学习效率，提升了第一待训练模型的训练效率。
80.在本公开的一种示例实施例中，可以将第一数量的检测对象样本数据对应的2d关键位置信息以及3d关键位置信息输入第一待训练模型，得到第二数量的检测对象的预测3d位置信息。其中，第一数量的2d关键位置信息对应的检测对象样本数据为第一时间段内获取的数据，第二数量的3d关键位置信息以及第二数量的预测3d位置信息对应的检测对象样本数据为第二时间段内获取的数据，第二时间段位于第一时间段的时间区间内，第一数量大于第二数量。具体的，可以通过更长时间的2d关键位置信息预测更短时间的3d位置信息。即在预测第ti帧到第tj帧的检测对象的预测3d位置信息时，可以采用第ti‑△
t帧到第ti+
△
t帧的2d关键位置信息以及第ti帧到第tj帧的3d关键位置信息进行预测。采用更长时间的2d关键位置信息预测更短时间的3d位置信息，能够提升检测对象的预测3d位置信息的准确性。
81.步骤s230，根据检测对象的预测3d位置信息与3d位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
82.在本公开的一种示例实施例中，在通过上述步骤得到检测对象的预测3d位置信息之后，可以获取检测对象样本数据中的3d位置信息标签，并根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。具体的，通过上述步骤得到的检测对象的预测3d位置信息可以用于指示检测对象在3d虚拟环境中的预测位置，该检测对象的预测3d位置信息为预测值，此时可以获取该检测对象对应的真实值，即检测对象样本数据中的3d位置信息标签，该3d位置信息标签可以用于指示检测对象在3d虚拟环境中的位置。此时，可以将检测对象的预测3d位置信息(预测值)与检测对象的3d位置信息标签(真实值)进行比较，得到检测对象的预测3d位置信息(预测值)与检测对象的3d位置信息标签(真实值)的预测差值，并根据该预测差值对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
83.具体的，第一待训练模型的神经网络参数可以包括模型层数、特征通道数、学习率等，在根据该预测差值对第一待训练模型的神经网络参数进行更新，以得到位置确定模型时，可以对第一待训练模型的模型层数、特征通道数、学习率进行更新，以得到位置确定模型。
84.需要说明的是，本公开对于第一待训练模型的神经网络参数的具体类型并不做特殊限定。
85.在本公开的一种示例实施例中，可以通过反向传播算法对第一待训练模型的神经网络参数进行更新，在训练结束后，得到位置确定模型。
86.需要说明的是，本公开对于根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新的具体方式并不做特殊限定。
87.在本公开的一种示例实施例中，可以根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型。具体的，第一待训练模型满足收敛条件是指，第一待训练模型的预测准确性较高，可以进行应用。举例而言，收敛条件可以包括训练次数，例如当第一待训练模型训练n次后，结束训练；再如，收敛条件可以包括训练时长，例如当第一待训练模型训练t时长后，结束训练。
88.需要说明的是，本公开对于收敛条件的具体内容并不做特殊限定，通过对模型施加收敛条件，能够更好的控制第一待训练模型的训练进程，避免神经网络过度训练的问题，从而提升第一待训练模型的训练效率。
89.在本公开的一种示例实施例中，可以获取多个检测对象的预测3d位置信息，根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动速度，根据多个检测对象的预测3d位置信息确定检测对象的预测运动速度，在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。参照图5所示，在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型，可以包括以下步骤s510～s540：
90.步骤s510，获取多个检测对象的预测3d位置信息；其中，多个检测对象的预测3d位置信息是通过对第三时间段内的多个检测对象样本数据进行预测得到的；
91.在本公开的一种示例实施例中，可以通过上述步骤对多个检测对象样本数据进行
预测，得到多个检测对象的预测3d位置信息。其中，多个检测对象的预测3d位置信息是通过对第三时间段内的多个检测对象样本数据进行预测得到的。具体的，预测得到的多个检测对象的预测3d位置信息是第三时间段内连续多帧的3d位置信息。
92.需要说明的是，本公开对于获取多个检测对象的预测3d位置信息的具体方式并不做特殊限定。
93.步骤s520，根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动速度；
94.在本公开的一种示例实施例中，在通过上述步骤的多个检测对象的预测3d位置信息之后，可以根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动速度。具体的，可以获取多个预测3d位置信息对应的检测对象样本数据，并获取该些检测对象样本数据对应的3d位置信息标签，并记录该些对象样本数据对应的3d位置信息标签的运动轨迹，此时，可以通过该些检测对象样本数据对应的3d位置信息标签的运动轨迹计算检测对象的运动速度。
95.具体而言，检测对象的运动速度可以包括检测对象在第三时间段内的平均速度，也可以包括检测对象在第三时间段内某一时刻的瞬时速度。
96.需要说明的是，本公开对于检测对象的运动速度的具体形式以及根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动速度的具体方式并不做特殊限定。
97.步骤s530，根据多个检测对象的预测3d位置信息确定检测对象的预测运动速度；
98.在本公开的一种示例实施例中，在通过上述步骤得到多个检测对象的预测3d位置信息之后，可以根据多个检测对象的预测3d位置信息确定检测对象的预测运动速度。具体的，可以记录该些对象样本数据对应的预测3d位置信息的运动轨迹，并通过该些检测对象样本数据对应的预测3d位置信息的运动轨迹计算检测对象的运动速度。
99.具体而言，检测对象的预测运动速度可以包括检测对象在第三时间段内的平均预测速度，也可以包括检测对象在第三时间段内某一时刻的瞬时预测速度。
100.需要说明的是，本公开对于检测对象的预测运动速度的具体形式并不做特殊限定，若通过上述步骤确定的检测对象的运动速度为平均速度，则需要根据多个检测对象的预测3d位置信息确定检测对象的平均预测速度；若通过上述步骤确定的检测对象的运动速度为瞬时速度，则需要根据多个检测对象的预测3d位置信息确定检测对象的瞬时预测速度。
101.在本公开的一种示例实施例中，在获取到检测对象的运动轨迹与检测对象的的运动轨迹之后，可以通过检测对象的运动轨迹确定检测对象的运动速度，可以通过检测对象的预测运动轨迹确定检测对象的预测运动速度。具体的，可以通过计算检测对象的运动轨迹的一阶导得到检测对象的运动速度，可以通过计算检测对象的预测运动轨迹的一阶导得到检测对象的预测运动速度。
102.需要说明的是，本公开对于根据所述多个检测对象样本数据中的3d位置信息标签确定所述检测对象的运动速度以及根据所述多个检测对象的预测3d位置信息确定所述检测对象的预测运动速度的具体方式并不做特殊限定。
103.步骤s540，在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
104.在本公开的一种示例实施例中，在通过上述步骤得到检测对象的运动速度以及检测对象的预测运动速度之后，可以比较检测对象的运动速度以及检测对象的预测运动速度，在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。具体的，在进行模型训练时，可以为模型训练配置收敛条件，即收敛条件为在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，即此时可以对检测对象的运动速度与检测对象的预测运动速度进行做差得到速度误差，当该速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
105.需要说明的是，本公开对于第一阈值的具体数值并不做特殊限定。
106.在本公开的一种示例实施例中，检测对象的运动速度与检测对象的预测运动速度的速度误差可以包括直接误差。例如，可以直接计算检测对象的运动速度与检测对象的预测运动速度的差值，该差值为直接误差。或者，可以计算检测对象的运动速度与检测对象的预测运动速度的差值，并对该差值进行平方计算得到的结果为平方误差。
107.需要说明的是，本公开对于速度误差的具体类型并不做特殊限定。
108.通过上述步骤s510～s540，可以获取多个检测对象的预测3d位置信息，根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动速度，根据多个检测对象的预测3d位置信息确定检测对象的预测运动速度，在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型，通过本公开的实施例，在满足预测3d位置信息准确的基础上，还要提升预测检测对象的3d位置信息的运动速度的准确性，使得检测对象在虚拟环境中的映射对象的运动速度更加符合检测对象的运动速度。
109.在本公开的一种示例实施例中，可以获取多个检测对象的预测3d位置信息，根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动加速度，根据多个检测对象的预测3d位置信息确定检测对象的预测运动加速度，在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。参照图6所示，在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型，可以包括以下步骤s610～s640：
110.步骤s610，获取多个检测对象的预测3d位置信息；其中，多个检测对象的预测3d位置信息是通过对第四时间段内的多个检测对象样本数据进行预测得到的；
111.在本公开的一种示例实施例中，可以通过上述步骤对多个检测对象样本数据进行预测，得到多个检测对象的预测3d位置信息。其中，多个检测对象的预测3d位置信息是通过对第四时间段内的多个检测对象样本数据进行预测得到的。具体的，预测得到的多个检测对象的预测3d位置信息是第四时间段内连续多帧的3d位置信息。
112.需要说明的是，本公开对于获取多个检测对象的预测3d位置信息的具体方式并不做特殊限定。
113.步骤s620，根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动加速度；
114.在本公开的一种示例实施例中，在通过上述步骤的多个检测对象的预测3d位置信
息之后，可以根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动加速度。具体的，可以获取多个预测3d位置信息对应的检测对象样本数据，并获取该些检测对象样本数据对应的3d位置信息标签，并记录该些对象样本数据对应的3d位置信息标签的运动轨迹，此时，可以通过该些检测对象样本数据对应的3d位置信息标签的运动轨迹计算检测对象的运动加速度。
115.具体而言，检测对象的运动速度可以包括检测对象在第四时间段内的平均加速度，也可以包括检测对象在第四时间段内某一时刻的瞬时加速度。
116.需要说明的是，本公开对于检测对象的运动加速度的具体形式以及根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动加速度的具体方法并不做特殊限定。
117.步骤s630，根据多个检测对象的预测3d位置信息确定检测对象的预测运动加速度；
118.在本公开的一种示例实施例中，在通过上述步骤得到多个检测对象的预测3d位置信息之后，可以根据多个检测对象的预测3d位置信息确定检测对象的预测运动加速度。具体的，可以记录该些对象样本数据对应的预测3d位置信息的运动轨迹，并通过该些检测对象样本数据对应的预测3d位置信息的运动轨迹计算检测对象的运动加速度。
119.具体而言，检测对象的预测运动加速度可以包括检测对象在第四时间段内的平均预测加速度，也可以包括检测对象在第四时间段内某一时刻的瞬时预测加速度。
120.需要说明的是，本公开对于检测对象的预测运动加速度的具体形式并不做特殊限定，若通过上述步骤确定的检测对象的运动加速度为平均加速度，则需要根据多个检测对象的预测3d位置信息确定检测对象的平均预测加速度；若通过上述步骤确定的检测对象的运动速度为瞬时加速度，则需要根据多个检测对象的预测3d位置信息确定检测对象的瞬时预测加速度。
121.在本公开的一种示例实施例中，在获取到检测对象的运动轨迹与检测对象的的运动轨迹之后，可以通过检测对象的运动轨迹确定检测对象的运动加速度，可以通过检测对象的预测运动轨迹确定检测对象的预测运动加速度。具体的，可以通过计算检测对象的运动轨迹的二阶导得到检测对象的运动加速度，可以通过计算检测对象的预测运动轨迹的二阶导得到检测对象的预测运动加速度。
122.需要说明的是，本公开对于根据所述多个检测对象样本数据中的3d位置信息标签确定所述检测对象的运动加速度以及根据所述多个检测对象的预测3d位置信息确定所述检测对象的预测运动加速度的具体方式并不做特殊限定。
123.步骤s640，在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
124.在本公开的一种示例实施例中，在通过上述步骤得到检测对象的运动加速度以及检测对象的预测运动加速度之后，可以比较检测对象的运动加速度以及检测对象的预测运动加速度，在检测对象的运动加速度与检测对象的预测加运动速度的速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。具体的，在进行模型训练时，可以为模型训练配置收敛条件，即收敛条件为在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条
件，即此时可以对检测对象的运动加速度与检测对象的预测运动加速度进行做差得到加速度误差，当该速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
125.需要说明的是，本公开对于第二阈值的具体数值并不做特殊限定。
126.在本公开的一种示例实施例中，检测对象的运动加速度与检测对象的预测运动加速度的加速度误差可以包括直接误差。例如，可以直接计算检测对象的运动加速度与检测对象的预测运动加速度的差值，该差值为直接误差。或者，可以计算检测对象的运动加速度与检测对象的预测运动加速度的差值，并对该差值进行平方计算得到的结果为平方误差。
127.需要说明的是，本公开对于加速度误差的具体类型并不做特殊限定。
128.通过上述步骤s610～s640，可以获取多个检测对象的预测3d位置信息，根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动加速度，根据多个检测对象的预测3d位置信息确定检测对象的预测运动加速度，在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型，将检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值作为收敛条件，能够提升检测对象在虚拟环境中的映射对象的运动加速度的准确性，使得虚拟环境中的映射对象的运动能够符合检测对象的运动，延迟更低，动作平滑度更好。
129.在本公开的一种示例实施例中，可以根据所述检测对象的预测3d位置信息与所述3d位置信息标签确定预测3d位置信息差值，在所述预测3d位置信息差值小于第三阈值时，所述第一待训练模型满足收敛条件，将所述第一待训练模型确定为位置确定模型。具体而言，可以比较检测对象的预测3d位置信息与3d位置信息标签，以确定预测3d位置信息差值。举例而言，可以计算检测对象的预测3d位置信息与3d位置信息标签之间的欧式距离，并以该欧式距离作为预测3d位置信息差值，在预测3d位置信息差值小于第三阈值时，表示第一待训练模型满足收敛条件，此时可以将所述第一待训练模型确定为位置确定模型。
130.需要说明的是，本公开对于根据所述检测对象的预测3d位置信息与所述3d位置信息标签确定预测3d位置信息差值的具体方式以及第三阈值的具体数值并不做特殊限定。
131.在本公开的一种示例实施例中，可以获取检测对象对应的图像，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息，采用多视角重建方法获取检测对象对应的3d位置信息标签，以及获取检测对象对应的3d关键位置信息，根据检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签确定检测对象样本数据。参照图7所示，根据检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签确定检测对象样本数据，可以包括以下步骤s710～s730：
132.步骤s710，获取检测对象对应的图像，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息；
133.在本公开的一种示例实施例中，可以获取检测对象对应的图像。具体的，可以通过终端设备的摄像模组获取检测对象对应的图像。需要说明的是，本公开对于获取检测对象对应的图像的具体方式并不做特殊限定。
134.在通过上述步骤得到检测对象对应的图像之后，可以将检测对象对应的图像输入
2d关键位置检测模型得到检测对象对应的2d关键位置信息。具体的，2d关键位置检测模型可以用于在检测对象对应的图像中获取该检测对象对应的2d关键位置，该2d关键位置检测模型可以为基于神经网络的预训练模型。
135.需要说明的是，本公开对于2d关键位置检测模型的具体形式并不做特殊限定。
136.步骤s720，采用多视角重建方法获取检测对象对应的3d位置信息标签，以及获取检测对象对应的3d关键位置信息；
137.在本公开的一种示例实施例中，可以采用多视角重建方法获取检测对象对应的3d位置信息标签，并获取检测对象对应的3d关键位置信息。具体的，多视角重建方法是指从可能结合局部运动信号的二维图像序列中估计出相应三维结构的方法，即可以通过多个二维图像重建三维结构。举例而言，检测对象为人体，可以以多个摄像模组以多个拍摄角度获取多个检测对象对应的图像，并根据该多个检测对象对应的图像确定检测对象对应的3d位置信息标签，并获取检测对象对应的3d关键位置信息。
138.具体而言，在通过多视角重建方法获取检测对象对应的3d位置信息标签之后，可以根据检测对象对应的3d位置信息标签确定检测对象对应的3d关键位置信息。
139.举例而言，检测对象对应的3d位置信息标签中包括检测对象在虚拟环境中映射对象的多个映射点，可以在多个映射点中选取人体关键部位映射点作为检测对象对应的3d关键位置信息，例如人体头部、四肢等位置的映射点作为检测对象对应的3d关键位置信息。
140.需要说明的是，本公开对于采用多视角重建方法获取检测对象对应的3d位置信息标签以及获取检测对象对应的3d关键位置信息的具体方式并不做特殊限定。
141.步骤s730，根据检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签确定检测对象样本数据。
142.在本公开的一种示例实施例中，在通过上述步骤得到检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签之后，可以将检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签合成为检测对象样本数据，该检测对象样本数据可以用于对第一待训练模型进行训练。
143.通过上述步骤s710～s730，可以获取检测对象对应的图像，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息，采用多视角重建方法获取检测对象对应的3d位置信息标签，以及获取检测对象对应的3d关键位置信息，根据检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签确定检测对象样本数据，通过本公开的实施例，能够生产训练数据，以解决针对第一待训练模型进行训练时，训练数据不足的问题。
144.在本公开的一种示例实施例中，可以将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息。具体的，3d关键位置预估模型可以用于通过检测对象对应的2d关键位置信息预估检测对象对应的3d关键位置信息。举例而言，检测对象为人体，检测对象对应的2d关键位置信息为人体的2d头部位置、2d四肢位置等，此时可以将检测对象对应的2d关键位置信息输入3d关键位置预估模型，得到检测对象对应的3d关键位置信息，即人体的3d头部位置、3d四肢位置等。需要说明的是，本公开对于3d关键位置预估模型的神经网络结构并不做特殊限定。通过本公开的实施例，可以在获取
检测对象对应的2d关键位置信息的基础上，得到检测对象对应的3d关键位置信息，提升获取检测对象的3d位置信息的效率。
145.在本公开的一种示例实施例中，可以根据检测对象对应的3d位置信息标签确定检测对象对应的3d关键位置信息，将检测对象对应的2d关键位置信息输入第二待训练模型得到预测3d关键位置信息，根据预测3d关键位置信息与3d关键位置信息对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型。参照图8所示，根据预测3d关键位置信息与3d关键位置标签对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型，可以包括以下步骤s810～s830：
146.步骤s810，根据检测对象对应的3d位置信息标签确定检测对象对应的3d关键位置信息；
147.在本公开的一种示例实施例中，在通过上述步骤得到检测对象对应的3d位置信息标签之后，可以根据检测对象对应的3d位置信息标签确定检测对象对应的3d关键位置信息。具体的，检测对象对应的3d位置信息标签可以包括检测对象在虚拟环境中映射对象的3d位置信息，可以通过该3d位置信息确定检测对象对应的3d关键位置信息。举例而言，检测对象为人体，可以将3d位置信息中的头部以及四肢的位置信息作为检测对象对应的3d关键位置信息。
148.需要说明的是，本公开对于根据检测对象对应的3d位置信息标签确定检测对象对应的3d关键位置信息的具体方式并不做特殊限定。
149.步骤s820，将检测对象对应的2d关键位置信息输入第二待训练模型得到预测3d关键位置信息；
150.在本公开的一种示例实施例中，可以将检测对象对应的2d关键位置信息输入第二待训练模型得到预测3d关键位置信息。具体的，第二待训练模型可以用于通过检测对象对应的2d关键位置信息预估检测对象对应的预测3d关键位置信息。
151.步骤s830，根据预测3d关键位置信息与3d关键位置信息对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型。
152.在本公开的一种示例实施例中，在通过上述步骤得到检测对象对应的3d关键位置信息以及预测3d关键位置信息之后，可以根据预测3d关键位置信息与3d关键位置信息对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型。具体的，可以比较预测3d关键位置信息与3d关键位置信息得到预测差值，并根据该预测差值对第二待训练模型的神经网络参数进行更新，，得到3d关键位置预估模型。举例而言，可以采用反向传播算法对第二待训练模型的神经网络参数进行更新。
153.需要说明的是，本公开对于根据预测3d关键位置信息与3d关键位置信息对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型的具体方式并不做特殊限定。
154.通过上述步骤s810～s830，可以根据检测对象对应的3d位置信息标签确定检测对象对应的3d关键位置信息，将检测对象对应的2d关键位置信息输入第二待训练模型得到预测3d关键位置信息，根据预测3d关键位置信息与3d关键位置信息对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型，通过本公开的实施例，可以训练3d关键位置预估模型，在使用本公开的位置确定模型时，可以采用3d关键位置预估模型预估检测对象
对应的3d关键位置信息，并将该检测对象对应的3d关键位置信息与检测对象对应的2d关键位置信息输入位置确定模型以得到3d位置信息，从而提升3d位置信息预测的效率。
155.在本公开的一种示例实施例中，可以通过摄像模组获取检测对象对应的图像，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息，将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息，将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息。参照图9所示，将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息，可以包括以下步骤s910～s940：
156.步骤s910，通过摄像模组获取检测对象对应的图像；
157.在本公开的一种示例实施例中，可以获取检测对象对应的图像。本公开的方案，可以应用于虚拟直播、虚拟穿戴、游戏互动、内容创作等场景中。
158.举例而言，在虚拟直播的场景中，主播(检测对象)可以通过单摄像模组获取直播画面，并在虚拟直播间中进行显示。采用单摄像模组即可确定虚拟对象在虚拟场景中的位置，提升了单摄像模组的动作捕捉效率，从而避免了同种场景中采用多摄像模组导致成本上升的问题。
159.需要说明的是，本公开对于通过摄像模组获取检测对象对应的图像的具体方式并不做特殊限定。
160.步骤s920，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息；
161.在本公开的一种示例实施例中，在通过上述步骤得到检测对象对应的图像之后，可以将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息。具体的，2d关键位置检测模型可以包括预训练好的神经网络模型，该2d关键位置检测模型可以用于根据检测对象对应的图像得到检测对象对应的2d关键位置信息。
162.在本公开的一种示例实施例中，检测对象对应的图像为rgb图像。
163.步骤s930，将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息；
164.在本公开的一种示例实施例中，在通过上述步骤得到检测对象对应的2d关键位置信息之后，可以将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息。具体的，3d关键位置预估模型可以包括本公开中训练的神经网络模型，该3d关键位置预估模型可以用于根据检测对象对应的2d关键位置信息得到检测对象对应的3d关键位置信息。
165.步骤s940，将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息；
166.在本公开的一种示例实施例中，在通过上述步骤得到检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息之后，可以将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息。其中，3d位置信息用于指示检测对象在3d虚拟环境中的位置，位置确定模型是通过如上述位置确定模型训练方法得到的。具体的，检测对象的3d位置信息可以用于指示检测对象在虚拟环
境中的映射对象的3d位置。
167.需要说明的是，本公开对于2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象的3d位置信息的具体形式并不做特殊限定。
168.通过上述步骤s910～s940，可以获取检测对象对应的图像，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息，将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息，将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息。
169.本公开的一种实施例提供的位置确定模型训练方法中，可以获取检测对象样本数据；其中，检测对象样本数据中包括2d关键位置信息、3d关键位置信息以及3d位置信息标签，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息，根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
170.本公开的实施例，可以将2d关键位置信息以及3d关键位置信息输入待训练模型的得到预测3d位置信息，并根据预测3d位置信息与标签对待训练模型进行训练。能够在位置确定模型中加入了检测对象的3d关键位置信息，能够在位置确定模型中融入检测对象的空间信息，从而提升检测对象在虚拟场景中的位置的准确性。
171.需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
172.此外，在本公开的示例性实施方式中，还提供了一种位置确定模型训练装置。参照图10所示，一种位置确定模型训练装置1000包括：样本数据获取单元1010，预测信息获取单元1020以及位置确定模型训练单元1030。
173.其中，样本数据获取单元，被配置为执行获取检测对象样本数据；其中，检测对象样本数据中包括2d关键位置信息、3d关键位置信息以及3d位置信息标签；其中，3d位置信息标签用于指示检测对象在3d虚拟环境中的位置；预测信息获取单元，被配置为执行将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息；位置确定模型训练单元，被配置为执行根据检测对象的预测3d位置信息与3d位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。
174.在本公开的一种示例性实施例中，基于前述方案，第一待训练模型包括第一待训练子模型与第二待训练子模型，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息，位置确定模型训练装置还包括：预测结果获取单元，被配置为执行将2d关键位置信息输入第一待训练子模型得到第一预测结果，将3d关键位置信息输入第二待训练子模型第二预测结果；预测结果融合单元，被配置为执行根据第一预测结果与第二预测结果确定检测对象的预测3d位置信息。
175.在本公开的一种示例性实施例中，基于前述方案，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息，位置确定模型训练装置还包括：3d位置信息预测单元，被配置为执行将第一数量的2d关键位置信息以及第二数量的3d关键位置信息输入第一待训练模型，得到第二数量的检测对象的预测3d位置信息；其中，
第一数量的2d关键位置信息对应的检测对象样本数据为第一时间段内获取的数据，第二数量的3d关键位置信息为第二时间段内获取的数据；第二时间段位于第一时间段的时间区间内，第一数量大于第二数量。
176.在本公开的一种示例性实施例中，基于前述方案，根据检测对象的预测3d位置信息与3d位置信息标签，对第一待训练模型的神经网络参数进行更新，以得到位置确定模型，位置确定模型训练装置还包括：第一收敛条件判断单元，被配置为执行根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型。
177.在本公开的一种示例性实施例中，基于前述方案，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型，位置确定模型训练装置还包括：第一位置获取单元，被配置为执行获取多个检测对象的预测3d位置信息；其中，多个检测对象的预测3d位置信息是通过对第三时间段内的多个检测对象样本数据进行预测得到的；运动速度确定单元，被配置为执行根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动速度；预测运动速度确定单元，被配置为执行根据多个检测对象的预测3d位置信息确定检测对象的预测运动速度；第二收敛条件判断单元，被配置为执行在检测对象的运动速度与检测对象的预测运动速度的速度误差小于第一阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
178.在本公开的一种示例性实施例中，基于前述方案，在第一待训练模型满足收敛条件时，将第一待训练模型确定为位置确定模型，位置确定模型训练装置还包括：第二位置获取单元，被配置为执行获取多个检测对象的预测3d位置信息；其中，多个检测对象的预测3d位置信息是通过对第四时间段内的多个检测对象样本数据进行预测得到的；运动加速度确定单元，被配置为执行根据多个检测对象样本数据中的3d位置信息标签确定检测对象的运动加速度；预测运动加速度确定单元，被配置为执行根据多个检测对象的预测3d位置信息确定检测对象的预测运动加速度；第三收敛条件判断单元，被配置为执行在检测对象的运动加速度与检测对象的预测运动加速度的加速度误差小于第二阈值时，第一待训练模型满足收敛条件，将第一待训练模型确定为位置确定模型。
179.在本公开的一种示例性实施例中，基于前述方案，所述在所述第一待训练模型满足收敛条件时，将所述第一待训练模型确定为位置确定模型，所述位置确定模型训练装置还包括：预测差值确定单元，被配置为执行根据所述检测对象的预测3d位置信息与所述3d位置信息标签确定预测3d位置信息差值；第四收敛条件判断单元，被配置为执行在所述预测3d位置信息差值小于第三阈值时，所述第一待训练模型满足收敛条件，将所述第一待训练模型确定为位置确定模型。
180.在本公开的一种示例性实施例中，基于前述方案，在获取检测对象样本数据之前，位置确定模型训练装置还包括：图像获取单元，被配置为执行获取检测对象对应的图像，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息；多视角重建单元，被配置为执行采用多视角重建方法获取检测对象对应的3d位置信息标签，以及获取检测对象对应的3d关键位置信息；样本数据确定单元，被配置为执行根据检测对象对应的2d关键位置信息、检测对象对应的3d关键位置信息以及检测对象对应的3d位置信息标签确定检测对象样本数据。
181.在本公开的一种示例性实施例中，基于前述方案，获取检测对象对应的3d关键位置信息，位置确定模型训练装置还包括：3d关键位置信息预估单元，被配置为执行将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息。
182.在本公开的一种示例性实施例中，基于前述方案，位置确定模型训练装置还包括：关键位置确定单元，被配置为执行根据检测对象对应的3d位置信息标签确定检测对象对应的3d关键位置信息；预测关键位置确定单元，被配置为执行第五中间计算结果获取单元，被配置为执行将检测对象对应的2d关键位置信息输入第二待训练模型得到预测3d关键位置信息；关键位置预估模型训练单元，被配置为执行根据预测3d关键位置信息与3d关键位置信息对第二待训练模型的神经网络参数进行更新，得到3d关键位置预估模型。
183.由于本公开的示例实施例的位置确定模型训练装置的各个功能模块与上述位置确定模型训练方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的位置确定模型训练方法的实施例。
184.此外，在本公开的示例性实施方式中，还提供了一种位置确定模型训练装置。参照图11所示，一种位置确定装置1100包括：检测图像获取单元1110，2d关键位置获取单元1120、3d关键位置获取单元1130以及位置确定单元1140。
185.其中，检测图像获取单元，被配置为执行获取检测对象对应的图像；2d关键位置获取单元，被配置为执行将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息；3d关键位置获取单元，被配置为执行将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息；位置确定单元，被配置为执行将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息；其中，3d位置信息用于指示检测对象在3d虚拟环境中的位置，位置确定模型是通过如上述任意一项的位置确定模型训练方法得到的。
186.由于本公开的示例实施例的位置确定装置的各个功能模块与上述位置确定方法的示例实施例的步骤对应，因此对于本公开装置实施例中未披露的细节，请参照本公开上述的位置确定方法的实施例。
187.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
188.此外，在本公开的示例性实施例中，还提供了一种能够实现上述位置确定模型训练方法或位置确定方法的电子设备。
189.所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。
190.下面参照图12来描述根据本公开的这种实施例的电子设备1200。图12显示的电子设备1200仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
191.如图12所示，电子设备1200以通用计算设备的形式表现。电子设备1200的组件可以包括但不限于：上述至少一个处理单元1210、上述至少一个存储单元1220、连接不同系统
组件(包括存储单元1220和处理单元1210)的总线1230、显示单元1240。
192.其中，存储单元存储有程序代码，程序代码可以被处理单元1210执行，使得处理单元1210执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，处理单元1210可以执行如图2中所示的步骤s210，获取检测对象样本数据；其中，检测对象样本数据中包括2d关键位置信息、3d关键位置信息以及3d位置信息标签；其中，3d位置信息标签用于指示检测对象在3d虚拟环境中的位置；步骤s220，将2d关键位置信息以及3d关键位置信息输入第一待训练模型得到检测对象的预测3d位置信息；步骤s230，根据检测对象的预测3d位置信息与3d位置信息标签对第一待训练模型的神经网络参数进行更新，以得到位置确定模型。或者，还可以执行如图9中所示的步骤s910，获取检测对象对应的图像；步骤s920，将检测对象对应的图像输入2d关键位置检测模型得到检测对象对应的2d关键位置信息；步骤s930，将检测对象对应的2d关键位置信息输入3d关键位置预估模型得到检测对象对应的3d关键位置信息；步骤s940，将检测对象对应的2d关键位置信息以及检测对象对应的3d关键位置信息输入位置确定模型，得到检测对象的3d位置信息；
193.又如，电子设备可以实现如图2与图9所示的各个步骤。
194.存储单元1220可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)1221和/或高速缓存存储单元1222，还可以进一步包括只读存储单元(rom)1223。
195.存储单元1220还可以包括具有一组(至少一个)程序模块1225的程序/实用工具1224，这样的程序模块1225包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
196.总线1230可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
197.电子设备1200也可以与一个或多个外部设备1270(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1200交互的设备通信，和/或与使得该电子设备1200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1250进行。并且，电子设备1200还可以通过网络适配器1260与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1260通过总线1230与电子设备1200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
198.通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。
199.在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
200.在示例性实施例中，还提供一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现上述实施例中的位置确定模型训练方法或位置确定方法。
201.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
202.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。