模型训练和关键点预测方法、装置、设备及存储介质与流程

本申请实施例涉及数据处理，尤其涉及一种模型训练和关键点预测方法、装置、设备及存储介质。

背景技术：

1、随着神经网络模型技术的快速发展，越来越多的应用在图像内对于各类内容的关键点预测方面，例如手势关键点预测、面部关键点预测等。此时，为了确保关键点预测的准确性，通常需要训练相应的神经网络模型，来预测图像内的各个关键点。

2、目前，通常是采用大量已标记有各个关键点标签的样本图像，来直接训练关键点预测模型。然而，由于各个样本图像内的目标对象可能会存在不同的姿态，那么在模型训练时，便需要涉及对包含各种姿态下目标对象的样本图像进行训练，因此极大增加了关键点预测模型的训练难度，也在一定程度上影响到关键点预测的准确性。

技术实现思路

1、本申请实施例提供一种模型训练和关键点预测方法、装置、设备及存储介质，通过旋转归一化各样本图像在输入模型前的朝向，降低关键点预测模型的训练难度，提高关键点预测的准确性和稳定性。

2、第一方面，本申请实施例提供了一种模型训练方法，该方法包括：

3、根据样本图像中的至少两个目标关键点，确定所述样本图像内目标对象的姿态朝向；

4、根据所述姿态朝向，将所述样本图像旋转到预设朝向下；

5、采用旋转后的样本图像对预构建的初始预测模型进行训练，得到训练好的关键点预测模型。

6、第二方面，本申请实施例提供了一种关键点预测方法，该方法包括：

7、针对目标视频内的每一当前帧，根据当前帧相邻的上一帧中的至少两个目标关键点，确定所述当前帧内目标对象的姿态朝向；

8、根据所述姿态朝向，将所述当前帧旋转到预设朝向下；

9、将旋转后的当前帧输入到采用第一方面提供的模型训练方法训练好的关键点预测模型中，预测所述当前帧内的关键点。

10、第三方面，本申请实施例提供了一种模型训练装置，该装置包括：

11、第一朝向确定模块，用于根据样本图像中的至少两个目标关键点，确定所述样本图像内目标对象的姿态朝向；

12、第一旋转模块，用于根据所述姿态朝向，将所述样本图像旋转到预设朝向下；

13、模型训练模块，用于采用旋转后的样本图像对预构建的初始预测模型进行训练，得到训练好的关键点预测模型。

14、第四方面，本申请实施例提供了一种关键点预测装置，该装置包括：

15、第二朝向确定模块，用于针对目标视频内的每一当前帧，根据当前帧相邻的上一帧中的至少两个目标关键点，确定所述当前帧内目标对象的姿态朝向；

16、第二旋转模块，用于根据所述姿态朝向，将所述当前帧旋转到预设朝向下；

17、关键点预测模块，用于将旋转后的当前帧输入到采用第一方面提供的模型训练方法训练好的关键点预测模型中，预测所述当前帧内的关键点。

18、第五方面，本申请实施例提供了一种电子设备，该电子设备包括：

19、处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行本申请第一方面中提供的模型训练方法，或者，执行第二方面中提供的关键点预测方法。

20、第六方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如本申请第一方面中提供的模型训练方法，或者第二方面中提供的关键点预测方法。

21、第七方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如本申请第一方面中提供的模型训练方法，或者第二方面中提供的关键点预测方法。

22、本申请实施例提供的一种模型训练和关键点预测方法、装置、设备和存储介质，根据各个样本图像中的至少两个目标关键点指示的样本图像内目标对象的姿态朝向，可以将各个样本图像均旋转到预设朝向下，从而确保样本图像在输入模型前的旋转归一化。然后，采用旋转后的各个样本图像来训练关键点预测模型，使得关键点预测模型输入的训练样本均处于同一朝向下，无需在训练过程中考虑不同朝向下的样本图像的区分处理，极大降低关键点预测模型的训练难度。通过训练好的关键点预测模型来依次预测任一目标视频内每一帧的关键点时，会根据当前帧相邻的上一帧中的至少两个目标关键点，判断当前帧内目标对象的姿态朝向，以将当前帧旋转到预设朝向下。然后，将旋转后的当前帧输入到训练好的关键点预测模型中，来预测当前帧内的各个关键点。此时，通过对目标视频内的每一帧进行旋转归一化矫正，可以利用较小的计算代价，提升关键点预测的准确性和稳定性。

技术特征：

1.一种模型训练方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据样本图像中的至少两个目标关键点，确定所述样本图像内目标对象的姿态朝向，包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述姿态朝向，将所述样本图像旋转到预设朝向下，包括：

4.根据权利要求1所述的方法，其特征在于，所述采用旋转后的样本图像对预构建的初始预测模型进行训练，得到训练好的关键点预测模型，包括：

5.根据权利要求1-4任一项所述的方法，其特征在于，在根据所述姿态朝向，将所述样本图像旋转到预设朝向下之后，还包括：

6.一种关键点预测方法，其特征在于，包括：

7.根据权利要求6所述的方法，其特征在于，所述根据所述姿态朝向，将所述当前帧旋转到预设朝向下，包括：

8.根据权利要求6所述的方法，其特征在于，所述方法还包括：

9.一种模型训练装置，其特征在于，包括：

10.一种关键点预测装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括：

12.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1-5中任一项所述的模型训练方法，或者，权利要求6-8任一项所述的关键点预测方法。

13.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现如权利要求1-5中任一项所述的模型训练方法，或者，权利要求6-8任一项所述的关键点预测方法。

技术总结
本申请提供了一种模型训练和关键点预测方法、装置、设备及存储介质。该模型训练方法包括：根据样本图像中的至少两个目标关键点，确定样本图像内目标对象的姿态朝向；根据所述姿态朝向，将样本图像旋转到预设朝向下；采用旋转后的样本图像对预构建的初始预测模型进行训练，得到训练好的关键点预测模型。本申请实施例通过将各个样本图像均旋转到预设朝向下，从而确保样本图像在输入模型前的旋转归一化，无需在训练过程中考虑不同朝向下的样本图像的区分处理，极大降低关键点预测模型的训练难度，并利用较小的计算代价，提升关键点预测的准确性和稳定性。

技术研发人员：樊凯旋,胡慧,王远江,吴涛
受保护的技术使用者：北京字跳网络技术有限公司
技术研发日：
技术公布日：2024/2/19