人体关键点检测方法、模型训练方法、介质和设备与流程

本发明涉及图像检测，尤其是涉及一种人体关键点检测方法、模型训练方法、介质和设备。

背景技术：

1、人体关键点检测方法，主要分为两类：一类属于自顶向下范式，另一类属于自顶向上范式。

2、其中，自顶向下范式分为两个步骤：第一步是对输入的初始图像进行人体特征提取，找出初始图像中的一个或多个人的区域，并将这些区域从初始图像中裁剪出来，作为人体区域图像。第二步是对每张人体区域图像进行单人的关键点特征提取，预测每张人体区域图像内关键点的位置和置信度。

3、可见，自顶向下的范式在以上两个步骤中会重复地对图像进行特征提取，因此存在重复计算的问题，尤其是在图像内同时有多人时，处理效率会相对较慢。

技术实现思路

1、基于此，有必要提供人体关键点检测方法、模型训练方法、介质和设备，以解决现有方法处理效率相对较慢的问题。

2、一种人体关键点检测模型的训练方法，所述人体关键点检测模型包括特征提取模块、及分别与所述特征提取模块连接的人体检测器及关键点检测器，所述方法包括：

3、获取训练数据集；其中，所述训练数据集包括多张训练图像，每张训练图像包括对应标注的人体检测框标签及关键点标签；

4、将目标训练图像输入所述特征提取模块进行特征提取，获取提取到的整体特征图；其中，所述目标训练图像为所述多张训练图像中的任意一张；

5、将所述整体特征图输入所述人体检测器进行人体检测，获取输出的所述目标训练图像的人体检测框预测信息；

6、基于所述人体检测框预测信息，及所述目标训练图像与所述整体特征图之间的映射关系从所述整体特征图中裁剪出对应的至少一张局部特征图，并将所有局部特征图分别输入所述关键点检测器进行关键点检测，获取输出的所有局部特征图的关键点预测信息；

7、根据所述人体检测框标签和所述人体检测框预测信息计算人体检测损失值，根据所述关键点标签及所述关键点预测信息计算关键点检测损失值，根据所述人体检测损失值和所述关键点检测损失值计算总损失值，并根据所述总损失值调整所述人体关键点检测模型的参数，若所述人体关键点检测模型未收敛，则返回执行所述将目标训练图像输入所述特征提取模块进行特征提取的步骤及后续步骤，直至所述人体关键点检测模型收敛。

8、在其中一个实施例中，所述人体检测器包括连接的下采样网络和特征融合网络，所述下采样网络包括依次连接的i层下采样卷积层，所述特征融合网络包括依次连接的i-1层特征融合单元，每层特征融合单元包括依次连接的调整卷积层、上采样层及拼接层，且在第i-1层特征融合单元内，调整卷积层与第i层下采样卷积层连接，拼接层与第i-1层下采样卷积层连接，i和i为正整数，2≤i≤i；

9、所述将所述整体特征图输入所述人体检测器进行人体检测，获取输出的所述目标训练图像的人体检测框预测信息，包括：

10、将所述整体特征图输入所述下采样网络，以得到多张下采样特征图；其中，第i层下采样卷积层输出第i特征尺度和第i通道数的第i下采样特征图；

11、令i的初始值为i，将第i下采样特征图作为第i输入特征图，输入第i-1层特征融合单元的调整卷积层，以通过调整卷积层调整通道数并进行特征提取，且通过上采样层调整特征尺度，得到第i-1特征尺度和第i-1通道数的第i-1上采样特征图，并输入拼接层；

12、将第i-1下采样特征图输入第i-1层特征融合单元的拼接层，以通过拼接层对第i-1上采样特征图和第i-1下采样特征图进行拼接，得到第i-1拼接特征图；

13、将第i-1拼接特征图作为第i-1输入特征图,令i＝i-1,返回执行所述输入第i-1层特征融合单元的调整卷积层的步骤及后续步骤，直至得到第1拼接特征图；

14、将所述第1拼接特征图映射为人体检测框并进行非极大值抑制处理，获取处理后输出的所述人体检测框预测信息。

15、在其中一个实施例中，所述关键点检测器包括依次连接的特征尺度调整层、多层关键点特征卷积层及后处理层，所述将所有局部特征图分别输入所述关键点检测器进行关键点检测，获取输出的所有局部特征图的关键点预测信息，包括：

16、将所有局部特征图输入所述特征尺度调整层进行尺度调整，并获取输出的预设特征尺度的第一中间特征图；

17、将所述第一中间特征图输入所述多层关键点特征卷积层进行特征提取，并获取输出的包含关键点特征的第二中间特征图；

18、将所述第二中间特征图输入所述后处理层进行关键点提取，并获取输出的关键点预测信息。

19、在其中一个实施例中，输出的第二中间特征图为多通道的特征图，每一通道的第二中间特征图对应一类关键点，第二中间特征图内的特征值，为对应类别关键点在特征图的每个位置的概率值，所述关键点预测信息包括关键点预测置信度和关键点预测坐标，所述将所述第二中间特征图输入所述后处理层进行关键点提取，并获取输出的关键点预测信息，包括：

20、将多通道的第二中间特征图输入所述后处理层，获取每一通道第二中间特征图的最大值作为所述关键点预测置信度输出，且将且将所述最大值对应的坐标作为所述关键点预测坐标输出。

21、在其中一个实施例中，所述人体检测损失值包括置信度损失值和人体框位置损失值，所述置信度损失值的计算公式为：

22、

23、上式中，n为预测的人体检测框总数；pi为预测的第i个人体检测框内目标的置信度，qi为标注的第i个人体检测框内目标的置信度，pi和qi的取值在0-1之间，取值越接近0，表示人体检测框内的目标不是人的概率越高，取值越接近1，表示人体检测框内目标是人的概率越高；

24、所述人体框位置损失值的计算公式为：

25、

26、上式中，指示标注的人体检测框的左上角横坐标和纵坐标，指示标注的人体检测框的右下角横坐标和纵坐标，(xi_min′,yi_min′)指示预测的人体检测框的左上角横坐标和纵坐标，(xi_max′,yi_max′)指示预测的人体检测框的右下角横坐标和纵坐标。

27、在其中一个实施例中，所述关键点检测损失值的计算公式为：

28、

29、上式中，w指示所述整体特征图的宽，h指示所述整体特征图的高，m指示预测的关键点总数，yijmn指示标注的第i高第j宽的第n个人体检测框内的第m个关键点的坐标，yi′jmn指示预测的第i高第j宽的第n个人体检测框内的第m个关键点的坐标。

30、在其中一个实施例中，所述根据所述人体检测损失值和所述关键点检测损失值计算总损失值的计算方式为：

31、loss＝α*lossconf+β*lossposition+γ*losskpts

32、上式中，α、β、γ为0-1间的预设值，α+β+γ＝1。

33、一种人体关键点检测方法，所述方法包括：

34、获取待检测的目标图像，将所述目标图像输入已收敛的人体关键点检测模型进行检测，获取输出的人体检测框预测信息和关键点预测信息；其中，已收敛的人体关键点检测模型通过上述人体关键点检测模型的训练方法训练得到。

35、一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述人体关键点检测方法及人体关键点检测模型的训练方法的步骤

36、一种终端设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述人体关键点检测方法及人体关键点检测模型的训练方法的步骤。

37、本发明提供了人体关键点检测方法、模型训练方法、介质和设备，其中人体关键点检测模型包括特征提取模块、人体检测器及关键点检测器，在模型训练阶段，先将目标训练图像输入特征提取模块进行特征提取，获取提取到的整体特征图；进一步的，将整体特征图输入人体检测器进行人体检测，以得到人体检测框预测信息；进一步的，基于所述人体检测框预测信息，及所述目标训练图像与所述整体特征图之间的映射关系从所述整体特征图中裁剪出对应的至少一张局部特征图，并将所有局部特征图分别输入关键点检测器进行关键点检测，以得到所有局部特征图的关键点预测信息，由于无需重复进行特征提取，也就节省了计算资源。最后根据人体检测框标签和人体检测框预测信息计算人体检测损失值，根据关键点标签及关键点预测信息计算关键点检测损失值，根据人体检测损失值和关键点检测损失值计算总损失值，并根据总损失值迭代调整人体关键点检测模型的参数，直至人体关键点检测模型收敛。在应用阶段，只需将待检测的目标图像输入已收敛的人体关键点检测模型即可。可见在本发明中，特征提取只需在每张训练图像上执行一次，而不是在每个任务(人体检测和关键点检测)中都进行一次，这有效提高了计算效率。