关键点检测模型及其检测方法、装置及计算机存储介质与流程

1.本申请实施例涉及人脸识别技术领域，特别涉及一种关键点检测模型及其检测方法、装置及计算机存储介质。


背景技术：

2.人脸关键点检测是人脸识别与分析处理中关键的技术之一，是人脸识别、人脸表情分析、人脸三维重建等技术实现的基础。人脸关键点又称人脸对齐，其有助于定位人脸姿态，还原人脸模型，理解人脸表情属性等。近年来，人脸识别技术的应用已经相对成熟，其中，人脸关键点检测技术也得到广泛的应用。
3.目前，人脸识别在移动设备端得到了越来越多的应用。然而，受限于移动端的资源以及算力配置，导致为移动设备端设计cnn模型非常具有挑战性，因此，如何设计出可满足移动设备端需求的高效模型，是人脸识别中一个新的挑战。
4.另外，实际应用场景中的模糊、昏暗、大角度侧脸、戴口罩、戴眼镜等音素都会对人脸关键点的检测带来困难。如何解决各种特殊应用场景下各种复杂人脸的关键点检测，也是本申请需要研究的一个问题。


技术实现要素：

5.鉴于上述问题，本申请提供一种关键点检测模型训练及其检测方法、装置及计算机存储介质，以克服上述问题或者至少部分地解决上述问题。
6.本申请第一方面提供一种关键点检测模型训练方法，其包括根据初始训练样本，确定所述初始训练样本中各关键点对应的各坐标参数与各第一可见度类别参数；根据预设数据增强规则、所述初始训练样本中各关键点对应的各坐标参数和各第一可见度类别参数，针对所述初始训练样本执行数据增强处理，获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数；以及构建关键点检测模型，并将所述增强训练样本作为输入，将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出，以训练所述关键点检测模型。。
7.本申请第二方面提供一种计算机存储介质，所述计算机存储介质中储存有用于执行上述第一方面所述的关键点检测模型训练方法的各所述步骤的指令。
8.本申请第三方面提供一种关键点检测方法，其包括获得目标样本；利用上述第一方面所述的关键点检测模型训练方法所训练的所述关键点检测模型，针对所述目标样本中的各关键点执行检测，获得所述目标样本中各所述关键点对应的各坐标检测结果以及各可见度分类检测结果。
9.本申请第四方面提供一种计算机存储介质，所述计算机存储介质中储存有用于执行上述第三方面所述的关键点检测方法的各所述步骤的指令。
10.本申请第五方面提供一种关键点检测模型训练装置，其包括：样本获得模块，用于根据初始训练样本，确定所述初始训练样本中多个关键点对应的多个坐标参数和多个第一
可见度类别参数；样本处理模块，用于根据预设数据增强规则、所述初始训练样本中各所述关键点对应的各所述坐标参数和各所述第一可见度类别参数，针对所述初始训练样本执行数据增强处理，获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数；模型训练模块，用于构建关键点检测模型，并将所述增强训练样本作为输入，将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出，以训练所述关键点检测模型。
11.本申请第六方面提供一种关键点检测装置，其包括：目标样本获得模块，用于获得目标样本；目标样本检测模块，用于上述第五方面所述的关键点检测模型训练装置所训练的所述关键点检测模型，针对所述目标样本中的各关键点执行检测，获得所述目标样本中各所述关键点对应的各坐标检测结果以及各可见度分类检测结果。
12.由以上技术方案可见，本申请提供的关键点检测模型训练及其检测方法、装置及计算机存储介质，通过针对初始训练样本执行数据增强处理以获得增强训练样本，并利用增强训练样本训练关键点检测模型。因此，本申请的关键点检测技术可适用于模糊、昏暗、大角度侧脸等各种复杂人脸的识别作业，并可提高人脸识别的成功率及精确度。
13.再者，本申请实施例所构建的关键点检测模型属于轻量级网络结构设计，可节省计算耗时，以满足移动设备端的算力需求。
附图说明
14.为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
15.图1为本申请第一实施例的关键点检测模型训练方法的流程示意图；
16.图2为本申请的初始训练样本中的关键点位置的实施例示意图；
17.图3为本申请第二实施例的关键点检测模型训练方法的流程示意图；
18.图4a至图4c为本申请基于图片擦除增强规则所获得的增强训练样本的不同实施例示意图；
19.图5为本申请第三实施例的关键点检测模型训练方法的流程示意图；
20.图6为本申请第四实施例的关键点检测模型训练方法的流程示意图
21.图7为本申请实施例的人脸图像的角度值的实施例示意图；
22.图8为本申请第六实施例的关键点检测方法的流程示意图；
23.图9为本申请第八实施例的关键点检测模型训练装置的结构示意图；
24.图10为本申请第九实施例的关键点检测装置的结构示意图。
25.元件标号900：关键点检测模型训练装置；910：样本获得模块；920：样本处理模块；930：模型训练模块；940：关键点检测模型；1000：关键点检测装置；1010：目标样本获得模块；1020：目标样本检测模块。
具体实施方式
26.为了使本领域的人员更好地理解本申请实施例中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请实施例一部分实施例，而不是全部的实施例。基于本申请实施例中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于本申请实施例保护的范围。
27.根据本申请背景技术部分所述，目前的人脸检测模型大都无法满足移动设备端的算力需求。此外，实际应用场景中的模糊、昏暗、大角度侧脸、戴口罩、戴眼镜等因素亦会对人脸检测模型的人脸识别作业带来困难，有鉴于此，本申请提供一种关键点检测模型及其检测方法、装置及计算机存储机制，不仅适用于各种应用场景的人脸检测，亦可满足移动设备端的配置及算力需求。
28.需说明的是，本申请的关键点检测技术不仅适用于人脸识别，亦可适用于例如猫脸、狗脸等各类型动物面部的识别。
29.下面将结合本申请实施例附图进一步说明本申请实施例具体实现。
30.第一实施例
31.图1示出了本申请第一实施例的关键点检测模型训练方法的流程示意图。如图所示，本实施例的关键点检测模型训练方法主要包括以下：
32.步骤s11，根据初始训练样本，确定初始训练样本中各关键点对应的各坐标参数与各第一可见度类别参数。
33.可选地，初始训练样本包括有人脸图像，但并不以此为限，其他各种动物面部图像亦可适用于本申请。
34.例如，可提取原始图片(如全景图片)中的目标人脸区域(roi区域)，以作为本申请所需的初始训练样本。
35.可选地，可利用剪裁(crop)、缩放(resize)等图片处理技术从原始图片中提取目标人脸区域，以获得初始训练样本。
36.于本实施例中，各初始训练样本为单目标人脸图像，亦即，每份初始训练样本中仅包含一张人脸。
37.于本实施例中，以初始训练样本为人脸图像为例，各初始训练样本中可标注有21个关键点(参考图2)，其中，各关键点对应的示例性部位如下表1所示，但并不以此为限，初始训练样本(人脸图像)中包含的关键点数量以及各关键点的对应部位亦可根据实际检测需求任意调整，本申请对此不作限制。关键点序号关键点部位关键点序号关键点部位1左眉左角点2左眉中心点3左眉右角点4右眉左角点5右眉中心点6右眉右角点7左眼左角点8左眼中心点9左眼右角点10右眼左角点11右眼中心点12右眼右角点13左耳下部点14鼻子左角点15鼻子中心点16鼻子右角点
17右耳下部点18嘴巴左角点19嘴巴中心点20嘴巴右角点21下巴中心点
ꢀꢀ
表1
38.可选地，第一可见度类别参数用于标识各关键点的可见度类别。
39.于本实施例中，各关键点的可见度类别包括可见类别和不可见类别。具体而言，当人脸的某些部位被遮挡时，则对应部位处的关键点的可见度类别为不可见类别。
40.需说明的是，关键点的可见度类别并不以上述两种为限，亦可根据实际检测需求，设置两种以上的可见度类别，本申请对此不作限制。
41.例如，当图2中的人脸佩戴眼镜时，则图2中涉及眉部和眼部的各关键点可为不可见类别，例如，关键点1至12中的至少一部分关键点，根据所佩戴的眼镜类型(太阳镜、近视眼镜、远视眼镜等)以及眼镜镜框大小而定。
42.又如，当图2中的人脸佩戴口罩时，则图2中涉及口鼻部位的关键点可为不可见类别，例如，关键点14至21中的至少一部分关键点，根据口罩的佩戴位置而定。
43.步骤s12，根据预设数据增强规则、初始训练样本中各关键点对应的各坐标参数和各第一可见度类别参数，针对初始训练样本执行数据增强处理，获得增强训练样本以及增强训练样本中各关键点对应的各第二可见度类别参数。
44.于本实施例中，可根据各种应用场景，针对初始训练样本执行数据增强处理，以优化例如模糊、昏暗、戴口罩或眼睛等复杂人脸的识别。
45.可选地，预设数据增强规则包括图片模糊增强规则、图片昏暗增强规则、图片擦除增强规则、图片变形增强规则中的至少一个。但并不以此为限，亦可采用其他数据增强规则，本申请对此不作限制。
46.举例来说，针对模糊的人脸图像，可采用例如高斯模糊、运动模糊等图像模糊增强规则；针对昏暗的人脸图像，可采用例如极限亮度模拟等图片昏暗增强规则；针对佩戴口罩、佩戴眼镜的人脸图像，可采用例如随机擦除等图片擦除增强规则；针对压缩变形的人脸图像，可采用例如图像拉伸压缩等图片变形增强规则。
47.于本实施例中，第二可见度类别参数用于标识各关键点的可见度类别，包括有可见类别和不可见类别，第二可见度类别参数的详细描述可参考前述的第一可见度类别参数，在此不予详述。
48.于本实施例中，可根据各初始训练样本的数据增强处理结果，而将各关键点对应的各第一可见度参数对应转换为各第二可见度参数(请容后在第二实施例、第三实施例中予以详述)。
49.步骤s13，构建关键点检测模型，并将增强训练样本作为输入，将各关键点对应的各坐标参数以及各第二可见度类别参数作为输出，以训练关键点检测模型。
50.可选地，所构建的关键点检测模型可包括坐标位置预测器和可见度类别预测器。
51.其中，坐标位置预测器用于针对增强训练样本中各关键点的坐标位置进行预测，以获得各关键点对应的各坐标预测结果，可见度类别预测器用于针对各关键点对应的可见度类别进行预测，以获得各关键点对应的各可见度类别预测结果。
52.可选地，坐标位置预测器、可见度类别预测器可采用全连接网络方案或1x1卷积网
络方案执行预测。
53.具体而言，现有的标位置预测器通常采用heatmap方案，然而，此类预测模型存在耗时久且后处理流程复杂等问题。而本申请通过将heatmap方案替换为更为直接的全连接网络方案或1x1卷积网络方案，基本没有后续处理工艺，可以减少后处理耗时，从而提高模型推理速度。
54.可选地，可将增强训练样本作为输入，以供坐标位置预测器针对增强训练样本中各关键点的坐标位置进行预测，获得各关键点对应的各坐标预测结果，并根据各关键点对应的各坐标参数和各坐标预测结果，训练坐标位置预测器。
55.可选地，可将增强训练样本作为输入，以供可见度类别预测器针对增强训练样本中各关键点的可见度类别进行预测，获得各关键点对应的各可见度类别预测结果，并根据各关键点对应的各第二可见度类别参数和各可见度类别预测结果，训练可见度类别预测器。
56.可选地，可利用特征提取模型提取增强训练样本中的特征信息，以提供坐标位置预测器基于特征信息预测各关键点的坐标位置，获得各关键点对应的各坐标预测结果，并提供可见度类别预测器基于特征信息预测各关键点的可见度类别，获得各关键点对应的各可见度类别预测结果。
57.可选地，特征提取模型包括ghostnes模型、shufflenet模型中的一个，但并不以此为限，本申请对此不作限制。
58.可选地，特征提取模型包括mobilenet模型，其中，特征提取模型的通道系数为mobilenet模型的原始通道系数的0.35倍，特征提取模型的扩张系数为mobilenet模型的原始扩张系数的0.5倍。
59.综上所述，本申请实施例的关键点检测模型训练方法，通过对初始训练样本执行数据增强处理以获得增强训练样本，并根据数据增强处理结果相应调整各关键点的可见度类别参数，再利用增强训练样本针对关键点检测模型进行检测，借此，本申请实施例所提供的关键点检测模型可适用于模糊、昏暗、大角度侧脸等各种复杂人脸的关键点检测，有利于后续复杂人脸识别作业的成功率和精确度。
60.再者，借由本申请实施例提供的轻量化关键点检测模型，可以有效减少推理耗时，实现精度与速度的平衡，并支持x86
‑
cpu，arm，atlas等多种平台。
61.第二实施例
62.图3为本申请第二实施例的关键点检测模型训练方法的流程示意图。如图所示，本实施例以图片擦除增强规则为例，详细描述上述步骤s12的一示例性实施方案，其主要包括：
63.步骤s31，根据图片擦除增强规则和各关键点对应的各坐标参数，获得待擦除的至少一个关键点以作为目标隐藏点。
64.具体而言，本实施例的图片擦除增强规则为指定擦除规则，亦即，可从初始训练样本中指定多个关键点以作为待擦除的目标隐藏点。
65.例如，可指定图2中涉及眼睛部位的关键点1至12作为待擦除的目标隐藏点，以模拟佩戴眼睛的复杂人脸；又如，可指定图2中涉及口鼻部位的关键点14至21作为待擦除的目标隐藏点，以模拟佩戴口罩的复杂人脸；再如，可指定图2中涉及耳朵部位的关键点13作为
待擦除的目标隐藏点，以模拟侧脸的复杂人脸。
66.步骤s32，根据各目标隐藏点对应的各坐标参数，确定目标擦除区域的位置信息。
67.于本实施例中，可根据各目标隐藏点对应的各坐标参数，计算出包含所有目标隐藏点的最小外接框。
68.较佳地，当最小外接框的边界位置与目标隐藏点的坐标位置相重合时，可基于预设扩大规则适当扩大最小外接框的边界位置，以使各目标隐藏点均包含在最小外接框的范围之内，并基于最小外接框确定目标擦除区域。
69.可选地，目标擦除区域包括人脸图像中的眉部区域、眼部区域、嘴部区域、鼻部区域、下颚区域、面颊区域中的至少一个。
70.步骤s33，根据目标擦除区域的位置信息，针对初始训练样本中的对应区域执行数据擦除处理，获得增强训练样本。
71.于本实施例中，可使用随机像素值覆盖目标擦除区域中各像素点的像素值，以获得初始训练样本对应的增强训练样本。
72.例如，当在步骤s31中指定关键点1至12作为待擦除的目标隐藏点时，则可获得如图4a所示的增强训练样本，亦即，人脸图像中的眉部和眼部的部分被擦除；又如，当在步骤s31中指定关键点14至21作为待擦除的目标隐藏点时，则可获得如图4b所示的增强训练样本，亦即，人脸图像中的口鼻部分被擦除；再如，当在步骤s31中指定关键点13作为待擦除的目标隐藏点时，则可获得如图4c所示的增强训练样本，亦即，人脸图像中的左耳部分被擦除；
73.步骤s34，根据擦除处理结果，获得增强训练样本中各关键点对应的各第二可见度类别参数。
74.于本实施例中，针对增强训练样本中属于目标隐藏点的各关键点，将不可见类别确定为各关键点对应的各第二可见度类别参数，针对增强训练样本中不属于目标隐藏点的各关键点，将各关键点对应的各第一可见度类别参数确定为各关键点对应的各第二可见度类别参数，据以获得增强训练样本中所有关键点对应的各第二可见度类别参数。
75.例如，假设图2所示的初始训练样本中各关键点的第一可见度类别参数均为可见类别，则在图4a中，属于目标隐藏点的关键点1至12的第二可见度类别参数为不可见类别，而不属于目标隐藏点的关键点13至21的第二可见度类别参数即为第一可见度类别参数(即可见类别)；在图4b中，属于目标隐藏点的关键点14至21的第二可见度类别参数为不可见类别，而不属于目标隐藏点的关键点1至13的第二可见度类别参数即为第一可见度类别参数(即可见类别)；在图4c中，属于目标隐藏点的关键点13的第二可见度类别参数为不可见类别，而不属于目标隐藏点的关键点1至12以及14至21的第二可见度类别参数即为第一可见度类别参数(即可见类别)。
76.第三实施例
77.图5为本申请第三实施例的关键点检测模型训练方法的流程示意图。如图所示，本实施例仍以图片擦除增强规则为例，详细描述上述步骤s12的另一示例性实施方案，其主要包括：
78.步骤s51，目标擦除区域生成步骤，根据图片擦除增强规则，随机生成目标擦除区域的位置信息。
79.具体而言，本实施例的图片擦除增强规则为随机擦除规则，亦即，可从初始训练样本中随机生成待擦除的目标擦除区域。
80.步骤s52，根据各关键点对应的各坐标参数和目标擦除区域的位置信息，获得目标擦除区域中的关键点的数量。
81.于本实施例中，可根据随机生成的目标擦除区域的位置信息和各关键点对应的各坐标参数，获得目标擦除区域中包含的关键点的数量。
82.步骤s53，判断目标擦除区域中的关键点数量是否超过预设隐藏点数量，若未超过，则进行步骤s54，若超过，则进行步骤s55。
83.于本实施例中，预设隐藏点数量可设为3个，但并不以此为限，可预设隐藏点数量可根据实际需求进行任意调整，本申请对此不作限制。
84.步骤s54，判断目标擦除区域的随机生成次数是否超过预设生成次数，若超过，则结束本步骤，若未超过，则执行步骤s51。
85.于本实施例中，预设生成次数可设为30次，但并不以此为限，亦可根据实际检测需求、软硬件配置等因素进行任意调整，本申请对此不作限制。
86.步骤s55，数据擦除步骤，根据目标擦除区域的位置信息，针对初始训练样本中的对应区域执行数据擦除处理，获得增强训练样本。
87.于本实施例中，可使用随机像素值针对初始训练样本中的对应区域中各像素点的像素值进行覆盖，以获得增强训练样本。
88.步骤s56，根据擦除处理结果，获得增强训练样本中各关键点对应的各第二可见度类别参数。
89.于本实施例中，针对增强训练样本中位于目标擦除区域中的各关键点，将不可见类别确定为各关键点对应的各第二可见度类别参数，针对增强训练样本中位于目标擦除区域之外的各关键点，将各关键点对应的各第一可见度类别参数确定为各关键点对应的各第二可见度类别参数，据以获得增强训练样本中所有关键点对应的各第二可见度类别参数。
90.综上所述，本申请的第二实施例和第三实施例通过指定关键点擦除和随机关键点擦除的方式针对初始训练样本执行数据增强处理，以模拟佩戴口罩、佩戴眼镜、大角度侧脸等复杂人脸场景，通过增加难样本的学习概率，而优化复杂人脸的识别率。
91.第四实施例
92.图6为本申请第四实施例的关键点检测模型训练方法的流程示意图。如图所示，本实施例的关键点检测模型训练方法除包括第一实施例所述的各处理步骤之外，还包括以下步骤：
93.步骤s61，根据初始训练样本，获得初始训练样本中的人脸图像的角度值。
94.于实施例中，人脸图像的角度制包括翻滚角值、俯仰角值、偏航角值中的至少一个。
95.具体而言，本实施例还针对各初始训练样本中的人脸的角度进行标注，包括翻滚角(roll)、俯仰角(pitch)、偏航角(yaw)三个旋转角度(参考图7)。
96.步骤s62，根据预设难度类别规则以及人脸图像的至少一角度值，确定初始训练样本对应的增强训练样本的难度类别。
97.如下表2所示，于本实施例中，当翻滚角值大于25
°
，俯仰角值大于30
°
，偏航角值大
于80
°
时，其对应的难度类别为“大角度”；当翻滚角值介于20
°
至25
°
，俯仰角值介于20
°
至30
°
，偏航角值介于45
°
至80
°
时，其对应的难度类别为“中等角度”；当翻滚角值介于0
°
至25
°
，俯仰角值介于0
°
至20
°
，偏航角值介于0
°
至45
°
时，其对应的难度类别为“小角度”。表2
98.可选地，根据所述初始训练样本，获得所述初始训练样本中的所述人脸图像的翻滚角值、俯仰角值、偏航角值
99.步骤s63，根据难度类别，确定增强训练样本的难度权重参数。
100.于本实施例中，当增强训练样本中的人脸图像的偏角范围越大时，其对应的难度权重值也越大。
101.例如，如表2所示，当增强训练样本的难度类别为“大角度”时，其对应的难度权重参数可确定为3；当增强训练样本的难度类别为“中等角度”时，其对应的难度权重参数可确定为2；当增强训练样本的难度类别为“小角度”时，其对应的难度权重参数可确定为1。
102.步骤s64，根据增强训练样本、增强训练样本的难度权重参数、增强训练样本中各关键点的各坐标参数和各第二可见度类别参数，训练坐标位置预测器和可见度类别预测器。
103.可选地，可利用预设模型训练目标函数，迭代优化坐标位置预测器和可见度类别预测器，直至预设模型训练目标函数收敛至稳定值。
104.于本实施例中，预设模型训练目标函数为wing loss，其表示为：
105.其中，loss表示增强训练样本的总损失值；n表示增强训练样本的数量；i表示第i个增强训练样本；lr
i
表示第i个增强训练样本的坐标预测结果的损失值；lc
i
表示第i个增强训练样本的可见度类别预测结果的损失值，ω
i
表示第i个增强训练样本的难度权重参数；μ表示lr
i
的权重值；β表示lc
i
的权重值。
106.综上所述，本申请实施例通过针对训练样本增加人脸角度标注，并基于角度针对各训练样本进行难度分类，通过对大角度的训练样本进行离线增强，增加大角度训练样本的训练比例，可以提高模型针对大角度人脸图像的鲁棒性。
107.第五实施例
108.本申请第五实施例提供了一种计算机存储介质，其中存储有用于执行上述第一至第四实施例所述的关键点检测模型训练方法的各所述步骤的指令。
109.第六实施例
110.图8示出了本申请第六实施例的关键点检测方法的流程示意图，如图所示，其主要包括：
111.步骤s81，获得目标样本。
112.于本实施例中，目标样本包括有人脸图像，但并不以此为限，其他各种动物面部图像亦可适用于本申请。
113.步骤s82，利用上述第一至第四实施例中任一者所述的关键点检测模型训练方法所训练的关键点检测模型，针对目标样本中的各关键点执行检测，获得目标样本中各关键点对应的各坐标检测结果以及各可见度分类检测结果。
114.于本实施例中，还可针对目标样本中各关键点对应的各坐标检测结果以及各可见度分类检测结果执行相关数据后处理操作。
115.例如，可将关键点检测模型输出的各关键点对应的各坐标检测结果转化为图像坐标系下的坐标信息。
116.第七实施例
117.本申请第七实施例提供了一种计算机存储介质，其中存储有用于执行上述第六实施例所述的关键点检测方法的各所述步骤的指令。
118.第八实施例
119.图9示出了本申请第八实施例的关键点检测模型训练装置的结构示意图。如图所示，本实施例的关键点检测模型训练装置900主要包括样本获得模块910、样本处理模块920、模型训练模块930。
120.样本获得模块910用于根据初始训练样本，确定所述初始训练样本中多个关键点对应的多个坐标参数和多个第一可见度类别参数。
121.可选地，所述初始训练样本包括人脸图像。
122.样本处理模块920用于根据预设数据增强规则、所述初始训练样本中各所述关键点对应的各所述坐标参数和各所述第一可见度类别参数，针对所述初始训练样本执行数据增强处理，获得增强训练样本以及所述增强训练样本中各所述关键点对应的各第二可见度类别参数。
123.可选地，所述预设数据增强规则为图片擦除增强规则，所述第一可见度类别参数、所述第二可见度类别参数用于标识所述关键点的可见度类别，所述可见度类别包括可见类别和不可见类别中的一个。
124.可选地，样本处理模块920还包括：根据所述图片擦除增强规则和各所述关键点对应的各所述坐标参数，获得待擦除的至少一个所述关键点以作为目标隐藏点；根据各所述目标隐藏点对应的各所述坐标参数，确定目标擦除区域的位置信息；根据所述目标擦除区域的位置信息，针对所述初始训练样本中的对应区域执行数据擦除处理，获得所述增强训练样本；以及针对所述增强训练样本中属于所述目标隐藏点的各所述关键点，将所述不可见类别确定为各所述关键点对应的各所述第二可见度类别参数，针对所述增强训练样本中不属于所述目标隐藏点的各所述关键点，将各所述关键点对应的各所述第一可见度类别参数确定为各所述关键点对应的各所述第二可见度类别参数，据以获得所述增强训练样本中所有所述关键点对应的各所述第二可见度类别参数。
125.可选地，所述目标擦除区域包括所述人脸图像中的眉部区域、眼部区域、嘴部区域、鼻部区域、下颚区域、面颊区域中的至少一个。
126.可选地，样本处理模块920还包括执行目标擦除区域生成步骤，根据所述图片擦除
增强规则，随机生成所述目标擦除区域的位置信息；执行数据擦除步骤，根据所述目标擦除区域的位置信息，针对所述初始训练样本中的对应区域执行数据擦除处理，获得所述增强训练样本；针对所述增强训练样本中位于所述目标擦除区域中的各所述关键点，将所述不可见类别确定为各所述关键点对应的各所述第二可见度类别参数，针对所述增强训练样本中位于所述目标擦除区域之外的各所述关键点，将各所述关键点对应的各所述第一可见度类别参数确定为各所述关键点对应的各所述第二可见度类别参数，据以获得所述增强训练样本中所有所述关键点对应的各所述第二可见度类别参数。
127.可选地，样本处理模块920还包括根据各所述关键点对应的各所述坐标参数和所述目标擦除区域的位置信息，获得所述目标擦除区域中的所述关键点的数量；根据预设隐藏点数量、所述目标擦除区域中的所述关键点的数量，若所述目标擦除区域中的所述关键点的数量不超过所述预设隐藏点数量，执行所述数据擦除步骤；若所述目标擦除区域中的所述关键点的数量超过所述预设隐藏点数量，则重复所述目标擦除区域生成步骤。
128.可选地，所述目标擦除区域为所述人脸图像中的随机区域，所述预设隐藏点数量为3个。
129.模型训练模块930用于构建关键点检测模型940，并将所述增强训练样本作为输入，将各所述关键点对应的各所述坐标参数以及各所述第二可见度类别参数作为输出，以训练所述关键点检测模型。
130.可选地，模型训练模块930包括构建包括有坐标位置预测器和可见度类别预测器的所述关键点检测模型940；将所述增强训练样本作为输入，以供所述坐标位置预测器针对所述增强训练样本中各所述关键点的坐标位置进行预测，获得各所述关键点对应的各坐标预测结果，并根据各所述关键点对应的各所述坐标参数和各所述坐标预测结果，训练所述坐标位置预测器；将所述增强训练样本作为输入，以供所述可见度类别预测器针对所述增强训练样本中各所述关键点的所述可见度类别进行预测，获得各所述关键点对应的各可见度类别预测结果，并根据各所述关键点对应的各所述第二可见度类别参数和各所述可见度类别预测结果，训练所述可见度类别预测器。
131.可选地，所述坐标位置预测器、所述可见度类别预测器采用全连接网络方案或1x1卷积网络方案执行预测。
132.可选地，样本获得模块910还根据所述初始训练样本，获得所述初始训练样本中的所述人脸图像的至少一角度值；根据预设难度类别规则以及所述人脸图像的至少一角度值，确定所述初始训练样本对应的所述增强训练样本的难度类别；根据所述难度类别，确定所述增强训练样本的难度权重参数；模型训练模块930还包括根据增强训练样本的所述难度权重参数，训练所述坐标位置预测器和所述可见度类别预测器。
133.可选地，模型训练模块930还包括利用预设模型训练目标函数，迭代优化所述坐标位置预测器和所述可见度类别预测器，直至所述预设模型训练目标函数收敛至稳定值。
134.可选地，模型训练模块930还包括利用特征提取模型提取所述增强训练样本中的特征信息，以提供所述坐标位置预测器基于所述特征信息预测各所述关键点的坐标位置，获得各所述关键点对应的各所述坐标预测结果，并提供所述可见度类别预测器基于所述特征信息预测各所述关键点的所述可见度类别，获得各所述关键点对应的各所述可见度类别预测结果。
135.可选地，所述特征提取模型包括ghostnes模型、shufflenet模型中的一个。
136.可选地，所述特征提取模型包括mobilenet模型，所述特征提取模型的通道系数为所述mobilenet模型的原始通道系数的0.35倍，所述特征提取模型的扩张系数为所述mobilenet模型的原始扩张系数的0.5倍。
137.第九实施例
138.图10示出了本申请第九实施例的关键点检测装置的结构示意图。如图所示，本实施例的关键点检测装置1000主要包括目标样本获得模块1010、目标样本检测模块1020。
139.目标样本获得模块1010用于获得目标样本。
140.目标样本检测模块1020用于利用关键点检测模型训练装置900所训练的所述关键点检测模型940，针对所述目标样本中的各关键点执行检测，获得所述目标样本中各所述关键点对应的各坐标检测结果以及各可见度分类检测结果。
141.综上所述，本申请提供的关键点检测模型训练及其检测方法、装置及计算机存储介质可适用于模糊、昏暗、截断、大角度、戴口罩或眼镜等复杂人脸的识别检测，提升了人脸关键点检测的精度。
142.再者，本申请所设计的轻量化人脸关键点模型，可以减少推理耗时，并能满足移动设备端的配置及算力需求。
143.最后应说明的是：以上实施例仅用以说明本申请实施例的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。