关键点检测及检测网络训练的方法、电子设备和存储介质与流程

本发明实施例涉及神经网络领域，特别涉及关键点检测及检测网络训练的方法、电子设备和存储介质。

背景技术：

传统的对图像关键点进行检测的方法通常采用卷积神经网络对图像结合热图（heatmap）获取与图像对应的关键点。其中，heatmap可以用颜色变化来反映二维矩阵或表格中的数据信息，它可以直观地将数据值的大小以定义的颜色深浅表示出来。常根据需要将数据进行物种或样品间丰度相似性聚类，将聚类后数据表示在heatmap图上，可将高丰度和低丰度的物种分块聚集，通过颜色梯度及相似程度来反映多个样品在各分类水平上群落组成的相似性和差异性，进而得到待检测图像的关键点。

然而，发明人发现传统方式直接对图像采取机械的关键点提取，可能导致关键点形状异常，超出了原有的待检测物体的形状范围，致使关键点检测的不够准确。

技术实现要素：

本发明实施方式的目的在于提供一种关键点检测及检测网络训练的方法、电子设备和存储介质，提供了关键点模板作为先验，保证关键点形状正常，提高关键点检测的准确性。

为解决上述技术问题，本发明的实施方式提供了一种关键点检测网络训练方法，包括以下步骤：获取预设的关键点模板、训练样本图像和训练样本图像对应的样本关键点，关键点模板为预先构建的初始关键点检测网络输出结果的形状标准；通过初始关键点检测网络，结合训练样本图像和关键点模板获得训练检测关键点；根据训练检测关键点和样本关键点对初始关键点检测网络进行迭代训练，并将满足预设迭代条件的初始关键点检测网络作为训练完成的关键点检测网络。

本发明的实施方式还提供了一种关键点检测方法，包括：将第一检测图像输入第一关键点检测网络获取第一检测关键点；通过第一检测关键点获取第二检测图像；将第二检测图像输入第二关键点检测网络获取第二检测关键点，作为关键点检测的结果，其中，第一关键点检测网络和第二关键点检测网络至少包括关键点检测网络和关键点模板。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的关键点检测网络训练方法或关键点检测方法。

本发明的实施方式还提供了一种计算机可读存储介质，计算机程序被处理器执行时实现执行上述的关键点检测网络训练方法或关键点检测方法。

本发明实施方式提供的关键点检测及检测网络训练的方法、电子设备和存储介质，采用预先设置的关键点模板作为关键点的先验，避免了检测的关键点出现异常形状，提高了检测关键点形状的稳定性。由于具有关键点模板，因此后续的网络训练实际上是在通过关键点模板校正了检测关键点形状后与样本关键点计算的残差，提高了检测结果的准确性，降低了网络训练的难度。

另外，本发明实施方式提供的关键点检测网络训练方法，通过初始关键点检测网络，结合训练样本图像和关键点模板获得训练检测关键点，包括：通过初始关键点检测网络，结合训练样本图像和关键点模板，确定第一训练检测关键点；通过初始关键点检测网络中预设的网络节点，结合训练样本图像，确定第二训练检测关键点；

根据第一训练检测关键点和第二训练检测关键点，确定训练检测关键点。采用两次网络计算关键点，使检测的关键点更为准确。

另外，本发明实施方式提供的关键点检测网络训练方法，通过初始关键点检测网络，结合训练样本图像和关键点模板，确定第一训练检测关键点，包括：将训练样本图像输入初始关键点检测网络，得到训练样本图像对应的关键点分类概率；根据关键点分类概率和关键点模板，确定第一训练检测关键点。通过计算分布概率和关键点模板，获得了形状正常的关键点。

另外，本发明实施方式提供的关键点检测网络训练方法，根据训练检测关键点和样本关键点对初始关键点检测网络进行迭代训练，并将满足预设迭代条件的初始关键点检测网络作为训练完成的关键点检测网络，包括：通过关键点损失函数和样本关键点分别对第一训练检测关键点和第二训练检测关键点计算损失，得到关键点损失值，关键点损失值包括第一训练检测关键点对应的损失值和第二训练检测关键点对应的损失值；获取训练样本图像对应的预设属性的权重；通过属性损失函数计算预设属性的权重的损失，得到属性损失值；根据关键点损失值和属性损失值对初始关键点检测网络进行迭代训练，并将满足预设迭代条件的初始关键点检测网络作为训练完成的关键点检测网络。对每个训练检测关键点分别计算回归损失，使训练过程更加稳定和充分。

另外，本发明实施方式提供的关键点检测网络训练方法，获取训练样本图像对应的预设属性的权重，包括：获取训练样本图像的预设属性的分布概率，预设属性至少包括遮挡属性和旋转属性；根据分布概率获得训练样本图像的属性权重。为图像设置属性权重，避免由于训练样本的属性原因，导致训练关键点网络对某些属性产生偏好的情况发生，提高关键点检测网络预测结果的准确性。

另外，本发明实施方式提供的关键点检测网络训练方法，获取训练样本图像，包括：对样本图像进行随机遮挡和/或随机变换，以获得训练样本图像。为样本图像人为的添加遮挡，使得训练后的关键点检测网络可以适用于更多情景的应用场景。

另外，本发明实施方式提供的关键点检测方法，第一关键点检测网络还包括修正网络，将第一检测图像输入第一关键点检测网络获取第一检测关键点，包括：将第一检测图像输入修正网络，获取修正后的第一检测图像，修正网络至少用于修正姿态误差和位置误差；通过第一关键点检测网络，结合修正后的第一检测图像，得到第一检测关键点。预先对图像进行姿态修正和位置修正，使关键点检测网络检测的关键点更加准确。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是本发明的实施方式提供的关键点检测网络训练方法的流程图；

图2是本发明的实施方式提供的关键点检测方法的流程图；

图3是本发明的实施方式提供的关键点检测网络训练装置的结构示意图；

图4是本发明的实施方式提供的关键点检测装置的结构示意图；

图5是本发明的实施方式提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的实施方式涉及一种关键点检测网络训练方法。具体流程如图1所示。

步骤101，获取预设的关键点模板、训练样本图像和训练样本图像对应的样本关键点，关键点模板为预先构建的初始关键点检测网络输出结果的形状标准。

在本实施方式中，训练样本图像一般为包含人脸的图像。

可选地，对样本图像进行随机遮挡和/或随机变换，以获得训练样本图像。

随机遮挡具体为：预先收集遮挡物的数据，当被检测物为人脸时，遮挡物可以为口罩、墨镜、眼睛、手部等。每一个遮挡物的数据包括该遮挡物的多个视角的图片，并标注出相关关键点，例如将口罩作为遮挡物，分别收集口罩的左视图、正视图和右视图。在样本图像中随机选择添加遮挡物，在确定添加的遮挡物后，将该遮挡物的多张不同视角的图片与样本图像进行仿射变换，计算得到仿射变换的误差，在多张不同视角的遮挡物图片中选择仿射变换的误差最小的图片作为添加到样本图像中的遮挡物图片；将选择的遮挡物图片与样本图像进行泊松融合，实现对样本图像的随机遮挡，最终将完成随机遮挡的样本图像作为训练样本图像。由于计算不同的视角的遮挡物与样本图像之间的仿射变换误差，可以选择误差最小的遮挡物图片，使得选择的遮挡物的视角与样本图像的视角更为接近，进而使样本图像与遮挡物图片之间融合的更自然，生成的随机遮挡处理后的训练样本图像更贴近真实遮挡情况。

需要说明的是，遮挡物的选择数量可以不为1，即可以选择多个遮挡物同时对样本图像进行遮挡处理。

随机变换具体为：对样本图像进行随机地图像变换，可以包括镜像、剪裁、拉伸、擦除、旋转等。随机镜像为将样本图像左右翻转，并确定翻转后的关键点；随机剪裁为将样本图像中的部分剪裁，将剪裁后的图像调整成预定尺寸，并确定变换后的关键点；随机拉伸为将样本图像沿着水平方向或竖直方向进行拉伸，对拉伸后的图像做空白填充，调整成预定尺寸，并确定变换后的关键点；随机擦除为在样本图像中随机生成一个随机颜色的区域，该随机颜色的区域为擦除区域，并确定随机擦除后的关键点；随机旋转为在多个带旋转角（roll角）的预设关键点中，随机选择一组关键点与样本图像进行仿射变化，调整成预定尺寸，并确定变换后的关键点。随机变换的方式不限于上述五种，其他图像变换方式都可以适用。

需要说明的是，随机遮挡和随机擦除的区域，需要包含待测区域，例如，对于检测人脸关键点的应用场景时，待测区域为人脸区域，需要将遮挡物遮挡在人脸区域且擦除区域至少包含一部分的人脸区域。

通过随机遮挡和/或随机变换得到训练样本图像，使训练后的关键点检测网络可以适用于处理带遮挡和/或特殊状态的图像。

步骤102，通过初始关键点检测网络，结合训练样本图像和关键点模板获得训练检测关键点。

可选地，通过初始关键点检测网络，结合训练样本图像和关键点模板，确定第一训练检测关键点；通过初始关键点检测网络中预设的网络节点，结合训练样本图像，确定第二训练检测关键点；根据第一训练检测关键点和第二训练检测关键点，确定训练检测关键点。

初始关键点检测网络中包含多个网络节点，预先设定n个网络节点，通过n个的网络节点输出n组关键点，并将这n组关键点相加作为第二训练检测关键点。

可选地，将训练样本图像输入初始关键点检测网络，得到训练样本图像对应的关键点分类概率；根据关键点分类概率和关键点模板，确定第一训练检测关键点。

具体地，将初始关键点检测网络中的某个网络节点设置为第一训练检测关键点的输出节点，将输出节点生成的关键点通过全连接层进行归一化，生成关键点分类概率；或者，将初始关键点检测网络的所有节点进行处理后生成的关键点，通过全连接层进行归一化，生成关键点分类概率。由于在图像中会存在大量的关键点，因此对典型地、最能体现图像特征的关键点计算分类概率，例如，在人脸图像中至少会设置左眼、右眼、鼻子、左嘴角、右嘴角五个关键点作为典型关键点，计算典型关键点的分类概率。

关键点分类概率为一个概率向量，将关键点分类概率与预先设置的关键点模板进行相乘处理，获得第一训练检测关键点。其中，关键点模板的获取方法为：获取一定数量的标注关键点的样本图像；将标注关键点的样本图像中的关键点进行聚类，获取关键点点簇；将关键点点簇进行对齐统一获得关键点模板。由于关键点分类概率为典型关键点的分布概率，因此关键点模板也为典型关键点的点簇。

以预先设定三个网络节点为例，将关键点分类概率和关键点模板的乘积作为第一训练检测关键点，三个网络节点输出三组第二训练检测关键点，将第一训练检测关键点和三组第二训练检测关键点相加，作为训练检测关键点。通过初始关键点检测网络最终获得的训练检测关键点如公式（1）所示。

其中，wcl为关键点分类概率，centers为关键点模板，为第一网络节点输出的第二检测关键点，为第二网络节点输出的第二检测关键点，为第三网络节点输出的第二检测关键点。

另外，为了防止训练样本图像的类型单一，导致初始关键点检测网络出现对某类图片偏好的发生，为训练样本图像设置属性，并依照属性计算设置自适应权重。

在一个例子中，为训练样本图像设置三个属性，分别为：航向角度（yaw角）属性、俯仰角度（pitch角）属性和遮挡属性，其中，航向角度属性为训练样本图像在航向角度偏移量，俯仰角度属性为训练样本图像在俯仰角度的偏移量，遮挡属性为训练样本图像是否进行遮挡。计算训练样本图像中每个属性的分布概率。俯仰角度和航向角度的偏移角度为-90°至90°，设置每10°为一个区间，即具有18个区间，分别为-9至9的区间。分别计算在一组训练样本图像（batch）中，航向角度（yaw角）属性、俯仰角度（pitch角）属性和遮挡属性的分布概率。

航向角度分布概率的计算如公式（2）所示。

其中，frequency(yawi)为航向角度的分布概率，batch为在一组训练样本图像中训练样本图像的数量yawi为航向角度分布的区间值，#{yaw=yawi}为yawi区间的训练样本图像在一组训练样本图像中数量。

具体地，统计在一组训练样本图像中出现的航向角度的区间，计算每个航向角度的区间在一组训练样本图像出现的次数。

例如，一组训练样本图像中训练样本图像的数量为50，其中航向角度偏移在-1区间的为10张，则，因此如果训练样本图像的航向角度偏移在-1区间，则该训练样本图像在航向角度的分布概率为20%，进而通过航向角度的分布概率计算训练样本图像的属性权重。

俯仰角度分布概率的计算如公式（3）所示。

其中，frequency(pitchi)为俯仰角度的分布概率，pitchi为俯仰角度分布的区间值，#{pitch=pitchi}为pitchi区间的训练样本图像在一组训练样本图像中数量。

具体地，统计在一组训练样本图像中出现的俯仰角度的区间，计算每个俯仰角度的区间在一组训练样本图像出现的区间。

对于遮挡属性，若训练样本图像中待检测物体被遮挡，则为1，否则为0。遮挡属性分布概率的计算如公式（4）所示。

其中，frequency(occi)为遮挡属性的分布概率，occi为遮挡属性的值，#{occ=occi}为有遮挡的训练样本图像在一组训练样本图像中数量。

通过航向角度（yaw角）属性、俯仰角度（pitch角）属性和遮挡属性的分布概率计算每张训练样本图像的属性权重。属性权重（wi）的计算如公式（5）所示。

通过为每张训练样本图像设置预设属性的权重，防止拥有同一属性的多张训练样本图像训练过多导致训练得到的关键点检测网络产生属性偏好，提高了关键点检测网络的检测准确性。

步骤103，根据训练检测关键点和样本关键点对初始关键点检测网络进行迭代训练，并将满足预设迭代条件的初始关键点检测网络作为训练完成的关键点检测网络。

可选地，通过关键点损失函数和样本关键点分别对第一训练检测关键点和第二训练检测关键点计算损失，得到关键点损失值，关键点损失值包括第一训练检测关键点对应的损失值和第二训练检测关键点对应的损失值；获取训练样本图像对应的预设属性的权重；通过属性损失函数计算预设属性的权重的损失，得到属性损失值；根据关键点损失值和属性损失值对关键检测网络进行迭代训练直至收敛，以获得训练完成的关键点检测网络。

根据训练检测关键点和样本关键点对初始关键点检测网络进行回归计算。由于训练检测关键点为第一训练检测关键点和第二训练检测关键点相加构成，因此对第一训练检测关键点和第二训练检测关键点分别进行回归计算，将第一训练检测关键点的损失值和第二训练检测关键点的损失值相加作为关键点损失值。在本实施方式中，以三个网络节点输出的三组第二训练检测关键点为例，如公式（6）-（10）所示。

其中，losscl为第一训练检测关键点的损失值，centers为关键点模板，landgt为样本关键点；为第一网络节点输出的第二训练检测关键点对应的损失值，为第二网络节点输出的第二训练检测关键点对应的损失值，为第三网络节点输出的第二训练检测关键点对应的损失值，loss为关键点损失值。

可选地，获取训练样本图像的预设属性的分布概率，预设属性至少包括遮挡属性和旋转属性；根据分布概率获得训练样本图像的预设属性的权重。

其中，旋转属性为航向角度（yaw角）属性和俯仰角度（pitch角）属性。对于预设属性的权重，已在步骤102中详细记录，此处不再一一赘述。在对初始关键点检测网络进行训练时，预设属性的权重也计算损失值，根据关键点损失值和预设属性的权重计算属性损失值，具体如公式（11）所示。

其中，lossland为预设属性的权重的损失值；lossi为关键点损失值；wi为预设属性的权重。

通过关键点损失值和属性损失值，对初始关键点检测网络进行迭代训练直至收敛，将收敛后的初始关键点检测网络作为训练完成的关键点检测网络。需要说明的是，预设迭代条件可以为训练收敛的程度。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明实施方式提供的关键点检测网络训练方法，采用预先设置的关键点模板作为关键点的先验，避免了检测的关键点出现异常形状，提高了检测关键点形状的稳定性。由于具有关键点模板，因此后续的网络训练实际上是在通过关键点模板校正了检测关键点形状后与样本关键点计算的残差，提高了检测结果的准确性，降低了网络训练的难度。另外，采用两次网络计算关键点，使检测的关键点更为准确。通过计算分布概率和关键点模板，获得了形状较为正常的关键点。对每个训练检测关键点分别计算回归损失，使训练过程更加稳定和充分。为图像设置属性权重，避免由于训练样本的属性原因，导致训练关键点网络对某些属性产生偏好的情况发生，提高关键点检测网络预测结果的准确性。为训练样本图像人为的添加遮挡，使得训练后的检测网络可以适用于更多情景的应用场景。

本发明的实施方式涉及一种关键点检测网络训练方法。本实施方式与其他实施方式大致相同，主要区别之处在于在将训练样本图像输入初始关键点检测网络前，输入修正网络，以通过修正网络对样本图像进行修正处理。在本实施方式中以三组第二训练检测关键点为例。

样本图像中的待检测物体可能存在旋转角、位置偏移或者大小尺寸不统一等问题，因此可以通过修正网络对样本图像进行修正处理，修正处理至少包括姿态修正和位置修正。姿态修正可以包括旋转角修正和剪裁修正。以旋转角修正、剪裁修正和位置修正为例，如公式（12）所示。

其中，scale为剪裁修正，rroll为旋转角修正，trans为位置修正，为第一网络节点输出的第二训练检测关键点对应的损失值，为第二网络节点输出的第二训练检测关键点对应的损失值，为第三网络节点输出的第二训练检测关键点对应的损失值。

需要说明的是，对于修正网络可以为初始关键点检测网络的一个网络分支，修正网络和初始关键点检测网络可以联合训练或者分开训练，此处不做限制。

以联合训练为例，将修正网络和初始关键点检测网络结合，作为第一关键点检测网络，因此对于第一关键点检测网络的训练方法，如公式（13）-（17）所示。

其中，losscl’为第一关键点检测网络的第一训练检测关键点对应的损失值，loss’为本实施方式关键点损失值，landgt为样本关键点，为第一网络节点输出的第二训练检测关键点对应的损失值，为第二网络节点输出的第二训练检测关键点对应的损失值，为第三网络节点输出的第二训练检测关键点对应的损失值。

本实施方式相对于其他实施方式记载的关键点检测网络训练方法大致相同，因此其他实施方式提到的相关技术细节在本实施方式中依然有效，且本实施方式的相关记载也适用于其他实施方式，为了减少重复，这里不再赘述。

本发明实施方式提供的关键点检测网络训练方法，采用预先设置的关键点模板作为关键点的先验，避免了检测的关键点出现异常形状，提高了检测关键点形状的稳定性。由于具有关键点模板，因此后续的网络训练实际上是在通过关键点模板校正了检测关键点形状后与样本关键点计算的残差，提高了检测结果的准确性，降低了网络训练的难度。另外，采用两次网络计算关键点，使检测的关键点更为准确。通过计算分布概率和关键点模板，获得了形状较为正常的关键点。对每个训练检测关键点分别计算回归损失，使训练过程更加稳定和充分。为图像设置属性权重，避免由于训练样本的属性原因，导致训练关键点网络对某些属性产生偏好的情况发生，提高初始关键点检测网络预测结果的准确性。为样本图像人为的添加遮挡，使得训练后的检测网络可以适用于更多情景的应用场景。预先对图像进行姿态修正和位置修正，使初始关键点检测网络检测的关键点更加准确。

本发明实施方式涉及一种关键点检测方法，基于关键点检测网络训练方法的实施方式训练获得的关键点检测网络，如图2所示，包括：

步骤201，将第一检测图像输入第一关键点检测网络获取第一检测关键点。

第一检测图像为在原始检测图像中，框取出的待检测图像。

可选地，第一关键点检测网络还包括修正网络，将第一检测图像输入第一关键点检测网络获取第一检测关键点，包括：将第一检测图像输入修正网络，获取修正后的第一检测图像，修正网络至少用于修正姿态误差和位置误差；通过关键点检测网络，结合修正后的第一检测图像和关键点模板，得到第一检测关键点。

在本实施方式中，将修正网络、关键点检测网络和关键点模板结合构成第一关键点检测网络，生成第一检测关键点的方法如公式（18）所示。

其中，scale为剪裁修正，rroll为旋转角修正，trans为位置修正，centers为关键点模板，为第一网络节点输出的第二训练检测关键点对应的损失值，为第二网络节点输出的第二训练检测关键点对应的损失值，为第n网络节点输出的第二训练检测关键点对应的损失值。

修正网络的目的在于，使框取的待检测图像（第一检测图像）位置更为精准。

需要说明的是，关键点模板可以用于关键点检测网络中网络层数据，也用于与关键点检测网络输出结果做进一步计算。具体地，若关键点模板为关键点检测网络中网络层数据，则关键点检测网络的输出结果为检测关键点；若关键点模板用于与关键点检测网络输出结果做进一步计算，则关键点检测网络输出结果为关键点分类概率；通过关键点分类概率和关键点模板计算得到检测关键点。

步骤202，通过第一检测关键点获取第二检测图像。

根据第一检测关键点的位置，在第一检测图像上确定第二检测图像，即第二检测图像框取的待检测图像相比于第一检测图像更为精准。

步骤203，将第二检测图像输入第二关键点检测网络获取第二检测关键点，作为关键点检测的结果，其中，第一关键点检测网络和第二关键点检测网络至少包括关键点检测网络和关键点模板。

由于在先已经对第一检测图像进行了姿态修正，因此在第二检测图像中无需再次进行图像修正处理，第二检测关键点网络包括关键点检测网络和关键点模板。

因此本实施方式可以为，将第一检测图像输入第一关键点检测网络，获得第一检测关键点；根据第一检测关键点获取第二检测图像；将第二检测图像输入第二关键点检测网络，获取第二检测关键点。

需要说明的是，为了获取更高精度的检测关键点，可以将生成的检测图像重复输入第二关键点检测网络，即重复步骤202-步骤203。

本实施方式相对于其他实施方式记载的关键点检测方法大致相同，因此其他实施方式提到的相关技术细节在本实施方式中依然有效，且本实施方式的相关记载也适用于其他实施方式，为了减少重复，这里不再赘述。

本发明实施方式涉及一种关键点检测方法，应用如上述实施方式记载的关键点检测网络，以待检测图像为人脸图像为例。

通过常见的人脸识别网络，在原始检测图像中框取人脸图像作为第一检测图像。

由于第一检测图像框取的人脸图像可能存在位置偏移，大小不合适或人脸图像存在旋转角（roll角）的情况，因此通过包含修正网络的第一关键点检测网络，获取第一检测关键点。

通过第一检测关键点框取第二检测图像，使得第二检测图像框取的人脸图像更为准确。

将第二检测图像输入第二关键点检测网络，获取第二检测关键点。

通过两次关键点检测，检测出的第二检测关键点已经具有较高的精度，因此将第二检测关键点作为关键点检测结果。

本实施方式相对于其他实施方式记载的关键点检测方法大致相同，因此其他实施方式提到的相关技术细节在本实施方式中依然有效，且本实施方式的相关记载也适用于其他实施方式，为了减少重复，这里不再赘述。

本发明的实施方式涉及一种关键点检测网络训练装置，如图3所示，包括：

数据获取模块301，用于获取预设的关键点模板、训练样本图像和训练样本图像对应的样本关键点，关键点模板为预先构建的初始关键点检测网络输出结果的形状标准。

关键点生成模块302，用于通过初始关键点检测网络，结合训练样本图像和关键点模板获得训练检测关键点。

网络训练模块303，用于根据训练检测关键点和样本关键点对初始关键点检测网络进行迭代训练，并将满足预设迭代条件的初始关键点检测网络作为训练完成的关键点检测网络。

不难发现，本实施方式为与关键点检测网络训练方法实施方式相对应的装置实施例，本实施方式可与关键点检测网络训练方法实施方式互相配合实施。关键点检测网络训练方法实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在其他实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明的实施方式涉及一种关键点检测装置，如图4所示，包括：

第一网络检测模块401，用于将第一检测图像输入第一关键点检测网络获取第一检测关键点。

第二图像获取模块402，用于通过第一检测关键点获取第二检测图像。

第二网络检测模块403，用于将第二检测图像输入第二关键点检测网络获取第二检测关键点，作为关键点检测的结果，其中，第一关键点检测网络和第二关键点检测网络至少包括关键点检测网络和关键点模板。

不难发现，本实施方式为与关键点检测方法实施方式相对应的装置实施例，本实施方式可与关键点检测方法实施方式互相配合实施。关键点检测方法实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在其他实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明实施方式涉及一种电子设备，如图5所示，包括：

至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行任一实施方式的关键点检测网络训练方法或任一实施方式的关键点检测方法。

其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器在执行操作时所使用的数据。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施方式中详尽描述的技术细节，可参见本申请实施方式所提供的方法。

本发明实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。