一种面部关键点检测方法及装置制造方法
【专利摘要】本发明公开了一种面部关键点检测方法及装置，该方法包括：获取待检测的面部图像；使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，N大于或等于1；针对所述N个特定器官中的每个特定器官，以初始关键点为基准，确定特定器官在所述面部图像中所在的区域；针对所述N个特定器官中的每个特定器官，使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点。通过本发明实施例提供的方法，可以减少第二面部关键点检测算法检测的搜索的区域，明显提高面部关键点检测的效率。
【专利说明】一种面部关键点检测方法及装置
【技术领域】
[0001]本发明涉及图像处理领域，尤其涉及一种面部关键点检测方法及装置。
【背景技术】
[0002]面部关键点检测是人脸图像分析中极为重要的一个步骤，也是后续人脸分析的一个不可缺少的基本步骤。目前人脸分析技术不仅在计算机端得到应用，而且在逐渐走向移动端，这就对面部关键点检测在速度、准确率和稳定性等方面提出了更高的要求。
[0003]在目前的方法中，在保证检测面部关键点的准确率和稳定性，并适应复杂的环境和各种人脸姿态的面部关键点检测算法中，检测的速度比较慢，而且算法的复杂度比较高，同时也会占用设备处理器的大部分资源，特别是在移动端进行面部关键点检测时，由于移动端的处理能力低，无法达到实时处理的要求。目前还有一些快速的面部关键点检测方法，但是准确率较低。
[0004]综上所述，现有技术在检测面部关键点时，由于面部关键点算法的复杂度高，导致不能对面部关键点进行快速、准确的实时检测。
【发明内容】
[0005]本发明实施例提供一种面部关键点检测方法及装置，用以解决现有技术中由于面部关键点算法的复杂度高，导致不能对面部关键点进行快速、准确的实时检测的问题。
[0006]本发明实施例提供一种面部关键点检测方法，该方法包括:
[0007]获取待检测的面部图像；
[0008]使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，N大于或等于I ;
[0009]针对所述N个特定器官中的每个特定器官，以所述初始关键点为基准，确定特定器官在所述面部图像中所在的区域；
[0010]针对所述N个特定器官中的每个特定器官，使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点。
[0011]较佳的，所述使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，包括:
[0012]所述第一面部关键点检测算法为ESR算法，通过所述ESR算法在所述面部图像中确定出所述特定器官的所述初始关键点。
[0013]较佳的，所述以所述初始关键点为基准，确定所述特定器官的区域图像，包括:
[0014]获取预先设定的所述特定器官的区域图像的长度和宽度，以及所述初始关键点在所述特定器官的区域图像中的偏移量；
[0015]根据所述初始关键点的坐标、所述初始关键点的偏移量以及所述特定器官的区域图像的长度和宽度确定出所述特定器官的区域图像。
[0016]较佳的，所述特定器官为眼睛时，所述特定器官的初始关键点为左眼中点和右眼中点，所述预先设定的所述特定器官的区域图像的长度和宽度是根据左眼中点和右眼中点之间的间距确定出来的。
[0017]较佳的，所述特定器官为鼻子时，所述特定器官的初始关键点为鼻尖，所述预先设定的所述特定器官的区域图像的长度和宽度是根据左眼中点和右眼中点之间的间距确定出来的。
[0018]较佳的，所述特定器官为嘴巴时，所述特定器官的初始关键点为所述嘴巴两边的两个嘴角点，所述预先设定的所述特定器官的区域图像的长度和宽度是根据所述嘴巴两边的两个嘴角点之间的距离确定出来的。
[0019]较佳的，所述使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点，包括:
[0020]所述第二面部关键点检测算法为卷积神经网络CNN算法；
[0021]将所述特定器官的区域图像标准化为预设尺寸的区域图像；
[0022]通过所述CNN算法在标准化后的所述特定器官的区域图像中确定所述特定器官的最终关键点。
[0023]本发明实施例提供一种面部关键点检测装置，该装置包括:
[0024]图像获取单元，用于获取待检测的面部图像；
[0025]第一检测单元，用于使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，N大于或等于I ;针对所述N个特定器官中的每个特定器官，以初始关键点为基准，确定特定器官在所述面部图像中所在的区域；
[0026]第二检测单元，用于针对所述N个特定器官中的每个特定器官，使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点。
[0027]较佳的，所述第一检测单元具体用于:
[0028]所述第一面部关键点检测算法为ESR算法，通过所述ESR算法在所述面部图像中确定出所述特定器官的所述初始关键点。
[0029]较佳的，所述第一检测单元具体用于:
[0030]获取预先设定的所述特定器官的区域图像的长度和宽度，以及所述初始关键点在所述特定器官的区域图像中的偏移量；
[0031]根据所述初始关键点的坐标、所述初始关键点的偏移量以及所述特定器官的区域图像的长度和宽度确定出所述特定器官的区域图像。
[0032]较佳的，所述特定器官为眼睛时，所述特定器官的初始关键点为左眼中点和右眼中点，所述预先设定的所述特定器官的区域图像的长度和宽度是根据左眼中点和右眼中点之间的间距确定出来的。
[0033]较佳的，所述特定器官为鼻子时，所述特定器官的初始关键点为鼻尖，所述预先设定的所述特定器官的区域图像的长度和宽度是根据左眼中点和右眼中点之间的间距确定出来的。
[0034]较佳的，所述特定器官为嘴巴时，所述特定器官的初始关键点为所述嘴巴两边的两个嘴角点，所述预先设定的所述特定器官的区域图像的长度和宽度是根据所述嘴巴两边的两个嘴角点之间的距离确定出来的。
[0035]较佳的，所述第二检测单元具体用于:
[0036]所述第二面部关键点检测算法为卷积神经网络CNN算法；
[0037]将所述特定器官的区域图像标准化为预设尺寸的区域图像；
[0038]通过所述CNN算法在标准化后的所述特定器官的区域图像中确定所述特定器官的最终关键点。
[0039]根据本发明实施提供的方法，在面部图像中检测面部关键点时，先通过初始关键点获得感兴趣区域，在感兴趣区域中检测面部关键点。通过本发明实施例提供的方法，在检测面部关键点之前，先确定面部关键点可能出现的区域，即感兴趣区域，只在感兴趣区域中检测，由于确定的感兴趣区域远小于整个面部区域，从而减少了检测面部关键点时检测的范围，提高了检测效率，在保证检测准确率的同时，大幅减少了检测的时间，能够达到实时检测的效果。
【专利附图】
【附图说明】
[0040]图1为本发明实施例提供的一种面部关键点检测方法流程图；
[0041]图2为检测到的初始关键点不意图；
[0042]图3为检测到的器官区域图像示意图；
[0043]图4为检测到的最终关键点不意图；
[0044]图5为本发明实施例提供的一种面部关键点检测装置结构图。
【具体实施方式】
[0045]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部份实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0046]下面结合说明书附图对本发明实施例做详细描述。
[0047]如图1所示，本发明实施例提供的一种面部关键点检测方法流程图，该方法包括:
[0048]步骤101:获取待检测的面部图像；
[0049]步骤102:使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，N大于或等于I ;
[0050]步骤103:针对所述N个特定器官中的每个特定器官，以初始关键点为基准，确定特定器官在所述面部图像中所在的区域；
[0051]步骤104:针对所述N个特定器官中的每个特定器官，使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点。
[0052]在现有的技术中，快速的面部关键点检测算法主要是基于浅层的机器学习方法，虽然这种方法检测的速度快，但是检测的准确性以及稳定性很不理想；高稳定性、高准确率的面部关键点检测算法主要是基于深度学习的方法，这种方法会在面部关键点检测时占用很多资源，因此单独使用基于浅层的机器学习方法或基于深度学习的方法进行面部关键点检测都会有明显的缺陷。
[0053]目前已公开发表面部关键点检测的方法主要有三大类:基于参数化形状模型方法、基于形状回归的方法、和基于深度学习的方法，分别的代表技术为:ASM(ActiveShape Model,主动形状模型)、ESR(Explicit Shape Regress1n,精确形状回归)和CNN (Convolut1nal Neural Networks,卷积神经网络)。其中ASM方法是利用参数化的形状模型，其适应性差，不能根据其特征纹理准确的找到其真实的形状，在速度、准确性和稳定性方面都有明显的缺陷。ESR算法是基于形状回归的浅层学习方法，其优点是速度快，但是这种方法在复杂的环境下不能找到其合适的训练回归量，从而导致在复杂环境下的低准确率和不稳定性。CNN是基于深度学习的方法，其检测速度很慢，并且计算量很大，不能适用于移动端的应用。
[0054]本发明实施例中，将考虑各种面部关键点检测算法的优缺点，对现有技术进行优化，实现既能快速、稳定的检测出关键点，同时尽量减少对资源的占用以及减少检测所需的时间。
[0055]本发明实施例中，第一面部关键点检测算法是指浅层学习方法，包括但不限于ESR算法、ASM算法等浅层学习方法；第二面部关键点检测算法是指深层学习方法，包括但不限于CNN算法等深层学习方法。
[0056]在步骤102中，使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，N大于或等于I。具体的，所述第一面部关键点检测算法包括但不限于ESR算法、ASM算法等浅层学习方法。通过第一面部关键点检测算法在所述面部图像中确定出所述特定器官的所述初始关键点。在输入的面部图像中也可以采用其他的浅层学习的方法，检测出特定器官的关键点，特定器官可以是眼睛、鼻子或者嘴巴。
[0057]特定器官为眼睛时，所述初始关键点为左眼中点和右眼中点；特定器官为鼻子时，所述初始关键点为鼻尖；特定器官为嘴巴时，所述初始关键点为所述嘴巴两边的两个嘴角点。本发明实施例中初始关键点给出的只是一种优选方案，并不代表面部器官中选择其他位置的初始关键点不能达到本发明实施例所要达到的目的。每个特定器官的初试关键点也可以根据需要选择在的其他位置，例如眼睛的初始关键点可以选择在，眼角位置，此时偏移量也要同时改变；鼻子的初始关键点可以为鼻梁的中间位置；嘴巴的初始关键点可以为嘴巴的中间位置。选择这些点作为初始关键点时，确定特定器官的区域图像的过程会比较复杂，没有本发明实施例提供的优先方案效率高，但最终的效果还是一样的，没有本质上的区别。
[0058]检测两个眼睛的中心点、鼻尖点和两个嘴角点的方法可以为ASM、AAM(ActiveAppearance Model，主动表现模型)等基于参数化的形状模型方法或者ESR算法等基于形状回归方法的方法。
[0059]步骤103中，以所述初始关键点为基准，确定所述特定器官的区域图像。具体的，在确定了特定器官的初始关键点后，基于该初始关键点确定该特定器官的区域图像，以便在该区域中进一步检测出所需的最终关键点。
[0060]首先获取预先设定的所述特定器官的区域图像的长度和宽度，以及所述初始关键点在所述特定器官的区域图像中的偏移量；
[0061]根据所述初始关键点的坐标、所述初始关键点的偏移量以及所述特定器官的区域图像的长度和宽度确定出所述特定器官的区域图像。
[0062]所述特定器官为眼睛，所述特定器官的初始关键点为左眼中点和右眼中点时，所述预先设定的所述特定器官的区域图像的长度和宽度是根据左眼中点和右眼中点之间的间距确定出来的。
[0063]所述特定器官为鼻子，所述特定器官的初始关键点为鼻尖时，所述预先设定的所述特定器官的区域图像的长度和宽度是根据左眼中点和右眼中点之间的间距确定出来的。
[0064]所述特定器官为嘴巴，所述特定器官的初始关键点为所述嘴巴两边的两个嘴角点时，所述预先设定的所述特定器官的区域图像的长度和宽度是根据所述嘴巴两边的两个嘴角点之间的距离确定出来的。
[0065]在面部图像中确定的特定器官的区域图像至少要完全包括该特定器官，确定的区域过小，会导致关键点的检测不完整；确定的区域过大，在该区域中进一步检测出最终关键点时，降低检测效率。因此确定的特定器官的区域图像一般至少满足一个条件:能够完全覆盖所选的特定器官。特定器官的区域图像的形状可以是以初始关键点为圆心的一个圆或者一个椭圆，也可以是其他不规则形状。优选的，为了向第二面部关键点检测算法提供一个标准的特定器官的区域图像，使得第二面部关键点检测算法能够快速、准确的在特定器官的区域图像中检测出关键点，特定器官的区域图像的形状为矩形。优选的，本发明实施例中，根据大量的训练数据，以特定器官的初始关键点为依据，预设一个特定器官的区域图像的长度和览度。
[0066]所述特定器官为眼睛时，根据左眼中点和右眼中点之间的距离，确定出所述眼睛的区域图像的长度和宽度。具体的，根据面部器官的特征中左眼中点和右眼中点之间的距离与眼睛大小的比例关系，该比例关系可以根据大量面部图像作为训练样本确定，将左眼中点和右眼中点之间的距离与该比例关系结合，可以确定出每个眼睛的区域图像的长度和宽度大小。一般的，眼睛的区域图像的长度和宽度为L，此时该比例关系可以为0.8,0.6，每个眼睛的区域图像的长度为L*0.8，宽度为L*0.6 ;当眼睛较大时，此时该比例关系可以为0.85,0.65，每个眼睛的区域图像的长度为L*0.85，宽度为L*0.65 ;当眼睛较小时，此时该比例关系可以为0.75,0.55，每个眼睛的区域图像的长度为L*0.75，宽度为L*0.55等。具体根据实际情况去调节。
[0067]所述特定器官为鼻子时，根据左眼中点和右眼中点之间的距离，确定出所述鼻子的区域图像的长度和宽度。一般的，鼻子的区域图像的长度和宽度为L，此时该比例关系可以为0.6、1，鼻子的区域图像的长度为L*0.6，宽度为L ;当鼻子较大时，此时该比例关系可以为0.7、1.1，鼻子的区域图像的长度为L*0.7，宽度为L*l.1 ;当鼻子较小时，此时该比例关系可以为0.5,0.9，鼻子的区域图像的长度为L*0.5，宽度为L*0.9等。具体根据实际情况去调节。
[0068]所述特定器官为嘴巴时，根据所述嘴巴两边的两个嘴角点之间的距离，确定出所述嘴巴的区域图像的长度和宽度。具体的，嘴巴两边的两个嘴角点之间的距离为D，一般嘴巴的区域图像的长度和宽度分别为D*2和D*0.5。这个比例是可以调整的，若嘴巴较大，可以将嘴巴的区域图像的长度和宽度分别设为D*2.2和D*0.6;若嘴巴较小，可以将嘴巴的区域图像的长度和宽度分别设为D*l.8和D*0.4。具体根据实际情况去调节。
[0069]确定特定器官的初始关键点在该特定器官的区域图像中的偏移量，由于初始关键点的选取并不是随机选取，所以初始关键点在特定器官的区域图像中的偏移量为一个确定值。例如，特定器官为眼睛时，每个眼睛的初始关键点一般为每个眼睛的区域图像的中心点，左眼的初始关键点相对于左眼的区域图像的左下角顶点的偏移量为(L*0.8/2，L*0.6/2)，右眼的初始关键点相对于右眼的区域图像的左下角顶点的偏移量为(L*0.8/2，L*0.6/2)。
[0070]特定器官的初始关键点是确定的，特定器官的区域图像的长度和宽度也是确定的，有了特定器官的初始关键点在该特定器官的区域图像中的偏移量之后可以确定出该特定器官的区域图像边缘点的坐标以及覆盖的区域范围。
[0071]步骤104中，针对所述N个特定器官中的每个特定器官，使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点。具体的，所述第二面部关键点检测算法是指深层学习方法，包括但不限于CNN算法等深层学习方法。以CNN算法为例，将所述特定器官的区域图像标准化为预设尺寸的区域图像；通过所述CNN算法在标准化后的所述特定器官的区域图像中确定所述特定器官的最终关键点。可以选择不同的深度学习的方法和不同的模型在特定器官的区域图像检测出最终关键点。
[0072]下面以具体的实施例来说明:
[0073]步骤一，获取待检测的面部图像；
[0074]步骤二，使用ESR算法检测出面部特定器官的初始关键点，特定器官可以为眼睛、鼻子或者嘴巴；如图2所示，特定器官在面部的初始关键点为黑色的点，其中眼睛的初始关键点为两个眼睛的中心点；鼻子的初始关键点为鼻尖点；嘴巴的初始关键点为两个嘴角点。以下将面部初始关键点的集合称为形状，用S表示。具体检测步骤如下:
[0075]1>根据ESR方法训练模型中的平均形状和面部图像的脸框平均大小，为在需要检测的特定器官中设定初始关键点，并将这些初始关键点的集合设为St。
[0076]2>计算当前集合St下的特征Rt，特征Rt是指Stl中初始关键点之间相互的像素值的差值，此处计算得到的Rt为特定器官的初始关键点之间两两像素值的差值的特征。例如:训练过程中选取了 4对点作为特征点对，计算每一对点的灰度值的差，则可获得4个差值，此时我们用一个4位的二进制数来表示当前的特征，当第一个差值大于O时，则二进制数的第一位为1，小于O则第一位取0，每一个差值对应二进制数的一位，这样理论上特征就有16个特征，此二进制数为当前初始关键点的集合的特征。
[0077]3>根据第2步计算出的特征Rt，在ESR方法训练模型中查找该特征对应的修正量Λ Stl，通过修正量可以对初始关键点的位置进行调整。
[0078]4>重复执行第2、3步，直到获得所有的特征对应的修正量，最终得到的修正量分别为Λ Stl, Δ St2-A StN，其中N为特征的数量。
[0079]5> 计算所有修正量的和Λ St =Δ Stl+-+Δ Stn+-+Δ StN。
[0080]6>根据修正量的和对当前集合St的位置进行修正，即:St+1 = St+ Δ St。
[0081]7>从2至6重复执行M次，其中M为预设正整数。
[0082]8>最终得到的St+M即为在面部特定器官中检测出的初始关键点的集合。
[0083]浅层学习方法主要有ASM、AAM等基于参数化的形状模型方法和ESR等基于形状回归方法的方法，本发明实施例中选择ESR来进行说明。
[0084]步骤三，根据步骤二检测出的初始关键点确定各个特定器官在面部图像中的区域图像，为深度学习方法检测面部关键点做准备。特定器官在面部图像中的区域图像可以为任意形状，为了检测方便，优选的选择在面部图像中确定一个矩形，该矩形要满足一个条件:至少包括所选的特定器官的全部区域。例如:根据浅层学习检测出的眼睛中心点的位置和两个眼睛之间的距离，选取一个矩形区域，则这部分区域所包含的图像就是包含眼睛的图像。如图3所示，根据初始关键点确定的特定器官的区域图像。
[0085]具体的，在本发明实施例中确定各个特定器官在面部图像中的区域图像的方法如下所示:
[0086]眼睛的区域图像的确定:
[0087]确定眼睛的区域图像的长度和宽度分别为L*0.8和L*0.6 ；
[0088]确定眼睛中心点在区域图像中的偏移量，本发明实施例以眼睛中心点相对于眼睛的区域图像的左下角顶点的偏移量为例进行说明，偏移量为:(L*0.8/2, L*0.6/2),此时可以确定眼睛的区域图像的左下角顶点的坐标为(E.X - L*0.8/2，E.y - L*0.6/2)，E.x、E.y为眼睛中点的X，I坐标，L为两个眼睛中点之间的距离。
[0089]鼻子的区域图像的确定:
[0090]确定鼻子的区域图像的长度和宽度分别为L*0.6和L ;
[0091]确定鼻子的鼻尖点在区域图像中的偏移量，本发明实施例以鼻子的鼻尖点相对于鼻子的区域图像的左下角顶点的偏移量为例进行说明，偏移量为:(L*0.6/2，L*0.7)，此时可以确定鼻子的区域图像的左下角顶点的坐标为(N.X - L*0.6/2，N.y- L*0.7)，N.x、N.y为鼻尖点的X，I坐标，L为两个眼睛中点之间的距离。
[0092]嘴巴的区域图像的确定:
[0093]确定嘴巴的区域图像的长度和宽度分别为D*2.2和D*0.6 ；
[0094]确定鼻子中心点在区域图像中的偏移量，本发明实施例以嘴巴左边的嘴角点相对于嘴巴的区域图像的左下角顶点的偏移量为例进行说明，偏移量为:(D*0.6, D*0.85),此时可以确定嘴巴的区域图像的左下角顶点的坐标为(M.x-D*0.6/2，M.y - D*0.7)，Μ.x、M.y为眼睛中点的x，y坐标，D为两个嘴角点之间的距离。
[0095]此步骤中根据检测出的初始关键点确定各个特定器官的区域图像可以根据经验或通过实验进行选取，本发明实施例中根据人脸器官的比例来选择矩形区域进行说明。
[0096]步骤四，将上步准备的各个器官的图像数据作为深度学习方法的输入，利用深度学习的方法检测只包含单独器官图像的准确的面部关键点。
[0097]此步骤中的基于深度学习的方法可以选择不同的深度学习的方法和不同的模型，本发明实施例中选用CNN方法来进行说明。
[0098]将上步选取的器官的范围作为深度学习方法CNN的输入。
[0099]1>采用双线性插值或者其它方式将特定器官图像区域标准化为预设尺寸的区域图像，例如40*40的尺寸，并记录宽和高缩放的比例Rw，Rh。记原特定器官图像的宽为W，高为h，则宽和高缩放的比例分别为:
[0100]Rw = w/40 ； Rh = h/40。
[0101]2>将预设的标准化的器官图像输入到对应的CNN算法模型中。
[0102]3>得到各个特定器官的最终关键点的在预设的标准化的器官图像中的坐标位置X’，y’，并根据记录的宽和高的缩放比例计算在原特定器官图像中时，该最终关键点的坐标X, y:
[0103]X = Rw*x’ ；x = Rh*y’。
[0104]在本发明实施例中，为不同的器官关键点检测选用了相同的CNN模型和参数，当然针对不同的情况也可以为不同器官图像选择不同的模型和参数。
[0105]步骤五，输出检测出面部的最终关键点。如图4所示，最后得到最终关键点的坐标就是检测出的面部关键点，在输入的面部图像中将其标记出来。
[0106]针对上述方法流程，本发明实施例还提供一种面部关键点检测装置，该装置的具体内容可以参照上述方法实施，在此不再赘述。
[0107]如图5所示，本发明实施例提供一种面部关键点检测装置，该装置包括:
[0108]图像获取单元501，用于获取待检测的面部图像；
[0109]第一检测单元502，用于使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，N大于或等于I ;针对所述N个特定器官中的每个特定器官，以初始关键点为基准，确定特定器官在所述面部图像中所在的区域；
[0110]第二检测单元503，用于针对所述N个特定器官中的每个特定器官，使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点。
[0111]较佳的，所述第一检测单元502具体用于:
[0112]所述第一面部关键点检测算法为ESR算法，通过所述ESR算法在所述面部图像中确定出所述特定器官的所述初始关键点。
[0113]较佳的，所述第一检测单元502具体用于:
[0114]获取预先设定的所述特定器官的区域图像的长度和宽度，以及所述初始关键点在所述特定器官的区域图像中的偏移量；
[0115]根据所述初始关键点的坐标、所述初始关键点的偏移量以及所述特定器官的区域图像的长度和宽度确定出所述特定器官的区域图像。
[0116]较佳的，所述特定器官为眼睛时，所述特定器官的初始关键点为左眼中点和右眼中点，所述预先设定的所述特定器官的区域图像的长度和宽度根据左眼中点和右眼中点之间的间距确定。
[0117]较佳的，所述特定器官为鼻子时，所述特定器官的初始关键点为鼻尖，所述预先设定的所述特定器官的区域图像的长度和宽度根据左眼中点和右眼中点之间的间距确定。
[0118]较佳的，所述特定器官为嘴巴时，所述特定器官的初始关键点为所述嘴巴两边的两个嘴角点，所述预先设定的所述特定器官的区域图像的长度和宽度根据所述嘴巴两边的两个嘴角点之间的距离确定。
[0119]较佳的，所述第二检测单元503具体用于:
[0120]所述第二面部关键点检测算法为卷积神经网络CNN算法；
[0121]将所述特定器官的区域图像标准化为预设尺寸的区域图像；
[0122]通过所述CNN算法在标准化后的所述特定器官的区域图像中确定所述特定器官的最终关键点。
[0123]根据本发明实施提供的方法，在面部图像中检测面部关键点时，先通过初始关键点获得感兴趣区域，在感兴趣区域中检测面部关键点。通过本发明实施例提供的方法，在检测面部关键点之前，先确定面部关键点可能出现的区域，即感兴趣区域，只在感兴趣区域中检测，由于确定的感兴趣区域远小于整个面部区域，从而减少了检测面部关键点时检测的范围，提高了检测效率，能够达到实时检测的效果。
[0124]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0125]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0126]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0127]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0128]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1.一种面部关键点检测方法，其特征在于，该方法包括: 获取待检测的面部图像； 使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，N大于或等于1 ; 针对所述N个特定器官中的每个特定器官，以所述初始关键点为基准，确定特定器官在所述面部图像中所在的区域； 针对所述N个特定器官中的每个特定器官，使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点。
2.如权利要求1所述的方法，其特征在于，所述以所述初始关键点为基准，确定所述特定器官的区域图像，包括: 获取预先设定的所述特定器官的区域图像的长度和宽度，以及所述初始关键点在所述特定器官的区域图像中的偏移量； 根据所述初始关键点的坐标、所述初始关键点的偏移量以及所述特定器官的区域图像的长度和宽度确定出所述特定器官的区域图像。
3.如权利要求1所述的方法，其特征在于，所述特定器官为眼睛时，所述特定器官的初始关键点为左眼中点和右眼中点，所述预先设定的所述特定器官的区域图像的长度和宽度根据左眼中点和右眼中点之间的间距确定。
4.如权利要求3所述的方法，其特征在于，所述特定器官为鼻子时，所述特定器官的初始关键点为鼻尖，所述预先设定的所述特定器官的区域图像的长度和宽度根据左眼中点和右眼中点之间的间距确定。
5.如权利要求1所述的方法，其特征在于，所述特定器官为嘴巴时，所述特定器官的初始关键点为所述嘴巴两边的两个嘴角点，所述预先设定的所述特定器官的区域图像的长度和宽度根据所述嘴巴两边的两个嘴角点之间的距离确定。
6.如权利要求1所述的方法，其特征在于，所述使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点，包括: 将所述特定器官的区域图像标准化为预设尺寸的区域图像； 通过第二面部关键点检测算法在标准化后的所述特定器官的区域图像中确定所述特定器官的最终关键点。
7.一种面部关键点检测装置，其特征在于，该装置包括: 图像获取单元，用于获取待检测的面部图像； 第一检测单元，用于使用第一面部关键点检测算法，在所述面部图像中确定出N个特定器官的初始关键点，N大于或等于1 ;针对所述N个特定器官中的每个特定器官，以初始关键点为基准，确定特定器官在所述面部图像中所在的区域； 第二检测单元，用于针对所述N个特定器官中的每个特定器官，使用第二面部关键点检测算法，在特定器官在所述面部图像中所在的区域中，确定特定器官的最终关键点。
8.如权利要求7所述的装置，其特征在于，所述第一检测单元具体用于: 获取预先设定的所述特定器官的区域图像的长度和宽度，以及所述初始关键点在所述特定器官的区域图像中的偏移量； 根据所述初始关键点的坐标、所述初始关键点的偏移量以及所述特定器官的区域图像的长度和宽度确定出所述特定器官的区域图像。
9.如权利要求7所述的装置，其特征在于，所述特定器官为眼睛时，所述特定器官的初始关键点为左眼中点和右眼中点，所述预先设定的所述特定器官的区域图像的长度和宽度根据左眼中点和右眼中点之间的间距确定的。
10.如权利要求7所述的装置，其特征在于，所述特定器官为鼻子时，所述特定器官的初始关键点为鼻尖，所述预先设定的所述特定器官的区域图像的长度和宽度根据左眼中点和右眼中点之间的间距确定。
11.如权利要求7所述的装置，其特征在于，所述特定器官为嘴巴时，所述特定器官的初始关键点为所述嘴巴两边的两个嘴角点，所述预先设定的所述特定器官的区域图像的长度和宽度根据所述嘴巴两边的两个嘴角点之间的距离确定。
12.如权利要求7所述的装置，其特征在于，所述第二检测单元具体用于: 将所述特定器官的区域图像标准化为预设尺寸的区域图像； 通过所述第二面部关键点检测算法在标准化后的所述特定器官的区域图像中确定所述特定器官的最终关键点。
【文档编号】G06T7/00GK104268591SQ201410483192
【公开日】2015年1月7日 申请日期:2014年9月19日 优先权日:2014年9月19日
【发明者】高伟杰, 刘龙, 周玉 申请人:海信集团有限公司