一种跨维度人脸地标点定位的方法
【专利摘要】本发明公开了一种跨维度人脸地标点定位的方法,包括如下步骤：1)构造基于自旋图特征的三维人脸锚点自动检测算法；2)基于VCP特征进行boosting学习，构造二维人脸锚点自动检测算法；3)定义包括锚点在内的地标点集合，对部分三维人脸地标点进行标注，构造三维人脸+三维地标点耦合字典。基于在线LCC对该耦合字典进行学习，从而构造并实现基于在线LCC的三维地标点定位算法；4)考虑二维?三维耦合人脸之间的类质同象特性，通过锚点计算三维到二维人脸的投影变换矩阵，将该投影变换矩阵应用于三维人脸地标点，得到对应二维人脸地标点位置。通过跨维度人脸地标点定位算法，能够做到二维?三维人脸地标点的准确一致性定位。
【专利说明】
-种跨维度人脸地标点定位的方法
技术领域
[0001 ]本发明属于计算机视觉领域，设及跨维度人脸地标点定位的方法。
【背景技术】
[0002] 随着计算机视觉的蓬勃发展，人脸识别技术日趋进步与完善，可被用于多个计算 机视觉方向，如：网络游戏、视频监控、Π 禁系统、人机交互等领域。而脸地标点定位方法通 常是在人脸检测的基础上进行的，需要精确地得到每一个面部特征的坐标，是人脸识别中 非常重要的一环。
[0003] 在计算机视觉领域，已有的人脸地标点定位方法分为二维人脸地标点定位和Ξ维 人脸地标点定位。二维人脸特征点定位其基本思想是通过点分布模型对人脸的形状变化进 行统计建模，再利用地标点附近的局部视觉特征确定的最佳定位，该局部视觉特征包括灰 度值梯度分布、纹理特征等。Ξ维人脸地标点定位方法可W分为Ξ类:基于启发式规则的定 位、基于几何特征的定位W及基于图模型的定位，但传统的Ξ维人脸地标点定位过度依赖 局部特征检测，对于局部特征不明显的地标点定位误差较大。
[0004] 然而现有的人脸地标点定位方法都是针对单一维度人脸的，无法进行跨维度人脸 地标点定位。跨维度人脸地标点定位有W下两个难点：一方面，通过手工方式完成跨维度地 标点定位工作量太大，且不同维度人脸地标点的一致性也难W保障。另一方面，由于二维人 脸仅是Ξ维人脸一个投影，通过二维人脸地标点对Ξ维人脸地标点进行定位是困难的。
【发明内容】
[0005] 本发明要克服现有技术的上述缺点，提供一种跨维度人脸地标点定位的方法，W 实现跨维度人脸地标点的准确一致性定位。
[0006] 本发明提供了一种跨维度人脸地标点定位的方法，包括W下步骤：
[0007] 1)按照金字塔策略提取标定错点的多尺度的自旋图特征，利用标注数据对Ξ维错 点的自旋图特征进行boosting学习，构造 Ξ维错点的自动检测算法，确定对应的Ξ维错点 坐标位置；
[000引 2)基于视觉上下文模式VCP(Visual Context化ttern)特征的boosting学习，构 造并实现的二维人脸错点检测算法，确定对应的二维错点坐标位置；
[0009] 3)定义包括错点在内的地标点集合，对部分Ξ维人脸地标点进行标注，构造 Ξ维 人脸+Ξ维地标点禪合字典，基于重建误差最小化和稀疏表达思想，构造基于在线局部坐标 编码LCC(Local Coordinate Coding)的Ξ维人脸地标点定位算法；
[0010] 4)给定新的二维-Ξ维人脸组合，完成Ξ维地标点定位，考虑二维-Ξ维禪合人脸 之间的类质同象特性，通过错点检测计算Ξ维人脸到二维人脸之间的投影变换矩阵，将该 投影变换矩阵应用于Ξ维人脸地标点，得到对应二维人脸地标点位置，实现跨维度人脸地 标点定位。
[0011] 步骤3)中所述的基于在线LCC的Ξ维人脸地标点定位算法具体是：
[0012] 31)通过标注Ξ维地标点可w将不同的Ξ维人脸进行对齐，从而使不同的Ξ维人 脸具有相同数目的顶点，在此基础上，构造=维人脸+=维地标点禪合数据；
[0013] 32)对于第i个数据样本义1:义1=^:(1)，义1(。}，其中义:。)是第1个数据样本的^维 人脸，XI(i)是第i个数据样本的Ξ维地标点，进行LCC禪合字典学习，获得该字典的基如下：
[0014]
[001引其中字典表示为0=惦，01} = {{(1如），(1如）}}灼1,1(]，其中1(表示样本个数，扣是立 维人脸字典，df(j)是第j个数据样本的Ξ维人脸字典，Di是Ξ维地标点字典，di(j)是第j个 数据样本的Ξ维地标点字典，山是第j个数据样本的Ξ维人脸地点字典和Ξ维地标点字典 组成的字典，是第i个数据样本字典dj的系数向量，α/是第i个数据样本字典到第j个数据 样本字典的映射向量，μ是权重系数。由于求解上式的时间开销较大，因此引入在线求解算 法取得快速收敛，其迭代策略为：
[0016]
[0017] 其中Dt是每次迭代求得到字典表示：
巧f是CU的转置，At和Bt是每次迭代求得的基所对应的系数分布，t表示迭代次数；
[0018] 33)在获得字典的基之后，对于给定新的Ξ维人脸W，可W很方便地获得其Ξ维人 脸字典化的系数向量α，直接将α应用于Ξ维人脸地标点字典化，从而估计给定Ξ维人脸的地 标点坐标如下：
[0019]
[0020] 根据估计结果可W在给定Ξ维人脸上进行准确的地标点定位。
[0021 ]步骤4)中所述的跨维度人脸地标点定位算法：
[0022] 考虑二维-Ξ维禪合人脸之间的类质同象特性，在获得Ξ维人脸错点义其对 应二维人脸错点;的检测之后，通过最小二乘法求解Ξ维人脸到二维人脸的投影变换矩 阵Η如下：
[0023]
[0024] 其中Η是一个2X3矩阵，而我们拥有6组错点，因此上式可解，进而，将Η应用于已经 定位的Ξ维人脸地标点获得对应的二维人脸地标点坐标：
[0025]
[00%]从而实现跨维度的人脸地标点定位。
[0027] 本发明的一种跨维度人脸地标点定位的方法:首先进行二维维禪合人脸数据 之间的类质同象学习，获得Ξ维到二维人脸的投影变换矩阵，然后进行Ξ维人脸地标点定 位，进而对所定位的Ξ维人脸地标点进行投影，获取对应二维地标点的位置信息，实现跨维 度人脸地标点的准确一致性定位。
[0028] 现有的人脸地标点定位方法都是针对单一维度人脸的，无法进行跨维度人脸地标 点定位。
[0029] 本发明的优点是:对于给定的二维维人脸数据对，能够做到二者地标点的准确 一致性定位，且本方法并不过度依赖于局部特征检测，对于局部特征不明显的地标点定位 误差较小。
【附图说明】
[0030]图1是本发明方法的训练流程图；
[0031 ]图2是本发明一种跨维度的人脸地标点定位方法的测试流程图；
[0032] 图3是二维(左)和Ξ维(右)人脸地标点(被圈住的为错点）。
【具体实施方式】
[0033] 下面结合本发明中的附图，对本发明的技术方案进行清晰、完整地描述。
[0034] 本发明提供了一种跨维度人脸地标点定位方法，图1展示了该方法的整体流程。基 于跨维度人脸地标点定位方法具体实施步骤如下：
[0035] 1. -种跨维度人脸地标点定位的方法，其特征是包括如下步骤：
[0036] 1)按照金字塔策略提取标定错点的多尺度的自旋图特征，利用标注数据对Ξ维错 点的自旋图特征进行boosting学习，构造 Ξ维错点的自动检测算法，确定对应的Ξ维错点 坐标位置；
[0037] 2)基于视觉上下文模式VCP(Visual Context化ttern)特征的boosting学习，构 造并实现的二维人脸错点检测算法，确定对应的二维错点坐标位置；
[0038] 3)定义包括错点在内的地标点集合，对部分Ξ维人脸地标点进行标注，构造 Ξ维 人脸+Ξ维地标点禪合字典，基于重建误差最小化和稀疏表达思想，构造基于在线局部坐标 编码LCC(Local Coordinate Coding)的Ξ维人脸地标点定位算法；
[0039] 4)给定新的二维-Ξ维人脸组合，完成Ξ维地标点定位，考虑二维-Ξ维禪合人脸 之间的类质同象特性，通过错点检测计算Ξ维人脸到二维人脸之间的投影变换矩阵，将该 投影变换矩阵应用于Ξ维人脸地标点，得到对应二维人脸地标点位置，实现跨维度人脸地 标点定位。
[0040] 步骤3)中所述的基于在线LCC的Ξ维人脸地标点定位算法：
[0041] 31)通过标注Ξ维地标点可W将不同的Ξ维人脸进行对齐，从而使不同的Ξ维人 脸具有相同数目的顶点，在此基础上，构造=维人脸+=维地标点禪合数据；
[0042] 32)对于第i个数据样本义1=^:(。，义1(。}，其中义:。）是第1个数据样本的^维人 脸，XI(i)是第i个数据样本的Ξ维地标点，进行LCC禪合字典学习，获得该字典的基如下：
[0043]
[0044] 其中字典表示为0={0川1} = {{(1如），(11〇)}}灼1,1(]，其中1(表示样本个数，扣是； 维人脸字典，df(j)是第j个数据样本的Ξ维人脸字典，Di是Ξ维地标点字典，di(j)是第j个 数据样本的Ξ维地标点字典，山是第j个数据样本的Ξ维人脸地点字典和Ξ维地标点字典 组成的字典，是第i个数据样本字典勺系数向量，α/是第i个数据样本字典到第j个数据 样本字典的映射向量，μ是权重系数。由于求解上式的时间开销较大，因此引入在线求解算 法取得快速收敛，其迭代策略为：
[0045]
[0046] 其中Dt是每次迭代求得到字典表示，=玄? α.满f .+ .却S ?，呂t = ,Σγ攻诚.+. 质τ'，. af是Qi的转置，At和Bt是每次迭代求得的基所对应的系数分布，t表示迭代次数；
[0047] 33)在获得字典的基之后，对于给定新的Ξ维人脸xf，可W很方便地获得其Ξ维人 脸字典化的系数向量α，直接将α应用于Ξ维人脸地标点字典化，从而估计给定Ξ维人脸的地 标点坐标如下：
[004引 χι=Σ0ια，式 3
[0049] 根据估计结果可W在给定Ξ维人脸上进行准确的地标点定位。
[0050] 步骤4)中所述的跨维度人脸地标点定位算法：
[0化1]考虑二维-Ξ维禪合人脸之间的类质同象特性，在获得Ξ维人脸错点及其对 应二维人脸错点;的检测之后，通过最小二乘法求解立维人脸到二维人脸的投影变换矩 阵Η如下：
[0化2]
[0053] 其中Η是一个2X3矩阵，而我们拥有6组错点，因此上式可解，进而，将Η应用于已经 定位的Ξ维人脸地标点获得对应的二维人脸地标点坐标：
[0化4]
[0055] 从而实现跨维度的人脸地标点定位。
[0056] 最后，W上所述仅为本发明较有代表性的实施例。本领域的普通技术人员可在不 脱离本发明的发明思想情况下，对上述实施例做出种种修改或变化，因而本发明的保护范 围并不被上述实施例所限，而应该是符合权利要求数提到的创新性特征的最大范围。
【主权项】
1. 一种跨维度人脸地标点定位的方法，包括如下步骤： 1) 按照金字塔策略提取标定锚点的多尺度的自旋图特征，利用标注数据对三维锚点的 自旋图特征进行boos ting学习，构造三维锚点的自动检测算法，确定对应的三维锚点坐标 位置； 2) 基于视觉上下文模式VCP特征的boosting学习，构造并实现的二维人脸锚点检测算 法，确定对应的二维锚点坐标位置； 3) 定义包括锚点在内的地标点集合，对部分三维人脸地标点进行标注，构造三维人脸+ 三维地标点耦合字典，基于重建误差最小化和稀疏表达思想，构造基于在线局部坐标编码 LCC的二维人脸地标点定位算法； 4) 给定新的二维-三维人脸组合，完成三维地标点定位，考虑二维-三维耦合人脸之间 的类质同象特性，通过锚点检测计算三维人脸到二维人脸之间的投影变换矩阵，将该投影 变换矩阵应用于三维人脸地标点，得到对应二维人脸地标点位置，实现跨维度人脸地标点 定位。2. 根据权利要求1所述的一种跨维度人脸地标点定位的方法，其特征在于:所述的步骤 3) 中所述的基于在线LCC的三维人脸地标点定位算法具体是： 31) 通过标注三维地标点可以将不同的三维人脸进行对齐，从而使不同的三维人脸具 有相同数目的顶点，在此基础上，构造三维人脸+三维地标点耦合数据； 32) 对于第i个数据样本xi:xi= {xf(i)，xi(i)}，其中M(i)是第i个数据样本的三维人 脸，XI(i)是第i个数据样本的三维地标点，进行LCC耦合字典学习，获得该字典的基如下：其中字典表示为〇={〇￡，〇1} = {{心（]_)，(11(]_)}}]_￡[1，1(]，其中1(表示样本个数，〇￡是三 维人脸字典，df(j)是第j个数据样本的三维人脸字典，Di是三维地标点字典，cU(j)是第j个 数据样本的三维地标点字典，山是第j个数据样本的三维人脸地点字典和三维地标点字典 组成的字典，cu是第i个数据样本字典山的系数向量，是第i个数据样本字典到第j个数据 样本字典的映射向量，μ是权重系数；由于求解上式的时间开销较大，因此引入在线求解算 法取得快速收敛，其迭代策略为：其中Dt是每次迭代求得到字典表示： af是^的转置，At和Bt是每次迭代求得的基所对应的系数分布，t表示迭代次数； 33) 在获得字典的基之后，对于给定新的三维人脸Xf，可以很方便地获得其三维人脸字 典Df的系数向量α，直接将α应用于三维人脸地标点字典Di，从而估计给定三维人脸的地标点 坐标如下： XI = Σ?ια,式 3 根据估计结果可以在给定三维人脸上进行准确的地标点定位。3. 根据权利要求1所述的一种跨维度人脸地标点定位的方法，其特征在于:所述的步骤 4) 中所述的跨维度人脸地标点定位算法具体是： 考虑二维-三维耦合人脸之间的类质同象特性，在获得三维人脸锚点及其对应二维 人脸锚点的检测之后，通过最小二乘法求解三维人脸到二维人脸的投影变换矩阵Η如 下：其中Η是一个2X3矩阵，而我们拥有6组锚点，因此上式可解，进而，将Η应用于已经定位 的三维人脸地标点获得对应的二维人脸地标点坐标：从而实现跨维度的人脸地标点定位。
【文档编号】G06K9/00GK105825187SQ201610149949
【公开日】2016年8月3日
【申请日】2016年3月16日
【发明人】宋明黎, 高珊, 孙立, 周星辰, 陈纯
【申请人】浙江大学