一种人脸眼睛部位定位及视线估计方法

1.本发明具体涉及一种人脸眼睛部位定位及视线估计方法。


背景技术：

2.如今道路安全问题演变成亟须解决的民生及社会问题，现有研究表明，许多交通安全事故发生之前，造成事故的双方即车辆驾驶员会有明显的危害驾驶行为或迹象表现出来，而这些通常含有与驾驶员眼动状态有关的表现，如视线离开行驶方向，注意力不集中，视线飘忽不定，闭眼等。因此对驾驶员在驾驶状态下的眼睛动态信息进行获取研究，并对这些眼动信息的进一步统计和分析，可以了解被检测人的专注程度。通过之前获得的数据和信息，利用分析算法，获得比较准确的驾驶员人眼眼动状态。这是本发明主要的研究重心。在本发明的基础上可以进行发展，对驾驶员的驾驶行为通过算法实现实时判断，在驾驶员出现危害驾驶的行为时及时提醒制止，对改善我国道路交通安全现状有着重大的现实意义。


技术实现要素：

3.发明目的：为了解决现有技术的不足，本发明提供了一种人脸眼睛部位定位及视线估计方法。
4.技术方案：一种人脸眼睛部位定位及视线估计方法，包括如下步骤：
5.步骤一、提取人脸上左右眼周围的关键点，定位眼睛部位；
6.步骤二、采用基于直方图的检测方法检测与定位瞳孔；
7.步骤三、判断视线方向。
8.作为优化：所述的步骤一中，眼睛部位的提取如下：在眼睛内和周围共有12个特征点，采用精确提取方法，提取方法如下:首先根据这些特征点确定眼睛的范围，左眼的有[1,2,3,4,5,6]，右眼的特征点为[7,8,9,10,11,12]；然后确定眼睛部位的宽度w和高度h；以左眼为例，根据左眼的关键点标记，眼睛的宽度为定位点1至4的距离即为w，眼睛的高度为定位点2至6的距离记为h1，以及定位点3至5的距离记为h2，然后取h1和h2的平均距离即作为眼睛的高度h，最后在这个区域中提取眼睛部位，公式1如下：
[0009][0010]
作为优化：所述的步骤二中，基于直方图的瞳孔检测：基于灰色直方图的阈值划分是适合于目标和背景分布在不同灰度范围内的灰度图像的计算，并且用于包括图像信息的图像划分；x轴表示图像中各个像素的灰度值，y轴是当前灰度图像中每个灰度值出现的次数；受脸部和眼睛图像噪声的影响，直方图一般不平滑，难以找到其真正的最大值和最小值，通过以下公式(2)可获取光滑的眼睛直方图，
[0011]
y(n)＝((y(n
‑
1)+y(n)+y(n+1)))/3
ꢀꢀꢀ
(2)
[0012]
瞳孔的界限值提取：图左边的峰值是瞳孔，右边是虹膜。在瞳孔和虹膜的峰值之间的谷底获取灰度值作为临界值。在确定临界值后，小于该阈值的各个像素的横向坐标和纵向坐标被用于计算瞳孔的中心。
[0013][0014][0015]
由于瞳孔近似圆形，瞳孔面积s为小于阈值的像素个数，瞳孔半径r为：
[0016][0017]
以左眼为例，根据左眼的关键点标记，眼睛的宽度为定位点1至4的距离即为w，眼睛的高度为定位点2至6的距离记为h1，以及定位点3至5的距离记为h2，然后取h1和h2的平均距离即作为眼睛的高度h，记ra为眼睛宽高比的比值，则有：
[0018][0019]
用0.2代表睁眼(闭眼)的阈值，即：ra>0.2睁眼；ra<0.2闭眼，眨眼的条件为：ra从大于0.2到小于0.2到大于0.2的过程算作为一次眨眼，一般人类的眨眼频次为10到15次每分钟。
[0020]
作为优化：所述的步骤三中，判断视线方向：估算眼睛视线方向的公式中，所要估算的视线方向α，β，其实为实际视线方向s与直视视线方向s’的夹角，估算公式如下：
[0021][0022][0023]
上述公式中，α，β为实际视线与正视视力的夹角，l
h
为的横向正交分量，l
v
为的纵向正交分量，为眼睛中心距离眼睛两角点中心的矢量，d可估算为眼球的半径，大概在12mm；
[0024]
上述视线模型有以下假设：虹膜发生位移时，轨迹是在平面内，夹角小的情况下，上述假设是正确的；当眼球的旋转角度达到
±
35度时，所产生的误差仅为3.5度，该范围内的大部分视线方向一般在
±
15度以内，对应误差仅为0.33度；因此，大多数情况下，上述假设是成立的，就是由虹膜移动到处于眼睛的哪个方位上，即可作为眼睛视线方向。
[0025]
有益效果：本发明首先阐述提取脸上左右眼周围的关键点，定位眼睛部位，第二部分是阐述基于直方图的瞳孔检测的方法，实现对眼睛部位的瞳孔的定位，第三部分对视线估算方法进行简要的说明，也经过实验验证了该系统所具备的一定的实际应用效果及达到
实时要求。
附图说明
[0026]
图1是本发明的眼睛部位区域图像；
[0027]
图2是本发明的眼睛图像直方图；
[0028]
图3是本发明的瞳孔检测示意图；
[0029]
图4是本发明的实验眨眼示意图；
[0030]
图5是本发明的实验闭眼示意图；
[0031]
图6是本发明的眼球结构图；
[0032]
图7是本发明的眼睛视线判断模型图；
[0033]
图8是本发明的视线向左示意图；
[0034]
图9是本发明的视线向右示意图；
[0035]
图10是本发明的视线向上示意图；
[0036]
图11是本发明的视线向下示意图。
具体实施方式
[0037]
下面将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0038]
实施例
[0039]
本发明提取脸上左右眼周围的关键点，定位眼睛部位，接着采用基于直方图的检测方法检测与定位瞳孔，然后估算视线方向。
[0040]
1眼睛部位的提取
[0041]
使用上述方法所获得的特征点准确地提取眼球区，本发明根据理论分析和检验，突出了眼球区。试验效果，在眼睛周围共有12个特征点，建议的精确提取方法。
[0042]
为了这些特征，采用以下程序：首先检测眼睛四周的12个特征点，根据这些特征点确定眼睛的范围，左眼的有[1,2,3,4,5,6]，右眼的特征点为[7,8,9,10,11,12]。然后确定眼睛部位的宽度w和高度h。以左眼为例，根据左眼的关键点标记，眼睛的宽度为定位点1至4的距离即为w，眼睛的高度为定位点2至6的距离记为h1，以及定位点3至5的距离记为h2，然后取h1和h2的平均距离即作为眼睛的高度h，最后在这个区域中提取眼睛部位，实验效果如图1所示，公式1如下：
[0043][0044]
2基于直方图的瞳孔检测
[0045]
灰度图像的直方图是非常重要的图像分析方法，具有低计算成本、旋转不变性等
特点，经常用于灰度图像的阈值化和彩色图像的检索等，在图像处理的各个领域有着广泛的应用。基于灰色直方图的阈值分割适合于目标和背景分布在不同灰度范围内的灰度图像。灰色直方图的x轴表示图像中各个像素的灰度值，y轴是当前灰度图像中每个灰度值出现的次数；受脸部和眼睛图像噪声的影响，直方图一般不平滑，难以找到其真正的最大值和最小值，通过以下公式(2)可获取光滑的眼睛直方图，如图2所示。
[0046]
y(n)＝((y(n
‑
1)+y(n)+y(n+1))/3
ꢀꢀꢀ
(2)
[0047]
瞳孔的界限值提取。图左边的峰值是瞳孔，右边是虹膜。在瞳孔和虹膜的峰值之间的谷底获取灰度值作为临界值。在确定临界值后，小于该阈值的各个像素的横向坐标和纵向坐标被用于计算瞳孔的中心。
[0048][0049][0050]
由于瞳孔近似圆形，瞳孔面积s为小于阈值的像素个数，瞳孔半径r为：
[0051][0052]
对瞳孔检测的实验效果如图3所示：
[0053]
在上文阐述眼睛部位提取中，以左眼为例，根据左眼的关键点标记，眼睛的宽度为定位点1至4的距离即为w，眼睛的高度为定位点2至6的距离记为h1，以及定位点3至5的距离记为h2，然后取h1和h2的平均距离即作为眼睛的高度h。记ra为眼睛宽高比的比值，则有：
[0054][0055]
我们用0.2代表睁眼(闭眼)的阈值，即：ra>0.2睁眼；ra<0.2闭眼。眨眼的条件为：ra从大于0.2到小于0.2到大于0.2的过程算作为一次眨眼，一般人类的眨眼频次大概为10到15次每分钟。实验效果如图4、图5所示。
[0056]
3判断视线方向
[0057]
结合图6、图7所示，可以得到估算眼睛视线方向的公式，我们所要估算的视线方向α，β，其实为实际视线方向s与直视视线方向s’的夹角。估算公式如下：
[0058][0059][0060]
上述公式中，α，β为实际视线与正视视力的夹角，l
h
为的横向正交分量，l
v
为的纵向正交分量，为眼睛中心距离眼睛两角点中心的矢量，d可估算为眼球的半径，大概在12mm。
[0061]
上述视线模型有以下假设。虹膜发生位移时，轨迹是在平面内。夹角小的情况下，上述假设是正确的。当眼球的旋转角度达到
±
35度时，所产生的误差仅为3.5度。该范围内的大部分视线方向一般在
±
15度以内，对应误差仅为0.33度。因此，大多数情况下，上述假设是成立的。更加通俗一点描述的话，就是由虹膜移动到处于眼睛的哪个方位上，即可作为眼睛视线方向。实验效果如图8
‑
图11所示。
[0062]
本发明首先阐述提取脸上左右眼周围的关键点，定位眼睛部位，第二部分是阐述基于直方图的瞳孔检测的方法，实现对眼睛部位的瞳孔的定位，第三部分对视线估算方法进行简要的说明，实验验证了该系统具备一定的实际应用效果及实时性。