技术领域本发明涉及图像处理技术领域,特别是一种眼部图像的眼瞳定位方法及其应用该方法的系统、拍摄终端。
背景技术:
由于对拍摄不做要求,在拍照的环境中使得眼部区域图像包括了很多不确定性:比如某张人眼图像中是否存在噪声(例如眼睑、睫毛遮挡或图像中的高亮反射),该图像的摄取对象(是什么人的眼睛)、该图像的参数(用的是什么图像采集传感器,或者该人眼图像的尺寸如何、是否被压缩、或者图像格式等等)。同时,眼部图像在某些情况下光照是不均匀的,同时虹膜的内边界大小是会发生变化的,这会使眼睛内部的纹理产生变形,这些都会给眼瞳定位的准确性带来影响。
技术实现要素:
本发明为解决上述问题,提供了一种眼部图像的眼瞳定位方法、系统及拍摄终端,其通过对眼部图像进行灰度预处理和区域形状的判断,并采用从粗到精的二次定位方法,极大的提高了眼瞳定位的准确性。为实现上述目的,本发明采用的技术方案为:首先,本发明提供一种眼部图像的眼瞳定位方法,其包括以下步骤:10.对待处理的眼部图像进行灰度分析和处理,得到灰度图;20.对所述的灰度图进行二值化处理,得到二值图像;30.对所述的二值图像进行区域标记和区域形状的判断,若判断为非圆形区域则先执行步骤40进行眼瞳粗略定位再执行步骤50进行眼瞳精确定位,若判断为圆形区域则直接根据该圆形区域利用能量公式进行眼瞳精确定位,得到精确的眼瞳定位点;40.通过对所述眼部图像进行特征点识别获取初始眼瞳定位点,并根据所述的初始眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳粗略定位,得到粗略的眼瞳定位点;50.根据所述的粗略的眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳精确定位,得到精确的眼瞳定位点。优选的,所述的步骤10中对所述的眼部图像进行灰度分析和处理,还进一步包括:11.对所述的眼部图像进行灰度化处理,得到初步的灰度图;12.对所述初步的灰度图进行直方图均衡化处理,得到增强的灰度图;13.对所述增强的灰度图进行孔洞填充,得到填充后的灰度图;14.根据所述眼部图像的尺寸对所述填充后的灰度图进行高斯模糊处理,得到模糊后的灰度图。优选的,所述的步骤20中,先将所述的灰度图缩放至指定尺寸,再对缩放后的灰度图进行二值化的阈值计算,得到二值图像。优选的,所述的步骤30中,对所述的二值图像进行区域标记和区域形状的判断,进一步包括:31.对所述的二值图像进行区域标记得到标记区域;32.对所述的标记区域的轮廓进行形状拟合,并根据拟合后的形状进行判断所述标记区域是否为圆形区域。优选的,所述的步骤32中,判断所述标记区域是否为圆形区域,是通过计算所述标记区域的周长和面积,根据该周长和面积计算所述标记区域的圆形率,并根据该圆形率的大小对所述标记区域进行圆形判断。优选的,所述的步骤30中,根据所述的圆形区域利用能量公式进行眼瞳精确定位,是通过在预设范围内计算不同半径和圆心下的能量值,并利用小步长进行变换所述半径和圆心点的坐标,根据计算得到的最大能量值进行眼瞳精确定位。优选的,所述的步骤40中,根据所述的初始眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳粗略定位,是通过在所述的初始眼瞳定位点的附近区域的预设范围内计算不同半径和圆心下的能量值,并利用大步长进行变换所述半径和圆心点的坐标,根据计算得到的最大能量值进行眼瞳粗略定位。优选的,所述的步骤50中,根据所述的粗略的眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳精确定位,是通过在所述的粗略的眼瞳定位点的附近区域的预设范围内计算不同半径和圆心下的能量值,并利用小步长进行变换所述半径和圆心点的坐标,根据计算得到的最大能量值进行眼瞳精确定位。其次,本发明提供一种眼部图像的眼瞳定位系统,其包括:灰度预处理模块,用于对待处理的眼部图像进行灰度分析和处理,得到灰度图;二值化模块,用于对所述的灰度图进行二值化处理,得到二值图像;区域形状判断模块,用于对所述的二值图像进行区域标记和区域形状的判断;粗略定位模块,用于通过对所述眼部图像进行特征点识别获取初始眼瞳定位点,并根据所述的初始眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳粗略定位,得到粗略的眼瞳定位点;精确定位模块,用于根据所述的粗略的眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳精确定位,得到精确的眼瞳定位点;若所述的区域形状判断模块的判断结果为非圆形区域,则先通过所述的粗略定位模块进行眼瞳粗略定位,再通过所述的精确定位模块进行眼瞳精确定位;若所述的区域形状判断模块的判断结果为圆形区域,则直接根据该圆形区域利用能量公式进行眼瞳精确定位,得到精确的眼瞳定位点。优选的,所述的灰度预处理模块进一步包括:灰度化单元,用于对待处理的眼部图像进行灰度化处理,得到初步的灰度图;直方图计算单元,用于对所述的初步灰度图进行直方图均衡化处理,得到增强的灰度图;灰度填充单元,用于对所述增强的灰度图进行孔洞填充,得到填充后的灰度图;模糊处理单元,用于根据所述眼部图像的尺寸对所述填充后的灰度图进行高斯模糊处理,得到模糊后的灰度图。另外,本发明还提供一种拍摄终端,该拍摄终端包括如上任一项所述的眼部图像的眼瞳定位系统。本发明的有益效果是:本发明的一种眼部图像的眼瞳定位方法、系统及拍摄终端,其通过对待处理的眼部图像进行灰度分析和处理得到灰度图,并对所述的灰度图进行二值化处理得到二值图像,然后对所述的二值图像进行区域标记和区域形状的判断,若判断结果为非圆形区域,则先进行眼瞳粗略定位再进行眼瞳精确定位,若判断结果为圆形区域,则直接根据该圆形区域利用能量公式进行眼瞳精确定位,从而得到精确的眼瞳定位点;其不仅算法简单、运算速度快,而且极大的提高了眼瞳定位的准确性,特别适用于对比度较低或存在高光的眼部图像的定位具有显著的改善效果。附图说明此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:图1为本发明眼部图像的眼瞳定位方法的流程简图;图2为本发明眼部图像的眼瞳定位方法的灰度分析和处理过程的流程简图;图3为本发明眼部图像的眼瞳定位系统的结构示意图;图4为本发明眼部图像的眼瞳定位系统的灰度预处理模块的结构示意图。具体实施方式为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。如图1所示,本发明的一种眼部图像的眼瞳定位方法,其包括以下步骤:10.对待处理的眼部图像进行灰度分析和处理,得到灰度图;20.对所述的灰度图进行二值化处理,得到二值图像;30.对所述的二值图像进行区域标记和区域形状的判断,若判断为非圆形区域则先执行步骤40进行眼瞳粗略定位再执行步骤50进行眼瞳精确定位,若判断为圆形区域则直接根据该圆形区域利用能量公式进行眼瞳精确定位,得到精确的眼瞳定位点;40.通过对所述眼部图像进行特征点识别获取初始眼瞳定位点,并根据所述的初始眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳粗略定位,得到粗略的眼瞳定位点;50.根据所述的粗略的眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳精确定位,得到精确的眼瞳定位点。所述的步骤10中,对所述的眼部图像进行灰度分析和处理,还进一步包括:11.对所述的眼部图像进行灰度化处理,得到初步的灰度图;12.对所述初步的灰度图进行直方图均衡化处理,得到增强的灰度图;13.对所述增强的灰度图进行孔洞填充,得到填充后的灰度图;14.根据所述眼部图像的尺寸对所述填充后的灰度图进行高斯模糊处理,得到模糊后的灰度图。所述的步骤11中的灰度化处理,其计算方法如下:GRAY=0.299*RED+0.587*GREEN+0.114*BLUE;或者GRAY=(RED*306+GREEN*601+BLUE*117+512)/1024;其中,GRAY为计算得到的初步的灰度图的当前像素点的灰度值;RED、GREEN、BLUE分别为待处理的眼部图像的当前像素点的红、绿、蓝通道的颜色值。所述的步骤12中的直方图均衡化处理,是根据所述的步骤11中计算得到的灰度图中的各个像素点的灰度值,统计出灰度图的直方图,并利用直方图均衡方法增强对比度,该直方图均衡化的计算方法如下:mapval=255*Σj=0graynj/N;]]>其中,gray为灰度图的当前像素点的灰度值,mapval为均衡化后的对应像素点的灰度映射值,N为灰度图的像素点的个数;表示0到gray个灰度级的像素点的数量总和。所述的步骤13中,对所述增强的灰度图进行孔洞填充,可有效消除眼部图像的镜面反射问题,消除拍照过程中眼睛区域可能产生的光斑对眼瞳定位的影响,使得眼瞳定位更准确。所述的步骤14中,根据所述眼部图像的尺寸对所述填充后的灰度图进行高斯模糊处理,能够有效消弱或抑制图像中的噪声,但是,如果眼部图像本身过小的情况下进行高斯模糊,会造成无法精准定位的问题,所以需要根据图像尺寸来决定是否进行高斯模糊以及高斯模糊半径的大小。所述的步骤20中,先将所述的灰度图缩放至指定尺寸,再对缩放后的灰度图进行二值化的阈值计算,得到二值图像。本实施例中,是利用改进的最大类间方差法确定阈值:眼瞳默认灰度值在128以下,所以对灰度在128以下的范围进行直方图统计,然后根据最大类间方差法确定出一个阈值,该阈值的取值范围在1至128之间,若灰度值为0时阈值置为1,最后根据确定的阈值对灰度图像进行二值化判断,得到二值图像。所述的步骤30中,对所述的二值图像进行区域标记和区域形状的判断,进一步包括:31.对所述的二值图像进行区域标记得到标记区域;32.对所述的标记区域的轮廓进行形状拟合,并根据拟合后的形状进行判断所述标记区域是否为圆形区域。本实施例中,所述的步骤32中判断所述标记区域是否为圆形区域,是通过计算所述标记区域的周长和面积,根据该周长和面积计算所述标记区域的圆形率,并根据该圆形率的大小对所述标记区域进行圆形判断,其中,圆形率的计算方法如下:CIRCLE=4*π*(Area)/(Perimeter)2;其中,Area为所述标记区域的面积,Perimeter为所述标记区域的外围轮廓的周长,CIRCLE为计算得到的该标记区域的圆形率。所述的步骤30中,根据所述的圆形区域利用能量公式进行眼瞳精确定位,是通过在预设范围内计算不同半径和圆心下的能量值,并利用小步长进行变换所述半径和圆心点的坐标,根据计算得到的最大能量值进行眼瞳精确定位。所述的步骤40中,根据所述的初始眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳粗略定位,是通过在所述的初始眼瞳定位点的附近区域的预设范围内计算不同半径和圆心下的能量值,并利用大步长进行变换所述半径和圆心点的坐标,根据计算得到的最大能量值进行眼瞳粗略定位。所述的步骤50中,根据所述的粗略的眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳精确定位,是通过在所述的粗略的眼瞳定位点的附近区域的预设范围内计算不同半径和圆心下的能量值,并利用小步长进行变换所述半径和圆心点的坐标,根据计算得到的最大能量值进行眼瞳精确定位。本实施例中,上述步骤30、40、50中的能量公式采用圆周差分法的计算方法,具体如下:其中,r为半径,xc、yc为圆心坐标点,G(r)表示平滑算子,即变换步长;I(x,y)表示眼部图像,即,在不同半径r和圆心(x,y)所对应的圆周ds上对灰度梯度值做积分并把它归一化,梯度最大值max所对应的就是圆的边界,粗略定位和精确定位的计算过程主要是平滑算子不同,即,粗略定位采用大的变换步长,精确定位采用小的变换步长。如图3所示,本发明提供一种眼部图像的眼瞳定位系统,其包括:灰度预处理模块A,用于对待处理的眼部图像进行灰度分析和处理,得到灰度图;二值化模块B,用于对所述的灰度图进行二值化处理,得到二值图像;区域形状判断模块C,用于对所述的二值图像进行区域标记和区域形状的判断;粗略定位模块D,用于通过对所述眼部图像进行特征点识别获取初始眼瞳定位点,并根据所述的初始眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳粗略定位,得到粗略的眼瞳定位点;精确定位模块E,用于根据所述的粗略的眼瞳定位点和所述的灰度图在其预设范围内利用能量公式进行眼瞳精确定位,得到精确的眼瞳定位点;若所述的区域形状判断模块C的判断结果为非圆形区域,则先通过所述的粗略定位模块D进行眼瞳粗略定位,再通过所述的精确定位模块E进行眼瞳精确定位;若所述的区域形状判断模块C的判断结果为圆形区域,则直接根据该圆形区域利用能量公式进行眼瞳精确定位,得到精确的眼瞳定位点。如图4所示,所述的灰度预处理模块A进一步包括:灰度化单元A1,用于对待处理的眼部图像进行灰度化处理,得到初步的灰度图;直方图计算单元A2,用于对所述的初步灰度图进行直方图均衡化处理,得到增强的灰度图;灰度填充单元A3,用于对所述增强的灰度图进行孔洞填充,得到填充后的灰度图;模糊处理单元A4,用于根据所述眼部图像的尺寸对所述填充后的灰度图进行高斯模糊处理,得到模糊后的灰度图。另外,本发明还提供一种拍摄终端,该拍摄终端包括如上所述的眼部图像的眼瞳定位系统,其中,眼部图像的眼瞳定位系统可以采用图3和图4实施例的结构,其对应地,可以执行图1和图2所示方法实施例的技术方案,其实现原理和技术效果类似,详细可以参见上述实施例中的相关记载,此处不再赘述。所述拍摄终端包括:手机、数码相机或平板电脑等配置有摄像头的设备。本发明通过对待处理的眼部图像的灰度图进行直方图均衡,消除镜面反射,高斯模糊和尺寸缩放后,利用计算得到的阈值进行二值化,根据区域标记以及形状判断,对圆形区域及类圆形区域进行眼瞳的精准定位,若类圆形寻找失败,则利用粗定位眼瞳点在一定范围内进行由粗到精的定位方法,最终得到眼瞳定位的圆心和半径,其不仅算法简单、运算速度快,而且对眼部图像对比度较低或存在高光的改善效果显著。需要说明的是,本发明所述的眼部图像是指包含眼部的图像,例如包含眼部的人脸图像或者包含眼部的人体图像或者包含眼部的局部人脸图像等。本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统实施例和终端实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。并且,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。另外,本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。上述说明示出并描述了本发明的优选实施例,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文发明构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。