眼部检测装置、方法
【技术领域】
[0001] 本发明涉及车辆等的操作者的眼部检测装置、方法。
【背景技术】
[0002] 近年来，根据所拍摄到的静态图像或动态图像，识别人脸的人脸识别技术的开发 正在进展。提出了如下装置：在车辆中，通过检测操作者的眨眼的动作，来检知心不在焉地 开车或打瞌睡驾驶，并对操作者发出警告。
[0003]例如，专利文献1所记载的装置，逐次拍摄包括驾驶员的左眼区域（窗）的图像， 根据最新的图像与前一幅图像的比较来决定图像间的亮度的差分超过规定值的区域，并算 出亮度增加的区域与亮度减少的区域的面积之差。该时序数据与规定的眨眼图案进行比 较，由此提取驾驶员的眨眼动作，并执行用于防止打瞌睡的处置。即，该装置以单眼的区域 为基准来检测眨眼动作。因此，在人脸移动了的情况下，眼睛的位置及形状变化，成为检测 的基准的区域也同样变化。为此，难以精确地捕捉到成为检测的基准的区域，眨眼动作的误 检测频发。
[0004] 另外，专利文献2所记载的眼睑检测装置，提取拍摄图像间的差分超过规定值的 区域（差分区域）中面积最大的区域，从该差分区域中检测眼睑，进而根据眼睑的变化来检 测眨眼动作。该装置从图像中提取与驾驶员的人脸相接触的矩形的区域，并捕捉该区域在 多幅图像间的差分区域，由此检测眨眼动作。即，为了检测眨眼而进行比较的区域以人脸的 轮廓为基准来确定。
[0005]在此，在驾驶员确认后视镜的情况下，拍摄图像中的人脸的角度在相对于车辆行 进方向的横摆（偏航）方向等上变化。为此，成为眨眼的检测对象的矩形的区域的形状及 大小会发生变化，眼睛以外的区域即鼻子、眉毛、脸端部（face end)等中也产生差分区域。 面积变化最大的差分区域在眼睛以外的情况下，眼睛以外的区域例如脸端、眉毛等会被误 检测为眼睛。即，在专利文献2所记载的装置中，以人脸的轮廓为基准来设定眼睑检测所用 的区域，因此在人脸的轮廓大幅地变化的情况下，容易发生误检测。
[0006]这样，在以往的装置中，在驾驶员的脸部伴有运动的情况下，发生误检测。
[0007] 专利文献
[0008] 专利文献1:日本特开2000-040148号公报（专利第3012226号）
[0009]专利文献 2 :US2008/0212850
[0010] 如上所述，在专利文献1的装置中，基于仅单眼的区域而检测眨眼，因此伴随着人 脸整体的运动，检测所用的区域变化，容易发生眨眼的误检测。另外，专利文献2的装置以 人脸的轮廓为基准而设定眨眼的检测所用的区域，因此同样地伴随着人脸整体的运动，容 易发生误检测。
【发明内容】
[0011] 本发明是鉴于上述的课题而做出的，本发明的目的在于，提供即使在人脸移动了 的情况下也能够正确地检测驾驶员的眨眼动作的眼部检测装置、方法。
[0012] 本发明所涉及的眼部检测装置具有：输入单元，输入每隔规定的时间所拍摄到的 人脸的图像；提取单元，基于包括鼻子在内的特征点，从所述图像中提取眼睛搜索区域；对 应关联单元，基于第一时间的所述特征点与第二时间的所述特征点的位置的比较的结果， 将第一时间的所述眼睛搜索区域与第二时间的所述眼睛搜索区域相对应关联；决定单元， 基于对应关联的所述第一及第二时间的所述眼睛搜索区域，从所述第一及第二时间的眼睛 搜索区域中决定眼部区域的单元。
[0013] 所述对应关联单元，基于第一时间的所述眼睛搜索区域与第二时间的所述眼睛搜 索区域的对应关联，决定所述第一及第二时间的眼睛搜索区域之间的位置偏差量。
[0014] 所述对应关联单元，将第一时间的所述眼睛搜索区域作为模板，对第二时间的所 述眼睛搜索区域执行模板匹配。
[0015] 所述提取单元，基于第一及第二时间的所述眼睛搜索区域内的至少一个像素的亮 度的差，修正第一时间或第二时间的所述眼睛搜索区域的亮度。
[0016] 所述决定单元具备差分图像作成单元，该差分图像作成单元对于第一时间的所述 眼睛搜索区域与第二时间的所述眼睛搜索区域中的所述对应关联的每个像素，算出亮度的 差分值。
[0017] 所述决定单元，在所述对应关联的眼睛搜索区域中，将相对位置满足规定条件的 一对区域决定为眼部区域。
[0018] 所述决定单元还具备三值化处理单元，该三值化处理单元将所述差分值三值化。
[0019] 所述决定单元，基于所述眼睛搜索区域内的产生了差分的区域的总数，来决定是 否检测眼部区域。
[0020] 所述决定单元，基于所述眼睛搜索区域内的产生了差分的各区域的总面积，来决 定是否检测眼部区域。
[0021] 还提供一种眼部检测方法，具有：
[0022] 输入每隔一定时间拍摄到的人脸的图像并基于包括鼻子的特征点而从所述图像 中提取眼睛搜索区域的步骤；
[0023] 基于第一时间的所述特征点与第二时间的所述特征点的位置的比较的结果，将第 一时间的所述眼睛搜索区域与第二时间的所述眼睛搜索区域对应关联的步骤；
[0024] 基于所述对应关联的第一及第二时间的所述眼睛搜索区域而从所述第一及第二 时间的眼睛搜索区域中决定眼部区域的步骤。
[0025] 发明的效果
[0026] 根据本发明，眼睛搜索区域基于包括鼻子的特征点而决定，并基于第一时间的特 征点与第二时间的特征点的位置的比较，将第一时间的眼睛搜索区域与第二时间的眼睛搜 索区域对应关联。基于对应关联的第一及第二时间的眼睛搜索区域，从第一及第二时间的 眼睛搜索区域中决定眼部区域。即使在人脸的朝向变化了的情况下，鼻子的形状变化也比 较小。另外，鼻子位于人脸中心附近，因此即使在人脸旋转了的情况下，鼻子与眼部的相对 位置的变化也较小。
[0027] 通过以鼻子为基准来决定眼睛搜索区域，即使在人脸构成的形状变化了的情况 下，也能够正确地检测眼部位置。
[0028] 另外，基于第一时间的眼睛搜索区域与第二时间的眼睛搜索区域的对应关联而决 定第一及第二时间的眼睛搜索区域之间的位置偏差量，由此能够正确地提取眼部区域。
[0029] 另外，根据本发明，以第一时间的眼睛搜索区域为模板来执行第二时间的眼睛搜 索区域模板匹配，所以能够进行正确的位置偏差修正。
[0030] 根据本发明，提取眼睛搜索区域的单元基于第一及第二时间的眼睛搜索区域内的 至少一个像素的亮度的差，修正第一时间或第二时间的眼睛搜索区域的亮度，所以能够高 速地执行修正帧间的亮度的差的处理。
[0031] 根据本发明，算出眼睛搜索区域的平均亮度，并基于平均亮度而修正眼睛搜索区 域的图像的亮度，因此即使在第一时间和第二时间，周围的照明变化了的情况下，也能够进 行眼部区域的恰当的决定。
[0032] 另外，根据本发明，在对应关联的眼睛搜索区域中，将相对位置满足规定条件的一 对区域决定为眼部区域。人的眼睛在水平方向的距离处于规定的范围且垂直方向的高度大 致一致，因此通过对水平方向及垂直方向的位置进行比较，能够正确地决定眼部区域。
[0033] 另外，本发明具备三值化处理单元，该三值化处理单元按第一时间的眼睛搜索区 域与第二时间的眼睛搜索区域的对应关联的每个像素而算出亮度的差分值，并使所述差分 值三值化。通过使对应关联的每个像素的差分值三值化，能够正确地辨别眼睛搜索区域内 的、亮度变化较少的区域、从亮变化为暗的区域、从暗变化为亮的区域。因此，能够正确地检 测眼睑闭合的情况和眼睑睁开的情况。
[0034] 本发明基于眼睛搜索区域内的产生了差分的区域的总数而决定是否检测眼部区 域。另外，基于眼睛搜索区域内的产生了差分的各区域的总面积而决定是否检测眼睛区域。 由此，即使在驾驶员使用眼镜等的情况下，也能够将噪声多的图像排除在外，所以能够恰当 地决定眼部区域。
【附图说明】
[0035] 图1是本发明的实施方式所涉及的眼部检测装置的车辆搭载图。
[0036] 图2是本发明的实施方式所涉及的眼部检测装置的概略框图。
[0037] 图3是本发明的实施方式所涉及的眼部检测装置的功能框图。
[0038] 图4是本发明的实施方式所涉及的拍摄部4的拍摄图像的例子。
[0039] 图5是从图4提取到的眼睛搜索区域71的例子。
[0040] 图6A、6B是本发明的实施方式所涉及的拍摄部4的拍摄图像的亮度的波动的例 子，其中，图6A表示车辆2刚刚通过隧道的出口后的眼睛搜索区域71，图6B表示车辆2从 隧道的入口刚刚进入到隧道后的眼睛搜索区域71。
[0041] 图7是本发明的实施方式所涉及的差分图像的例子。
[0042] 图8是本发明的实施方式所涉及的差分图像的浓度直方图的例子。
[0043] 图9是本发明的实施方式所涉及的三值化图像的例子。
[0044] 图10是按面积从大到小的顺序对本发明的实施方式所涉及的三值化图像内的差 分区域进行编号的例子。
[0045] 图11A、11B是本发明的实施方式所涉及的三值化图像的噪声的例子，其中，图11A 表示驾驶员戴着眼镜的情况下的眼睛搜索区域71，图11B表示图11A的三值化图像。
[0046] 图12是对本发明的实施方式所涉及的三值化图像的两个区域进行比较的例子。
[0047] 图13是对本发明的实施方式所涉及的眼部检测方法的概略处理进行表示的流程 图。
[0048] 图14是本发明的实施方式所涉及的帧拍摄的详细流程图。
[0049] 图15是本发明的实施方式所涉及的位置偏差修正处理的详细流程。
[0050] 图16是本发明的实施方式所涉及的差分图像作成处理的详细流程。
[0051] 图17是将本发明的实施方式所涉及的差分图像三值化的详细流程。
[0052] 图18是本发明的实施方式所涉及的眼部区域决定的前处理的详细流程。
[0053] 图19是本发明的实施方式所涉及的场面的有效/无效判断处理的详细流程。
[0054] 图20是本发明的实施方式所涉及的眼部检测处理的详细流程。
[0055] 附图标记说明
[0056] 100眼部检测装置
[0057] 2 车辆
[0058] 4拍摄部
[0059] 6数据处理部 [0060] 12眼睛搜索区域部
[0061] 14位置偏差修正部
[0062] 16差分图像作成部
[0063] 18三值化处理部
[0064] 22场面判断部
[0065] 24眼部检测部
[0066] 42摄影机
[0067] 44控制部
[0068] 60 运算部（CPU)
[