利用眼镜分类器的眼睛离开道路分类的制作方法
【专利摘要】本发明涉及利用眼镜分类器的眼睛离开道路分类。一种用于确定存在眼睛离开道路(EOTR)状态的方法包括从单目摄像装置捕获对应于驾驶员的图像数据。使用眼镜分类器基于图像数据对驾驶员是否佩戴眼镜进行检测。当检测到驾驶员佩戴眼镜时，从捕获的图像数据检测驾驶员面部位置，并且使用EOTR分类器基于驾驶员面部位置确定是否存在EOTR状态。
【专利说明】利用眼镜分类器的眼睛离开道路分类
[0001]相关申请的交叉引用
本专利申请要求2013年I月18日提交的美国临时申请N0.61/754，515的优先权，该申请以引用方式并入本文中。
【技术领域】
[0002]本公开涉及监测车辆驾驶员并确定驾驶员的视线是否离开道路。
【背景技术】
[0003]此部分中的陈述仅提供与本公开有关的背景信息。因此，这样的陈述并非意图构成对现有技术的承认。
[0004]能够监视车辆的操作者并检测操作者是否不注意道路场景的车辆允许采取措施来防止因操作者不注意导致的车辆碰撞。例如，报警系统可以启用以提醒驾驶员他或她注意力不集中。此外，自动制动和自动转向系统可以启用以便在确定驾驶员甚至在被警告之后也未能集中注意力时将车辆停止。
[0005]已经知道使用驾驶员监视摄像装置，该装置被配置成监视驾驶员并且检测眼睛离开道路(EOTR)状态，以根据估计的驾驶员注视方向指出驾驶员的眼睛离开道路。然而，当驾驶员佩戴眼镜时，由于对驾驶员注视方向的估计不可靠，性能会降低。同样，当驾驶员佩戴太阳镜时，无法获得对驾驶员注视方向的估计。
【发明内容】
[0006]一种用于确定存在眼睛离开道路(EOTR)状态的方法包括从单目摄像装置捕获对应于驾驶员的图像数据。对驾驶员是否佩戴眼镜的检测基于使用眼镜分类器的图像数据。当检测到驾驶员佩戴眼镜时，从捕获的图像数据检测驾驶员面部位置，并且使用EOTR分类器基于驾驶员面部位置确定是否存在EOTR状态。
[0007]本发明涉及下列技术方案。
[0008]1.一种用于确定是否存在眼睛离开道路状态的方法，包括:
从单目摄像装置捕获对应于驾驶员的图像数据；
使用眼镜分类器基于所述图像数据检测所述驾驶员是否佩戴眼镜；以及 当检测到所述驾驶员佩戴眼镜时:
从所述捕获的图像数据检测驾驶员面部位置；以及
使用眼睛离开道路分类器基于所述驾驶员面部位置确定是否存在所述眼睛离开道路状态。
[0009]2.根据技术方案2所述的方法，其中使用所述眼镜分类器基于所述图像数据检测所述驾驶员是否佩戴眼镜包括:
从所述捕获的图像数据提取面部特征；
使用由聚类例程获得的多个视觉单词的词典来量子化所述提取的视觉特征； 池化所述量子化的视觉特征以生成所述视觉单词的空间直方图；以及 使用所述眼镜分类器将所述空间直方图分类以检测所述驾驶员是否佩戴眼镜。
[0010]3.根据技术方案2所述的方法，其中所述视觉特征通过以下方式从所述捕获的图像数据提取:
将密集尺度不变特征变换描述符施加在所述捕获的图像数据的密集网格上。
[0011]4.根据技术方案2所述的方法，其中所述聚类例程包括k-平均聚类例程。
[0012]5.根据技术方案I所述的方法，其中所述眼镜分类器包括多分类支持向量机线性分类器。
[0013]6.根据技术方案5所述的方法，还包括:
使用多个均匀分布的训练过的图像训练所述多分类支持向量机线性分类器，其中每个训练过的图像包括对应于三个类别之一的相应的采样的驾驶员。
[0014]7.根据技术方案6所述的方法，其中所述三个类别包括所述采样的驾驶员不戴眼镜、所述采样的驾驶员佩戴普通眼镜、以及所述采样的驾驶员佩戴太阳镜。
[0015]8.根据技术方案I所述的方法，其中使用所述眼睛离开道路分类器基于所述驾驶员面部位置确定是否存在所述眼睛离开道路状态包括:
从所述捕获的图像数据提取视觉特征；
使用由聚类例程获得的多个视觉单词的词典量子化所述提取的视觉特征；
池化所述量子化的视觉特征以生成所述视觉单词的至少一个空间直方图；
生成与所述驾驶员面部位置串接的所述视觉单词的所述至少一个空间直方图的特征向量；以及
使用所述眼睛离开道路分类器将所述特征向量分类以确定是否存在所述EOR状态。
[0016]9.根据技术方案8所述的方法，其中所述视觉特征通过以下方式从所述捕获的图像数据提取:
将密集尺度不变特征变换描述符施加在所述捕获的图像数据的密集网格上。
[0017]10.根据技术方案8所述的方法，其中所述聚类例程包括k_平均聚类例程。
[0018]11.根据技术方案8所述的方法，其中池化所述量子化的图像数据以生成所述视觉单词的所述空间直方图包括:
池化所述量子化的图像数据以生成所述视觉单词的多个空间直方图。
[0019]12.根据技术方案8所述的方法，其中所述视觉单词的所述多个空间直方图通过以下方式生成:
将所述捕获的图像数据分割成越来越细化的子区域；以及
基于所述越来越细化的子区域生成所述多个空间直方图，其中每个子区域包括所述多个空间直方图中相应的空间直方图。
[0020]13.根据技术方案8所述的方法，其中将所述特征向量分类以确定是否存在所述EOR状态包括:
将所述特征向量分类以提取用于所述检测到的面部位置的姿势信息。
[0021]14.根据技术方案I所述的方法，其中所述眼睛离开道路分类器包括二进制支持向量机线性分类器。
[0022]15.根据技术方案14所述的方法，还包括: 使用多个均匀分布的训练过的图像训练所述二进制支持向量机线性分类器，其中每个训练过的图像包括佩戴眼镜且对应于两个类别之一的相应的采样的面部图像。
[0023]16.根据技术方案15所述的方法，其中所述两个类别包括指示驾驶员眼睛盯在路面上的所述相应的采样的面部图像和指示所述驾驶员眼睛离开道路的所述相应的采样的面部图像。
[0024]17.根据技术方案15所述的方法，其中所述多个训练过的图像的第一部分在白天被捕获并且所述多个训练过的图像的剩余第二部分在夜间被捕获。
[0025]18.根据技术方案I所述的方法，还包括:
仅当未检测到所述驾驶员佩戴眼镜时，基于估计的所述驾驶员的注视方向确定是否存在所述眼睛离开道路状态。
[0026]19.一种用于确定是否存在眼睛离开道路状态的设备，包括:
车内单目摄像装置，用于捕获指向驾驶员的视场中的图像数据；以及 处理装置，其被配置成:
使用眼镜分类器基于所述图像数据检测所述驾驶员是否佩戴眼镜；以及 当检测到所述驾驶员佩戴眼镜时:
从所述捕获的图像数据检测驾驶员面部位置；以及
使用眼睛离开道路分类器基于所述驾驶员面部位置确定是否存在所述眼睛离开道路状态。
[0027]20.根据技术方案19所述的设备，还包括:
红外发光器，其用于在低光照条件下照亮驾驶员。
【专利附图】
【附图说明】
[0028]现在将以举例方式参照附图描述一个或多个实施例，在附图中:
图1示出根据本公开的车辆内的驾驶员监视系统的部件的示例性非限制性视图；
图2示出根据本公开的由图1的摄像装置捕获的车辆的驾驶员的非限制性图像数据；图3示出根据本公开的用于选择用来确定是否存在眼睛离开道路(EOTR)状态的两种方法之一的示例性流程图；
图4示出根据本公开的用于检测图2的驾驶员是否佩戴眼镜的图3的决策框304的示例性流程图；
图5示出根据本公开的用于使用EOTR分类器检测是否存在EOTR状态的图3的框308的直接EOTR检测方法的执行的示例性流程图500 ;以及
图6示出根据本公开的用于构建空间金字塔视觉词袋以生成多个空间直方图的示例性非限制性实施例。
【具体实施方式】
[0029]现在参看附图，其中所示内容仅用于示出某些示例性实施例而不用于限制该示例性实施例，图1示出根据本公开的车辆内的驾驶员监视系统的部件的示例性非限制性视图。驾驶员监视系统包括车内单目摄像机10，其被配置成捕获指向车辆驾驶员的视场(FOV)中的图像数据。捕获的图像数据包括视频流，其包括多个连续捕获的图像帧。摄像装置10能够接收光或其它辐射，并且使用例如电荷耦合装置(CCD)传感器或互补金属氧化物半导体(CMOS)传感器中的一个将光能转化为像素格式的电信号。摄像装置10与非瞬时处理装置15信号连通，处理装置15被配置成接收捕获的图像数据并输出对驾驶员是否佩戴眼镜的检测和对是否存在眼睛离开道路(EOTR)状态的判断。如本文所用，术语“E0TR状态”是指对驾驶员的眼睛目前不聚焦在道路/驾驶场景上的判断。处理装置15可以实施在能够接收由摄像装置10捕获的图像输入数据的车辆的任何合适的隔室内。摄像装置10安装在车辆的内部内。在一个实施例中，摄像装置10安装在方向盘轴上方的车辆仪表盘上。驾驶员监视系统还包括红外发光器12，其被配置成在朝驾驶员的方向上投射红外光，使得在诸如夜间的低光照条件下由摄像装置10获得驾驶员面部的清晰图像。与使用直接光源不同，红外光不影响驾驶员的视力。此外，捕获的图像数据不存在当使用近红外光源时产生的“红眼”现象。在一个实施例中，摄像装置不包括阻挡预定波长以外的红外光的红外滤波器。本文的实施例涉及使用由摄像装置10捕获的图像数据来检测是否存在EOTR状态，SP使当驾驶员佩戴眼镜时，并且不使用高空间和时间分辨率的输入，并且因此消除了对昂贵的摄像机和透镜的需求。
[0030]控制模块、模块、控制、控制器、控制单元、处理器和类似的术语表示下列中的一个或多个的任一个或各种组合:(多个)专用集成电路(ASIC)、(多个)电子电路、(多个)中央处理器(优选(多个)微处理器)和执行一个或多个软件或固件程序或例程的相关联的存储器和存储装置(只读、可编程只读、随机存取、硬盘驱动器等)、(多个)组合逻辑电路、(多个)输入/输出电路和装置、合适的信号调节和缓冲电路、以及提供所述功能的其它部件。软件、固件、程序、指令、例程、代码、算法和类似术语表示包括校准表和查找表的任何指令集。控制模块具有为提供所需功能而执行的一组控制例程。例程例如通过中央处理器执行，并操作用于监测来自感测装置和其它联网控制模块的输入，并且执行控制和诊断例程以控制致动器的操作。例程可以以规则的间隔执行，例如，在进行中的发动机和车辆操作期间每隔3.125,6.25、12.5、25和100毫秒进行一次。备选地，可以响应于事件的发生而执行例程。
[0031]图2示出根据本公开的由图1的摄像装置捕获的驾驶员的非限制性图像数据。在图示实施例中，驾驶员佩戴眼镜50。如本文所用，术语“眼镜”是指任何类型的矫正性眼镜、太阳镜、护目镜、防护眼镜或包括覆盖驾驶员的眼睛的透镜的任何其它形式的眼镜。区域20包括EOTR区域，其包括用于监视驾驶员头部位置、面部特征点和驾驶员的眼睛的信息中的至少一个的图像数据。在一个实施例中，EOTR区域被监视以从驾驶员的面部提取视觉特征以允许驾驶员面部跟踪，其中驾驶员的眼睛的信息可从面部跟踪中提取。驾驶员的眼睛的信息可最终用于估计驾驶员的注视位置并从其确定EOTR状态。然而，当驾驶员佩戴眼镜时，由于提取驾驶员的眼睛的信息的能力受到面部跟踪的限制，基于估计的注视位置的EOTR状态可导致错误检测。因此，确定EOTR状态的存在性需要知道驾驶员是否佩戴眼镜，使得可以选择合适的方法以确定EOTR状态的存在性。
[0032]图3示出根据本公开的用于选择用来确定是否存在EOTR状态的两种方法之一的示例性流程图300。示例性流程图300可以在图1的非瞬时处理装置15内实施且由其执行。参看框302，对应于驾驶员的图像数据通过图1的摄像装置10捕获。决策框304使用眼镜分类器基于图像数据而检测驾驶员是否佩戴眼镜。当决策框304检测到驾驶员不戴眼镜(如由“O”所表示)时，在框306处执行基于注视的EOTR检测方法。如果决策框304检测到驾驶员佩戴眼镜(如由“I”所表示)时，在框308处执行使用由EOTR分类器分类的来自驾驶员的提取的姿势信息的直接EOTR检测方法。当检测到驾驶员佩戴眼镜时，本文的实施例涉及直接EOTR检测方法。在框306的直接EOTR检测方法中，可直接从提取的视觉特征(例如驾驶员的面部特征)检测EOTR状态，而不依赖对驾驶员的注视方向的估计。因此，决策框304执行眼镜分类器以检测驾驶员是否佩戴眼镜，并且框308执行EOTR分类器以基于驾驶员的面部位置来确定是否存在EOTR状态。
[0033]图4示出根据本公开的用于检测图2的驾驶员是否佩戴眼镜的图3的决策框304的示例性流程图400。示例性流程图400可以在图1的非瞬时处理装置15内实施且由其执行。表1作为图4的要点提供，其中带数字编号的框和对应的功能阐述如下。
[0034]表1
【权利要求】
1.一种用于确定是否存在眼睛离开道路状态的方法，包括: 从单目摄像装置捕获对应于驾驶员的图像数据； 使用眼镜分类器基于所述图像数据检测所述驾驶员是否佩戴眼镜；以及 当检测到所述驾驶员佩戴眼镜时: 从所述捕获的图像数据检测驾驶员面部位置；以及 使用眼睛离开道路分类器基于所述驾驶员面部位置确定是否存在所述眼睛离开道路状态。
2.根据权利要求2所述的方法，其中使用所述眼镜分类器基于所述图像数据检测所述驾驶员是否佩戴眼镜包括: 从所述捕获的图像数据提取面部特征； 使用由聚类例程获得的多个视觉单词的词典来量子化所述提取的视觉特征； 池化所述量子化的视觉特征以生成所述视觉单词的空间直方图；以及 使用所述眼镜分类器将所述空间直方图分类以检测所述驾驶员是否佩戴眼镜。
3.根据权利要求2所述的方法，其中所述视觉特征通过以下方式从所述捕获的图像数据提取: 将密集尺度不变特征变换描述符施加在所述捕获的图像数据的密集网格上。
4.根据权利要求2所述的方法，其中所述聚类例程包括k-平均聚类例程。
5.根据权利要求1所述的方法，其中所述眼镜分类器包括多分类支持向量机线性分类器。
6.根据权利要求5所述的方法，还包括: 使用多个均匀分布的训练过的图像训练所述多分类支持向量机线性分类器，其中每个训练过的图像包括对应于三个类别之一的相应的采样的驾驶员。
7.根据权利要求6所述的方法，其中所述三个类别包括所述采样的驾驶员不戴眼镜、所述采样的驾驶员佩戴普通眼镜、以及所述采样的驾驶员佩戴太阳镜。
8.根据权利要求1所述的方法，其中使用所述眼睛离开道路分类器基于所述驾驶员面部位置确定是否存在所述眼睛离开道路状态包括: 从所述捕获的图像数据提取视觉特征； 使用由聚类例程获得的多个视觉单词的词典量子化所述提取的视觉特征； 池化所述量子化的视觉特征以生成所述视觉单词的至少一个空间直方图； 生成与所述驾驶员面部位置串接的所述视觉单词的所述至少一个空间直方图的特征向量；以及 使用所述眼睛离开道路分类器将所述特征向量分类以确定是否存在所述EOR状态。
9.根据权利要求8所述的方法，其中所述视觉特征通过以下方式从所述捕获的图像数据提取: 将密集尺度不变特征变换描述符施加在所述捕获的图像数据的密集网格上。
10.一种用于确定是否存在眼睛离开道路状态的设备，包括: 车内单目摄像装置，用于捕获指向驾驶员的视场中的图像数据；以及 处理装置，其被配置成: 使用眼镜分类器基于所述图像数据检测所述驾驶员是否佩戴眼镜；以及当检测到所述驾驶员佩戴眼镜时: 从所述捕获的图像数据检测驾驶员面部位置；以及 使用眼睛离开道路分类器基于所述驾驶员面部位置确定是否存在所述眼睛离开道路状态。
【文档编号】G06K9/66GK103942527SQ201410021671
【公开日】2014年7月23日 申请日期:2014年1月17日 优先权日:2013年1月18日
【发明者】W.张, D.利瓦伊, D.E.纳奇特加尔, F.德拉托尔, F.维琴特 申请人:通用汽车环球科技运作有限责任公司, 卡内基梅隆大学