专利名称：基于驾驶员面部识别的机动车安全控制系统的制作方法
技术领域：
本实用新型涉及基于驾驶员面部识别的机动车安全控制系统，特别是一种基于驾驶员脸部图像识别结果判断行车是否存在安全隐患，以提醒驾驶员保持安全驾驶，甚至进一步自动控制机动车行驶的系统，属于自动控制技术领域。
背景技术：
机动车的行车安全一直是社会各界关注的焦点之一。导致机动车出现安全事故的主要原因，除机动车本身出现故障以外，驾驶员操作失误是最主要的因素。特别是，经过长期的技术发展，机动车的机械、电气质量以及道路安全设施日益完善；因此，非人为因素导致机动车出现安全事故的比率越来越低，而由于驾驶人员操作失误导致的道路交通安全事故的比率不断呈上升的趋势。在所有机动车交通事故中，疲劳驾驶是造成事故的主要原因之一。中国公安部关于2005年全国道路交通事故统计分析报告指出机动车驾驶人交通违法是造成交通事故的主要原因，驾驶人员在驾驶机动车过程中因疲劳、酒后、注意力不集中导致上万人死伤。 近年来，随着经济不断增长，截止到2010年10月，中国私人拥有的汽车数量已达1. 5亿辆以上，机动车驾驶员的数量达到2亿多人。显然，减少或者防止因疲劳、酒后、注意力不集中驾驶机动车的现象是降低机动车交通事故的重要措施。为了达到上述的目的，业界通常使用摄像头来摄像驾驶人员的脸部图像，采用处理器对驾驶人员的脸部图像进行分析，并基于脸部图像中眼部的图像判断驾驶员是否瞌睡，进而采用声、光报警的方式提示驾驶人员注意。这样的方案固然能够解决一定的问题， 但还是存在诸多不足。例如上述方案的功能单一，对眼部图像判断仅仅能用于识别瞌睡的情况，对于驾驶员注意力不集中，长时间扭头的情形无法识别；当驾驶员配戴眼镜或墨镜时，无法正确识别；此外，该方案仅对驾驶员眼睛睁开的状态进行识别，当驾驶员遇到正面强光照射眯起眼睛时，存在产生误报警的可能，因此可靠性不高。
实用新型内容本实用新型的另一个方面在于提供一种基于驾驶员面部识别的机动车安全控制系统，即在机动车上设置必要的图像采集、运算装置以及控制模组，该装置利用上述的方法，采集并处理驾驶员的脸部图像，判断出驾驶员是否处于疲劳、酒后驾驶的状态，或者判断出驾驶员的注意力是否集中。并基于判断的结果控制发出声、光报警，甚至直接控制机动车安全系统工作，以防止发生交通事故。本实用新型采用如下的技术方案实现—种基于驾驶员面部识别的机动车安全控制系统，包括摄像装置、运算装置以及人脸三角形参数存储装置；其中，摄像装置设置于驾驶员前方适当位置，以采集驾驶员的脸部图像；运算装置和所述摄像装置电连接，包括[0010]用以对所述脸部图像中的两个眼部以及嘴部进行识别，并定位两个眼部及嘴部的中心坐标形成图像三角形第一的单元；用以提取所述脸部图像的特征信息，并在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数的第二单元；将所述图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较的第三单元；其中，当所述图像三角形各边与所述人脸三角形相应边具有相同的比例值，且持续的时间大于第一时间阈值时，第三单元输出驾驶员处于不安全的驾驶状态的判断信号；当所述图像三角形各边与所述人脸三角形相应边具有不相同的比例值，且持续的时间大于第二时间阈值时，第三单元输出驾驶员处于不安全的驾驶状态的判断信号；当两个眼部及嘴部的中心坐标任意之一不存在时，且持续的时间大于第三时间阈值时，第三单元输出驾驶员处于不安全的驾驶状态的判断信号；人脸三角形参数存储装置和运算装置电连接，且至少具有第一存储区和第二存储区；其中，第一存储区存储所述人脸三角形的顶点坐标值，第二存储区存储特征参数；第一存储区存储的任一人脸三角形的顶点坐标值在第二存储区中均唯一地具有相对应的特征参数。运算装置内置或外接有安全控制模组；所述安全控制模组接收第三单元输出的驾驶员处于不安全的驾驶状态的判断信号；并利用该信号发出必要的控制信号；包括第一安全控制单元，连接并控制车辆上的音响装置播放警告声音，以提醒驾驶员注意安全驾驶；和/或，第二安全控制单元，连接并控制制动系统工作，强制车辆放慢行驶速度或停止行驶；和/或，第三安全控制单元，连接并控制关闭燃油系统、驱动电源系统，强制车辆放停止行驶。所述运算装置还连接一压力或重量传感器，该压力或重量传感器设置于驾驶员座位处，用以测量驾驶员是否就坐于驾驶座位；且当驾驶员就座于驾驶座位时，所述运算装置控制所述摄像装置按照一预定的时间间隔摄像驾驶员的脸部图像。上述的系统，能够有效地采集驾驶员的脸部图像，并基于眼部与嘴部所形成的几何关系来实时地监测驾驶员是否疲劳、走神等对安全驾驶产生不利影响的状态；同时还能进一步直接控制车辆。能够真正降低因疲劳驾驶导致的道路交通安全事故。
图Ia是本实用新型涉及正面人脸图像的示意图；图Ib是图Ia所示人脸图像中眼部和嘴部所形成的三角形的示意图；图Ic是本实用新型涉及左视人脸图像的示意图；图Id是图Ic所示人脸图像中眼部和嘴部所形成的三角形的示意图；图Ie是本实用新型涉及右视人脸图像的示意图；图If是图Ie所示人脸图像中眼部和嘴部所形成的三角形的示意图；图2是本实用新型机动车安全控制系统的原理方框图；[0030]图3是本实用新型另一机动车安全控制系统的原理方框图。
具体实施方式
以下实施例结合附图，对本实用新型的技术方案做进一步的详细描述参见图la，正面人脸1的两个眼部21、22和嘴部23的中心点形成一顶点在下的等腰三角形2 (以下简称人脸三角形)，该人脸三角形2的内心与底边中点的连线垂直于底边。假定图像采集装置放置在人脸前方固定的位置，则无论它离人脸1的距离远或近，图像采集装置采集到的人脸图像中两个眼部和嘴部图像的中心点所构成的三角形(以下简称图像三角形)，其相应各边的比例都是一样的。即上述人脸三角形与图像三角形的关系是相似三角形。参见图la、lb，假定上述人脸三角形各边的绝对长度值分别是a、b、c。图像三角形中，各边长度分别是A、B、C。根据欧几里得几何学的定理，由于上述两个三角形的关系是相似三角形，故A、B、C与a、b、c的关系如下列公式a = AXK (1)b = BXK (2)c = CXK (3)其中，K是一常数。另外，上述公式(1)、O)、(3)可以进一步变换为如下的形式K = a/A = b/B = c/C (4)当图像采集装置从正面的另一距离上拍摄人脸图像时，形成的另一图像三角形各边长度分别是A’、B’、C’，则公式(4)变换为K，= a/A，= b/B，= c/C， (5)S卩，只要从一固定的方向拍摄人脸图像，所获得的图像三角形与前述的人脸三角形的关系是相似三角形，其各相应边的比值是一常数。但是，当被拍摄人脸旋转一角度后，拍摄人脸图像所获得的图像三角形与人脸三角形之间的关系就会改变，而不会呈现相似三角形的关系，即不能构成如前述公式(4)、(5) 所表示的关系。例如参见图lc、ld，当被拍摄人脸向左转动一定的角度后(例如45度)，图像三角形2，的三条边 、!^、。的长度相应地都会发生改变。其中，相比于正面摄像的图像三角形而言，则bp C1都会减小。再例如参见图le、If，当被拍摄人脸向右转动一定的角度后(例如45度)，图像三角形2”的三条边 、b2、c2的长度相应地都会发生改变。其中，相比于正面摄像的图像三角形而言，则b2、ii2都会减小。基于同样的几何原理，不难预见当被拍摄人脸低头或者仰式时，图像三角形中底边的长度通常不会改变，而两个腰边A，C会相应地减小。发明人经过大量的研究发现，驾驶员出现各种影响驾驶安全的状态时，其人脸图像以及相应的图像三角形之间有如下的规律走神状态，其表现为长时间地正视，采集的人脸图像在相应的时间内没有变化，因此，图像三角形也不会改变；[0049]瞌睡状态其表现是频繁、交替地低头或者仰头，采集的人脸图像在相应的时间内也会表现为图像三角形的两个腰边A，C忽大忽小与乘客聊天或取东西其表现是右视时间过长，图像三角形长时间呈现如图le、 If所示的情形；长时间注视后视镜其表现是左视或者右视一定角度，且时间过长；图像三角形长时间呈现如图lc、ld或者图le、lf所示的情形；长时间看仪表盘其表现相当于长时间低头，图像三角形长时间呈现两个腰边A， C变小。回头图像三角形消失。基于上述的规律，本实用新型的一个实施方式采用如下的方案实现在机动车驾驶室内，设置一摄像装置，例如摄像头、数码相机等，使该摄像装置能够从正面对准驾驶员的脸部。并且，采用必要的控制装置，控制摄像装置在机动车处于启动状态时，按照一预定的时间间隔采集驾驶员的脸部图像，该时间间隔可以设置为0. 1-60 秒，具体也可以根据车辆行驶的状态和速度自动设定；所谓采集驾驶员的脸部图像，实际上就是控制摄像装置对驾驶员的脸部进行摄像，获得驾驶员的脸部图像。在获得驾驶员的脸部图像后，对该脸部图像中的两个眼部以及嘴部进行识别，并定位两个眼部及嘴部的中心坐标。目前，对于脸部图像中的各个器官进行识别的技术有很多种，在本实用新型中对采用何种技术进行识别并不作任何限制；但为了对本实用新型进行说明，在本实施方式中可以采用基于特征对比的模式识别方式，从脸部图像中定位两个眼部及嘴部，并进一步分别以各个眼部和嘴部图像的几何中心为相应的中心坐标。一些情况下，例如驾驶员低头、回头时，在脸部图像中不可能识别出上述两个眼部及嘴部的图像。这类情况如果持续一定长的时间，说明驾驶员没有集中注意力于机动车行驶的正前方，此时应当判断确定驾驶员处于不安全的驾驶状态，应当发出相应的信号，以使机动车的安全控制装置基于该信号产生必要的报警、控制机动车停驶的操作。而当两个眼部及嘴部图像都存在时，其相应的中心坐标也必然都存在，因此，基于该两个眼部及嘴部的中心坐标能够形成一图像三角形；这时则可以将该图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较。当图像三角形各边与人脸三角形相应边具有相同的比例值时，即如前述公式(4)、 (5)所示的比例关系，并且，这种情况持续的时间大于一个事先确定的时间长度时(例如 前述的0. 5-60秒)，则说明驾驶员处于走神的状态，此时应当判断确定驾驶员处于不安全的驾驶状态，应当发出相应的信号，以使机动车的安全控制装置基于该信号产生必要的报警、控制机动车停驶的操作。当图像三角形各边与人脸三角形相应边具有不相同的比例值，即相当于图lc、ld、 le、If所示的情形，且持续的时间也大于另一事先预定的时间长度时(例如5-10秒)，则说明驾驶员向左或者向右转头的时间过长，此时应当判断确定驾驶员处于不安全的驾驶状态，应当发出相应的信号，以使机动车的安全控制装置基于该信号产生必要的报警、控制机动车停驶的操作。需要说明的是，此前所说的预先存储的人脸三角形，实际上是采用如下的方案事先获取的利用摄像装置从正面采集驾驶员的脸部图像(例如图Ia所示的人脸图像)；由于是从正面采集的人脸图像，因此其中必然存在如图Ib所示的人脸三角形；S卩两个眼部及嘴部的中心坐标都存在，该两个眼部及嘴部的中心坐标值即为该人脸三角形的顶点坐标值。因此，对该脸部图像中的两个眼部以及嘴部进行识别，以提取所述驾驶员的脸部图像的特征参数；同时采用此前所述的方式定位两个眼部及嘴部的中心坐标。最后，将该人脸三角形的各个顶点坐标值以及前面所述的特征参数一一对应地存储于人脸三角形参数库中。将人脸三角形的各个顶点坐标值以及前面所述的特征参数一一对应地存储于人脸三角形参数库之中，主要是考虑到一台机动车的驾驶员可能会有多个人，不同的驾驶员，其人脸三角形则有所不同。因此，可以将多个驾驶员的人脸三角形和相应的特征参数对应地进行存储，以便在判断驾驶员状态的时候，仅将被判断驾驶员的脸部图像与事先存储的该驾驶员的人脸三角形进行比较，这样才能导致比较的结果准确。要从多个事先存储的人脸三角形中选择其中的一个与被判断驾驶员的脸部图像进行比较，则应当知道该人脸三角形对应于哪个驾驶员的脸部图像。一般的情况下，采用人脸图像特征参数来与相应人脸图像的人脸三角形进行对应是比较好的方式。因此，将人脸图像特征参数与相应人脸图像的人脸三角形一一地对应存储是比较好的方式。在具备上述的条件下，当摄像到驾驶员的人脸图像后，可以先提取驾驶员的脸部图像的特征信息，然后，在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数， 该匹配度最高的特征参数所对应的人脸三角形则是被摄像到驾驶员的人脸三角形，至少是与被摄像到驾驶员最为接近的人脸三角形。需要进一步说明的是一些驾驶员通常带有眼镜或者墨镜。此时，驾驶员眼部图像通常是眼镜轮廓与眼睛相重叠的图像，或者干脆就是由眼镜轮廓以及轮廓内单一颜色组成的图像。在这种情况下，一方面在识别眼部图像时，直接将眼镜轮廓与眼睛图像重叠的图像特征，或者眼镜轮廓以及轮廓内单一颜色的图像特征作为两个眼部的特征信息；另一方面，在定位两个眼部中心坐标时，可以直接将眼镜镜片轮廓内的中心点作为眼部的中心坐标。当判断确定驾驶员处于不安全的驾驶状态时，可以采取进一步执行如下的任一操作，或者执行下述任何多个操作，以达到最终保证机动车处于安全驾驶状态的目的。其中， 一种操作是控制车辆上的音响装置播放警告声音，以提醒驾驶员注意安全驾驶；另一种操作是控制制动系统工作，强制车辆放慢行驶速度或停止行驶；还有一种操作是控制关闭燃油系统、驱动电源系统，强制车辆停止行驶。一般而言，瞌睡和注意力不集中的共同点是面部方向的异常变化，因此在本实用新型上述的实施方式，面部图像识别利用人眼部和嘴部中间点这三个点来确定一三角形， 利用三角形的边长变化，可以有效地计算出驾驶者面部的方向。通过对面部方向的判断，可判断出驾驶者是否在长时间注意后视镜、瞌睡、与副驾驶乘坐者攀谈或任何视线不在正常驾驶时的情况，从而采取警告甚至主动的安全操作措施来有效地回避安全隐患。同时也能够很好的处理驾驶者配戴眼镜和墨镜的情况。参见图2，本实用新型还具有如下的一类机动车安全控制系统的具体实施方式
。这些机动车安全控制系统主要包括摄像装置CM、运算装置CTRL以及人脸三角形参数存储装置Mo ；该摄像装置CM主要是摄像头、数码相机等设备，并设置于机动车驾驶室内，位于驾驶员前方适当的位置，以从正面采集驾驶员的脸部图像。运算装置CTRL和摄像装置CM电连接，它内置有用以对采集到的驾驶员脸部图像中的两个眼部以及嘴部进行识别，并定位两个眼部及嘴部的中心坐标形成图像三角形的第一单元CTl ；用以提取脸部图像的特征信息，并在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数的第二单元CT2 ；将图像三角形各个边与预先存储一对应的人脸三角形相应边进行比较的第三单元 CT3。如前所述，当所述图像三角形各边与人脸三角形相应边具有相同的比例值，且持续的时间大于第一时间阈值时，第三单元CT3输出驾驶员处于不安全的驾驶状态的判断信号；当所述图像三角形各边与人脸三角形相应边具有不相同的比例值，且持续的时间大于第二时间阈值时，第三单元CT3输出驾驶员处于不安全的驾驶状态的判断信号；当两个眼部及嘴部的中心坐标任意之一不存在时，且持续的时间大于第三时间阈值时，第三单元CT3输出驾驶员处于不安全的驾驶状态的判断信号。在本实施方式中，人脸三角形参数存储装置Mo和运算装置CTRL连接，且至少具有第一存储区STl和第二存储区ST2 ；其中，第一存储区STl存储人脸三角形的顶点坐标值， 第二存储区ST2存储特征参数；第一存储区STl存储的任一人脸三角形的顶点坐标值在第二存储区ST2中均唯一地具有相对应的特征参数。设置人脸三角形参数存储装置的目的， 在前述有关机动车安全控制方法的具体实施方式
中已经有所叙述。通常，本实用新型的系统应当在驾驶员就位于驾驶座位时才能工作，这样可以节省电力。因此，可以使运算装置连接一压力或重量传感器PS，该压力或重量传感器PS设置于驾驶员座位处，用以测量驾驶员是否就坐于驾驶座位；且当驾驶员就座于驾驶座位时，压力或重量传感器PS将驾驶员就坐所对应的压力或重量信号传送给运算装置CTRL，运算装置CTRL则控制摄像装置CM按照一预定的时间间隔摄像驾驶员的脸部图像。参见图3，为了在执行上述的判断之后，能使机动车在驾驶员处于不安全驾驶状态时得到警告，甚至能进一步采取必要的操作，以控制机动车行驶，本实用新型另一实施方式中的运算装置CTRL可内置或外接一安全控制模组SKM ；该安全控制模组SKM接收第三单元CT3输出的驾驶员处于不安全的驾驶状态的判断信号；并利用该信号发出必要的控制信号。例如该安全控制模组中设置有第一安全控制单元SK1，它连接并控制车辆上的音响装置，在接收到第三单元CT3输出的驾驶员处于不安全的驾驶状态的判断信号时控制播放音响装置警告声音，以提醒驾驶员注意安全驾驶；该安全控制模组中设置有第二安全控制单元SK2，它连接并控制制动系统工作，在接收到第三单元CT3输出的驾驶员处于不安全的驾驶状态的判断信号时，控制车辆的驾驶系统，以强制车辆放慢行驶速度或停止行驶；该安全控制模组中设置有第三安全控制单元SK3，在接收到第三单元CT3输出的驾驶员处于不安全的驾驶状态的判断信号时，它控制关闭车辆的燃油系统、驱动电源系统，以强制车辆停止行驶。
权利要求1.一种基于驾驶员面部识别的机动车安全控制系统，其特征在于包括摄像装置、运算装置以及人脸三角形参数存储装置；所述摄像装置设置于驾驶员前方适当位置，以采集驾驶员的脸部图像；所述运算装置和所述摄像装置电连接，包括用以对所述脸部图像中的两个眼部以及嘴部进行识别，并定位两个眼部及嘴部的中心坐标形成图像三角形第一的单元；用以提取所述脸部图像的特征信息，并在人脸三角形参数库中查找与该特征信息匹配度最高的特征参数的第二单元；将所述图像三角形各个边与预先存储的一对应的人脸三角形相应边进行比较的第三单元；其中，当所述图像三角形各边与所述人脸三角形相应边具有相同的比例值，且持续的时间大于第一时间阈值时，第三单元输出驾驶员处于不安全的驾驶状态的判断信号；当所述图像三角形各边与所述人脸三角形相应边具有不相同的比例值，且持续的时间大于第二时间阈值时，第三单元输出驾驶员处于不安全的驾驶状态的判断信号；当两个眼部及嘴部的中心坐标任意之一不存在时，且持续的时间大于第三时间阈值时，第三单元输出驾驶员处于不安全的驾驶状态的判断信号；所述人脸三角形参数存储装置和运算装置电连接，且至少具有第一存储区和第二存储区；其中，第一存储区存储所述人脸三角形的顶点坐标值，第二存储区存储特征参数；第一存储区存储的任一人脸三角形的顶点坐标值在第二存储区中均唯一地具有相对应的特征参数。
2.根据权利要求1所述的系统，其特征在于所述运算装置内置或外接有安全控制模组；所述安全控制模组接收第三单元输出的驾驶员处于不安全的驾驶状态的判断信号；并利用该信号发出必要的控制信号；包括第一安全控制单元，连接并控制车辆上的音响装置播放警告声音，以提醒驾驶员注意安全驾驶；和/或，第二安全控制单元，连接并控制制动系统工作，强制车辆放慢行驶速度或停止行驶；和/或，第三安全控制单元，连接并控制关闭燃油系统、驱动电源系统，强制车辆放停止行驶。
3.根据权利要求1或2所述的系统，其特征在于所述运算装置还连接一压力或重量传感器，该压力或重量传感器设置于驾驶员座位处，用以测量驾驶员是否就坐于驾驶座位； 且当驾驶员就座于驾驶座位时，所述运算装置控制所述摄像装置按照一预定的时间间隔摄像驾驶员的脸部图像。
专利摘要本实用新型公开了一种基于驾驶员面部识别的机动车安全控制系统，包括摄像装置、运算装置以及人脸三角形参数存储装置，运算装置和所述摄像装置电连接；在机动车处于启动状态时，按照一预定的时间间隔采集驾驶员的脸部图像；并对该脸部图像中的两个眼部以及嘴部进行识别，定位两个眼部及嘴部的中心坐标；然后基于该等中心坐标形成一图像三角形；并将图像三角形各个边与预先存储的人脸三角形相应边进行比较，判断出驾驶员是否处于疲劳、酒后驾驶的状态，或者判断出驾驶员的注意力是否集中，并在此基础上发出声、光报警，甚至直接控制机动车安全系统工作，以防止发生交通事故。
文档编号B60K28/06GK202088896SQ20112017252
公开日2011年12月28日 申请日期2011年5月26日 优先权日2011年5月26日
发明者臧安迪 申请人:臧安迪