车用监测和警示系统的制作方法
【专利摘要】一种车用监测和警示系统，包含第一图像传感器、第二图像传感器、警示单元、表情识别单元、以及交通标志识别单元。所述第一图像传感器用以获取驾驶座方向的第一图像帧。所述第二图像传感器用以获取前进方向的第二图像帧。所述表情识别单元用以根据所述第一图像帧识别瞌睡表情并据此控制所述警示单元发出第一警示。所述交通标志识别单元用以根据所述第二图像帧识别停止灯号并据此控制所述警示单元发出第二警示。
【专利说明】车用监测和警示系统
【技术领域】
[0001]本发明是关于一种车辆中央控制系统，特别是关于一种车用监测和警示系统，其可用以监测交通标志以及使用者精神状态，并可于必要时提出警示。
【背景技术】
[0002]智慧型车辆控制系统的目的是用以增加驾车舒适度和行车安全，例如调整座椅位置、空调强度和检测路人等。为了进一步增加行车安全性，更希望能即时提醒驾驶人前方交通状况或驾驶精神状况。
[0003]已知睡眠检测装置是通过检测驾驶人的眨眼速度来据此判定驾驶人是否有睡意，然而要判定眨眼速度，贝1J必须使用高巾贞率(image frame )的图像传感器,故占用较高的系统资源和具有较高的耗能。
[0004]目前基于事前训练(training)所得到的特征值数据，可根据图像传感器所获取的单张图像帧来进行人脸识别，如此可大幅降低所述图像传感器的帧率，若是进一步将人脸区分为多个区块，并分析各区块的特征值，即可进行表情识别。例如，美国专利公开第2012169895披露一种采用Hierarchical Temporal Memory(HTM)架构的识别器的人脸图像获取方法与装置，其识别目标图像以得到表情状态并可应用于数位相机、视讯摄影机(WebCam)、网路摄影机(IP Cam)或监视摄影机等图像获取装置。
[0005]本发明据此提出一种车用监测和警示系统，其利用物体识别技术进行交通标志识别以及表情识别，并于必要时提醒驾驶人，借此提高行车安全性。
【发明内容】
[0006]本发明的目的在提供一种车用监测和警示系统，其可监测交通标志，当识别出所述交通标志产生停止灯号时，则提醒驾驶人减速或自动进行减速。
[0007]本发明另一目的在提供一种车用监测和警示系统，其可监测使用者表情，当检测出瞌睡表情时即提醒驾驶人集中注意力。
[0008]本发明另一目的在提供一种车用监测和警示系统，其可同时监测交通标志和使用者表情，并于必要时提出警示，以增加行车安全性。
[0009]本发明提供一种车用监测和警示系统，包含图像传感器、警示单元以及交通标志识别单元。所述图像传感器用以获取前进方向的图像帧。所述警示单元用以发出警示。所述交通标志识别单元用以根据所述图像帧识别停止灯号并据此控制所述警示单元发出所述警示。
[0010]本发明还提供一种车用监测和警示系统，包含图像传感器、警示单元以及表情识别单元。所述图像传感器用以获取驾驶座方向的图像帧。所述警示单元用以发出警示。所述表情识别单元用以根据所述图像帧识别瞌睡表情并据此控制所述警示单元发出所述警
/Jn ο
[0011]本发明还提供一种车用监测和警示系统，包含第一图像传感器、第二图像传感器、警示单元、表情识别单元以及交通标志识别单元。所述第一图像传感器用以获取驾驶座方向的第一图像帧。所述第二图像传感器用以获取前进方向的第二图像帧。所述警示单元用以发出第一警示和第二警示。所述表情识别单元用以根据所述第一图像帧辨识瞌睡表情并据此控制所述警示单元发出所述第一警示。所述交通标志识别单元用以根据所述第二图像帧识别停止灯号并据此控制所述警示单元发出所述第二警示。
[0012]一实施例中，所述警示单元通过灯号、画面、声音、震动和/或电流刺激发出所述第一警示，并通过灯号、画面和/或声音发出所述第二警示。
[0013]一实施例中，所述交通标志识别单元还可检测动力系统的动力输出；当所述交通标志识别单元识别出所述停止灯号且检测所述动力输出正持续降低时，不控制所述警示单元发出所述第二警示；当所述交通标志识别单元识别出所述停止灯号且检测所述动力输出未降低时，控制所述警示单元发出所述第二警示。
[0014]一实施例中，所述交通标志识别单元还可检测动力系统的动力输出；当所述交通标志识别单元识别出所述停止灯号且检测所述动力输出未降低时，主动控制所述动力系统降低所述动力输出或抑制所述动力输出的增加。
[0015]一实施例中，所述交通标志识别单元还可根据储存单元储存的交通标志识别多个交通标志中想要识别的交通标志；所述表情识别单元还可判断图像帧中是否存在驾驶人。
[0016]本发明的车用监测和警示系统中，当所述交通标志识别单元识别出停止灯号，可先检测动力输出是否已持续降低再决定是否警示驾驶人或者直接控制警示单元发出警示；当所述表情识别单元判 断图像帧中包含驾驶人时，立即或经过预设时间后开始识别所述驾驶人的瞌睡表情。
【专利附图】
【附图说明】
[0017]图1显示本发明实施例的车用监测和警示系统的应用示意图；
[0018]图2显示本发明第一实施例的车用监测和警示系统的方块示意图；
[0019]图3显示本发明第二实施例的车用监测和警示系统的方块示意图；
[0020]图4显示本发明第三实施例的车用监测和警示系统的方块示意图。
[0021]附图标记说明
[0022]1、2、3车用监测和警示系统 11、21图像传感器
[0023]12、22、32储存单元13、33表情识别单元
[0024]14、24、34 警示单元141、241 灯号
[0025]142、2似画面143、243 声音
[0026]23、33'表情识别单元244震动
[0027]31第一图像传感器245电流刺激
[0028]31'第二图像传感器5交通标志
[0029]8驾驶人9车辆
[0030]91后照镜92中央控制面板
[0031]93驾驶座94动力系统
[0032]F1、F2图像帧F第一图像帧
[0033]Fi第二图像帧Fd前进方向[0034]FOV、FOV'视野。
【具体实施方式】
[0035]为了让本发明的上述和其他目的、特征、和优点能更明显，下文将配合所附图示，作详细说明如下。在本发明的说明中，相同的构件是以相同的符号表示，在此提前说明。
[0036]请参照图1所示，其显示本发明实施例的车用监测和警示系统的应用示意图。本发明实施例的车用监测和警示系统可耦接或内建于车辆9的中央控制系统，并可耦接于其动力系统。本发明的车用监测和警示系统可内建有交通标志识别演算法以及交通标志信息，因而可根据交通标志的停止灯号对驾驶人发出警示、强制降低动力输出或抑制增加动力输出；例如一实施例中，可持续以一预设比例逐渐降低动力输出直到驾驶人察觉或刹车被触发，以避免紧急刹车而导致意外发生；另一实施例中，可抑制动力输出而导致无法加速以引起驾驶人的注意。本发明的车用监测和警示系统可内建有表情识别演算法以及表情信息，因而可根据驾驶人的瞌睡表情对驾驶人发出警示。借此，可建立智慧型中控系统以增加行车安全性。此外，图1仅显示了所述车辆9的部分构件，例如后照镜91、中央控制面板92和驾驶座93而省略了其他构件。一实施例中，所述交通标志识别演算法和所述表情识别演算法可采用同一套演算法，但搭配不同的特征信息来进行不同物体的识别；其他实施例中，也可采用不同的演算法。
[0037]请参照图2所示，其显示本发明第一实施例的车用监测和警示系统的方块示意图。本发明第一实施例的车用监测和警示系统I包含图像传感器11、储存单元12、交通标志识别单元13和警示单元14，并可耦接至车辆9的动力系统94。
[0038]请同时参照图1和图2所示，接着说明本发明第一实施例的车用监测和警示系统
1
[0039]所述图像传感器11例如可为CXD图像传感器、CMOS图像传感器或其他用以传感图像的传感装置，用以获取所述车辆9的前进方向Fd的图像帧F1，因此所述图像传感器11较佳是设置于后照镜91上，例如图1的图像传感器11。然而所述图像传感器11并不限定设置于所述后照镜91，其也可设置于车体的其他位置，只要能够获取所述车辆9前方的交通标志5的图像即可，并无特定限制。
[0040]所述储存单元12事先储存有交通标志和停止灯号相关的交通标志信息，由于本实施例的车用监测和警示系统I主要系用以检测停止交通标志，因此储存于所述储存单元12的信息例如为交通标志5的外型特征和停止灯号位于交通标志5的位置信息，例如停止灯号(如红灯)可位于交通标志5的最左方或最上方。
[0041]所述交通标志识别单元13用以根据所述图像帧Fl识别交通标志5，并根据停止灯号控制所述警示单元14发出警示。所述交通标志识别单元13例如可利用数位处理器(DSP)或其他可处理数位图像数据的处理器来实现，当接收到所述图像帧Fl后，则利用内建演算法计算出所述图像帧Fl中的物体特征值并与所述储存单元12内所预存的交通标志特征值进行比对，以识别出交通标志5。接着再根据所述交通标志5的亮灯位置(例如最左或最上)来认定停止灯号。此外，所述交通标志识别单元13还可识别多个交通标志中想要识别的交通标志(traffic signal of interest);例如，当所述交通标志识别单元13根据物体特征值与交通标志特征值的比对结果识别出多个交通标志时，可先将所述交通标志中距离最近的交通标志作为所述想要识别的交通标志；其中，所述距离最近例如可根据交通标志的尺寸、对比和/或清晰度等数值来认定。
[0042]所述警示单元14则受到所述交通标志识别单元13的控制发出警示；其中，所述警示单元14可通过灯号141、画面142和/或声音143发出所述警示。所述灯号141例如可设置于所述车辆9内驾驶人8的视野范围内的任意位置；所述画面142例如可为液晶显示器或其他图像显示器的画面，其例如可结合于所述中央控制面板92 ;所述声音143例如可通过车用音响或另外设置的扬声器(speaker)来产生。可以了解的是，上述所述灯号141、画面142和声音143的设置及产生方式仅为例示性，并非用以限定本发明。
[0043]本发明中，所述交通标志识别单元13还可检测车辆9的动力系统94的动力输出。一实施例中，当所述交通标志识别单元13识别出停止灯号且检测所述动力输出正持续降低时(例如于每一预设时间持续降低预设比例)，则不控制所述警示单元14发出所述警示；当所述交通标志识别单元13识别出停止灯号且检测所述动力输出未降低时，则控制所述警示单元14发出所述警示，以提醒驾驶人8刹车或放松油门。另一实施例中，当所述交通标志识别单元13识别出停止灯号且检测所述动力输出未持续降低时，则主动控制所述动力系统94降低所述动力输出或抑制所述动力输出的增加，以增加行车安全性。再一实施例中，当所述交通标志识别单元13识别出停止灯号时，不论目前的车行状况为何，则立即控制所述警示单元14发出所述警示以提醒驾驶人8刹车或放松油门。
[0044]请参照图3所示，其显示本发明第二实施例的车用监测和警示系统的方块示意图。本发明第二实施例的车用监测和警示系统2包含图像传感器21、储存单元22、表情识别单元23和警示单元24。
[0045]请同时参照图1和3所示，接着说明本发明第二实施例的车用监测和警示系统2。
[0046]图像传感器11例如同样可为CXD图像传感器、CMOS图像传感器或其他用以传感图像的传感装置，用以获取驾驶座93的驾驶座方向的图像帧F2，因此所述图像传感器11较佳是设置于后照镜91上，例如图1的图像传感器21。所述图像传感器21并不限定设置于所述后照镜91，其也可设置于车内的其他位置，只要能获取驾驶人8脸部的图像即可，并无特定限制。
[0047]所述储存单元22事先储存有瞌睡表情相关的表情信息。例如表情识别演算法可将人脸区分为多个区域并计算出相对所述瞌睡表情的各区域的特征值并事先储存。其他实施例中，若所述表情识别单元23还可用以识别其他表情或进行身份识别，所述储存单元22也可储存有相关的表情或脸部信息。
[0048]所述表情识别单元23用以根据所述图像帧F2识别瞌睡表情并据此控制所述警示单元22发出警示。所述表情识别单元23例如可利用数位处理器或其他可处理数位图像数据的处理器来实现，当接收到所述图像帧F2后，则利用内建演算法计算出表情特征值并与所述储存单元12内所预存的表情特征值进行比对，以识别出所述瞌睡表情。此外，所述表情识别单元23还可判断所述图像帧F2中是否存在驾驶人8。一种实施例中，当所述表情识别单元23判断所述图像帧F2中包含驾驶人8时，立即或经过预设时间后开始识别所述驾驶人8的瞌睡表情；其中，所述预设时间例如，但不限于，可预设为30分钟或一小时，或可由使用者自行设定。
[0049]所述警示单元14则受到所述表情识别单元23的控制发出警示；其中，所述警示单元14可通过灯号241、画面242、声音243、震动244和/或电流刺激245发出所述警示。所述灯号241例如可设置于所述车辆9内驾驶人8的视野范围内的任意位置；所述画面142例如可为液晶显示器或其他图像显示器的画面，其例如可结合于所述中央控制面板92 ;所述声音143例如可通过车用音响或另外设置的扬声器来产生；所述震动244和所述电流刺激245例如可通过驾驶座93来传达至驾驶人8。可以了解的是，上述所述灯号141、画面142、声音143、震动244和电流刺激245的设置及产生方式仅为例示性，并非用以限定本发明。
[0050]请参照图4所示，其显示本发明第三实施例的车用监测和警示系统的方块示意图。本发明第三实施例的车用监测和警示系统3可同时用以识别交通标志、停止灯号以及瞌睡表情，其包含第一图像传感器31、第二图像传感器31'、储存单元32、表情识别单元33、交通标志识别单元33'和警示单元34，并可耦接至车辆9的动力系统94。本实施例中，所述第一图像传感器31和所述表情识别单元33可分别相对应第二实施例中所述图像传感器21和所述表情识别单元23;所述第二图像传感器31'和所述交通标志识别单元33'可分别相对应第一实施例中所述图像传感器11和所述交通标志识别单元13 ;所述储存单元32则同时储存有所述瞌睡表情相关的表情信息以及所述交通标志和所述停止灯号相关的交通标志信息。因此，所述第一图像传感器31较佳设置于后照镜91，例如位于位置21 ;所述第二图像传感器31'较佳也设置于所述后照镜91，例如位于位置11，但并不以此为限。
[0051]类似于第二实施例，本实施例中所述第一图像传感器31用以获取驾驶座93的驾驶座方向的第一图像帧F，所述表情识别单元33则用以根据所述第一图像帧F识别瞌睡表情并据此控制所述警示单元34发出第一警示；同理，所述警示单元34可通过灯号、画面、声音、震动和/或电流刺激发出所述第一警示。此外，所述表情识别单元33还可判断所述第一图像帧F中是否存在驾驶人8。此外，根据所述第一图像传感器31所获取的第一图像帧F识别瞌睡表情并控制所述警示单元34发出所述第一警示则的方式类似于上述第二实施例，故于此不再赘述。
[0052]类似于第一实施例，本实施例中所述第二图像传感器31'用以获取车辆9的前进方向Fd的第二图像帧F'，所述交通标志识别单元33'用以根据所述第二图像帧F'识别交通标志5，并根据所述交通标志5的停止灯号控制所述警示单元34发出第二警示；同理，所述警示单元34可通过灯号、画面和/或声音发出所述第二警示。此外，所述交通标志识别单元33'还可识别多个交通标志中想要识别的交通标志，进而识别所述想要识别的交通标志产生的停止灯号(如红灯)。
[0053]此外，所述交通标志识别单元33'还可检测车辆9的动力系统94的动力输出。一实施例中，当所述交通标志识别单元33'识别出停止灯号且检测所述动力输出正持续降低时，不控制所述警示单元34发出所述第二警示；当所述交通标志识别单元33'识别出所述停止灯号且检测所述动力输出未降低时，控制所述警示单元34发出所述第二警示，以提醒驾驶人8刹车或放松油门。另一实施例中，当所述交通标志识别单元33'识别出所述停止灯号且检测所述动力输出未降低时，则主动控制所述动力系统94降低所述动力输出或抑制所述动力输出的增加，以增加行车安全性。再一实施例中，当所述交通标志识别单元33'识别出所述停止灯号时，不论目前的车行状况为何，则立即控制所述警示单元34发出所述第二警示以提醒驾驶人8刹车或放松油门。
[0054]此外，根据所述第二图像传感器31，所获取的第二图像帧F'识别停止灯号并控制所述警示单元34发出所述第二警示和/或改变动力输出的方式则类似于上述第一实施例，故于此不再赘述。
[0055]一种实施例中，所述表情识别单元33和所述交通标志识别单元33'可由单一数位处理器来实现；也即，所述表情识别单元33及所述交通标志识别单元33'可由单一元件或两个元件来实现。
[0056]可以了解的是，上述说明中的交通标志5仅为一种实施例，所述交通标志5也可为其他型式，例如排列成一行，不同种类的交通标志信息均可预先储存于所述储存单元12和32中。
[0057]此外，图2?4中的FOV和FOV'表示图像传感器的视野范围(field of view)。
[0058]此外，本发明实施例的车用监测和警示系统广3也可搭配身份识别系统，例如所述表情识别单元23和33可用以识别使用者身份，以进一步增加实用性。
[0059]综上所述，已知睡眠检测装置主要用以检测眨眼速度而需要使用较高的帧率获取图像。本发明还提出一种车用监测和警示系统(图疒4)，可同时用以检测停止灯号及瞌睡表情，并据此提醒驾驶人降低动力输出或集中注意力，以增加车用中央控制系统的应用，且由于可根据单张图像进行瞌睡表情识别，因而可降低图像传感器的帧率。
[0060]虽然本发明通过以前述实施例披露，但是其并非用以限定本发明，任何本发明所属【技术领域】中具有通常知识的技术人员，在不脱离本发明的精神和范围内，当可作各种的更动与修改。因此本发明的保护范围当视后附的权利要求范围所界定的范围为准。
【权利要求】
1.一种车用监测和警示系统，该车用监测和警示系统包含: 图像传感器，用以获取前进方向的图像帧； 警示单元，用以发出警示；以及 交通标志识别单元，用以根据所述图像帧识别停止灯号并据此控制所述警示单元发出所述警示。
2.根据权利要求1所述的车用监测和警示系统，其中所述警示单元通过灯号、画面和/或声音发出所述警示。
3.根据权利要求1所述的车用监测和警示系统，其中所述交通标志识别单元还检测动力系统的动力输出。
4.根据权利要求3所述的车用监测和警示系统，其中当所述交通标志识别单元识别出所述停止灯号且检测到所述动力输出持续降低时，不控制所述警示单元发出所述警示；当所述交通标志识别单元识别出所述停止灯号且检测到所述动力输出未降低时，控制所述警示单元发出所述警示。
5.根据权利要求3或4所述的车用监测和警示系统，其中当所述交通标志识别单元识别出所述停止灯号且检测到所述动力输出未降低时，控制所述动力系统降低所述动力输出或抑制增加所述动力输出。
6.根据权利要求1所述的车用监测和警示系统，该车用监测和警示系统还包含储存单元，该储存单元储存有 交通标志和所述停止灯号相关的交通标志信息。
7.根据权利要求6所述的车用监测和警示系统，其中所述交通标志识别单元还根据所述交通标志信息识别多个交通标志中想要识别的交通标志。
8.一种车用监测和警示系统，该车用监测和警示系统包含: 图像传感器，用以获取驾驶座方向的图像帧； 警示单元，用以发出警示；以及 表情识别单元，用以根据所述图像帧识别瞌睡表情并据此控制所述警示单元发出所述警示。
9.根据权利要求8所述的车用监测和警示系统，其中所述警示单元通过灯号、画面、声音、震动和/或电流刺激发出所述警示。
10.根据权利要求8所述的车用监测和警示系统，其中所述表情识别单元还判断所述图像帧中是否存在驾驶人。
11.根据权利要求10所述的车用监测和警示系统，其中当所述表情识别单元判断所述图像帧中包含驾驶人时，立即或经过预设时间后开始识别所述瞌睡表情。
12.根据权利要求8所述的车用监测和警示系统，该车用监测和警示系统还包含储存单元，该储存单元储存有所述瞌睡表情相关的表情信息。
13.一种车用监测和警示系统，该车用监测和警示系统包含: 第一图像传感器，用以获取驾驶座方向的第一图像帧； 第二图像传感器，用以获取前进方向的第二图像帧； 警示单元，用以发出第一警示和第二警示； 表情识别单元，用以根据所述第一图像帧识别瞌睡表情并据此控制所述警示单元发出所述第一警示；以及交通标志识别单元，用以根据所述第二图像帧识别停止灯号并据此控制所述警示单元发出所述第二警示。
14.根据权利要求13所述的车用监测和警示系统，其中所述警示单元通过灯号、画面、声音、震动和/或电流刺激发出所述第一警示，并通过灯号、画面和/或声音发出所述第二警示。
15.根据权利要求13所述的车用监测和警示系统，其中所述交通标志识别单元还检测动力系统的动力输出。
16.根据权利要求15所述的车用监测和警示系统，其中当所述交通标志识别单元识别出所述停止灯号且检测到所述动力输出持续降低时，不控制所述警示单元发出所述第二警示；当所述交通标志识别单元识别出所述停止灯号且检测到所述动力输出未降低时，控制所述警示单元发出所述第二警示。
17.根据权利要求15或16所述的车用监测和警示系统，其中当所述交通标志识别单元识别出所述停止灯号且检测到所述动力输出未降低时，控制所述动力系统降低所述动力输出或抑制增加所述动力输出。
18.根据权利要求13所述的车用监测和警示系统，该车用监测和警示系统还包含储存单元,该储存单元储存有所述瞌睡表情相关的表情信息以及交通标志和所述停止灯号相关的交通标志信息。
19.根据权利要求18所述的车用监测和警示系统，其中所述交通标志识别单元还根据所述交通标志信息识别多个交通标志中想要识别的交通标志。
20.根据权利要求13所述的车用监测和警示系统，其中所述表情识别单元还判断所述第一图像帧中是否存在驾驶人。
21.根据权利要求13所述的车用监测和警示系统，其中所述第一图像传感器和所述第二图像传感器设置于后照镜。
【文档编号】G06K9/00GK103802670SQ201210441624
【公开日】2014年5月21日 申请日期:2012年11月7日 优先权日:2012年11月7日
【发明者】邱亮齐, 陈昱翰, 高铭璨 申请人:原相科技股份有限公司