一种驾驶员发呆检测方法及系统

1.本发明涉及智能驾驶技术领域，尤其涉及一种驾驶员发呆检测方法及系统。


背景技术：

2.发呆是大脑处于分神的一种状态，此时大脑专注于其他事或者一片空白，并且该情况也是疲劳状态的一种表现形式(即该情形是睁眼状态下执行的，传统的疲劳检测方法大多针对闭眼情况进行检测)。驾驶员在驾驶过程中可能会出现发呆的情况，此时容易在短时间内引起交通事故。
3.现有的驾驶员发呆检测方法，多通过人脸、头部图像前后帧对比并与设定的阈值进行相似度判别，比如公开号为cn103879346b的中国发明专利《一种低警觉度驾驶预警方法及装置》。但这些方法并不完全准确，有的驾驶员在驾驶过程中观看前后视镜并不会有存在明显的头部偏移，而导致始终被认为是低警觉(可能是发呆)并进行预警，影响驾驶员驾驶；并且在路况较好的情况下也会存在前后帧相似度很高的情况而被误认为是低警觉(可能是发呆)，而无法对发呆状态进行正确的区分。


技术实现要素：

4.本发明提供一种驾驶员发呆检测方法及系统，解决的技术问题在于：现有的驾驶员发呆检测方法无法对发呆状态进行精准检测。
5.为解决以上技术问题，本发明提供一种驾驶员发呆检测方法，包括步骤：
6.s1：实时采集包括驾驶员脸部和手臂在内的驾驶员行为图像；
7.s2：根据所述驾驶员行为图像获取驾驶员从睁眼状态t1到闭眼状态再回到睁眼状态t2的时间段t2
‑
t1；
8.s3：根据每个t2
‑
t1时间段内的所述驾驶员行为图像，获取对应的实际手臂相似度v
实际
和实际睁眼时长所占比例t
实际
；
9.s4：根据v
实际
与预设的手臂相似度阈值v的大小关系，以及t
实际
与预设的发呆时睁眼时长所占比例阈值t的大小关系，判断每个t2
‑
t1时间段内驾驶员是否处于发呆状态。
10.进一步地，在所述步骤s4中，当判断到v
实际
≥v且t
实际
≥t，则判定驾驶员正处于发呆状态。
11.进一步地，获取步骤s4中发呆时睁眼时长所占比例阈值t的过程具体包括步骤：
12.f1：采集每分钟驾驶员的正常眨眼次数，计算出驾驶员的平均每次眨眼时长t
正常
；
13.f2：计算驾驶员在发呆状态时多个眨眼时长内的最小睁眼时长t
最小
；
14.f3：令t＝t
最小
/t
正常
。
15.进一步地，获取步骤s4中手臂相似度阈值v的过程为：
16.将在高速路上正常行驶状态下多次眨眼时长内、驾驶员手臂图像的最小相似度作为手臂相似度阈值v。
17.进一步地，将t2
‑
t1时间段内驾驶员眼睛露出瞳孔比例在20％～80％之间的时间
段设为t
实际
，则t
实际
＝t
实际
/t
正常
。
18.进一步地，在所述步骤f2中，所述最小睁眼时长t
最小
指的是驾驶员眼睛露出瞳孔比例在20％以上的时间段。
19.对应于上述检测方法，本发明还提供一种驾驶员发呆检测系统，包括安装于驾驶员前方的摄像头模块，以及连接所述摄像头模块的图像处理模块和连接所述图像处理模块的判别模块；
20.所述摄像头模块用于实时拍取包括驾驶员脸部和手臂在内的驾驶员行为图像并发送至所述处理模块；
21.所述图像处理模块用于根据所述驾驶员行为图像获取驾驶员从睁眼状态t1到闭眼状态再回到睁眼状态t2的时间段t2
‑
t1；还用于根据每个t2
‑
t1时间段内的所述驾驶员行为图像，获取对应的实际手臂相似度v
实际
和实际睁眼时长所占比例t
实际
；
22.所述判别模块用于根据v
实际
与预设的手臂相似度阈值v的大小关系，以及t
实际
与预设的发呆时睁眼时长所占比例阈值t的大小关系，判断每个t2
‑
t1时间段内驾驶员是否处于发呆状态。
23.优选的，当所述判别模块判断到v
实际
≥v且t
实际
≥t，则判定驾驶员正处于发呆状态。
24.优选的，所述图像处理模块还用于生成所述发呆时睁眼时长所占比例阈值t以及所述手臂相似度阈值v，具体是：
25.所述图像处理模块用于采集每分钟驾驶员的正常眨眼次数，计算出驾驶员的平均每次眨眼时长t
正常
，还用于计算驾驶员在发呆状态时多个眨眼时长内的最小睁眼时长t
最小
，还用于计算得到t＝t
最小
/t
正常
，还用于将在高速路上正常行驶状态下多次眨眼时长内、驾驶员手臂图像的最小相似度作为手臂相似度阈值v。
26.优选的，将t2
‑
t1时间段内驾驶员眼睛露出瞳孔比例在20％～80％之间的时间段设为t
实际
，则t
实际
＝t
实际
/t
正常
；所述最小睁眼时长t
最小
指的是驾驶员眼睛露出瞳孔比例在20％以上的时间段。
27.本发明提供的一种驾驶员发呆检测方法及系统，在每个t2
‑
t1时间段内通过分析包括驾驶员面部和手臂在内的驾驶员行为图像，从而获取对应的实际睁眼时长所占比例t
实际
和实际手臂相似度v
实际
，进一步与预设的该驾驶员的发呆时睁眼时长所占比例阈值t和手臂相似度阈值v作对比来判断驾驶员是否处于发呆状态。本发明基于发呆状态下驾驶员眨眼频率明显低于正常状态，以及下意识地不会采取任何驾驶动作的特性，只对驾驶员手臂和眼睛进行双模态分析，相比现有单模态的检测方法，更适用于驾驶舱等复杂环境下的检测，检测也更为准确。
附图说明
28.图1是本发明实施例1提供的一种驾驶员发呆检测方法的步骤概图；
29.图2是本发明实施例1提供的一种驾驶员发呆检测方法的具体流程图；
30.图3是本发明实施例1提供的一次眨眼中眼睛开度随时间的变化曲线图。
具体实施方式
31.下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，
并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。
32.实施例1
33.为了准确地识别驾驶员发呆状态，本发明实施例提供一种驾驶员发呆检测方法，如图1所示，主要包括步骤s1～s4。
34.s1：实时采集包括驾驶员脸部和手臂在内的驾驶员行为图像；
35.s2：根据所述驾驶员行为图像获取驾驶员从睁眼状态t1到闭眼状态再回到睁眼状态t2的时间段t2
‑
t1(即完整的一次眨眼时长)；
36.s3：根据每个t2
‑
t1时间段内的驾驶员行为图像，获取对应的实际手臂相似度v
实际
和实际睁眼时长所占比例t
实际
；
37.s4：根据v
实际
与预设的手臂相似度阈值v的大小关系，以及t
实际
与预设的发呆时睁眼时长所占比例阈值t的大小关系，判断每个t2
‑
t1时间段内驾驶员是否处于发呆状态。
38.需要进一步说明的是，在步骤s4中，本实施例基于发呆状态下驾驶员眨眼频率明显低于正常状态，以及下意识地不会采取任何驾驶动作的特性，而设定为：
39.当判断到v
实际
≥v且t
实际
≥t，则判定驾驶员正处于发呆状态。
40.本实施例基于驾驶员眼睛和手臂进行双模态检测，并针对不同的驾驶员，个性化地生成不同的阈值，可对驾驶员的发呆状态进行准确判定。
41.还需要说明的是，本实施例获取步骤s4中发呆时睁眼时长所占比例阈值t的过程具体包括步骤：
42.f1：采集每分钟驾驶员的正常眨眼次数，计算出驾驶员的平均每次眨眼时长t
正常
(据统计正常人一般为每分钟10～20次)；
43.f2：计算驾驶员在发呆状态时多个眨眼时长内的最小睁眼时长t
最小
；
44.f3：令t＝t
最小
/t
正常
。
45.在步骤f2中，最小睁眼时长t
最小
指的是驾驶员眼睛露出瞳孔比例在20％以上的时间段，即是当露出瞳孔比例在20％以上时才能算睁眼。而这里的人眼检测过程(计算瞳孔比例)如图2所示，首先通过adaboost算法检测人脸及人眼位置，提取hog特征(histogram of oriented gradient，方向梯度直方图)判别人脸方向，其次通过hough算法实现人眼图像校正，再基于回归的局部二值化特征法(lbf算法)获取眼角及上下眼特征点(上下眼特征点根据水平高度取最高和最低)获取上下眼睑长度，最后通过计算眼睛打开的面积占标定的正常状态下眼睛全打开时面积的比例而计算眼睛的开度，最后通过图3所示眼睛开度和瞳孔比例的关系计算出对应的瞳孔比例，进一步计算露出瞳孔比例在20％以上的时间段。
46.而获取步骤s4中手臂相似度阈值v的过程为：
47.将在高速路上正常行驶状态下多次眨眼时长内、驾驶员手臂图像的最小相似度作为手臂相似度阈值v。在标定时，选取一段平缓稳定的高速路作为监视路段，计算每个眨眼时长的手臂相似度，将过大或过小的手臂相似度舍弃，最后取最小的手臂相似度作为手臂相似度阈值v。如果每个眨眼时长内存在3张以上手臂图像，则取第一张手臂图像和最后一张手臂图像，计算其手臂相似度；存在两张手臂图像，则计算这两张手臂图像的相似度；如果仅有一张，则计算该张手臂图像与上张手臂图像的相似度。在标定时，保证一个眨眼时长内至少可以拍摄到一张手臂图像。
48.具体的，在步骤s3中，如图3所示，将t2
‑
t1时间段内驾驶员眼睛露出瞳孔比例在20％～80％之间的时间段设为t
实际
＝t2‑
t1‑
(t4‑
t3)，则t
实际
＝t
实际
/t
正常
。
49.实际手臂相似度v
实际
的具体计算为：因采样频率的设置以及每次t2
‑
t1时间段的长短不一致，使得在时间段t2
‑
t1内可能仅采集到一张手臂图像，则将该手臂图像与上一手臂图像之间的相似度作为该时间段内的实际手臂相似度v
实际
；若在时间段t2
‑
t1内采集到两张手臂图像，则将这两张手臂图像的相似度作为该时间段内的实际手臂相似度v
实际
；若在时间段t2
‑
t1内采集到3张以上手臂图像，则将这3张以上手臂图像中的第一张图像与最后一张图像的相似度作为该时间段t2
‑
t1内的实际手臂相似度v
实际
。在测试阶段的采样频率应大于/等于标定阶段的采样频率，可使得时间段t2
‑
t1内可拍取到至少一张手臂图像。
50.综上，本发明实施例提供的一种驾驶员发呆检测方法及系统，在每个t2
‑
t1时间段内通过分析包括驾驶员面部和手臂在内的驾驶员行为图像，从而获取对应的实际睁眼时长所占比例t
实际
和实际手臂相似度v
实际
，进一步与预设的该驾驶员的发呆时睁眼时长所占比例阈值t和手臂相似度阈值v作对比来判断驾驶员是否处于发呆状态。本实施例基于发呆状态下驾驶员眨眼频率明显低于正常状态，以及下意识地不会采取任何驾驶动作的特性，只对驾驶员手臂和眼睛进行双模态分析，相比现有单模态的检测方法，更适用于驾驶舱等复杂环境下的检测，检测也更为准确。
51.实施例2
52.本实施例还提供一种驾驶员发呆检测系统，对应于实施例1检测方法，包括安装于驾驶员前方的摄像头模块，以及连接摄像头模块的图像处理模块和连接图像处理模块的判别模块。
53.摄像头模块实时拍取包括驾驶员脸部和手臂在内的驾驶员行为图像并发送至图像处理模块。
54.图像处理模块根据驾驶员行为图像获取驾驶员从睁眼状态t1到闭眼状态再回到睁眼状态t2的时间段t2
‑
t1；还根据每个t2
‑
t1时间段内的驾驶员行为图像，获取对应的实际手臂相似度v
实际
和实际睁眼时长所占比例t
实际。
55.判别模块根据v
实际
与预设的手臂相似度阈值v的大小关系，以及t
实际
与预设的发呆时睁眼时长所占比例阈值t的大小关系，判断每个t2
‑
t1时间段内驾驶员是否处于发呆状态。
56.关于更多的实施细节，实施例1方法中已经说明，这里不再赘述。
57.本实施例要求摄像头模块的成像分辨率在1080p以上，以保证较高的图像处理精度。而图像处理模块和判别模块则直接搭载在车机中控系统中，无需额外的芯片，还可利用车机中控系统的显示屏显示相应信息，进一步还可利用车机中控系统的扬声器发出相应预警信息等。在其他实施例中，图像处理模块可以单独配置，与摄像头模块构成一装置，同样的，该装置可以集成显示屏、扬声器等用于提示、预警的模块，从而可在检测到驾驶员正处于发呆状态时及时发出警告。
58.上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。