一种疲劳驾驶的检测方法、装置、可读介质及电子设备与流程

1.本发明涉及人工智能技术领域，尤其涉及一种疲劳驾驶的检测方法、装置、可读介质及电子设备。


背景技术：

2.当前许多智能化的新款车辆，都具有疲劳驾驶的检测功能。通过对于疲劳驾驶的检测，能够分析和判断驾驶员在驾驶过程中的专注度和精神状态。从而避免疲劳驾，进一步的提高驾驶的安全性。
3.现有的疲劳驾驶检测，大多基于针对面部的图像分析技术。即采集驾驶员的面部图像，并通过其表情、神态等面部特征判断其是否专注、是否存在疲劳驾驶的情况。
4.然而在现实当中，如果可以通过驾驶员的面部特征判断其存在疲劳驾驶，则实际上疲劳驾驶很可能已经持续了一定的时间。也就是说，当前的疲劳驾驶检测存在明显的滞后，无法在第一时间发现疲劳驾驶的情况。其安全性有待进一步的提高。


技术实现要素：

5.本发明提供一种疲劳驾驶的检测方法、装置、可读介质及电子设备，通过结合待检测图像与对应的待检测压力图谱，实现实时的疲劳驾驶检测。
6.第一方面，本发明提供了一种疲劳驾驶的检测方法，包括：
7.采集待检测图像，并确定所述待检测图像对应的待检测压力图谱；
8.利用预先确定的疲劳检测模型，根据所述待检测图像和所述待检测压力图谱，确定疲劳检测结果。
9.优选的，所述确定所述待检测图像对应的待检测压力图谱包括：
10.确定采集所述待检测图像的时间范围；
11.确定所述时间范围内的压力传感数据的数值；
12.根据所述压力传感数据的数值，确定所述待检测压力图谱。
13.优选的，还包括：
14.利用对比学习数据训练，预先确定所述疲劳检测模型。
15.优选的，所述利用对比学习数据训练，预先确定所述疲劳检测模型包括：
16.确定样本图像和样本压力图谱；
17.确定初始模型；
18.利用所述样本图像和所述样本压力图谱，对所述初始模型进行所述对比学习数据训练；
19.将训练后的所述初始模型确定为所述疲劳检测模型。
20.优选的，所述样本图像包括真样本图像和假样本图像；所述样本压力图谱包括真样本压力图谱和假样本压力图谱；
21.所述利用所述样本图像和所述样本压力图谱，对所述初始模型进行所述对比学习
数据训练包括：
22.将所述真样本图像和所述真样本压力图谱，确定为第一正样本对；
23.将所述假样本图像和所述真样本压力图谱，确定为第二正样本对；
24.将所述真样本图像和所述假样本压力图谱，确定为第一负样本对；
25.将所述假样本图像和所述假样本压力图谱，确定为第二负样本对；
26.利用所述第一正样本对、所述第二正样本对、所述第一负样本对和所述第二负样本对，对所述初始模型进行所述对比学习数据训练。
27.优选的，所述对所述初始模型进行所述对比学习数据训练包括：
28.将所述样本图像和所述样本压力图谱输入所述初始模型，以使所述初始模型输出运算结果；
29.利用预设的损失函数，确定所述运算结果的损失指标；
30.当所述损失指标满足第一预设条件，调整所述初始模型的内部参数。
31.优选的，还包括：
32.当所述疲劳检测结果满足第二预设条件，推送预警信息。
33.第二方面，本发明提供了一种疲劳驾驶的检测装置，包括：
34.数据采集模块，用于采集待检测图像，并确定所述待检测图像对应的待检测压力图谱；
35.检测模块，用于利用预先确定的疲劳检测模型，根据所述待检测图像和所述待检测压力图谱，确定疲劳检测结果。
36.第三方面，本发明提供了一种可读介质，包括执行指令，当电子设备的处理器执行所述执行指令时，所述电子设备执行如第一方面中任一所述的方法。
37.第四方面，本发明提供了一种电子设备，包括处理器以及存储有执行指令的存储器，当所述处理器执行所述存储器存储的所述执行指令时，所述处理器执行如第一方面中任一所述的方法。
38.本发明提供了一种疲劳驾驶的方法、装置、可读介质及电子设备，结合待检测图像和待检测压力图谱共同完成疲劳驾驶的检测，能够及时检测到疲劳驾驶的出现，解决了现有技术存在滞后性的问题，进一步的提高了驾驶的安全性。
39.上述的非惯用的优选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
40.为了更清楚地说明本发明实施例或现有的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明一实施例提供的一种疲劳驾驶的检测方法的流程示意图；
42.图2为本发明一实施例提供的一种疲劳驾驶的检测方法中疲劳检测模型训练的流程示意图；
43.图3为本发明一实施例提供的一种疲劳驾驶的检测装置的结构示意图；
44.图4为本发明一实施例提供的一种电子设备的结构示意图。
具体实施方式
45.为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.现有的疲劳驾驶检测，大多基于针对面部的图像分析技术。即采集驾驶员的面部图像，并通过图像分析技术识别其表情、神态等面部特征，从而判断其是否专注、是否存在疲劳驾驶。例如，当识别到驾驶员存在眯眼、打哈欠等特征时，可能意味着驾驶员处于疲劳状态。或者当识别得驾驶员存在讲话、打电话的特征时，可能意味着驾驶员注意力不集中。
47.然而在现实当中，如果可以通过驾驶员的面部特征判断其存在疲劳驾驶，则实际上驾驶员的疲劳状态很可能已经持续了一定的时间。但是在这一持续时间里，现有技术但并不能够有效的实现检测，也不能够有效的避免其风险性。也就是说，当前的疲劳驾驶检测存在明显的滞后，无法在第一时间发现疲劳驾驶的情况。其安全性有待进一步的提高。
48.有鉴于此，本发明提供一种疲劳驾驶的检测方法。参见图1所示，为本发明提供的疲劳驾驶的检测方法的具体实施例。本实施例中，所述方法包括：
49.步骤101、采集待检测图像，并确定待检测图像对应的待检测压力图谱。
50.待检测图像，即本实施例中需要检测的人脸图像。本实施例中可以通过车载的rgb摄像头进行采集。待检测压力图谱，可以是根据车辆的方向盘上搭载的压力传感器采集的压力传感数据而确定。具体的，确定采集待检测图像的时间范围。然后获取这一时间范围内，压力传感器采集到的压力传感数据的数值。换言之，就是确定在采集待检测图像的过程中，车载的压力传感器所获得的压力传感数据以及数据的变化情况。上述的压力传感数据可以反应出采集待检测图像时，驾驶员持握方向盘的握力。然后根据上述时间范围内的压力传感数据的数值，可以确定待检测压力图谱。
51.通常，待检测压力图谱是时序数据，即体现出该时间范围内压力传感数据的数值随时间的变化情况。从可视化的角度来说，该待检测压力图谱可以是二维曲线，其横轴代表时间，纵轴代表数据数值。
52.可以理解的是，当驾驶员处在正常状态或处于疲劳状态时，不仅在面部特征上会存在一定的区别，其持握方向盘的力量也会有所区别。通常在疲劳驾驶中，或者在注意力分散的情况下，驾驶员持握方向盘的力量会有明显的减轻。而压力传感器采集的压力传感数据会反应出这一持握力量的变化。所以理论上可以认为，驾驶员在疲劳驾驶时产生的持握力量的变化，将反映在待检测压力图谱中。
53.步骤102、利用预先确定的疲劳检测模型，根据待检测图像和待检测压力图谱，确定疲劳检测结果。
54.本实施例中，该疲劳检测模型为基于人工智能技术构建的运算模型。具体的，可以利用对比学习数据训练，预先确定疲劳检测模型。本实施例中对于疲劳检测模型的具体训练过程不做限定。任何相同或类似原理的训练过程均可结合在本实施例整体技术方案中。
55.前述已知的是，驾驶员在疲劳驾驶时产生的持握力量的变化，将反映在待检测压
力图谱中。这意味着，驾驶员处于正常状态下，抑或是处于疲劳状态下，待检测图像和待检测压力图谱之间存在一定的潜在规律。而基于人工智能技术构建的疲劳检测模型，可在数据训练的过程中一定程度的掌握此潜在规律；并在后续的应用中由此实现计算和判断，确定输入的待检测图像和待检测压力图谱代表了驾驶员的正常状态，还是疲劳状态。从而检测驾驶员是否为疲劳驾驶，有无走神、注意力不集中的情况发生。
56.因此，疲劳检测模型的输入数据为待检测图像和待检测压力图谱。通过疲劳检测模型的内部运算，可根据所输入的待检测图像和待检测压力图谱计算得到对应的疲劳检测结果。该疲劳检测结果具体可以为“正常驾驶”，或者“疲劳驾驶”。
57.另外，当疲劳检测结果为“疲劳驾驶”时，则可认为疲劳检测结果满足第二预设条件。此时可以进一步的推送预警信息，提醒驾驶员集中注意力，或者及时休息，以避免疲劳驾驶产生危险。
58.本实施例中结合待检测图像和待检测压力图谱共同完成疲劳驾驶的检测。可见其检测结果一方面同现有技术一样，反映了对于面部特征的分析。另一方面利用了驾驶员在疲劳驾驶时持握力量变化的特性。而持握力量的变化属于人体在疲劳时本能的反应，能够在第一时间出现并被本实施例中检测方法计算在内。
59.通过以上技术方案可知，本实施例存在的有益效果是：结合待检测图像和待检测压力图谱共同完成疲劳驾驶的检测，能够及时检测到疲劳驾驶的出现，解决了现有技术存在滞后性的问题，进一步的提高了驾驶的安全性。
60.图1所示仅为本发明所述方法的基础实施例，在其基础上进行一定的优化和拓展，还能够得到所述方法的其他优选实施例。
61.如图2所示，为本发明所述一种人脸检测方法中疲劳检测模型训练的流程示意图。本实施例中，将具体的描述疲劳检测模型的训练过程，具体包括以下步骤：
62.步骤201、确定样本图像和样本压力图谱。
63.本实施例中，将采用对比学习训练的方式训练得到疲劳检测模型。在训练过程中需使用一定数量的样本图像和样本压力图谱。样本图像，即利用rgb摄像头采集的人脸图像。而样本压力图谱同样与采集样本图像的时间范围所对应。不过需要说明的是，为了满足对比学习训练对应样本的要求，样本图像包括真样本图像和假样本图像。其中，真样本图像为来自于疲劳状态下的人脸图像，假样本图像来自于非疲劳状态下的人脸图像。样本压力图谱同样包括真样本压力图谱和假样本压力图谱。真样本压力图谱是真实的与样本图像的采集时刻对应，假样本压力图谱不与样本图像的采集时刻对应。
64.由此，可以将真样本图像和真样本压力图谱，确定为第一正样本对。将假样本图像和真样本压力图谱，确定为第二正样本对。将真样本图像和假样本压力图谱，确定为第一负样本对。将假样本图像和假样本压力图谱，确定为第二负样本对。
65.也就是说，正样本对(包括第一正样本对和第二正样本对)中，体现了样本图像和样本压力图谱真实的对应关系(无论样本图像是否为伪造)。而负样本对(包括第一负样本对和第二负样本对)中，体现了样本图像和样本压力图谱非真实的对应关系。由此进行对比学习，可以使得训练之后的疲劳检测模型挖掘出样本图像和样本压力图谱之间的规律性。从而进一步的实现对于疲劳状态的检测。
66.步骤202、确定初始模型。
67.初始模型，即是未经训练的网络模型，且该网络模型的结构特点能够应用于对比学习训练。本实施例中对于初始模型的具体结构不做限定。本领域中任何具有上述特点的网络模型，均可结合在本实施例整体方案中。
68.步骤203、利用样本图像和样本压力图谱，对初始模型进行对比学习数据训练。
69.本实施例中，将利用上述的第一正样本对、第二正样本对、第一负样本对和第二负样本对，对初始模型进行对比学习数据训练。其训练过程可描述为：将样本图像和样本压力图谱输入初始模型，以使初始模型输出运算结果。该运算结果可以是判断输入数据究竟为正样本对或是负样本对，也可以是判断样本图像的真或假。然后利用预设的损失函数，确定运算结果的损失指标。本实施例中对于损失函数的具体内容不做限定，本领域中任何能够起到相同或类似作用的损失函数，均可结合在本实施例整体方案当中。所谓损失指标，即在一定程度上体现出上述运算结果的准确程度。当损失指标满足第一预设条件，调整初始模型的内部参数。若损失指标满足第一预设条件，则意味着运算结果的准确程度依然较低，初始模型的运算结果不够准确。此时可调整初始模型的内部参数，并重复上述训练过程，直到损失指标不再满足第一预设条件，则认为训练完成。
70.步骤204、将训练后的初始模型确定为疲劳检测模型。
71.经过训练后的初始模型，即图1所示实施例中应用的疲劳检测模型。该疲劳检测模型可以与软件程序的形式运行并实施于车载的智能系统上，实现疲劳检查功能。
72.如图3所示，为本发明所述一种疲劳驾驶的检测装置的一个具体实施例。本实施例所述装置，即用于执行图1～2所述方法的实体装置。其技术方案本质上与上述实施例一致，上述实施例中的相应描述同样适用于本实施例中。本实施例中所述装置包括：
73.数据采集模块301，用于采集待检测图像，并确定待检测图像对应的待检测压力图谱。
74.检测模块302，用于利用预先确定的疲劳检测模型，根据待检测图像和待检测压力图谱，确定疲劳检测结果。
75.另外在图3所示实施例的基础上，优选的，还包括：
76.数据采集模块301包括：
77.图像采集单元311，用于采集待检测图像。
78.压力图谱采集单元312，用于确定采集待检测图像的时间范围；确定时间范围内的压力传感数据的数值；根据压力传感数据的数值，确定待检测压力图谱。
79.还包括：
80.训练模块303，用于利用对比学习数据训练，预先确定疲劳检测模型。
81.训练模块303包括：
82.样本确定单元331，用于确定样本图像和样本压力图谱。
83.初始模型确定单元332，用于确定初始模型。
84.模型训练单元333，用于利用样本图像和样本压力图谱，对初始模型进行对比学习数据训练，将训练后的初始模型确定为疲劳检测模型。
85.样本图像包括真样本图像和假样本图像；样本压力图谱包括真样本压力图谱和假样本压力图谱；则样本确定单元341包括：
86.第一正样本对确定子单元3411，用于将真样本图像和真样本压力图谱，确定为第
一正样本对。
87.第二正样本对确定子单元3412，用于将假样本图像和真样本压力图谱，确定为第二正样本对。
88.第一负样本对确定子单元3413，用于将真样本图像和假样本压力图谱，确定为第一负样本对。
89.第二负样本对确定子单元3414，用于将假样本图像和假样本压力图谱，确定为第二负样本对。
90.模型训练单元333包括：
91.运算子单元3331，用于将样本图像和样本压力图谱输入初始模型，以使初始模型输出运算结果。
92.损失计算子单元3332，用于利用预设的损失函数，确定运算结果的损失指标。
93.参数调整子单元3333，用于在损失指标满足第二预设条件时，调整初始模型的内部参数。
94.还包括：
95.预警模块304，用于在疲劳检测结果满足第二预设条件时，推送预警信息。
96.图4是本发明实施例提供的一种电子设备的结构示意图。在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
97.处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
98.存储器，用于存放执行指令。具体地，执行指令即可被执行的计算机程序。存储器可以包括内存和非易失性存储器，并向处理器提供执行指令和数据。
99.在一种可能实现的方式中，处理器从非易失性存储器中读取对应的执行指令到内存中然后运行，也可从其它设备上获取相应的执行指令，以在逻辑层面上形成疲劳驾驶的检测装置。处理器执行存储器所存放的执行指令，以通过执行的执行指令实现本发明任一实施例中提供的疲劳驾驶的检测方法。
100.上述如本发明图3所示实施例提供的疲劳驾驶的检测装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分
立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
101.结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
102.本发明实施例还提出了一种可读介质，该可读存储介质存储有执行指令，存储的执行指令被电子设备的处理器执行时，能够使该电子设备执行本发明任一实施例中提供的疲劳驾驶的检测方法，并具体用于执行如图1或图2所示的方法。
103.前述各个实施例中所述的电子设备可以为计算机。
104.本领域内的技术人员应明白，本发明的实施例可提供为方法或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例，或软件和硬件相结合的形式。
105.本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
106.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
107.以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。