一种驾驶员检测系统、方法、电子设备及存储介质与流程

本发明涉及智能驾驶领域，尤其涉及一种驾驶员检测系统、方法、电子设备及存储介质。

背景技术：

1、dms(driver monitor system，驾驶员检测系统)功能为对驾驶员的身份识别，以及监控驾驶员是否疲劳和危险驾驶行为。

2、现有技术中，一般是使用目标检测来检测人脸，然后再在人脸的基础上做疲劳检测，抽烟、喝水、打电话检测，性别检测，年龄检测，表情检测，左顾右盼检测，但一般检测每一个功能需要一个模型，这么多模型部署在嵌入式开发板上，时间消耗比较长，难以达到实时，有一些方案是采用多任务来训练上述模型，但需要一张图像数据标签都有，例如使用多任务训练抽烟、喝水、打电话检测，睁眼和闭眼检测，表情检测时，就需要一张图像有抽烟、喝水、打电话的标签，睁眼、闭眼的标签。这样就没有办法利用公开数据集进行训练，因为公开数据集都只有一个标签，例如表情的数据只有表情的标签。还有一种方式就是人工将所有的图像打标签，即对每一张图像同时打三个标签，但这种方法会消耗大量的人工成本。

技术实现思路

1、本发明针对现有技术中存在的技术问题，提供一种驾驶员检测系统、方法、电子设备及存储介质，可以明显减少耗时。

2、根据本发明的第一方面，提供了一种驾驶员检测系统，包括：人脸检测网络、主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支；

3、所述人脸检测网络用于人脸检测；

4、所述睁眼/闭眼检测分支、表情检测分支和动作检测分支分别与所述主干网络连接，分别用于对检测到的人脸进行睁眼/闭眼检测、表情检测和动作检测。

5、在上述技术方案的基础上，本发明还可以作出如下改进。

6、可选的，所述人脸检测模块还包括：将检测到人脸的横坐标和纵坐标的坐标范围向正负两个方向等比例扩大。

7、可选的，所述主干网络和睁眼/闭眼检测分支为squeezenet网络；所述主干网络作为所述检测系统的backbone，包括5个fire模块。

8、可选的，所述表情检测分支采用n个shufflenet单元，n为所述表情检测分支在训练过程中待学习的参数的个数。

9、可选的，所述动作检测分支采用m个shufflenet单元，m为所述动作检测分支在训练过程中待学习的参数的个数；动作检测分支进行动作检测的类型包括：抽烟、喝水和打电话。

10、可选的，所述主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支的训练过程包括：

11、将检测到的人脸经过所述主干网络输入所述睁眼/闭眼检测分支进行训练，所述睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将所述睁眼/闭眼检测分支以及所述主干网络的参数进行冻结；

12、训练所述表情检测分支的n个参数，所述表情检测分支进行表情检测的准确度高于设定阈值后，将所述表情检测分支的参数也进行冻结；

13、训练所述动作检测分支的m个参数，直至所述动作检测分支进行动作检测的准确度高于设定阈值。

14、根据本发明的第二方面，提供一种驾驶员检测方法，包括：

15、步骤1，基于人脸检测网络进行人脸检测；

16、步骤2，构建与主干网络分别连接的睁眼/闭眼检测分支、表情检测分支和动作检测分支并进行训练，训练过程包括：

17、将检测到的人脸经过所述主干网络输入所述睁眼/闭眼检测分支进行训练，所述睁眼/闭眼检测分支进行睁眼/闭眼检测的准确度高于设定阈值后，将所述睁眼/闭眼检测分支以及所述主干网络的参数进行冻结；

18、训练所述表情检测分支的n个参数，所述表情检测分支进行表情检测的准确度高于设定阈值后，将所述表情检测分支的参数也进行冻结；

19、训练所述动作检测分支的m个参数，直至所述动作检测分支进行动作检测的准确度高于设定阈值；

20、步骤3，将检测到的人脸输入训练完成的睁眼/闭眼检测分支、表情检测分支和动作检测分支，同时进行进行睁眼/闭眼检测、表情检测和动作检测。

21、根据本发明的第三方面，提供了一种电子设备，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现驾驶员检测方法的步骤。

22、根据本发明的第四方面，提供了一种计算机可读存储介质，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现驾驶员检测方法的步骤。

23、本发明提供的一种驾驶员检测系统、方法、电子设备及存储介质，相对于现有技术中使用三个网络分别进行睁眼/闭眼、表情和动作检测，本发明提供的一种驾驶员检测系统、方法、电子设备及存储介质，使用一个网络，耗时会明显的减少；现有技术使用过多任务训练时，需要将一张图像有所有标签，很多公开数据利用不了，这样会加大消耗人工成本，本发明提供的一种驾驶员检测系统、方法、电子设备及存储介质，可以使用公开数据集，减少对人力成本的消耗，速度还和使用多任务训练的推理时间差不多；解决在dms多任务训练时，由于数据缺乏原因，只能采用单个模型进行训练，这样使得部署嵌入式开发板难以实时的问题。

技术特征：

1.一种驾驶员检测系统，其特征在于，所述检测系统包括：人脸检测网络、主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支；

2.根据权利要求1所述的方法，其特征在于，所述人脸检测模块还包括：将检测到人脸的横坐标和纵坐标的坐标范围向正负两个方向等比例扩大。

3.根据权利要求1所述的检测系统，其特征在于，所述主干网络和睁眼/闭眼检测分支为squeezenet网络；所述主干网络作为所述检测系统的backbone，包括5个fire模块。

4.根据权利要求1所述的检测系统，其特征在于，所述表情检测分支采用n个shufflenet单元，n为所述表情检测分支在训练过程中待学习的参数的个数。

5.根据权利要求1所述的检测系统，其特征在于，所述动作检测分支采用m个shufflenet单元，m为所述动作检测分支在训练过程中待学习的参数的个数；动作检测分支进行动作检测的类型包括：抽烟、喝水和打电话。

6.根据权利要求1所述的检测系统，其特征在于，所述主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支的训练过程包括：

7.一种驾驶员检测方法，其特征在于，所述检测方法包括：

8.一种电子设备，其特征在于，包括存储器、处理器，所述处理器用于执行存储器中存储的计算机管理类程序时实现如权利要求7所述的驾驶员检测方法的步骤。

9.一种计算机可读存储介质，其特征在于，其上存储有计算机管理类程序，所述计算机管理类程序被处理器执行时实现如权利要求7所述的驾驶员检测方法的步骤。

技术总结
本发明涉及一种驾驶员检测系统、方法、电子设备及存储介质，该检测系统包括：人脸检测网络、主干网络、睁眼/闭眼检测分支、表情检测分支和动作检测分支；人脸检测网络用于人脸检测；睁眼/闭眼检测分支、表情检测分支和动作检测分支分别与主干网络连接，分别用于对检测到的人脸进行睁眼/闭眼检测、表情检测和动作检测；相对于现有技术中使用三个网络分别进行睁眼/闭眼、表情和动作检测，本发明提供的一种驾驶员检测系统，使用一个网络，耗时会明显的减少。

技术研发人员：张龙,陈冲
受保护的技术使用者：武汉光庭信息技术股份有限公司
技术研发日：
技术公布日：2024/1/14