技术特征：
1.一种驾驶员状态的监测方法，其特征在于，包括以下步骤：人脸识别：对人脸roi区域进行监测，实时获取带有驾驶员脸部信息的图像；眼部状态监测：构建眼部监测网络模型，根据所述眼部监测网络模型提取所述图像中的眼部特征，根据所述眼部特征计算平均闭眼时长，并根据平均闭眼时长判断驾驶员是否处于失能状态；头部姿态监测：构建头部姿态网络模型，根据所述头部姿态网络模型对所述图像中的头部姿态信息进行预处理，得到头部姿态欧拉角，并根据所述头部姿态欧拉角以及所述头部姿态欧拉角的持续时间判断驾驶员是否处于失能状态；方向盘动态监测：检测方向盘动态数据，并根据所述方向盘动态数据判断驾驶员是否处于失能状态。2.根据权利要求1所述的一种驾驶员状态的监测方法，其特征在于，所述对人脸roi区域进行监测，实时获取带有驾驶员脸部信息的图像的过程包括：对人脸roi区域进行监测，将实时监测的视频以多帧图像进行录入，以及将实时监测的视频进行云备份处理。3.根据权利要求1所述的一种驾驶员状态的监测方法，其特征在于，所述眼部状态检监测的过程包括：采集带有驾驶员脸部信息的图像得到人脸数据集并输出图像信息集；读取所述图像信息集中的图像信息，并将所述图像信息进行剪裁处理，得到样本数据；搭建cnn卷积神经网络模型，基于样本数据对所述cnn卷积神经网络模型进行训练及测试，得到眼部监测网络模型；将实时获取的带有驾驶员脸部信息的图像输入至所述眼部监测网络模型，得到闭眼状态参量；根据所述闭眼状态参量，利用眼睑闭合度的p80准则，设定t0至t5为一个闭眼周期，t0至t1为第一段睁眼所需时间，t1至t2为第二段睁眼所需时间，t3至t4为第三段睁眼所需时间，t
4-t5为第四段睁眼所需时间，计算闭眼周期的眼睑闭合度：计算闭眼时长：计算在一个闭眼周期内的眼睑闭合度值：计算平均闭眼时长：
式中，t为一个闭眼周期内的时长，n为闭眼周期个数，为第个闭眼周期内眼睑覆盖瞳孔的比例超过80%的时间，其中i<n；判断平均闭眼时长是否超过预设阈值，若是，则判断驾驶员为失能状态。4.根据权利要求1所述的一种驾驶员状态的监测方法，其特征在于，所述头部姿态监测的过程包括：构建头部姿态网络模型；根据所述头部姿态网络模型提取所述带有驾驶员脸部信息的图像中驾驶员的2d人脸的关键点，并将所述关键点与3d人脸模型匹配，得到3d空间的人脸关键点通用坐标；计算3d空间的关键点通用坐标映射到2d人脸的关键点的旋转矩阵rot_vector；将旋转矩阵rot_vector转化为空间坐标系中俯仰角α、偏航角θ、翻滚角γ，得到驾驶员头部姿态欧拉角；判断驾驶员头部姿态欧拉角最大值是否大于等于预设阈值，且持续时间超过预设阈值，若是，则判断驾驶员为失能状态。5.根据权利要求4所述的一种驾驶员状态的监测方法，其特征在于，所述构建头部姿态网络模型，包括：将实时获取的所述带有驾驶员脸部信息的图像输入至头部姿态网络模型中，输出处理后的驾驶员特征图矩阵，如下：式中，为输入图像的像素矩阵中的某i行j列元素，为滤波器参数，b为偏置，为输出特征图矩阵参数；根据所述特征图矩阵得到所述头部姿态网络模型的参数，具体表达式为：其中，a表示权重，b表示偏置；，
，表示第m+1层的卷积输出值，第m+1层的卷积输入值，表示池化模型，对应特征图的像素，n为特征图的通道数，m为输出特征图尺寸，m为第m层卷积层，n为第n个卷积层，f为头部姿态网络模型对应卷积核，为头部姿态网络模型对应卷积步长，p为头部姿态网络模型对应填充层数。6.根据权利要求4所述的一种驾驶员状态的监测方法，其特征在于，所述将旋转矩阵rot_vector转化为空间坐标系中俯仰角α、偏航角θ、翻滚角γ，得到驾驶员头部姿态欧拉角包括：将旋转矩阵rot_vector转化为四元数，将四元数转化为欧拉角；设定(x,y,z)是轴方向的单位向量，β是绕轴转过的角度，四元数表示为：得到驾驶员头部姿态欧拉角（α，θ，γ），具体表达式为：式中，β为绕轴转过的角度，x,y,z为轴方向的单位向量。7.根据权利要求1所述的一种驾驶员状态的监测方法，其特征在于，所述方向盘动态监测，具体过程包括：获取方向盘动态数据；根据方向盘动态数据计算方向盘的角输入信息，具体表达式为：式中，t1为驾驶员作用在方向盘上的转向力矩；t2为扭矩传感器的输出值；js为方向盘转动惯量；cs为方向盘阻尼；ks为方向盘刚度；为方向盘转角；根据方向盘动态数据计算方向盘力输入信息，具体表达式为：式中，c2为扭转杆阻尼；k2为扭转杆刚度；为扭矩传感器下端转向柱转角；若方向盘角输入以及方向盘力输入均小于预设阈值，则判断驾驶员处于失能状态。8.根据权利要求1所述的一种驾驶员状态的监测方法，其特征在于，还包括：若驾驶员处于失能状态，则执行自动唤醒，并实时进行自适应巡航以及车道保持操作；判断自动唤醒时长是否达到预设阈值，若是，判定自动唤醒失败，并进行定位及上报。9.一种利用权利要求1-8任一项所述的一种驾驶员状态的监测方法的驾驶员状态的监测系统，其特征在于，包括：图像采集模块，用于对人脸roi区域进行监测，实时获取带有驾驶员脸部信息的图像；
眼部状态监测模块，与所述图像采集模块连接，用于构建眼部监测网络模型，根据所述眼部监测网络模型提取所述图像中的眼部特征，根据所述眼部特征计算平均闭眼时长，并根据平均闭眼时长判断驾驶员状态；头部姿态监测模块，与所述图像采集模块连接，用于构建头部姿态网络模型，根据所述头部姿态网络模型对所述图像中的头部姿态信息进行预处理，得到头部姿态欧拉角，并根据所述头部姿态欧拉角以及所述头部姿态欧拉角的持续时间判断驾驶员状态；方向盘动态监测模块，用于检测方向盘动态，并根据所述方向盘动态判断驾驶员是否处于失能状态；自动唤醒模块，分别与所述眼部状态监测模块、所述头部姿态监测模块以及所述方向盘动态监测模块连接，用于若驾驶员处于失能状态，则执行自动唤醒，并实时进行自适应巡航以及车道保持操作；判断模块，与所述自动唤醒模块连接，用于判断自动唤醒时长是否达到预设阈值，若是，判定自动唤醒失败，并进行定位及上报。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，其特征在于，所述计算机可读指令被处理器执行时实现如权利要求1至8任一项所述的监测方法的步骤。
技术总结
本发明公开了一种驾驶员状态的监测方法、系统及可读存储介质，属于行车安全技术领域，包括：对人脸ROI区域进行监测，实时获取带有驾驶员脸部信息的图像；构建眼部监测网络模型及头部姿态网络模型，检测方向盘动态，通过安装于驾驶员正前方的深度相机对驾驶员失能状态进行实时监测，判定驾驶员眼部状态、头部姿态或方向盘角输入和力输入中的任意一种来监测驾驶员的状态，从而提高了监测灵敏度及准确性，防止驾驶员因出现失能情况而发生事故的同时，不会对驾驶员的正常行驶产生影响。不会对驾驶员的正常行驶产生影响。不会对驾驶员的正常行驶产生影响。
技术研发人员：汪磊 师文俊 王小红 李昂 廖博成 闻欢
受保护的技术使用者：天津中德应用技术大学
技术研发日：2022.10.27
技术公布日：2022/12/6