一种多元信息融合的车辆驾驶状态监测方法及系统与流程

本发明属于车辆驾驶状态监测，特别涉及一种多元信息融合的车辆驾驶状态监测方法及系统。

背景技术：

1、驾驶人的不良行车习惯在很大程度上会影响车辆驾驶状态，进而影响道路交通安全；驾驶时的抽烟行为是较为常见的不良行车习惯，有研究表明，吸烟会分散驾驶者的注意力，影响驾驶视觉，难以正确感知车外情况。

2、当前很多车辆配置了dms驾驶员监控系统，该系统可以实时监测驾驶员是否在位及其当前状态，dms可以为驾驶员提供警报，并发起干预。

3、传统的dms驾驶员监控系统主要利用目标检测算法对驾驶人的抽烟行为进行识别，现有的目标检测方法一般通过手动设计特征，对提取的特征通过分类器进行分类来实现目标检测；当前大多数研究侧重于提升识别精度和识别速度，对车辆驾驶状态监测的综合性能存在不足。

4、针对这一问题，发明人拟提出一种多元信息融合的车辆驾驶状态监测方法及系统，综合性地对驾驶员的行为进行检测，通过多元信息融合对车辆驾驶状态进行分析。

技术实现思路

1、本发明的目的在于提供一种多元信息融合的车辆驾驶状态监测方法及系统，以解决上述背景技术中提出的问题。

2、为了实现本发明的目的，本发明将采用如下技术方案加以实施。

3、一种多元信息融合的车辆驾驶状态监测方法，包括如下步骤：

4、步骤s100：基于图像识别技术对驾驶员的手口被占用状态进行检测并记录；

5、步骤s200：通过车内的空气检测设备对车内的空气成分进行检测并记录；

6、步骤s300：监测车辆的实时驾驶状态，基于步骤s100和步骤s200的检测结果，对车辆驾驶状态进行分析；

7、步骤s400：根据步骤s300分析的车辆驾驶状态，对驾驶员进行示警，并对车辆进行自动化调控。

8、作为本发明的优选方案，步骤s100的实现过程，包括如下步骤：

9、步骤s101：获取车辆当前驾驶员的待检测图像，所述待检测图像中包括驾驶员的手部和口部；对所述待检测图像进行目标检测，得到待检测图像中驾驶员的手部和口部对应的目标区域；

10、步骤s102：基于目标区域确定车辆当前驾驶员的手口被占用状态，包括如下步骤：

11、步骤s102-1：从待检测图像中裁剪出目标区域，对目标区域的图像数据进行归一化处理，将处理后的图像输入到目标检测模型中，根据目标检测模型输出的检测框及检测框中的主体信息，将检测框中的主体为手部的检测框标记为左侧手部检测框、右侧手部检测框或手部检测框，将检测框中的主体为口部的检测框标记为口部检测框；

12、所述左侧手部检测框、右侧手部检测框或手部检测框的标记方法为：选择标记工具为手部区域绘制边界框，当模型输出的检测框中只有一个检测框中的主体为手部时，将其标记为手部检测框；当模型输出的检测框中有两个检测框中的主体为手部时，以待检测图像为参考，将检测框位置靠左的标记为左侧手部检测框，将检测框位置靠右的标记为右侧手部检测框；

13、步骤s102-2：当左侧手部检测框、右侧手部检测框或手部检测框中的手部持有任意物体时，认为该检测框中的手部处于被占用状态；所述任意物体包括香烟、饮料瓶、手机和食物；

14、步骤s102-3：当口部检测框中的口部接触有任意物体时，认为该检测框中的口部处于被占用状态。

15、作为本发明的优选方案，步骤s200的实现过程，包括：

16、所述空气检测设备分别安装在车辆的仪表盘位置和座椅头枕位置；所述空气检测设备通过连接车载计算机系统，对车内的空气成分进行检测，能够准确反映车内空气状况；实时监测并记录车内两位置的尼古丁浓度，生成空气监测数据集，记为g(t)，且g(t)={s(t),k(t)|t∈[1，t]}，其中，s(t)表示第t个时间点检测到的仪表盘位置的尼古丁浓度，k(t)表示第t个时间点检测到的座椅头枕位置的尼古丁浓度，t表示监测并记录的时间点总数；

17、需要说明的是，尼古丁在空气中存在时间较长，即便在吸烟活动停止一段时间后，空气中仍有可能残留尼古丁，同时，车内有可能存在乘客吸烟的情况，单一的检测尼古丁并不能确定吸烟行为的发生；本发明通过在两个位置设置空气检测设备对车内两位置的尼古丁浓度进行监测，可以结合驾驶员的图像识别结果综合判断驾驶员的行为状态，提高了判别结果的准确度。

18、作为本发明的优选方案，步骤s300的实现过程，包括如下步骤：

19、步骤s301：基于车联网技术监测车辆的实时驾驶状态，获取车辆的驾驶速度、偏转角度和行驶路线，通过雷达检测车辆周围的物体距离；统筹实时监测的各车辆状态元素相关数据，生成车辆驾驶状态集合，记为d(t)，且d(t)={fj(t)|j∈[1，z]}，其中，fj(t)表示当前实时监测的第j个车辆状态元素的特征数据值，z表示当前实时监测的车辆状态元素种类数量；

20、需要说明的是，所述特征数据值包括车辆的驾驶速度、方向盘偏转角度、行驶路线的难度指数和车辆所处位置的拥挤度；

21、步骤s302：基于驾驶员的手口被占用状态和空气监测数据集判断驾驶员是否处于吸烟状态，包括如下步骤：

22、步骤s302-1：当空气监测数据集中的尼古丁浓度不为零时，提取空气监测数据集中的尼古丁浓度不为零的时间对应的时间段内的手口被占用状态；获取到所述时间段内各时间点检测到的仪表盘位置的尼古丁浓度和座椅头枕位置的尼古丁浓度；

23、步骤s302-2：按照时间先后顺序对所述时间段内的手口被占用状态进行分割，将切割后的时间段标记为仅手部被占用，仅口部被占用和手口同时被占用；

24、对于仅手部被占用的时间段内，当仪表盘位置的尼古丁浓度和座椅头枕位置的尼古丁浓度超出预设阈值，且仪表盘位置的尼古丁浓度大于座椅头枕位置的尼古丁浓度时，判定驾驶员处于吸烟状态；

25、对于仅口部被占用的时间段内，当仪表盘位置的尼古丁浓度和座椅头枕位置的尼古丁浓度超出预设阈值，且仪表盘位置的尼古丁浓度小于或等于座椅头枕位置的尼古丁浓度时，判定驾驶员处于吸烟状态；

26、对于手口同时被占用的时间段内，当仪表盘位置的尼古丁浓度和座椅头枕位置的尼古丁浓度超出预设阈值，且两位置中任一位置的尼古丁浓度超过该时间段的上一个时间点对应的两位置的尼古丁浓度的平均值时，判定驾驶员处于吸烟状态；

27、步骤s303：根据驾驶状态分析模型对车辆驾驶状态集合进行分析，通过以下公式计算当前车辆驾驶的风险值：

28、；

29、其中，df（t）表示第t个时间点的车辆驾驶风险值；p（t）表示第t个时间点的驾驶员状态指数,当判定第t个时间点的驾驶员处于吸烟状态时，p（t）=1，当判定第t个时间点的驾驶员未处于吸烟状态时，p（t）=0.5；表示第j个车辆状态元素的权重；h（t）表示第t个时间点的手部被占用指数，当目标检测模型输出的检测框为手部检测框时，h（t）=0.5，当目标检测模型输出的检测框为左侧手部检测框和右侧手部检测框时，h（t）=1；λ表示手部被占用指数的权重。

30、作为本发明的优选方案，步骤s400的实现过程，包括如下步骤：

31、步骤s401：预设车辆驾驶状态风险阈值d，根据步骤s300分析的车辆驾驶状态，若当前车辆驾驶的风险值df（t）≥d，则判定当前车辆驾驶状态存在风险，对驾驶员进行示警，若当前车辆驾驶的风险值df（t）＜d，则判定当前车辆驾驶状态不存在风险，继续监测；

32、步骤s402：若判定当前车辆驾驶状态存在风险，则获取车辆驾驶状态集合，根据车辆驾驶状态集合中的各车辆状态元素对车辆进行自动化调控。

33、需要说明的是，对驾驶员进行示警后，若驾驶员的行为状态和车辆驾驶状态都未进行更改，或是更改后的风险值增大，则通过车联网技术，对车辆进行强制管控，通过降低驾驶速度等方式，减少车辆驾驶状态的风险值。

34、一种多元信息融合的车辆驾驶状态监测系统，包括：监测数据处理模块、多元信息融合模块、车辆驾驶状态分析模块和车辆管理模块；

35、所述监测数据处理模块，用于监测车辆的实时驾驶状态，并对驾驶员的手口被占用状态和车内的空气成分进行检测；

36、所述多元信息融合模块，用于根据监测数据处理模块的输出，判断驾驶员是否处于吸烟状态；

37、所述车辆驾驶状态分析模块，用于根据驾驶状态分析模型对车辆驾驶状态集合进行分析；

38、所述车辆管理模块，用于根据车辆驾驶状态分析模块的输出对车辆驾驶状态进行管理，通过车辆的语音设置和可视化屏幕对驾驶员进行相应提示。

39、作为本技术的一种可行实施例，当车辆驾驶状态超出预设的正常范围时，及时发出警报，通过语音或屏幕提醒驾驶员开窗通风、降低车速、注意观察周围等。

40、进一步的，所述监测数据处理模块包括图像监测单元、空气监测单元和车辆驾驶监测单元；

41、所述图像监测单元用于获取车辆当前驾驶员的待检测图像，对所述待检测图像进行目标检测，得到待检测图像中驾驶员的手部和口部对应的目标区域；基于目标区域确定车辆当前驾驶员的手口被占用状态；

42、所述空气监测单元用于在车辆的仪表盘位置和座椅头枕位置安装空气检测设备，所述空气检测设备通过连接车载计算机系统，对车内的空气成分进行检测，能够准确反映车内空气状况；实时监测并记录车内两位置的尼古丁浓度；

43、所述车辆驾驶监测单元基于车联网技术监测车辆的实时驾驶状态，获取车辆的驾驶速度、偏转角度和行驶路线，通过雷达检测车辆周围的物体距离；统筹实时监测的各车辆状态元素相关数据。

44、进一步的，所述车辆驾驶状态分析模块包括模型建立单元和状态判别单元；

45、所述模型建立单元通过以下公式计算当前车辆驾驶的风险值：

46、；

47、其中，df（t）表示第t个时间点的车辆驾驶风险值；p（t）表示第t个时间点的驾驶员状态指数,当判定第t个时间点的驾驶员处于吸烟状态时，p（t）=1，当判定第t个时间点的驾驶员未处于吸烟状态时，p（t）=0.5；fj(t)表示当前实时监测的第j个车辆状态元素的特征数据值，表示第j个车辆状态元素的权重；h（t）表示第t个时间点的手部被占用指数，当目标检测模型输出的检测框为手部检测框时，h（t）=0.5，当目标检测模型输出的检测框为左侧手部检测框和右侧手部检测框时，h（t）=1；λ表示手部被占用指数的权重；

48、所述状态判别单元用于预设车辆驾驶状态风险阈值d，若当前车辆驾驶的风险值df（t）≥d，则判定当前车辆驾驶状态存在风险，若当前车辆驾驶的风险值df（t）＜d，则判定当前车辆驾驶状态不存在风险，继续监测。

49、与现有技术相比，本发明所达到的有益效果是：

50、本发明通过监测数据处理模块监测车辆的实时驾驶状态，并对驾驶员的手口被占用状态和车内的空气成分进行检测；通过多元信息融合模块对监测数据处理模块的输出数据进行整合，综合判断驾驶员是否处于吸烟状态；减少了对单一硬件的精度需求，通过多个元素的监测信息，能够准确对驾驶员的行为状态进行判断。

51、本发明通过车辆驾驶状态分析模块根据驾驶状态分析模型对车辆驾驶状态进行分析，能够及时发现潜在的驾驶风险，避免因为驾驶员的行为导致驾驶事故发生；通过车辆管理模块根据车辆驾驶状态分析模块的输出对车辆驾驶状态进行管理，提供个性化的警示和调控措施能够帮助驾驶员识别不良驾驶习惯，改善驾驶员的驾驶体验。