驾驶人因智能状态监测方法、系统、电子设备和存储介质与流程

本发明涉及人因智能及监测，尤其涉及驾驶人因智能状态监测方法、系统、电子设备和存储介质。

背景技术：

1、随着现代交通和汽车行业的快速发展，汽车保有量的持续上升，交通事故的数量也在不断增加，其中，驾驶人的驾驶状态是影响交通事故发生率的主要原因，若可以针对驾驶人的驾驶状态进行监测，则可以有效避免驾驶人因不良的驾驶状态导致的交通事故。

2、目前针对驾驶人的监测方法主要有三种，包括：基于车辆状态的监测方法、基于生理信号的监测方法和基于图像信号的监测方法。然而基于车辆状态的监测方法容易收到驾驶人的驾驶习惯、道路状态和天气因素等影响，容易产生误判或漏检；基于生理信号的监测方法需要在驾驶人人体皮肤表面附着生理传感器，会影响驾驶人的驾驶体验和驾驶操作；基于图像信号的监测方法常通过多个神经网络模型进行单向计算，不同模型之间缺乏联动，且很难针对多角度的图像信号给出准确的监测结果。

3、当前针对驾驶人的监测技术并没有用于监测驾驶人状态的统一的算法模型，无法实现驾驶人驾驶状态的精确监测；也没有针对驾驶人驾驶状态的多种影响因素建立合适的融合策略，无法实现多种影响因素的有效融合；另外由于传统的驾驶人状态监测算法不能针对多种影响因素进行有效的并行计算，无法满足状态监测的实时性要求。

技术实现思路

1、鉴于此，本发明实施例提供了一种驾驶人因智能状态监测方法、系统、电子设备和存储介质，以消除或改善现有技术中存在的一个或更多个缺陷。

2、本发明的一个方面提供了一种驾驶人因智能状态监测方法，包括：

3、对车辆行驶过程中同一时段内采集到的不同模态的原始状态数据分别进行预处理，以将各模态的原始状态数据分别分解为采样数据点数量相同的各模态各自对应的多段采样数据，得到各模态的数据矩阵；

4、将各模态的数据矩阵分别输入预设的多模态驾驶人因智能状态监测模型，以对各模态的数据矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵，并对多头注意力自学习后的多模态矩阵进行多头注意力分配，得到多头注意力分配后的多模态融合矩阵，再根据多头注意力分配后的多模态融合矩阵中各模态的特征向量，输出该时段内驾驶人状态的监测结果。

5、在本发明的一些实施例中，不同模态的原始状态数据包括：驾驶人生理数据、驾驶人图像数据、道路场景图像数据和车辆行为数据；各模态的数据矩阵包括：生理矩阵、人像矩阵、道路场景图像矩阵和车辆行为矩阵；对应的，所述对车辆行驶过程中同一时段内采集到的不同模态的原始状态数据分别进行预处理，以将各模态的原始状态数据分别分解为采样数据点数量相同的各模态各自对应的多段采样数据，得到各模态的数据矩阵，包括：

6、对同一时段内采集的所述驾驶人生理数据、所述驾驶人图像数据、所述道路场景图像数据和所述车辆行为数据分别进行预处理，以将所述驶员生理数据分解为采样数据点数量相同的多段采样数据，得到所述生理矩阵，将所述驾驶人图像数据分解为采样数据点数量相同的多段采样数据，得到所述人像矩阵，将所述道路场景图像数据分解为采样数据点数量相同的多段采样数据，得到所述道路场景图像矩阵，将所述车辆行为数据分解为采样数据点数量相同的多段采样数据，得到所述车辆行为矩阵；

7、所述生理矩阵、人像矩阵、道路场景图像矩阵和车辆行为矩阵中的采样数据点数量相同。

8、在本发明的一些实施例中，还包括：获取多个历史样本，每个所述历史样本中均包含有车辆行驶过程中同一时段内采集到的不同模态的原始状态数据及对应的类型标签；

9、对各个所述历史样本分别进行预处理，得到每个所述历史样本各自对应的各模态的数据矩阵，以形成训练集；

10、基于所述训练集对预先构建的多模态驾驶人因智能状态监测模型进行迭代训练，以使该多模态驾驶人因智能状态监测模型用于根据输入的各模态的数据矩阵对应输出驾驶人状态的监测结果数据。

11、在本发明的一些实施例中，所述对各模态的数据矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵，包括：

12、将各模态的标志向量，两个相邻的数据矩阵之间的模间学习矩阵，以及各模态的数据矩阵并行拼接为多模态矩阵；各所述模间学习矩阵均设为全零矩阵；

13、利用各模态的掩码矩阵以及所述数据矩阵的不同线性张量的权重矩阵对所述多模态矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵。

14、在本发明的一些实施例中，所述对多头注意力自学习后的多模态矩阵进行多头注意力分配，得到多头注意力分配后的多模态融合矩阵，包括：

15、将多头注意力自学习后的多模态矩阵中各所述模间学习矩阵重设为非零矩阵，得到多模态融合矩阵；

16、利用所述数据矩阵的不同线性张量的权重矩阵对所述多模态融合矩阵进行多头注意力分配，得到多头注意力分配后的多模态融合矩阵。

17、在本发明的一些实施例中，所述根据多头注意力分配后的多模态融合矩阵中各模态的特征向量，输出该时段内驾驶人状态的监测结果，包括：

18、将多头注意力分配后的多模态融合矩阵中各模态的标志向量对应位置的特征向量拼接形成语义特征矩阵；

19、对所述语义特征矩阵进行平均池化，以得到驾驶人状态的监测结果数据。

20、在本发明的一些实施例中，所述对同一时段内采集的所述驾驶人生理数据、所述驾驶人图像数据、所述道路场景图像数据和所述车辆行为数据分别进行预处理，包括：

21、针对驾驶人生理数据，将一个时段内采集的所述驾驶人生理数据进行间隔采样，得到多段采样数据，并对每一段采样数据进行采样，得到包括预设数量的采样数据点的各段采样数据对应的生理数据向量，将该时段内的所述生理数据向量拼接形成生理矩阵；

22、针对所述驾驶人图像数据和所述道路场景图像数据，将一个时段内采集的多个所述驾驶人图像数据或所述道路场景图像数据分别进行特征提取，得到多个特征图像，并对所述特征图像进行分块操作，得到包括预设数量的采样数据点的各特征图像块对应的图像数据向量，将该时段内的各个图像数据向量拼接形成人像矩阵或道路场景图像矩阵；

23、针对所述车辆行为数据，将一个时段内采集到的多种车辆行为数据分别进行离散化处理，得到多个包括预设数量的采样数据点的各车辆行为数据对应的行为数据向量，将该时段内的所述行为数据向量拼接形成车辆行为矩阵。

24、本发明另一方面提供了一种驾驶人因智能状态监测系统，包括：

25、数据预处理模块，用于对车辆行驶过程中同一时段内采集到的不同模态的原始状态数据分别进行预处理，以将各模态的原始状态数据分别分解为采样数据点数量相同的各模态各自对应的多段采样数据，得到各模态的数据矩阵；

26、多模态驾驶人因智能状态监测模块，用于利用预设的多模态驾驶人因智能状态监测模型执行驾驶人状态监测步骤；所述驾驶人状态监测步骤，包括：对各模态的数据矩阵进行多头注意力分配，得到多头注意力自学习后的多模态矩阵；对多头注意力自学习后的多模态矩阵进行多头注意力分配，得到多头注意力分配后的多模态融合矩阵；根据多头注意力分配后的多模态融合矩阵中各模态的特征向量，并输出该时段内驾驶人状态的监测结果。

27、本发明的另一方面提供了一种电子设备，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该电子设备实现如所述驾驶人因智能状态监测方法。

28、本发明的另一方面提供了一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如所述驾驶人因智能状态监测方法。

29、本发明的一种驾驶人因智能状态监测方法，通过同时考虑影响驾驶人的多种不同模态的数据特征，能够帮助人工智能更准确的了解外部世界和驾驶人状态，并通过并行计算，提高驾驶人状态监测的实时性；通过在多模态驾驶人状态监测模型的初始阶段对各模态数据进行自学习，能够更大程度的挖掘各模态数据的内部数据之间的关联关系，避免其他模态数据影响本模态数据的自学习；还通过在多模态驾驶人因智能状态监测模型的中后期阶段对各模态数据融合后形成的多模态融合数据进行注意力分配，能够更大程度上挖掘各不同模态数据之间的关联关系，进而提高驾驶人状态监测结果的准确性。

30、本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。

31、本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。