基于多传感器信息融合的车辆状态预警方法及其系统与流程

本技术涉及车辆行驶安全领域，且更为具体地，涉及基于多传感器信息融合的车辆状态预警方法及其系统。

背景技术：

1、随着经济的发展和城市化速度的加快,人们的生活水平快速提高,越来越多的人开始享受汽车带来的便利,然而,科技是把双刃剑,汽车的投入使用也引发了各类严重的城市交通问题。因此,如何解决汽车安全带来的问题成为当前社会的首要任务之一。汽车电子稳定系统是重要的主动安全技术之一,能够在极端条件下提高汽车的操纵稳定性,保证汽车的行驶安全。而实时准确的获得汽车当前的行驶状态是汽车电子稳定系统发挥作用的重要前提，如何使用低成本传感器准确估计汽车的行驶状态具有重要意义。

2、因此，期待一种基于多传感器信息融合的汽车状态评估方案。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于多传感器信息融合的车辆状态预警方法及其系统，其一方面使用包含一维卷积层和全连接层的时序编码器对多个预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第一特征矩阵，该第一特征矩阵用于表示各个车辆状态参数在时序维度上的高维隐含特征间的高维隐含关联特征，另一方面使用深度全连接网络对各个所述预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第二特征矩阵，该第二特征矩阵用于表示各个时间点的作为车辆状态整体的状态特征之间的高维隐含关联特征，然后融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估。而且，本技术中通过对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合，以提高所述分类特征矩阵对所述第一特征矩阵和所述第二特征矩阵之间的小尺度特征关联关系的表达效果，从而提高车辆行驶状态评估的精准度。

2、根据本技术的一个方面，提供了一种基于多传感器信息融合的车辆状态预警方法，包括：

3、通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数，所述多个车辆状态参数包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩；

4、分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量；

5、将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵；

6、分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；

7、将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵；

8、对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵；以及

9、将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。

10、在上述基于多传感器信息融合的车辆状态预警方法中，分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量，包括：

11、将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别沿时间维度构造为输入向量；

12、使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息，所述公式为：其中x是输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；以及

13、使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，所述公式为：

14、

15、其中，a为卷积核在x方向上的宽度、f为卷积核参数向量、g为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。

16、在上述基于多传感器信息融合的车辆状态预警方法中，所述时序编码器由交替排列的全连接层和一维卷积层组成。

17、在上述基于多传感器信息融合的车辆状态预警方法中，将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵，包括：所述第一卷积神经网络的各层在层的正向传递中分别对输入数据进行：

18、对所述输入数据进行基于二维卷积核的卷积处理以生成卷积特征图；

19、对所述卷积特征图进行沿通道维度的全局均值池化以生成池化特征矩阵；以及

20、对所述池化特征矩阵中各个位置的特征值进行非线性激活以生成激活特征矩阵；

21、其中，所述第一卷积神经网络的最后一层的输出为所述第一特征矩阵。

22、在上述基于多传感器信息融合的车辆状态预警方法中，所述深度全连接神经网络由多个相互级联的全连接层组成；

23、其中，所述分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量，包括：

24、使用所述深度全连接神经网络以如下公式分别对各个所述预定时间点的多个车辆状态参数进行编码以获得所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；

25、其中，所述公式为：其中x是输入向量，y是输出向量，w是权重矩阵，v是偏置向量，表示矩阵乘，且f(·)表示非线性激活函数。

26、在上述基于多传感器信息融合的车辆状态预警方法中，对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵，包括：

27、以如下公式对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得所述分类特征矩阵；

28、其中，所述公式为：

29、

30、其中，m1表示所述第一特征矩阵，m2表示所述第二特征矩阵，表示矩阵的按位置相加，表示矩阵的按位置相减，mc表示所述分类特征矩阵。

31、在上述基于多传感器信息融合的车辆状态预警方法中，将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警，包括：

32、使用所述分类器以如下公式对所述分类特征矩阵进行处理以生成所述分类结果，其中，所述公式为：softmax{(wn,bn):…:(w1,b1)|project(f)}，其中project(f)表示将所述分类特征矩阵投影为特征向量，w1至wn为各层全连接层的权重矩阵，b1至bn表示各层全连接层的偏置矩阵。

33、根据本技术的另一方面，提供一种基于多传感器信息融合的车辆状态预警系统，包括：

34、输入单元，用于通过部署于车辆的传感器获取多个预定时间点的多个车辆状态参数，所述多个车辆状态参数包括纵向车速、侧向车速、横摆角速度、质心侧偏角、整车质量、质心到前轴距离、质心到后轴距离、前轮轮距、后轮轮距、整车转动质量、每个车轮的转动惯量、车轮转动半径、车轮转动角速度、前轮转角、车轮纵向力、车轮侧向力、车轮制动力矩和车轮驱动力矩；

35、第一特征向量生成单元，用于分别将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数通过包含一维卷积层和全连接层的时序编码器以生成对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量；

36、第一特征矩阵生成单元，用于将所述对应于所述多个车辆状态参数中各个车辆状态参数的第一特征向量进行二维排列为特征矩阵后通过第一卷积神经网络以生成第一特征矩阵；

37、第二特征向量生成单元，用于分别将各个所述预定时间点的多个车辆状态参数通过深度全连接神经网络以获得对应于各个所述预定时间点的多个车辆状态参数的第二特征向量；

38、第二特征向矩阵生成单元，用于将所述对应于各个所述预定时间点的多个车辆状态参数的第二特征向量按照时间维度排列为特征矩阵后通过第二卷积神经网络以获得第二特征矩阵；

39、分类特征矩阵生成单元，用于对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得分类特征矩阵；以及

40、输出单元，用于将所述分类特征矩阵通过分类器以获得分类结果，所述分类结果用于表示是否车辆状态预警。

41、在上述基于多传感器信息融合的车辆状态预警系统中，所述第一特征向量生成单元，进一步用于：

42、将所述多个预定时间点的所述多个车辆状态参数中各个车辆状态参数分别沿时间维度构造为输入向量；

43、使用所述时序编码器的全连接层以如下公式对所述输入向量进行全连接编码以提取所述输入向量中各个位置的高维隐含信息，所述公式为：其中x是输入向量，y是输出向量，w是权重矩阵，b是偏置向量，表示矩阵乘；以及

44、使用所述时序编码器的一维卷积层以如下公式对所述输入向量进行一维卷积编码以提取所述输入向量中各个位置的特征值间的高维隐含关联，所述公式为：

45、

46、其中，a为卷积核在x方向上的宽度、f为卷积核参数向量、g为与卷积核函数运算的局部向量矩阵，w为卷积核的尺寸。

47、在上述基于多传感器信息融合的车辆状态预警系统中，所述分类特征矩阵生成单元，进一步用于：

48、以如下公式对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合以获得所述分类特征矩阵；

49、其中，所述公式为：

50、其中，所述公式为：

51、

52、其中，m1表示所述第一特征矩阵，m2表示所述第二特征矩阵，表示矩阵的按位置相加，表示矩阵的按位置相减，mc表示所述分类特征矩阵。

53、与现有技术相比，本技术提供了的基于多传感器信息融合的车辆状态预警方法及其系统，其一方面使用包含一维卷积层和全连接层的时序编码器对多个预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第一特征矩阵，该第一特征矩阵用于表示各个车辆状态参数在时序维度上的高维隐含特征间的高维隐含关联特征，另一方面使用深度全连接网络对各个所述预定时间点的多个车辆状态参数进行编码，并使用卷积神经网络模型提取得到第二特征矩阵，该第二特征矩阵用于表示各个时间点的作为车辆状态整体的状态特征之间的高维隐含关联特征，然后融合所述第一特征矩阵和所述第二特征矩阵来对车辆行驶状态进行评估。而且，本技术中通过对第一特征矩阵和第二特征矩阵进行基于局部表达的小尺度关联式融合，以提高所述分类特征矩阵对所述第一特征矩阵和所述第二特征矩阵之间的小尺度特征关联关系的表达效果，从而提高车辆行驶状态评估的精准度。