一种车辆碰撞后的门窗开启提示方法及系统与流程

本技术涉及智能控制领域，且更为具体地，涉及一种车辆碰撞后的门窗开启提示方法及系统。

背景技术：

1、随着经济的发展，越来越多的车辆出现在人们的生活中，车辆的碰撞不仅损坏车辆，甚至威胁到车内人员的生命安全。在车辆发生碰撞后，车主的第一反应是从车中脱离，但是在发生碰撞后，如果贸然打开门窗，有可能发生二次碰撞，造成进一步的伤害。

2、因此，期待一种更为智能的车辆碰撞后的门窗开启提示方案。

技术实现思路

1、为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种车辆碰撞后的门窗开启提示方法及系统。其首先将从行驶监控视频提取多个行驶监控关键帧分别通过车辆目标检测网络以得到多个车辆目标感兴趣区域，接着，将所述多个车辆目标感兴趣区域分别通过vit模型以得到多个车辆目标感兴趣语义特征向量，然后，将所述多个车辆目标感兴趣语义特征向量通过上下文编码器以得到分类特征向量，最后，将所述分类特征向量通过分类器以得到用于表示门窗是否可以开启的分类结果。这样，可以对打开门窗是否会发生二次碰撞的风险进行精准判断。

2、根据本技术的一个方面，提供了一种车辆碰撞后的门窗开启提示方法，其包括：

3、获取由部署于车辆的摄像头采集的周围车辆的行驶监控视频；

4、从所述行驶监控视频提取多个行驶监控关键帧；

5、将所述多个行驶监控关键帧分别通过车辆目标检测网络以得到多个车辆目标感兴趣区域；

6、将所述多个车辆目标感兴趣区域分别通过包含图像块嵌入层的vit模型以得到多个车辆目标感兴趣语义特征向量；

7、将所述多个车辆目标感兴趣语义特征向量通过基于转换器的上下文编码器以得到分类特征向量；以及

8、将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示门窗是否可以开启。

9、在上述的车辆碰撞后的门窗开启提示方法中，从所述行驶监控视频提取多个行驶监控关键帧，包括：

10、以预定采样频率对所述行驶监控视频进行关键帧采样，以从所述行驶监控视频提取多个行驶监控关键帧。

11、在上述的车辆碰撞后的门窗开启提示方法中，所述车辆目标检测网络为基于锚窗的目标检测网络，所述基于锚窗的目标检测网络为fast r-cnn、faster r-cnn或retinanet。

12、在上述的车辆碰撞后的门窗开启提示方法中，将所述多个车辆目标感兴趣区域分别通过包含图像块嵌入层的vit模型以得到多个车辆目标感兴趣语义特征向量，包括：

13、使用所述图像块嵌入层对所述多个车辆目标感兴趣区域中的各个车辆目标感兴趣区域进行嵌入化以得到多个车辆目标感兴趣向量；

14、基于所述多个车辆目标感兴趣区域，对所述多个车辆目标感兴趣向量进行通道维度的特征分布强化以得到多个优化车辆目标感兴趣向量；

15、将所述各个优化车辆目标感兴趣向量通过所述vit模型以得到多个上下文车辆目标感兴趣向量；以及

16、将所述多个上下文车辆目标感兴趣向量进行级联以得到所述多个车辆目标感兴趣语义特征向量。

17、在上述的车辆碰撞后的门窗开启提示方法中，将所述多个车辆目标感兴趣语义特征向量通过基于转换器的上下文编码器以得到分类特征向量，包括：

18、将所述多个车辆目标感兴趣语义特征向量输入所述基于转换器的上下文编码器以得到多个上下文车辆目标感兴趣语义特征向量；

19、计算所述多个上下文车辆目标感兴趣语义特征向量的高斯混合模型，所述高斯混合模型的均值向量为所述多个上下文车辆目标感兴趣语义特征向量的按位置均值向量，所述高斯混合模型的协方差矩阵中各个位置的值为所述按位置均值向量中相应两个位置的特征值之间的方差；

20、分别计算所述多个上下文车辆目标感兴趣语义特征向量中的每个上下文车辆目标感兴趣语义特征向量与所述高斯混合模型的高斯概率密度分布距离指数以得到多个高斯概率密度分布距离指数；

21、以所述多个高斯概率密度分布距离指数作为权重，对所述多个上下文车辆目标感兴趣语义特征向量进行加权以得到多个优化上下文车辆目标感兴趣语义特征向量；以及

22、将所述多个优化上下文车辆目标感兴趣语义特征向量进行级联以得到所述分类特征向量。

23、在上述的车辆碰撞后的门窗开启提示方法中，将所述多个车辆目标感兴趣语义特征向量输入所述基于转换器的上下文编码器以得到多个上下文车辆目标感兴趣语义特征向量，包括：

24、将所述多个车辆目标感兴趣语义特征向量进行一维排列以得到第一全局车辆目标感兴趣特征向量；

25、计算所述第一全局车辆目标感兴趣特征向量与所述多个车辆目标感兴趣语义特征向量中的各个车辆目标感兴趣语义特征向量的转置向量之间的乘积以得到多个第一自注意力关联矩阵；

26、分别对所述多个第一自注意力关联矩阵中各个第一自注意力关联矩阵进行标准化处理以得到多个第一标准化后自注意力关联矩阵；

27、将所述多个第一标准化后自注意力关联矩阵中各个第一标准化后自注意力关联矩阵通过softmax分类函数以得到多个第一概率值；以及

28、分别以所述多个第一概率值中各个第一概率值作为权重对所述多个车辆目标感兴趣语义特征向量中的各个车辆目标感兴趣语义特征向量进行加权以得到所述多个上下文车辆目标感兴趣语义特征向量。

29、在上述的车辆碰撞后的门窗开启提示方法中，计算所述多个上下文车辆目标感兴趣语义特征向量的高斯混合模型，包括：

30、以如下高斯混合公式计算所述多个上下文车辆目标感兴趣语义特征向量的高斯混合模型；

31、其中，所述高斯混合公式为：

32、

33、其中，μ表示所述多个上下文车辆目标感兴趣语义特征向量之间的按位置均值向量，且σ的每个位置的值表示所述多个上下文车辆目标感兴趣语义特征向量中各个位置的特征值之间的方差。

34、在上述的车辆碰撞后的门窗开启提示方法中，分别计算所述多个上下文车辆目标感兴趣语义特征向量中的每个上下文车辆目标感兴趣语义特征向量与所述高斯混合模型的高斯概率密度分布距离指数以得到多个高斯概率密度分布距离指数，包括：

35、以如下优化公式分别计算所述多个上下文车辆目标感兴趣语义特征向量中的每个上下文车辆目标感兴趣语义特征向量与所述高斯混合模型的高斯概率密度分布距离指数以得到所述多个高斯概率密度分布距离指数；

36、其中，所述优化公式为：

37、

38、其中，vi是所述多个上下文车辆目标感兴趣语义特征向量中的第i个上下文车辆目标感兴趣语义特征向量，(·)t表示向量的转置向量，μu和σu是所述高斯混合模型的均值向量和协方差矩阵，所述多个上下文车辆目标感兴趣语义特征向量和所述高斯混合模型的均值向量均为列向量形式，exp(·)表示矩阵的指数运算，所述矩阵的指数运算表示以矩阵中各个位置的特征值为幂的自然指数函数值，表示按位置减法，表示矩阵乘法，wi表示所述多个高斯概率密度分布距离指数中的第i个高斯概率密度分布距离指数。

39、在上述的车辆碰撞后的门窗开启提示方法中，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示门窗是否可以开启，包括：

40、使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

41、将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。

42、根据本技术的另一个方面，提供了一种车辆碰撞后的门窗开启提示系统，其包括：

43、视频采集模块，用于获取由部署于车辆的摄像头采集的周围车辆的行驶监控视频；

44、关键帧提取模块，用于从所述行驶监控视频提取多个行驶监控关键帧；

45、车辆目标检测模块，用于将所述多个行驶监控关键帧分别通过车辆目标检测网络以得到多个车辆目标感兴趣区域；

46、图像编码模块，用于将所述多个车辆目标感兴趣区域分别通过包含图像块嵌入层的vit模型以得到多个车辆目标感兴趣语义特征向量；

47、上下文编码模块，用于将所述多个车辆目标感兴趣语义特征向量通过基于转换器的上下文编码器以得到分类特征向量；以及

48、分类模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示门窗是否可以开启。

49、与现有技术相比，本技术提供的车辆碰撞后的门窗开启提示方法及系统，其首先将从行驶监控视频提取多个行驶监控关键帧分别通过车辆目标检测网络以得到多个车辆目标感兴趣区域，接着，将所述多个车辆目标感兴趣区域分别通过vit模型以得到多个车辆目标感兴趣语义特征向量，然后，将所述多个车辆目标感兴趣语义特征向量通过上下文编码器以得到分类特征向量，最后，将所述分类特征向量通过分类器以得到用于表示门窗是否可以开启的分类结果。这样，可以对打开门窗是否会发生二次碰撞的风险进行精准判断。