基于深度学习和自注意机制的车顶控制系统的制作方法

本发明隶属于汽车智能控制。本发明采用驾驶行为识别技术提升车内安全控制能力，提供了一种基于深度学习和自注意力机制的车顶控制系统，实现高安全性和高可靠性。

背景技术：

0、技术背景

1、随着我国经济的迅速发展以及人民生活水平的不断提高，我国普通家庭以及单位的车辆保有量不断上升。人们在享受汽车带来的便捷同时，更多的考虑到车辆的舒适性和安全性。近年来汽车安全事故频发，特别是驶员身体突发异常情况导致的安全事故，发生率更高。因此，设计针对汽车上述安全事故的预警和事故发生时的判别和管理系统，具有很强的现实需求。

2、随着智能识别技术的发展，图像识别技术已经广泛应用于各类安防监控系统。采用类似的技术，提高驾驶员的行为识别，提高车内安全监控效果，是一种很有应用价值的技术手段。汽车顶灯处于汽车内部空间的最高位置，将上述针对紧急情况的预警和求救系统和汽车顶灯控制系统进行融合设计，是一种较好的实现方式。为此，需要开发一款结合驾驶行为识别技术提升车内安全控制能力的具有驾驶员行为识别功能的智能车顶控制系统。

3、视频目标识别是计算机视觉领域研究的重要问题之一，是理解图像高层次语义信息的重要基础，在安全监控、智能驾驶、机器人视觉导航等领域具有广泛的应用前景。视频目标识别主要研究内容是对各种硬件采集的图像序列进行分析与处理，并试图学习和理解目标的行为，可通过各种传统机器学习或深度学习方法来提取视频特征，建立视频特征与行为类别等高层语义信息之间的某种函数关系，并将其映射到特定的行为类别，从而使程序或计算机“理解”视频中目标的行为。

4、在智能驾驶应用中，驾驶员行为识别是视频目标识别的重要研究课题，对于保证智能驾驶过程的驾驶安全而言非常重要。规范驾驶员行为，可在很大程度上减少因驾驶行为不规范导致的交通事故。目前驾驶员行为识别技术主要从三个方面进行研究：1)结合人体多个生理特征进行识别，该方法通过综合评估驾驶员的血压、脉搏、心率、肌电信号、脑电信号等多个生理指标参数来判断驾驶员的驾驶行为；2)采用机器学习方法进行识别，该方法根据手工提取的特征查找图像中相对应的信息，再结合分类器进行驾驶行为识别；3)基于深度学习的驾驶行为识别方法，该方法基于深度学习技术从图像中自动提取目标特征来判断驾驶员的驾驶行为，因其更高的目标识别准确率，已成为驾驶员行为识别技术研究的主流。然而仅基于深度学习技术难于提取目标的更高层次的语义信息，可能导致驾驶员行为识别精度不够，考虑自注意力机制有助于深度学习模型提取更高层次的语义信息，因此采用深度学习技术和自注意力机制相结合的方法来进行驾驶员行为识别，有待进一步提高驾驶员行为识别性能。

技术实现思路

1、本发明的目的是克服现有技术中存在的不足，提供一种基于深度学习和自注意力机制的车顶控制系统。

2、本发明的目的可以通过以下技术方案实现：一种基于深度学习和自注意力机制的车顶控制系统，其特征是包括：电源供电模块、摄像头、图像预处理模块、图像存储器、开关按键及灯光控制模块、高速总线通信模块、综合控制模块和应急安全响应模块；

3、上述系统启动时，按照先后次序依次开启不同的功能模块：首先开启电源供电模块、高速总线通信模块和综合控制模块；其次开启应急安全响应模块，在出现异常情况时由应急安全响应模块进行应急处理；然后开启开关按键及灯光控制模块、摄像头、图像预处理模块、图像存储器模块，所述摄像头、图像预处理模块和图像存储器模块协同构成驾驶行为识别控制模块；所述综合控制模块根据驾驶行为识别控制模块产生的驾驶行为识别数据和开关按键的指令进行功能控制；

4、当所有功能模块都开启后，所述综合控制模块根据驾驶行为识别控制模块、开关按键及灯光控制模块、高速总线通信模块和电源供电模块通过各自数据输出端所提供的所有输出数据，综合判决并决定所述具有驾驶员行为识别功能的智能车顶控制系统的工作模式；所述工作模式包括应急安全模式和正常工作模式两种模式；高速总线通信模块和驾驶行为识别控制模块任意一种或多种信号指示非正常时，所述综合控制模块开启应急安全模式。

5、具体的，所述驾驶行为识别控制模块基于不同驾驶行为的训练样本数据，采用卷积神经网络和堆叠自注意力模块相融合的方法来构建驾驶行为识别网络模型，然后通过训练网络来获取优选的驾驶行为识别网络模型。

6、进一步的，所述驾驶行为识别控制模块包括6级子网络，具体包括：

7、第1级子网络以224*224像素的rgb图像块作为输入，先后连接2个64通道由3*3卷积核组成的卷积层+relu激活层、2个自注意力模块、1个由2*2池化核组成的最大池化层，输出64通道由112*112像素组成的特征图；

8、第2级子网络以64通道由112*112像素组成的特征图作为输入，先后连接2个128通道由3*3卷积核组成的卷积层+relu激活层、2个自注意力模块、1个由2*2池化核组成的最大池化层，输出128通道由56*56像素组成的特征图；

9、第3级子网络以128通道由56*56像素组成的特征图作为输入，先后连接4个256通道由3*3卷积核组成的卷积层+relu激活层、4个自注意力模块、1个由2*2池化核组成的最大池化层，输出256通道由28*28像素组成的特征图；

10、第4级子网络以256通道由28*28像素组成的特征图作为输入，先后连接4个512通道由3*3卷积核组成的卷积层+relu激活层、4个自注意力模块、1个由2*2池化核组成的最大池化层，输出512通道由14*14像素组成的特征图；

11、第5级子网络以512通道由14*14像素组成的特征图作为输入，先后连接4个512通道由3*3卷积核组成的卷积层+relu激活层、4个自注意力模块、1个由2*2池化核组成的最大池化层，输出512通道由7*7像素组成的特征图；

12、第6级子网络以512通道由7*7像素组成的特征图作为输入，先后连接1个全局平局池化层、1个含4096节点的全连接层+relu激活层、1个含8节点的全连接层+relu激活层、1个softmax标准化层，输出8维特征向量，分别表示正常驾驶、打电话、玩手机、抽烟、喝水、吃东西、听音乐、与乘客交谈8种不同驾驶行为的概率。

13、进一步的，所述的驾驶行为识别控制模块第1级子网络、第2级子网络、第3级子网络、第4级子网络、第5级子网络均包含堆叠自注意力模块，即多个自注意力模块级联结构，通过该注意力模块可捕获特征图之间的语义相关性，获取特征图中更高层次的语义信息，该自注意力模块的输出与输入的特征图形状相同，即输出输入的特征图大小相同、通道数相同，通过以下步骤生成驾驶行为所需的自注意力特征：

14、步骤1，应用三个1*1卷积层分别对自注意力模块的原始输入特征进行特征降维，获得三个降维特征；

15、步骤2，基于步骤1输出的两个降维特征，依次经过矩阵乘法运算、softmax标准化操作，生成反映空间维度语义相关性的注意力权重矩阵，再与步骤1输出的另一个降维特征先进行矩阵乘法运算，再经过1*1卷积层升维，生成反映空间维度语义相关性的自注意力特征；

16、步骤3，基于自注意力模块的原始输入特征，依次经过矩阵乘法运算、softmax标准化操作，生成反映通道维度语义相关性的注意力权重矩阵，再与自注意力模块的原始输入特征进行矩阵乘法运算，生成反映通道维度语义相关性的自注意力特征；

17、步骤4，将步骤2和步骤3输出的自注意力特征进行矩阵加法运算，生成最终的自注意力特征。

18、本发明的优点是：本发明在车顶控制模块中集成摄像头、图像存储和处理系统，实现车顶驾驶行为识别技术，并与现有的汽车紧急情况的预警和求救系统进行融合设计，提高驾驶员驾驶行为识别的可靠性，从而提升车内安全控制能力。