一种基于多视图的驾驶员异常行为检测系统及方法

本发明涉及驾驶员异常行为检测，具体涉及一种基于多视图的驾驶员异常行为检测系统及方法。

背景技术：

1、针对驾驶员行为检测识别的问题，现在很多国内外的专家和学者都对其进行了深入地研究。当前，驾驶员行为识别技术主要是从三个方面进行深入研究：采用人体的多个生理特征进行识别、利用机器学习的驾驶员行为的方法进行识别以及采用深度学习的驾驶员行为识别的方法。多个生理特征检测往往采用接触式传感器进行数据收集，这种方法检测精度很高，但佩戴不方便，采集信息的过程中也会对驾驶员本身造成不适，影响驾驶员的正常驾驶。本发明采用的是非接触式传感器，通过多个相机采集驾驶数据。

2、基于传统机器学习方法需要进行手工特征的设定，依据手工特征的方法对图像中相关的信息进行查找，再对其驾驶行为进行分类。常用的分类方法有很多，例如最近邻、贝叶斯学习等；craye等人用隐马尔科夫模型和adaboost分类器进行驾驶员异常行为检测；chou y等人在贝叶斯网络和支持向量机上改进，从而检测异常行为；gupter a等人通过特征融合的方法去实现驾驶员的行为检测。这些方法都取得的显著的效果，但由于手工特征在大场景下的适应性较弱，不能在单一场景下拥有更好的性能，很难去迁移到更多的场景。

3、近年来，随着深度学习的迅速发展，很多针对驾驶员行为的算法也被提出，yu等人提出了一种使用bp神经网络和支持向量机对网络训练的方法；peng等人使用vgg-19网络提取语义信息在通过lstm对驾驶员的行为进行检测；xu通过轻量级网络结合多变量时间序列分析驾驶员的异常行为。

4、随着计算机视觉的飞速发展，越来越多针对驾驶员行为检测算法被提出，但是仍存在一些问题：

5、(1)当前基于深度学习的驾驶员异常行为检测的方法只是使用了单一的角度进行编码和识别，在实验中存在光线差等原因造成的图像信噪比大、对比度低以及遮挡造成的影响，从而导致识别性能较低；

6、(2)实验采用的数据集大都来源于模拟实验条件下，和真实场景下存在一定的误差，所以需要尽可能贴近现实；

7、(3)许多检测系统的响应时间过长，参数量大，不能做到实时反馈给驾驶员从而避免危险的问题。因此，本发明提出了一种能快速准确识别驾驶员异常行为并实时提醒驾驶员的检测系统。

技术实现思路

1、为了克服以上技术问题，本发明的目的在于提供一种基于多视图的驾驶员异常行为检测系统及方法，快速分析不同驾驶时间段的驾驶员行为信息，通过深度学习算法检测出异常行为，实时显示并通过语音信息提醒驾驶员，从而提前规避和预防一些交通事故的发生。

2、为了实现上述目的，本发明采用的技术方案是：

3、一种基于多视图的驾驶员异常行为检测系统，包括人机交互ui模块和驾驶员异常行为检测模块；

4、所述人机交互ui模块用于驾驶员通过触控或者语音识别的方式获取指令，根据驾驶员需求返回最匹配的结果，实现自然的人机交互；很大程度上提升了驾驶员的安全保障能力；

5、所述驾驶员异常行为检测模块用于把输入的视频信息通过所提出的行为检测算法处理后，把结果通过语音、图像和文字的信息反馈给驾驶员。

6、所述人机交互ui模块包括图像与参数显示、行为检测识别结果显示以及系统控制与操作；

7、所述图像与参数显示用于显示检测视频中的异常动作的参数；例如出现手机和眨眼次数以及关键部位的框选；

8、所述行为检测识别结果显示用于显示检测后驾驶员异常行为，并标明属于哪类异常行为信息；

9、所述系统控制与操作用于处理驾驶员和系统的交互功能。

10、所述驾驶员异常行为检测模块包括视频流输入、异常行为识别以及语音提示；

11、所述视频流输入用于把传感器收集的视频信息传进系统内；

12、所述异常行为识别用于对所输入的信息通过改进后的图像分类算法进行特征提取、卷积、特征融合的操作进行处理分析；

13、所述语音提示用于把处理结果反馈给后台并语音提醒驾驶员。

14、系统可视化界面是所述人机交互ui模块和所述驾驶员异常行为检测模块的可视化表现，包括驾驶员异常行为可视化界面、行为识别以及数据处理；

15、所述异常行为可视化界面用于展示系统的功能、操作界面与显示区域；

16、所述数据处理用于把从不同视角中收集到的数据进行去除噪声和异常值、归一化处理和去除冗余信息的操作，从而提高模型的准确性和预测性能；

17、所述行为识别用于通过算法检测出驾驶员的异常行为。

18、所述数据处理中包括双视角图像、多视图图像组合；

19、所述双视角图像用于收集两个不同视角的驾驶员行为信息；两个视角分别位于驾驶员的正前方和右45°前方；

20、所述多视图图像组合用于对双视角的图像信息做一个特征融合，提高模型的检测精度。

21、多视图图像组合包括把不同角度提取到的数据做一个整合，将输入特征图同时输入到两个分支中进行处理，再将两个分支处理得到的特征图在通道方向上进行拼接，同时使用1*1卷积核构成的卷积层来进行降维，减少参数量；

22、所述行为识别中包括改进后的mvcnn和分类器；

23、所述改进后的mvcnn用于对传统的cnn用于图像识别进行改进；通过在mvcnn基础框架添加了一个新模块mmobnet，它由特征提取模块、特征融合模块和分类模块组成，它可以有效利用多个视角图像特征，使分类结果更加准确；

24、所述分类器用于对算法处理后的异常行为信息进行分类；通过softmax函数的输出向量进行分类任务。

25、一种基于多视图的驾驶员异常行为检测系统的检测方法，包括以下步骤；

26、步骤1：通过不同视角传感器获取驾驶员行为数据，并制作多视角的驾驶行为数据集；

27、步骤2：取步骤1中的数据集，通过特征提取模块用于从数据集图像中提取多尺度特征信息，从而保证了网络在深度上不损失特征信息的同时，获得更多不同感受野下的特征信息，避免源图像关键信息的过度丢失；

28、步骤3：通过特征融合模块对所述多尺度特征信息进行融合，输出多视图特征图；

29、通过特征融合模块用于模型能更加考虑到各视图之间的特征差异，结合引入的视图注意力模块，可以提升有效视图的权重，还有助于模型实现更高的识别精度和更好的泛化能力，还能提高模型的性能；

30、步骤4：通过分类模块用于把从特征融合模块得到的特征图通过分类器进行分类；

31、最终的结果是根据不同行为的判别方式判断具体的异常行为。

32、所述步骤2中：

33、提取多尺度特征信息的具体步骤是去掉cnn的全连接层，利用卷积层提取conv特征，将图像进行缩放得到多个不同尺寸的图像，然后分别输入cnn提取conv特征并作feature aggregaton，最后将各尺寸图像对应的特征进行合并。

34、所述步骤3中：

35、(1)对所有图片的特征图进行空间特征提取，使用的方案基于空间注意力机制(spatial attention module，sam)；

36、在特征提取层得到的特征图尺寸为[b,576,7,7]，其中b为batchsize，576为通道数，7*7为特征图的高宽；

37、在通道方向上使用global max pooling和global mean pooling两个操作，进行全局最大池化和全局平均池化，将两个[b,1,7,7]进行拼接得到[b,2,7,7]，再使用一个尺寸为1*1的过滤器进行卷积操作，经过激活函数sigmoid后得到的[b,1,7,7]即为各个图片的空间特征；

38、(2)基于视图的空间特征权重学习

39、对获取的图片空间特征基于视图进行权重学习，即视图的空间特征注意力机制，在得到[b,1,7,7]的空间特征后，将特征图尺寸进行转换，增加一个num_views尺度，即视图数量尺度，得到[b/num_views,num_views,1,7,7],其中b在图片输入时设置为b*num_views，所以b/num_views永远为一个整数；将一个batchsize中的图片依据视角数(num_views)进行划分，加上图片输入时采用同一时间的图片连续输入的方法，使得视图注意力机制作用在一个时间内的多视图内；由于第二个维度尺寸为1，因此省略该维度，再转换为[b/num_views,num_views,7,7]，该特征图的第二个维度是指视图数(num_views)，该特征图可以表示为b/num_views组特征，每组是b/num_views个7*7的特征，即b/num_views组多视图特征图的空间特征；然后针对空间特征进行global max pooling和global meanpooling两个操作，实现全局最大池化和全局平均池化，得到两个[b/num_views,num_views,1,1]的特征图，将两者分别送入一个两层的神经网络中，第一层1*1的过滤器个数为1024，第二个1*1的过滤器个数恢复至num_views,中间使用了relu作为激活函数；最后，将神经网络输出的两个特征图进行相应元素相加，再经过sigmoid函数激活，得到最终经过权重学习的视图注意力特征(view-based attention feature)；

40、最后将视图注意力特征与对应的多视图特征图相乘，最终得到经过视图权重学习的多视图特征图。

41、所述步骤4中：

42、使用三层卷积的全卷积层取代了通常的全连接层，卷积层之间使用了dropout层和h-swish激活函数；

43、从特征融合模块得到的特征图尺寸为[b,576,7,7]，第一个卷积层卷积核尺寸为7*7，数量为576，输出为[b，576，1，1]；

44、第二个卷积层卷积核尺寸为1*1，数量为1024，输出为[b,1024,1,1]；

45、第三个卷积层卷积核尺寸为1*1，数量为任务分类数，输出为[b,nclasses,1,1]，nclasses为任务分类数，分类器会为每个可能的类别输出一个预测概率。

46、本发明的有益效果：

47、(1)本发明提出多视图融合策略，能够综合多个行为的特征，比起单视图方法，决策更为准确。

48、(2)将迁移学习引入异常行为检测，兼备高精度和低训练时间。

49、(3)提出视图注意力机制vam，可以有效强调对检测任务重要性高的特征，同时抑制冗余特征。