驾驶危险情绪提醒方法、终端设备及存储介质与流程

本发明涉及汽车安全驾驶技术领域，具体是一种驾驶危险情绪提醒方法、终端设备及存储介质。

背景技术：

汽车驾驶时，驾驶员的情绪会造成不同的驾驶行为，不稳定的情绪(如愤怒)会导致危险的驾驶行为，进而会增加交通事故的发生概率。为了使驾驶员保持理智，安全的行驶，对情绪的控制变得尤为重要。如果能在驾驶过程中识别出驾驶员的情绪，在产生危险情绪的时候及时对驾驶员进行提醒，对于驾驶安全是意义重大的。

目前，关于驾驶情绪的识别主要集中于路怒一种情绪的识别，然而除了愤怒，其它诸如恐惧，兴奋，悲伤，困倦等等情绪同样会分散驾驶员的注意力，影响正常驾驶，都可称为驾驶危险情绪。情绪识别方面大都基于脑电波进行情绪分析，这种脑电波采集不够方便，对情绪的识别也不够准确。表情识别情绪基本都是基于六种基本静态表情，这六种表情无法诠释驾驶员的复杂情绪。

相对于基本表情，微表情更能表现驾驶员的情绪变化。微表情的动态特征较为明显，持续时间为1/25到1/5秒，经常是一闪而过，容易被错过，普通表情一般是静态表情特征，无法准确表达驾驶员的想法，如强颜欢笑，虽然是笑，但驾驶员不一定是开心的。相对而言，微表情可以支配人类大脑的情绪反应，微表情的特征更多来源于视频序列的变化，相对于普通表情分类更细微，更能突出人的情绪特点。

技术实现要素：

为了解决上述问题，本发明提供一种驾驶危险情绪提醒方法、终端设备及存储介质，采用一种动态视频序列识别微表情进而识别驾驶危险情绪的方法，只需通过获取驾驶员人脸视频序列进行识别，数据获取方便。针对普通表情展现情绪不够准确的弱点，以驾驶员的动态微表情作为特征来识别，更精准的捕捉驾驶员的真实情绪。且针对驾驶过程中有可能诱发危险驾驶行为的多种情绪提取相应微表情，考虑了多种微表情对驾驶行为的影响，而不只限于路怒情绪，提供了多种危险情绪的提醒方法，方法上提出改进深度学习中的卷积神经网络对驾驶情绪进行识别，对微表情视频序列采集彩色图像，分rgb三个通道进行输入，且针对动态微表情视频序列不明显的差异性，改进卷积、下采样过程，提出使用复合卷积来提取更多特征，使用dropout减少训练权值，从而获得较好的识别效果和效率。

本发明一种驾驶危险情绪提醒方法，包括如下步骤：

s1：获取训练样本集：采集驾驶员人脸视频系列，提取对应驾驶情绪类别的微表情图像序列，并注明相应微表情图像序列的类别标签，作为微表情训练样本集，进入s2步骤；

s2：微表情图像预处理：将微表情图像序列中的微表情图像进行rgb三个通道分解，并增加图像的清晰度和对比度，再将各通道的灰度值[0，255]归一化到[0，1]之间，进入s3步骤；

s3：改进的卷积神经网络训练：采用改进的卷积神经网络对微表情训练样本集中的预处理后的微表情图像进行训练，进入s4步骤；

s4：微表情图像识别：

s41：实时采集驾驶员人脸视频序列；

s42：按照s2步骤对s41中采集的人脸视频序列微表情图像进行微表情图像预处理操作；

s43：将s42步骤中预处理后的微表情图像输入训练好的改进的卷积神经网络，获取网络输出，得到微表情图像序列所属微表情类别，进入s5步骤；

s5：判断是否为驾驶危险情绪所对应的微表情：判断s4中微表情图像序列所属微表情类别是否为驾驶危险情绪所对应的微表情，若是，则进入s6步骤；若不是，则进入s7步骤；

s6：提醒驾驶员调整危险情绪：对驾驶员进行语音提示当前微表情所对应的情绪，并提示该情绪的驾驶危险性，提示驾驶员调整情绪，平稳驾车；

s7：不提醒。

进一步的，s1中，驾驶情绪类别包括愤怒、困倦、恐惧、兴奋、紧张、抑郁、悲伤和其他，其中愤怒、困倦、恐惧、兴奋、紧张、抑郁和悲伤为驾驶危险情绪。

进一步的，s2中，将各通道的灰度值[0，255]归一化到[0，1]之间的归一化函数为：ui＝(xi-xmin)/(xmax-xmin)，其中xmin、xmax分别为每个通道灰度值中的最小值和最大值，xi为需要归一化的灰度值，ui为归一化后的值。

进一步的，s3中，采用改进的卷积神经网络对微表情训练样本集中的预处理后的微表情图像进行训练，具体为：

s31：网络初始化：对改进的卷积神经网络的网络结构和参数进行初始化，包括设置网络层数、每层神经元数量，设定网络学习率、最大迭代次数、允许误差条件、隐层采用的激活函数和输出层采用的激活函数；

s32：样本输入：将预处理后的微表情图像按顺序依次输入改进的卷积神经网络；

s33：卷积：改进的卷积神经网络对输入的微表情图像的像素点进行多个卷积核各自卷积后再求均值的方式进行复合卷积；

s34：池化：池化过程(即下采样过程)采用比例下采样的方式，首先将待采样值从大到小排列，再丢弃排在后面的一定比例的待采样值，对剩下的待采样值进行均值采样；

s35：全连接：经过卷积、池化的图像再经过全连接层，全连接层随机放弃部分神经元，用于加快训练速度，并减少网络过拟合；

s36：输出：采用输出层的激活函数计算输出层的输出，并定义代价函数，用于根据输出计算输出层的误差；

s37：通过代价函数进行网络反向传播，即通过依次对代价函数求导，更新网络各层的权值和偏置；

s38：循环执行s32至s37步骤进行迭代训练，直到训练结果满足要求。

更进一步的，s31中，隐层采用的激活函数为relu函数，输出层采用的激活函数为softmax函数。

更进一步的，s34中，丢弃的待采样值占全部待采样值的50％的比例。

更进一步的，s35中，全连接层随机放弃的神经元占全连接层全部神经元的50％。

本发明一种驾驶危险情绪提醒终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现驾驶危险情绪提醒方法的步骤。

本发明一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现驾驶危险情绪提醒的步骤。

本发明的有益效果：

本发明通过采用卷积神经网络对微表情视频序列中提取的微表情图像进行卷积、下采样，能够识别出驾驶员的真实的实时情绪状态，并对多种危险驾驶情绪进行提醒，可以使驾驶过程更安全的进行，减少事故发生概率。方法上提出改进深度学习中的卷积神经网络对驾驶情绪进行识别，改进卷积、下采样过程，提出使用复合卷积来提取更多特征，使用dropout减少训练权值，从而获取更准确的情绪特征，且提高训练识别效率，满足实时提醒要求。

附图说明

图1为本发明实施例一的方法流程图；

图2为本发明实施例一的现有的卷积神经网络原理图；

图3为本发明实施例一的改进的卷积神经网络中卷积和池化过程示意图；

图4a为本发明实施例一的全连接层中未放弃神经元时的神经元示意图；

图4b为本发明实施例一的全连接层中随机放弃神经元后的神经元示意图；

图5为本发明实施例一的采用rgb三个通道分解后的微表情图像系列输入卷积神经网络进行处理的过程示意图。

具体实施方式

为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。

现结合附图和具体实施方式对本发明进一步说明。

实施例一：

请参阅图1-图5所示，本发明提供了一种驾驶危险情绪提醒方法，通过对简单易获取的驾驶员人脸视频序列进行处理，将以与情绪密切相关的动态微表情图像序列作为识别特征，通过改进的复合卷积的卷积神经网络对多种有可能诱发危险驾驶行为的多种微表情进行识别，并提醒驾驶员调整情绪。

本发明所阐述的方法具体过程如下：

1)获取训练样本集：

将危险行为有关的情绪分为愤怒，困倦，恐惧，兴奋，紧张，抑郁、悲伤、其他八种，其中愤怒、困倦、恐惧、兴奋、紧张、抑郁和悲伤为驾驶危险情绪。大量采集驾驶员的微表情视频序列，将对应以上几种情绪的微表情图像序列筛选出来，并注明相应微表情图像序列的类别标签，作为微表情训练样本集。

2)微表情图像预处理：

21.对采集的微表情图像序列中的微表情图像进行rgb三个通道分解，经过处理，一张原图被分解为三张图像。

22.对各通道的视频序列图像进行直方图均衡化，增加图像清晰度和对比度。

23.对各通道的视频序列图像进行归一化处理，以便卷积神经网络的网络输入。

归一化函数为：ui＝(xi-xmin)/(xmax-xmin)，其中xmin、xmax分别为每个通道灰度值中的最小值和最大值，xi为需要归一化的灰度值，ui为归一化后的值。将各通道的灰度值[0，255]归一化到[0，1]之间。

3)改进的卷积神经网络对驾驶员微表情视频序列进行训练：

31.对改进的卷积神经网络的网络结构和参数进行初始化。包括网络层数，每层神经元数量，在隐层使用relu作为激活函数，输出层采用softmax作为激活函数。设定网络学习率，最大迭代次数，允许误差条件。

32.将预处理后的驾驶员微表情图像按顺序依次输入改进的卷积神经网络，具体的，将微表情图像分解的三张rgb通道图像连在一起，再将该微表情类别所对应的所有图像序列按采集时间顺序依次连接，一并输入改进的卷积神经网络训练。

33.改进的卷积神经网络对输入的微表情图像的像素点进行多个卷积核各自卷积后再求均值的方式进行复合卷积，由于微表情相对于普通表情更为复杂，表情特征差异性不够明显，所以在这里提出使用多个卷积核各自卷积后再求均值的方式，这样提取的表情特征就能够代表多种不同特征的组合，从而更加精确。

34.下采样过程(即池化过程)提出比例下采样方法，首先对采样窗口的待采样值进行比较，将待采样值从大到小进行排列，再丢弃排在后面的50％比例的待采样值，对剩下的50％的待采样值进行均值采样操作，这样可以充分考虑对采样影响较大的值并减少计算量。

35.经过卷积，下采样的微表情图像再经过全连接层，为了减少全连接层的权值计算量，使用随机放弃全连接层50％神经元的策略，加快训练速度。

36.在输出层，采用输出层的softmax激活函数计算输出层的输出，并定义代价函数，用于根据输出计算输出层的误差。

softmax的函数形式为：

对于n个训练样本，c个微表情分类的卷积神经网络来说，定义代价函数

其中，表示第n个样本的第k维分类标签，表示第n个样本的第k个输出，eⁿ表示第n个样本的误差。

37.通过代价函数进行网络反向传播，即通过依次对代价函数求导，更新网络各层的权值和偏置。

网络反向传播修改权值的依据是误差对偏置的变化率，也就是对于偏置的导数，这个导数我们定义为灵敏度δ

其中，由于因此，低层(靠近输入层)的误差是由高层(靠近输出层)的误差反向传播过来的，误差的传播过程如下式：

其中，表示的是每个元素相乘。对于输出层，灵敏度定义为:

这样，可以根据链式法则依次计算每一层的灵敏度了。最后，要修正网络的权值。对于每个神经元来说，得到的灵敏度乘以一个负的学习率就是对应权值的变化量了。

其中，w^l表示当前层与前一层的连接权值，η为学习率，w^l为权值的变化量，b^l表示该层的偏置。

38.循环执行32-37步骤进行迭代训练，直到训练结果满足要求。

4)微表情图像识别

41.实时采集驾驶员人脸视频序列。

42.对人脸视频序列中的微表情图像进行第2)步的微表情图像预处理操作。

43.将预处理后的微表情图像输入训练好的卷积神经网络，前向传播求出网络输出，得到微表情图像序列所属微表情类别。当前层l的输出可以表示为

x^l＝f(u^l)，withu^l＝w^lx^l-1+b^l

其中，x^l表示当前层l的输出，f表示该层的激活函数，u^l表示该层的输入，也是上一层输出的加权求和，w^l表示当前层与前一层的连接权值，b^l表示该层的偏置。

5)危险情绪提醒

判断改进的卷积神经网络输出的微表情类别，如果为以上几种危险驾驶情绪对应的微表情，则对驾驶员进行语音提示当前微表情对应的情绪，并提示该情绪的驾驶危险性，提示驾驶员调整情绪，平稳驾车，如果为其他，则不提醒。

实施例二：

本发明还提供一种驾驶危险情绪提醒终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述方法实施例中的步骤，例如图1-图5所示的步骤的方法步骤。

进一步地，作为一个可执行方案，所述驾驶危险情绪提醒终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述驾驶危险情绪提醒终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，上述驾驶危险情绪提醒终端设备的组成结构仅仅是驾驶危险情绪提醒终端设备的示例，并不构成对驾驶危险情绪提醒终端设备的限定，可以包括比上述更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述驾驶危险情绪提醒终端设备还可以包括输入输出设备、网络接入设备、总线等，本发明实施例对此不做限定。

进一步地，作为一个可执行方案，所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述驾驶危险情绪提醒终端设备的控制中心，利用各种接口和线路连接整个驾驶危险情绪提醒终端设备的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述驾驶危险情绪提醒终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。

所述驾驶危险情绪提醒终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

本发明一种驾驶危险情绪提醒方法、终端设备及存储介质，通过采用卷积神经网络对微表情视频序列中提取的微表情图像进行卷积、下采样，能够识别出驾驶员的真实的实时情绪状态，并对多种危险驾驶情绪进行提醒，可以使驾驶过程更安全的进行，减少事故发生概率。方法上提出改进深度学习中的卷积神经网络对驾驶情绪进行识别，改进卷积、下采样过程，提出使用复合卷积来提取更多特征，使用dropout减少训练权值，从而获取更准确的情绪特征，且提高训练识别效率，满足实时提醒要求。

尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。