基于相机的5G车载网络云辅助的驾驶员情绪识别方法与流程

本发明属于情绪识别领域，特别涉及一种基于相机的5g车载网络云辅助的驾驶员情绪识别方法。

背景技术：

5g移动通信技术的成熟使得能够将大量数据实时上传到远程处理中心成为可能。远程处理中心可以对大量的数据执行繁重的任务，例如大数据分析、神经网络参数调整等。随着传感器技术和光学学习算法的最新发展，实时情感识别变得越来越准确并且开始广泛应用于现实世界。特别是对于汽车领域，实时识别驾驶员的情绪已成为解决疲劳驾驶、醉酒驾驶等问题的重要的解决方案。这有利于提高驾驶员的安全性。

许多功能都能用来提高为了实时识别情绪的准确性，例如声音，文字，面部表情，视线方向、生物电信号等。某些语音和文字功能可用于识别人们的情绪状态(s.ramakrishnanandi.m.m.e.emary,“speechemotionrecognitionapproachesinhumancomputerinteraction,”telecommunicationsystems,vol.52,no.3,pp.1467-1478,2013.y.chavhan,m.l.dhoreandp.yesaware,“speechemotionrecognitionusingsupportvectormachine,”vol.1,no.20,pp.6-9,2011.)，但是在现实的驾驶情况下，获取这些特征的难度较大。相比而言，视觉特征的获取比较容易。

目前一些方案也是通过面部表情来识别情绪。例如，基于照相机的检测方法，通过定时拍摄观察者的面部表情判断用户情绪(monkaresi,hamed,etal.“automateddetectionofengagementusingvideo-basedestimationoffacialexpressionsandheartrate,”ieeetransactionsonaffectivecomputing,vol.8,no.1,pp.15-28,2017.s.mariooryadandc.busso,“facialexpressionrecognitioninthepresenceofspeechusingblindlexicalcompensation,”ieeetransactionsonaffectivecomputing,vol.7,no.4,pp.346-359,2016.f.xu,j.zhangandj.z.wang,“microexpressionidentificationandcategorizationusingafacialdynamicsmap,”ieeetransactionsonaffectivecomputing,vol.8,issue2,pp.1-1,2017.)。通常，有两种类型的面部识别方法，即基于几何的方法(hu,min,etal."videofacialemotionrecognitionbasedonlocalenhancedmotionhistoryimageandcnn-ctslstmnetworks."journalofvisualcommunicationandimagerepresentation59(2019):176-185.)和基于外观的方法(wu,suowei,etal."continuousemotionrecognitioninvideosbyfusingfacialexpression,headposeandeyegaze."2019internationalconferenceonmultimodalinteraction.2019.jiang,dazhi,etal."aprobabilityandintegratedlearningbasedclassificationalgorithmforhigh-levelhumanemotionrecognitionproblems."measurement150(2020):107049.)。然而，仅使用面部特征在准确地识别情绪这一方面还远远不够。除了视觉和语音功能外，生物特征识别信号，如心电图(ecg)、肌电图(emg)等也已经广泛用于大多数情感检测实验中。一些方法也使用微波、热成像等方法检测心率。但是，这些方法要求用户穿上专用设备并要求直接与人体接触(l.g.juan-miguel,etal.“methodforimprovingeegbasedemotionrecognitionbycombiningitwithsynchronizedbiometricandeyetrackingtechnologiesinanon-invasiveandlowcostway,”frontiersincomputationalneuroscience,vol.10,no.465,pp.85,2016.h.ferdinando,etal.,“emotionrecognitionbyheartratevariability,”australianjournalofbasic&appliedsciences,vol.8,no.10,pp.50-55,2014.s.katsigiannis,n.ramzan,“dreamer:adatabaseforemotionrecognitionthrougheegandecgsignalsfromwirelesslow-costoff-the-shelfdevices,”ieeejournalofbiomedical&healthinformatics,vol.22,no.1,pp.98-107,2018.m.nardelli,etal.,“recognizingemotionsinducedbyaffectivesoundsthroughheartratevariability,”ieeetransactionsonaffectivecomputing,vol.6,no.4,pp.385-394,2015.g.valenza,etal.,“dominantlyapunovexponentandapproximateentropyinheartratevariabilityduringemotionalvisualelicitation,”frontiersinneuroengineering,vol.5,no.5,pp.3,2012.a.goshvarpour,a.abbasi,anda.goshvarpour,“fusionofheartratevariabilityandpulseratevariabilityforemotionrecognitionusinglaggedpoincareplots,”australasianphysical&engineeringsciencesinmedicine,vol.6,pp.1-13,2017.n.j.dabanloo,etal.,“emotionrecognitionbasedonutilizingoccurrencesequenceofheartrate'sphasespacepoints,”actapresscom,2012.alam,mdgolamrabiul,etal."healthcareiot-basedaffectivestateminingusingadeepconvolutionalneuralnetwork."ieeeaccess(2019))，这会干扰驾驶员的活动从而导致测量出现偏差。

技术实现要素：

本发明的目的是为了解决上述现有技术存在的缺陷，提出了一种基于相机的5g车载网络云辅助的驾驶员情绪识别方法。首先通过相机从面部皮肤信息中提取几何特征，并且从rgb分量的变化中提取心率。然后卷积神经网络(cnn)用于分析面部的几何形状，双向长短期记忆-条件随机域(bi-lstm-crf)用于分析心率。最后这些信息用于softmax函数，对五种常见的不同类型的情绪进行分类：快乐，愤怒，悲伤，恐惧和中立。本发明不仅保留了传统的单帧人脸结构状态情感识别方法的优点，而且增加了对时间变化的考虑。

本发明的目的至少通过如下技术方案之一实现。

基于相机的5g车载网络云辅助的驾驶员情绪识别方法，包括以下步骤：

s1、在方向盘中嵌入光学相机，通过光学相机采用脸部识别技术从实时视频流中的面部信息中提取几何特征并且从信号通道分量的变化中提取心率，将提取出来的面部几何特征和心率通过5g车载网络发送到数据处理中心；

s2、数据处理中心使用卷积神经网络分析面部的几何特征；

s3、数据处理中心使用双向长短期记忆-条件随机域分析心率；

s4、数据处理中心根据步骤s2和s3中分析得到的数据使用softmax函数得到五种常见的不同类型的情绪中最大可能性的那一种情绪。

进一步地，步骤s1中，通过检测皮肤亮度变化提取心率信号；随着血液的流动，人体皮肤的表面会发生轻微变化，光学相机摄像头传感器检测到的皮肤亮度与血液通过脸部肌肉吸收的光量成反比，因此通过皮肤亮度的周期性变化确定心率的信号；所述光学相机必须具备rgb图像读取功能以及红外读取功能，所述数据处理中心在云端。

进一步地，步骤s1中，提取心率的过程包括以下步骤：

s11、采用特征矩阵联合逼近对角化的独立分量分析算法(cardosojf,souloumiaca.blindbeamformingfornon-gaussiansignals[c]//ieeproceedingsf(radarandsignalprocessing).ietdigitallibrary,1993,140(6):362-370.)，为红，绿，蓝和红外辐射4信号通道混合数据提供分离矩阵；然后得以分离出4个信号通道的信号独立成分；

s12、将分离出来的4个信号通道的信号独立成分与心率匹配，采用低通滤波来找到匹配的心率频段范围，即找到信号频段范围介于0.7hz和4hz之间，对应于每分钟42次和240次心跳之间的心率；

s13、需要使用脸部识别技术提取脸部图像；由于光线、角度或背景的影响，从相机获得的图像必须经过剪切、缩放、滤波、去噪、直方图均衡和灰度均衡的预处理，成为归一化的标准图像，即固定分辨率的图像，标准图像的分辨率依据设备处理能力来设定；将标准图像用小波变换提取面部特征向量；最后应用主成分分析以获得低维度的脸部特征向量描述。

进一步地，步骤s2中，所述卷积神经网络的框架如下：

其中，在符号中，x表示卷积层张量，l表示第l个卷积层，i表示第i个卷积输出矩阵，j代表相应输出矩阵的数目；f表示sigmoid函数，即bj为第j个偏置项；m为卷积大小；同时，卷积神经网络的池化层使用平均池化层，最终输出面部特征得到的情感概率。

进一步地，步骤s3中，所述双向长短期记忆-条件随机域结合了最大熵模型和隐马尔可夫模型的特征，是一种无向图模型(lampleg,ballesterosm,subramanians,etal.neuralarchitecturesfornamedentityrecognition[j].arxivpreprintarxiv:1603.01360,2016.)；所述双向长短期记忆-条件随机域的线性随机条件采用线性条件随机场模型；利用条件随机域对输出结果进行优化；条件随机域更关注整个心率序列局部特征的线性加权组合。

进一步地，步骤s3中，所述分析心率的过程包括以下步骤：

s31、首先，通过双向长短期记忆-条件随机域内的循环神经网络计算心率序列在神经网络里面每一层的中间结果；

s32、然后，使用条件随机域模型计算联合概率作为优化结果(lampleg,ballesterosm,subramanians,etal.neuralarchitecturesfornamedentityrecognition[j].arxivpreprintarxiv:1603.01360,2016.)。

进一步地，步骤s4中，所述softmax函数的输入有两个：步骤s2中卷积神经网络模型输出的面部特征得到的情感概率和步骤s3中双向长短期记忆-条件随机域模型输出的联合概率；softmax函数为：

其中i指第i个值，x为输入的参数，即面部特征得到的情感概率和心率得到的联合概率的和。最后，softmax函数的输出的最大值对应的情感为最终的分类结果，即argmaxisoftmaxi(x)。

进一步地，所述五种常见的情绪包括快乐，愤怒，悲伤，恐惧和中立。

与现有技术相比，本发明具有以下优势：

(1)在5g车载辅助网络中集成情绪识别系统，这有助于迅速对紧急情况作出反应。

(2)利用面部亮度变化检测心率，补偿了单纯依靠脸部识别来检测情绪的准确率。

附图说明

图1为本发明一种基于相机的5g车载网络云辅助的驾驶员情绪识别方法的流程图；

图2为本发明实施例中车载摄像机嵌入方向盘的示意图。

具体实施方式

下面结合实施例和附图对本发明的具体实施做进一步的说明，但本发明的实施方式不限于此。

实施例：

基于相机的5g车载网络云辅助的驾驶员情绪识别方法，如图1所示，包括以下步骤：

s1、如图2所示，在方向盘1中嵌入深度相机2，通过深度相机2采用脸部识别技术从实时视频流中的面部信息中提取几何特征并且从信号通道分量的变化中提取心率，将提取出来的面部几何特征和心率通过5g车载网络发送到数据处理中心；

通过检测皮肤亮度变化提取心率信号；随着血液的流动，人体皮肤的表面会发生轻微变化，光学相机摄像头传感器检测到的皮肤亮度与血液通过脸部肌肉吸收的光量成反比，因此通过皮肤亮度的周期性变化确定心率的信号；所述光学相机必须具备rgb图像读取功能以及红外读取功能，所述数据处理中心在云端。

提取心率的过程包括以下步骤：

s11、采用特征矩阵联合逼近对角化的独立分量分析算法(cardosojf,souloumiaca.blindbeamformingfornon-gaussiansignals[c]//ieeproceedingsf(radarandsignalprocessing).ietdigitallibrary,1993,140(6):362-370.)，为红，绿，蓝和红外辐射4信号通道混合数据提供分离矩阵；然后得以分离出4个信号通道的信号独立成分；

s12、将分离出来的4个信号通道的信号独立成分与心率匹配，采用低通滤波来找到匹配的心率频段范围，即找到信号频段范围介于0.7hz和4hz之间，对应于每分钟42次和240次心跳之间的心率；

s13、需要使用脸部识别技术提取脸部图像；由于光线、角度或背景的影响，从相机获得的图像必须经过剪切、缩放、滤波、去噪、直方图均衡和灰度均衡的预处理，成为归一化的标准图像，即固定分辨率的图像，标准图像的分辨率依据设备处理能力来设定；将标准图像用小波变换提取面部特征向量；最后应用主成分分析以获得低维度的脸部特征向量描述，本实施例中，选取前10％的数据维度。

s2、数据处理中心使用卷积神经网络分析面部的几何特征；

所述卷积神经网络的框架如下：

其中，在符号中，x表示卷积层张量，l表示第l个卷积层，i表示第i个卷积输出矩阵，j代表相应输出矩阵的数目；f表示sigmoid函数，即bj为第j个偏置项；m为卷积大小；同时，卷积神经网络的池化层使用平均池化层，最终输出面部特征得到的情感概率。

s3、数据处理中心使用双向长短期记忆-条件随机域分析心率；

所述双向长短期记忆-条件随机域结合了最大熵模型和隐马尔可夫模型的特征，是一种无向图模型(lampleg,ballesterosm,subramanians,etal.neuralarchitecturesfornamedentityrecognition[j].arxivpreprintarxiv:1603.01360,2016.)；所述双向长短期记忆-条件随机域的线性随机条件采用线性条件随机场模型；利用条件随机域对输出结果进行优化；条件随机域更关注整个心率序列局部特征的线性加权组合。

所述分析心率的过程包括以下步骤：

s31、首先，通过双向长短期记忆-条件随机域内的循环神经网络计算心率序列在神经网络里面每一层的中间结果；

s32、然后，使用条件随机域模型计算联合概率作为优化结果(lampleg,ballesterosm,subramanians,etal.neuralarchitecturesfornamedentityrecognition[j].arxivpreprintarxiv:1603.01360,2016.)。

s4、数据处理中心根据步骤s2和s3中分析得到的数据使用softmax函数得到五种常见的不同类型的情绪中最大可能性的那一种情绪；

所述五种常见的情绪包括快乐，愤怒，悲伤，恐惧和中立。

所述softmax函数的输入有两个：步骤s2中卷积神经网络模型输出的面部特征得到的情感概率和步骤s3中双向长短期记忆-条件随机域模型输出的联合概率；softmax函数为：

其中i指第i个值，x为输入的参数，即面部特征得到的情感概率和心率得到的联合概率的和。最后，softmax函数的输出的最大值对应的情感为最终的分类结果，即argmaxisoftmaxi(x)。