司乘人员未系安全带识别方法、装置及存储介质与流程

本申请涉及一种司乘人员未系安全带识别方法、装置及存储介质，属于图像识别
技术领域：
。
背景技术：
：机动车行驶过程中发生碰撞或紧急制动时，产生强惯性力，司乘人员通过系安全带可以有效控制身体，避免碰撞带来的身体伤害。系安全带对于保障司机和乘客的生命安全具有至关重要的作用。基于交通监控图像的未系安全带识别方法可以对道路上的司机未系安全带的事件进行实时监控，自动捕获车辆信息和记录司机未系安全带的行为。在传统的未系安全带识别方法中，通过使用深度神经网络模型对图像中的司乘人员是否系安全带进行识别。其中，深度神经网络模型是通过样本图像训练得到的，样本图像大多为系安全带样本，而未系安全带样本的占比较小。然而，系安全带样本和未系安全带样本分布的不均衡，会导致训练得到的深度神经网络模型的预测结果向样本量过多的一方倾斜，也即，预测结果为司乘人员系安全带的概率较高。在监控场景中，监控人员会对未系安全带的司乘人员予以警告，虽然，样本分布不均可以减少误报率，然而检出“司乘人员未系安全带”的效率会大大降低。技术实现要素：本申请提供了一种司乘人员未系安全带识别方法、装置及存储介质，可以解决样本分布不均导致的识别模型的识别结果不准确的问题。本申请提供如下技术方案：第一方面，提供了一种司乘人员未系安全带识别方法，所述方法包括：获取待识别的目标图像；确定所述目标图像中的安全带识别区域，得到目标区域图像；将所述目标区域图像输入基于样本图像训练得到的识别模型，得到识别结果，所述识别结果用于指示所述目标图像中的司乘人员是否系安全带；其中，所述样本图像包括第一分类样本和第二分类样本，所述第一分类样本的数量小于所述第二分类样本的数量；所述第一分类样本基于所述第二分类样本的数量进行补足得到。可选地，所述将所述目标区域图像输入基于样本图像训练得到的识别模型，得到识别结果之前，包括：获取所述样本图像；将所述样本图像输入预设的深度神经网络模型，得到模型输出结果，所述深度神经网络模型的模型结构与所述识别模型的模型结构相同；基于所述模型输出结果和预设损失函数对所述深度神经网络模型进行训练，得到所述识别模型，所述预设损失函数用于对模型输出结果与对应的真实值之间的差异以及模型输出结果与先验分布的差异进行加权求和。可选地，所述获取样本图像，包括：获取多个原始数据中的安全带识别区域，得到第一分类样本和第二分类样本；对所述第二分类样本的各个样本索引值进行随机排列处理，得到乱序后的索引值；计算各个乱序后的索引值对所述第一分类样本的数量进行求余后，得到的求余索引序列；将所述第一分类样本按照所述求余索引序列进行扩展，得到扩展后的第一分类样本，所述样本图像包括所述第二分类样本和所述扩展后的第一分类样本。可选地，所述获取多个原始数据中的安全带识别区域，得到第一分类样本和第二分类样本之后，还包括：对所述第一分类样本和/或所述第二分类样本进行灰度处理得到对应的灰度图像，所述样本图像包括所述灰度图像。可选地，所述预设损失函数以预设的权重对预测结果与先验分布、以及预测结果与真实值进行惩罚。可选地，所述预设损失函数通过下式表示：其中，k为样本类别数；θ为常数；u(k)＝1/k。可选地，所述识别模型是基于密集连接卷积网络的网络模型建立的，所述密集连接卷积网络包括的密集块的数量为预设数量，且每个密集块是通过对应次数的迭代次数训练得到的。可选地，所述确定所述目标图像中的安全带识别区域，得到目标区域图像，包括：确定所述目标图像中的车牌区域；基于所述车牌区域确定车牌所属的车辆区域；在所述车辆区域内进行人脸识别，得到人脸检测框；基于所述人脸检测框的位置确定所述目标区域图像。第二方面，提供了一种司乘人员未系安全带识别装置，所述装置包括：图像获取模块，用于获取待识别的目标图像；区域确定模块，用于确定所述目标图像中的安全带识别区域，得到目标区域图像；图像识别模块，用于将所述目标区域图像输入基于样本图像训练得到的识别模型，得到识别结果，所述识别结果用于指示所述目标图像中的司乘人员是否系安全带；其中，所述样本图像包括第一分类样本和第二分类样本，所述第一分类样本基于所述第二分类样本的数量进行补足得到；所述第一分类样本的数量小于所述第二分类样本的数量。第三方面，提供一种司乘人员未系安全带识别装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的司乘人员未系安全带识别方法。第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由所述处理器加载并执行以实现第一方面所述的司乘人员未系安全带识别方法。本申请的有益效果在于：通过获取待识别的目标图像；确定目标图像中的安全带识别区域，得到目标区域图像；将目标区域图像输入基于样本图像训练得到的识别模型，得到识别结果；其中，样本图像包括第一分类样本和第二分类样本，第一分类样本基于第二分类样本的数量进行补足得到；第一分类样本的数量小于第二分类样本的数量；可以解决样本分布不均导致的识别模型的识别结果不准确的问题；通过对样本图像中不同分类的样本进行均衡处理，可以保证训练识别模型时使用的样本图像是分布均匀的，可以提高识别模型输出的识别结果的准确性。另外，通过对图像数据进行灰度处理得到对应的灰度图像，将灰度图像加入样本图像中，可以增加输入信息的纹理表达，提高样本图像的丰富度，从而进一步提高识别模型输出的识别结果的准确性。另外，通过对类别标签进行修正以调整损失函数，改进的损失函数以不同的权重对预测类别与先验分布以及预测类别与真实值进行惩罚，改善训练过程中出现的过拟合现象；对预测类别与真实类别之间的差异以及预测类别与先验分布的差异进行加权求和，提高系统检出率。另外，通过控制识别模型的层数和迭代次数，可以简化识别模型的训练过程，提高训练效率。上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。附图说明图1是本申请一个实施例提供的密集块的结构示意图；图2是本申请一个实施例提供的卷积神经网络的结构示意图；图3是本申请一个实施例提供的司乘人员未系安全带识别方法的流程图；图4是本申请一个实施例提供的确定安全带识别区域的示意图；图5是本申请一个实施例提供的训练识别模型的方法的流程图；图6是本申请一个实施例提供的司乘人员未系安全带识别装置的框图；图7是本申请一个实施例提供的司乘人员未系安全带识别装置的框图。具体实施方式下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。首先，对本申请涉及的若干名词进行介绍。卷积神经网络(convolutionalneuralnetworks，cnn)：是一类包含卷积计算且具有深度结构的前馈神经网络(feedforwardneuralnetworks)，是深度学习(deeplearning)的代表算法之一。卷积神经网络具有表征学习(representationlearning)能力，能够按其阶层结构对输入信息进行平移不变分类(shift-invariantclassification)，因此也被称为“平移不变人工神经网络(shift-invariantartificialneuralnetworks，siann)。卷积神经网络广泛应用于目标识别场景，比如：车牌识别、人脸识别等。密集连接卷积网络(densenet)：是基于cnn网络结构建立的神经网络，区别在于densenet中每一层的输入是由前面各层的输出合成的。densenet包括多个密集块(densenetblock)，参考图1所示的densenetblock的结构示意图，根据图1可知，网络共有n层，每一层包括非线性转换函数hn(包括批次归一化(batchnormanization，bn)、线性整流函数(rectifiedninearunit，renu)和卷积)。其中，n表示层数，xn表示第n层的输出。参考图2所示的densenet，图2所示的densenet包括3个densenetblock。独热编码：one-hot编码，又称一位有效编码，其方法是使用n位状态寄存器来对n个状态进行编码，每个状态都有它独立的寄存器位，并且在任意时候，其中只有一位有效。可选地，本申请中以各个实施例的执行主体为电子设备为例进行说明，该电子设备可以是终端或者服务器等具有图像处理能力的设备。其中，终端可以是计算机、手机、平板电脑等，本实施例不对终端的类型作限定。图3是本申请一个实施例提供的司乘人员未系安全带识别方法的流程图。该方法至少包括以下几个步骤：步骤301，获取待识别的目标图像。可选地，目标图像为视频流中的一帧图像数据；或者是单独的一张图像数据。目标图像可以是电子设备通过内部的图像采集组件(比如：摄像头)采集得到的；或者是其它设备发送的；或者是预存在存储介质中的，本实施例不对目标图像的来源作限定。步骤302，确定目标图像中的安全带识别区域，得到目标区域图像。可选地，电子设备确定目标图像中的车牌区域；基于车牌区域确定车牌所属的车辆区域；在车辆区域内进行人脸识别，得到人脸检测框；基于人脸检测框的位置确定目标区域图像。在电子设备未确定出车牌区域时确定目标图像不包括安全带识别区域，流程结束。电子设备可以使用车牌检测网络模型检测目标图像中的车牌；使用人脸检测网络模型检测车牌区域内的人脸，该车牌检测网络模型和人脸检测网络模型是基于深度神经网络模型建立的，比如：基于cnn建立的。基于人脸检测框的位置确定目标区域图像，包括：对于驾驶位置的第一人脸检测框，获取第一人脸检测框的第一中心位置；将该第一中心位置延水平方向分别向左移动第一距离、向右移动第二距离，得到驾驶位置的安全带识别区域的宽；将该第一中心位置延垂直方向分别向上移动第三距离、向下移动第四距离，得到驾驶位置的安全带识别区域的高。对于副驾驶位置的第二人脸检测框，获取第二人脸检测框的第二中心位置；将该第二中心位置延水平方向分别向左移动第五距离、向右移动第六距离，得到副驾驶位置的安全带识别区域的宽；将该第二中心位置延垂直方向分别向上移动第七距离、向下移动第八距离，得到副驾驶位置的安全带识别区域的高。其中，第一距离、第二距离、第三距离和第四距离是基于第一人脸检测框的宽w确定的，比如：第一距离和第三距离为1.5w、第二距离和第四距离为3.5w。第五距离、第六距离、第七距离和第八距离是基于第二人脸检测框的宽w’确定的，比如：第五距离和第七距离为1.5w’、第六距离和第八距离为3.5w’。比如：参考图4所示的安全带识别区域的示意图，图4中以基于驾驶位置的第一人脸检测框的中心位置确定安全带识别区域，且第一距离和第三距离为1.5w、第二距离和第四距离为3.5w，w为第一人脸检测框的宽为例进行说明，得到的安全带识别区域包括第一人脸检测框，且安全带识别区域的宽和高均为5w。步骤303，将目标区域图像输入基于样本图像训练得到的识别模型，得到识别结果，识别结果用于指示目标图像中的司乘人员是否系安全带；其中，样本图像包括第一分类样本和第二分类样本，第一分类样本的数量小于第二分类样本的数量；第一分类样本基于第二分类样本的数量进行补足得到。可选地，识别模型是基于密集连接卷积网络的网络模型建立的，密集连接卷积网络包括的密集块的数量为预设数量，且每个密集块是通过对应次数的迭代次数训练得到的。示意性地，为了简化识别模型的模型结构和训练速度，预设数量小于预设阈值，迭代次数小于迭代阈值。本实施例不对预设数量和迭代次数的取值作限定，在一个示例中，预设数量为3、各个密集块对应的迭代次数构成的迭代序列为[6，8，8]。在将目标区域图像输入基于样本图像训练得到的识别模型，得到识别结果之前，电子设备需要对预设的深度神经网络模型进行训练，得到识别模型。其中，深度神经网络模型的模型结构与识别模型的模型结构相同。参考图5，对预设的深度神经网络模型进行训练，得到识别模型，包括至少包括步骤51-53：步骤51，获取样本图像。在一个示例中，电子设备获取多个原始数据中的安全带识别区域，得到第一分类样本和第二分类样本；对第二分类样本的各个样本索引值进行随机排列处理，得到乱序后的索引值；计算各个乱序后的索引值对第一分类样本的数量进行求余后，得到的求余索引序列；将第一分类样本按照求余索引序列进行扩展，得到扩展后的第一分类样本。此时，样本图像包括第二分类样本和扩展后的第一分类样本。其中，第一分类样本为未系安全带图像，第二分类样本为系安全带图像；或者，第一分类样本为系安全带图像，第二分类样本为未系安全带图像。原始数据是指：包括未系安全带图像的图像数据和包括系安全带图像的图像数据的集合。可选地，获取多个原始数据中的安全带识别区域，包括：对于每张原始数据，确定该原始数据中的样本车牌区域；基于该样本车牌区域确定车牌所属的样本车辆区域；在样本车辆区域内进行人脸识别，得到样本人脸检测框；基于样本人脸检测框的位置确定安全带识别区域。其中，基于样本人脸检测框的位置确定安全带识别区域的内容参见步骤201中的基于人脸检测框的位置确定安全带识别区域的描述，本实施例在此不再赘述。假设第一分类样本如下表一所示，根据表一可知，电子设备中存储有第一分类样本对应的图像数据和样本索引值；第二分类样本如下表二所示，根据表二可知，电子设备中存储有第二分类样本对应的图像数据和样本索引值。第一分类样本的数量小于第二分类样本的数量。为了保证第一分类样本和第二分类样本的数量均衡，电子设备对第一分类样本进行补足。补足过程包括：电子设备对第二分类样本的样本索引值进行随机排列处理，得到乱序后的索引值，比如：乱序后的索引值l为[0，4，3，1，2]；使用各个乱序后的索引值对第一分类样本的数量进行求余，得到求余索引序列[0，1，0，1，2]；按照求余索引序列对第一分类样本进行扩展，得到表三所示的扩展后的第一分类样本。根据表三可知，扩展后的第一分类样本的数量与第二分类样本的数量相同，只是扩展后的第一分类样本包括重复的图像数据。表一：样本索引值第一分类样本0图像11图像22图像3表二：样本索引值第二分类样本0图像1’1图像2’2图像3’3图像4’4图像5’表三：样本索引值第一分类样本0图像11图像20图像11图像22图像3在另一个示例中，电子设备获取到第一分类样本和第二分类样本之后，还可以按照第二分类样本的数量，从第一分类样本中随机确定a个图像数据进行复制，复制后得到第一分类样本的数量与第二分类样本的数量相等。a为正整数。可选地，为了提高样本图像的样本纹理特征，电子设备获取多个原始数据中的安全带识别区域，得到第一分类样本和第二分类样本之后，还包括：对第一分类样本和/或第二分类样本进行灰度处理得到对应的灰度图像，样本图像包括该灰度图像。当然，电子设备还可以对各个样本图像进行尺度缩放、裁剪、角度旋转等处理以提高样本图像的丰富度。步骤52，将样本图像输入预设的深度神经网络模型，得到模型输出结果。样本图像对应的样本数据为样本图像的特征数据(标签数据)，该特征数据可以是人工输入的；或者是通过标签工具标记得到的。步骤53，基于模型输出结果和预设损失函数对深度神经网络模型进行训练，得到识别模型。其中，预设损失函数用于对模型输出结果与对应的真实值之间的差异以及模型输出结果与先验分布的差异进行加权求和。预设损失函数通过下式表示：其中，k为样本类别数；θ为常数；u(k)＝1/k；p(k)为对应分类的图像的概率。根据上式可知，预设损失函数以预设的权重对预测结果与先验分布、以及预测结果与真实值进行惩罚。可选地，预测结果与先验分布之间差异的权重与预测结果与真实值之间差异的权重不同。传统的softmax损失函数易受到样本丰富类别的影响，导致最终判别结果易倾向于样本丰富度高的一方，比如：系安全带分类样本丰富度较高，则训练易过拟合，从而影响系统检出未系安全带的概率。比如：在训练过程中，电子设备对样本图像分别进行独热编码，系安全带分类样本对应的标签为[1，0]；未系安全带分类样本对应的标签为[0，1]。根据样本的离散标签向量进行训练，以预设的深度神经网络模型的输出层为softmax层(用于进行分类)为例，则softmax层输出预测概率为：其中，p(k|x)为第k个元素zk的概率；x为输入深度神经网络模型的特征数据；zk为输入到softmax层的向量中的第k个数据；zi为输入到softmax层的第i个数据，1≤i≤k，k为输入到softmax层的向量的总数据个数。k与分类个数有关，本实施例中，样本图像包括系安全带分类和未系安全带分类，k的取值为2。采用softmax计算交叉熵(crossentroyloss)，得到：其中，p为预测类别的概率，q为真实类别的概率。使用上述交叉熵对zk求导可得下式：根据p,q∈[0,1]，得到下式：由于两种分类之间的差距希望尽可能的拉大，与梯度的界限互相制约，很难将分类间差距极大化，导致最终模型更偏向于输出系安全带类别，出现过拟合现象。而本实施例提供的预设损失函数对分类进行修正，减小原始真实标签对损失函数计算的影响，增加未系安全带类别的预测概率在损失函数中的权重，标签概率值调整如下：q′(k|x)＝(1-θ)q(k)+θu(k)引入超参数θ，即系安全带图片标签：[1-θ，θ]，θ的取值可以是0.1、0.2等，本实施例不对θ的取值作限定。将上述标签概率调整值标签概率值代入交叉熵计算公式得到预设损失函数。综上所述，本实施例提供的司乘人员未系安全带识别方法，通过获取待识别的目标图像；确定目标图像中的安全带识别区域，得到目标区域图像；将目标区域图像输入基于样本图像训练得到的识别模型，得到识别结果；其中，样本图像包括第一分类样本和第二分类样本，第一分类样本基于第二分类样本的数量进行补足得到；第一分类样本的数量小于第二分类样本的数量；可以解决样本分布不均导致的识别模型的识别结果不准确的问题；通过对样本图像中不同分类的样本进行均衡处理，可以保证训练识别模型时使用的样本图像是分布均匀的，可以提高识别模型输出的识别结果的准确性。另外，通过对图像数据进行灰度处理得到对应的灰度图像，将灰度图像加入样本图像中，可以增加输入信息的纹理表达，提高样本图像的丰富度，从而进一步提高识别模型输出的识别结果的准确性。另外，通过对类别标签进行修正以调整损失函数，改进的损失函数以不同的权重对预测类别与先验分布以及预测类别与真实值进行惩罚，改善训练过程中出现的过拟合现象；对预测类别与真实类别之间的差异以及预测类别与先验分布的差异进行加权求和，提高系统检出率。另外，通过控制识别模型的层数和迭代次数，可以简化识别模型的训练过程，提高训练效率。图6是本申请一个实施例提供的司乘人员未系安全带识别装置的框图。该装置至少包括以下几个模块：图像获取模块610、区域确定模块620和图像识别模块630。图像获取模块610，用于获取待识别的目标图像；区域确定模块620，用于确定所述目标图像中的安全带识别区域，得到目标区域图像；图像识别模块630，用于将所述目标区域图像输入基于样本图像训练得到的识别模型，得到识别结果，所述识别结果用于指示所述目标图像中的司乘人员是否系安全带；其中，所述样本图像包括第一分类样本和第二分类样本；所述第一分类样本的数量小于所述第二分类样本的数量，所述第一分类样本基于所述第二分类样本的数量进行补足得到。相关细节参考上述方法实施例。需要说明的是：上述实施例中提供的司乘人员未系安全带识别装置在进行司乘人员未系安全带识别时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将司乘人员未系安全带识别装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的司乘人员未系安全带识别装置与司乘人员未系安全带识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。图7是本申请一个实施例提供的司乘人员未系安全带识别装置的框图。该装置至少包括处理器701和存储器702。处理器701可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器701可以采用dsp(digitalsignalprocessing，数字信号处理)、fpga(field－programmablegatearray，现场可编程门阵列)、pla(programmablelogicarray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的司乘人员未系安全带识别方法。在一些实施例中，司乘人员未系安全带识别装置还可选包括有：外围设备接口和至少一个外围设备。处理器701、存储器702和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。当然，司乘人员未系安全带识别装置还可以包括更少或更多的组件，本实施例对此不作限定。可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的司乘人员未系安全带识别方法。可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的司乘人员未系安全带识别方法。以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。当前第1页12