一种客车超载检测方法、装置及电子设备与流程

本发明涉及检测技术领域，具体涉及一种客车超载检测方法、装置及电子设备。

背景技术：

随着经济社会发展和流动人口的增加，客车超载问题日益突出，而客车超载是交通事故频发的重要原因，客车超载的主要表现形式为车厢过道区域有部分乘客长时间停留，所以采用智能设备对车厢过道区域的乘客进行检测，成为判断客车是否超载的有效方法。

现有的客车超载检测方法是通过在车厢内安装智能监控设备，分析处理摄像头采集到的视频数据，以此判断过道上是否存在乘客，以确定出车辆是否超载，例如，通过人工标定过道区域，采用检测器检测标定区域内的乘客，检测器能够给出乘客头部、人脸甚至全身的位置边界框，根据边界框与标定区域的位置关系判断乘客是否在过道区域。该方法虽能在一定程度上能够检测出车厢过道区域的乘客，但是由于车厢内高度有限，摄像头无法安装在顶视的位置，只能安装在车厢头部，其视角存在一定角度，导致乘客头部或者人脸在图像中的位置不能准确反映乘客在车厢内的具体位置，从而导致检测器在进行超载检测时无法准确的对客车超载的情况进行检测。

技术实现要素：

有鉴于此，本发明实施例提供了一种客车超载检测方法、装置及电子设备，以解决现有技术中无法准确对客车超载进行检测的问题。

根据第一方面，本发明实施例提供了一种客车超载检测方法，包括：获取车厢内的头部信息；将所述头部信息进行尺度映射，得到映射头部信息；判断所述映射头部信息是否处于标定区域内；若所述映射头部信息处于所述标定区域内，则提示客车超员。

本发明实施例提供的客车超载检测方法，通过获取车厢内的头部信息，将所获取得到的头部信息映射，之后将映射后的头部信息与标定区域进行对比判断，从而确定出在标定区域内是否存在头部信息，并根据其头部信息判断其客车是否超载，利用头部映射解决了因车厢高度有限，而导致乘客头部或者人脸在图像中的位置不能准确反映乘客在车厢内的具体位置，从而实现了对客车超载进行准确检测。

结合第一方面，在第一方面第一实施方式中，所述若所述映射头部信息处于所述标定区域内，则提示客车超员，还包括：基于预设时长统计所述映射头部信息停留在所述标定区域内的时长信息；判断所述映射头部信息停留在所述标定区域内的时长信息是否大于阈值信息；若所述时长信息大于阈值信息，则提示客车超员；若所述时长信息小于，或等于阈值信息，则保持对客车进行超载检测。

本发明实施例提供的客车超载检测方法，通过预设时长，并利用预设时长统计映射头部信息停留在标定区域内的时长信息，之后判断时长信息是否超过阈值信息，从而一步保证能够对客车超载情况进行准确检测，而设置预设时长同时也能减少检测器对客车超载情况的误判，提高客车超载检测方法的检测准确性。

结合第一方面或第一方面第一实施方式，在第一方面第二实施方式中，所述获取车厢内的头部信息，包括：获取车厢内的视频图像帧；基于所述视频图像帧进行预处理，得到预处理图像帧；将所述预处理图像帧送入头部信息检测模型中进行检测，得到所述车厢内的头部信息，其中，所述车厢内的头部信息包括：头部边界框、检测区域的坐标信息及置信度。

结合第一方面第二实施方式，在第一方面第三实施方式中，所述基于所述视频图像帧进行预处理，得到预处理图像帧，包括：将所述车厢内的视频图像帧进行检测区域划分，得到至少2个检测区域；基于所述检测区域进行截取，和/或，缩放，得到所述预处理图像帧。

本发明实施例提供的客车超载检测方法，通过对视频图像帧进行预处理，从而进一步提高检测精度，以及提高模型检测速度。

结合第一方面第三实施方式，在第一方面第四实施方式中，在将所述头部信息进行尺度映射，得到映射头部信息之前，还包括：根据所述置信度对所述头部边界框进行过滤，和/或，筛选，得到筛选后的头部边界框；基于所述检测区域的坐标信息，确定出所述筛选后的头部边界框的坐标信息；将所述筛选后的头部边界框坐标信息还原至所述视频图像帧，获得所述头部信息。

本发明实施例提供的客车超载检测方法，通过在进行尺度映射前对不符合检测要求的边界框进行剔除，从而保证了检测结果的准确性以及提高了检测效率。

结合第一方面或第一方面第一实施方式，在第一方面第五实施方式中，所述将所述头部信息进行尺度映射，得到映射头部信息，包括：获取所述标定区域在所述视频图像帧中的边长值、所述标定区域对应的实际宽度值及所述标定区域在所述视频图像帧中的纵坐标值；基于所述标定区域在所述视频图像帧中的边长值、所述标定区域对应的实际宽度值及所述标定区域在所述视频图像帧中的纵坐标值，利用映射方程计算所述头部信息的映射距离；根据所述头部信息的映射距离对所述头部信息进行移动得到所述映射头部信息。

本发明实施例提供的客车超载检测方法，利用映射方程将头部信息进行映射，从而能够准确判断出乘客所在位置，以及提高检测的准确率。

结合第一方面或第一方面第一实施方式，在第一方面第六实施方式中，所述判断所述映射头部信息是否处于标定区域内，包括：获取所述映射头部信息中头部边界框中线的两个顶底；计算所述两个顶底与所述标定区域内的重合度；根据所述重合度确定出所述映射头部信息是否处于标定区域内。

本发明实施例提供的客车超载检测方法，通过计算头部边界框中线的两个顶底与标定区域内的重合情况从而判断出头部信息是否处于标定区域内，从而能够快速确定出客车是否超载，并进一步提高了检测效率。

根据第二方面，本发明实施例提供了一种客车超载检测装置，包括：获取模块，用于获取车厢内的头部信息；映射模块，用于将所述头部信息进行尺度映射，得到映射头部信息；判断模块，用于判断所述映射头部信息是否处于标定区域内；提示模块，用于若所述映射头部信息处于所述标定区域内，则提示客车超员。

本发明实施例提供的客车超载检测装置，通过获取模块获取头部信息，其次利用映射模块对头部信息进行映射，之后将映射后的头部信息送入判断模块，将其标定区域与头部信息进行对比已确定出头部信息是否处于标定区域内，从而实现了对客车超载进行准确检测。

根据第三方面，本发明实施例提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面或者第一方面的任意一种实施方式中所述的客车超载检测方法。

根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面或者第一方面的任意一种实施方式中所述的客车超载检测方法。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1是本发明实施例提供的一种客车超载检测方法的流程框图；

图2是本发明实施例提供的一种可选的客车超载检测方法步骤s10的流程框图；

图3是本发明实施例提供的一种可选的客车超载检测方法步骤s11的流程框图；

图4是本发明实施例提供的一种可选的客车超载检测方法中的映射示意图；

图5是本发明实施例提供的一种可选的客车超载检测方法步骤s12的流程框图；

图6是本发明实施例提供的一种可选的客车超载检测方法步骤s141至s143的流程框图；

图7是本发明实施例提供的一种可选的客车超载检测方法步骤s13的流程框图；

图8是本发明实施例提供的一种客车超载检测装置的结构框图；

图9是本发明实施例提供的一种电子设备的结构框图。

附图标记

1-车厢过道区域；2-视频图像的边界框；3-待映射的头部边界框；10-获取模块；11-映射模块；12-判断模块；13-提示模块；20-处理器；21-存储器。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，还需要说明的是本发明实施例所提供的一种客车超载检测方法，可以应用在客车车厢超载的场景下，其方法可以通过超载检测装置或设备进行实施，其中实施客车超载检测方法的装置可以包括：获取模块、映射模块、判断模块及提示模块；其中，获取模块中还可以包括视频采集子模块和头部信息检测模块；视频采集子模块可以用于客车车厢内的视频数据，其中视频数据可以是实时视频数据；视频采集子单元与头部信息检测模块连接，用于输出车厢内的头部信息；映射模块中包括边界框映射子模块，用于对头部信息进行尺度映射；判断模块，用于获取映射头部信息并从存储器中的提取预先存储的标定区域进行比对，确定出头部信息是否属于超载头部信；另外，提示模块中还可以包括报警子模块和上传子模块，报警子模块用于进行客车超员报警，上传子模块，用于进行数据存储回溯。具体的，本发明实施例提供一种客车超载检测方法，如图1所示，该客车超载检测方法，包括：

s10，获取车厢内的头部信息。

在本实施例中，车厢内的头部信息可以通过获取车厢内的视频数据，将其是数据送入头部检测模型，得到头部信息。其中，构建头部检测模型可以是通过人工标注的数据对构建dcnn头部检测模型进行训练，将训练完成后的模型，内嵌到智能设备中，当视频采集设备对视频帧进行处理时，将自动加载模型，对每一帧视频图片都进行检测，头部检测模型能够给出视频帧中所有乘客头部的边界框坐标，以及该边界框为头部的置信度得分，并通过阈值和置信度对边界框进行过滤和筛选，从而减少误检，提高检测精度。

s11，将头部信息进行尺度映射，得到映射头部信息。

在本实施例中，由于在现有技术中使用非顶视摄像头，因此在不同的人体姿态下，人的头部信息在图像中的位置会存在较大差异，例如：当乘客站立时，头部位置靠近图像的上方，当蹲坐时，头部位置靠近图像下方，所以头部边界框不能准确反映乘客在车厢中的位置。因此在本实施例中，通过将检测到的头部边界框进行映射，其中所映射的位置是车厢过道的地面上，从而解决由于使用非顶视摄像头造成的图像之间的差异信息，还提高了车厢过道乘客检测的准确率。

s12，判断映射头部信息是否处于标定区域内。

在本实施例中，映射头部信息为头部边界框，标定区域为预设范围区域，在本实施例中，为车厢的过道区域。通过判断头部边界框是否处于车厢过道从而确定出客车是否超载，因此通过计算头部信息的映射框与标定区域的重合度来判断乘客是否在过道上，能够更准确判断乘客所在位置。

s13，若映射头部信息处于标定区域内，则提示客车超员。

在本实施例中，当客车超员时，可以通过提示模块，向司机进行语音提醒，并进行保存作为报警附件上传至监管云平台对超载车辆进行实时路况监管。

本发明实施例提供的客车超载检测方法，通过获取车厢内的头部信息，将所获取得到的头部信息映射，之后将映射后的头部信息与标定区域进行对比判断，从而确定出在标定区域内是否存在头部信息，并根据其头部信息判断其客车是否超载，利用头部映射解决了因车厢高度有限，而导致乘客头部或者人脸在图像中的位置不能准确反映乘客在车厢内的具体位置，从而实现了对客车超载进行准确检测。

可选的，如图2所示，步骤s10，还可以是：

s101,获取车厢内的视频图像帧。

在本实施例中，车厢内的视频图像帧可以是通过安装在车厢内四个角的视频采集设备所采集的视频数据，将其视频数据进行拆分获得视频图像帧。

s102,基于视频图像帧进行预处理，得到预处理图像帧。

在本实施例中，预处理是将车厢内的视频图像帧进行检测区域划分，得到至少2个检测区域；基于检测区域进行截取，和/或，缩放，得到预处理图像帧。可选的，车厢内的头部信息可以包括：头部边界框、检测区域的坐标信息及置信度。

s103,将预处理图像帧送入头部信息检测模型中进行检测，得到车厢内的头部信息。

在本实施例中，头部信息检测模型可以是预先构建的模型，其中该模型可以是由卷积神经网络搭建的检测模型。由于所使用的检测模型的输入分辨率较小，如果将原图作为输入文件，原图经过缩小会后变得模糊，丢失较多有用的特征信息，这会导致检测模型的检出率较低，甚至可能无法检出车厢内后排的乘客，而为了提高模型的检测精度，本实施例对原图进行了检测区域划分，将图像分为上下两个检测区域，其中，上部分检测区域的长宽比与模型输入长宽比保存一致，在检测模型进行检测前，需要先将两个检测区域分别进行裁剪和缩放，分别输入到模型中，对两个检测区域进行头部检测，之后检测结果还需要根据检测区域的坐标信息还原到原图中，以保证数据的准确性，通过对检测区域划分从而增加了对后排乘客的检测能力，大大提高了车厢过道头部检测的召回率和精度。

可选的，如图3所示，步骤s11，还可以是：

s111，获取所述标定区域在所述视频图像帧中的边长值、所述标定区域对应的实际宽度值及所述标定区域在所述视频图像帧中的纵坐标值。

在本实施例中，可以利用标定软件或是人工标定的方式对车厢内的过道进行手动或自动标定，从而获得车厢内过道的边长值，所述标定区域对应的实际宽度值及所述标定区域在所述视频图像帧中的纵坐标值。

s112，基于所述标定区域在所述视频图像帧中的边长值、所述标定区域对应的实际宽度值及所述标定区域在所述视频图像帧中的纵坐标值，利用映射方程计算所述头部信息的映射距离。

在本实施例中，在获取映射距离前，还需要保证采集摄像头是否属于水平安装，且安装位置是否位于车厢前方正中间的顶部，其摄像头对准过道，存在一个较小的俯视角。以此保证获取检测结果的准确性。另外，还需要在视频图像上人工标定的车厢过道区域，例如：如图4所示，为视频图像上人工标定的车厢过道区域的示意图，四边形abcd为人工标定的车厢过道区域1，而外部边界为视频图像的边界框2，当在满足摄像头安装条件的基础时，该区域四边形abcd为等腰梯形或近似于等腰梯形，即ab平行于dc，ad等于bc。

之后根据所获得标定区域建立映射方程，具体的映射方程的表达式为：

y′＝(w1/w)*k+b，

其中，w1为头部边界框即待映射的头部边界框3在图像上的平均边长，w为图像帧中头部的平均宽度，k、b为映射距离，y′为映射边界框质心点的纵坐标，映射边界框质心点的横坐标不变，可以根据标定的等腰梯形区域在图像中的尺度映射关系，建立方程组为：

其中，wab为ab在图像中的长度，wcd为cd在图像中的长度，wo为车厢过道的真实宽度，y1为ab在图像中的纵坐标，y2为cd在图像中的纵坐标，利用方程组求出映射距离k和b：

将头部边界框质心点通过上述映射方程进行映射后，得到新质心点的纵坐标y′，横坐标则保持不变，映射边界框的长和宽也保持不变。映射边界框能够较准确的表示乘客在车厢地面上的位置，将映射边界框与标定区域进行重合度比较，能够准确的判断乘客是否在车厢过道上。

s112，根据所述头部信息的映射距离对所述头部信息进行移动得到所述映射头部信息。

在本实施例中，当获得映射距离后，可以通过平移的方式进行移动得到映射头部信息。

可选的，如图5所示，步骤s12，可以包括:

s121,获取映射头部信息中头部边界框中线的两个顶底。

在本实施例中，需要通过人工手动标记获得头部边界框中线的两个顶底，也可以利用标记软件进行标记。

s122,计算两个顶底与标定区域内的重合度。

s123,根据重合度确定出映射头部信息是否处于标定区域内。

在本实施例中，计算映射框与标定区域的重合度，可以利用阈值来控制报警的敏感度，具体方法为：首先找到映射框中线的两个顶点，为便于理解，可记为ef，采用pnpoly算法分别判断顶点e和顶点f是否在标定区域内，具体的：当e、f均在标定区域内时，重合度为1；当e，f均不在标定区域内，且位于标定区域的同一侧时，则重合度为0；当e点在标定区域内，f点在外侧时，计算ef与标定区域交点o的坐标，重合度为r＝bo/bf；当e点在区域外，f点在区域内时，重合度为r＝of/ef。通过设定阈值δ，当r>δ时，可以认为该乘客在车厢过道上。可选的，可以通过调节阈值来调整报警的灵敏度。

在本实施例中，通过计算重合度已确定出车厢过道是否有乘客，从而提高检测精度。

可选的，如图6所示，在步骤s11之前，还可以包括：

s141,根据置信度对头部边界框进行过滤，和/或，筛选，得到筛选后的头部边界框。

在本实施例中，利用置信度对头部边界框进行过滤，和/或，筛选，从而减少误差参数，减少误检概率，提高检测精度。

s142基于检测区域的坐标信息，确定出筛选后的头部边界框的坐标信息。

在本实施例中，通过坐标信息以保证能够将所筛选后的头部边界框还原至原图像的视频帧中，保证检测的准确性。

s143,将筛选后的头部边界框坐标信息还原至视频图像帧，获得头部信息。

本发明实施例提供一种客车超载检测方法，包括如图1-5所示步骤外，在步骤s13还包括，如图7所示，：

s131,基于预设时长统计映射头部信息停留在标定区域内的时长信息。

在本实施例中，通过人工预设时间长度，并统计在预设时间长度内的映射头部边框在标定区域内停留的总时长或图像帧数。其中，映射头部信息停留在标定区域内的时长信息包括：映射头部信息所停留的总时长，例如：20分钟，及映射头部信息所停留的在标定区域内的预设时长内总画面帧数，例如：20分钟中有100图像帧，映射头部信息的图像帧占70个图像帧。

s132,判断映射头部信息停留在标定区域内的时长信息是否大于阈值信息。

s133,若时长信息大于阈值信息，则提示客车超员。

在本实施例中，提示客车超员可以是通过语音设备进行语音提醒司机，也可以是将超员信息或视频上传至监管中心。

s134,若时长信息小于，或等于阈值信息，则保持对客车进行超载检测。

在本实施例中，保持对客车进行超载检测可以是重新获取车厢内的头部信息。

本发明实施例提供一种客车超载检测方法，其方法包括：

首先建立基于dcnn的人头检测模型，检测装置能够自动加载模型并对摄像头采集到的车厢过道视频进行实时处理，检测出乘客人头边界框；

然后采用基于尺度映射的方法把人头边界框映射到乘客所在位置的地面上，判断映射后的边界框与标定区域的位置关系，确定该乘客是否在车厢过道上；最后统计一个时间段内过道存在乘客的时间总和，如果大于阈值，则通过蜂鸣器发出语音报警，提醒驾驶员，并将报警附件上传到网络云平台，具体流程如下：

首先，采集车厢内的原图视频帧，将其图像帧分为上下两个检测区域；并对两个检测区域分别进行截取和缩放，之后将检测区域输入到预先训练好的头部检测模型中进行检测，头部检测模型能够给出人头边界框基于检测区域的坐标信息和置信度；之后采用置信度阈值对头部边界框进行过滤和筛选；然后根据每个检测区域的坐标，将筛选之后的边界框坐标还原到原图中，从而保证数据的完整性；之后通过人工标定的车厢过道区域坐标，计算映射方程中映射距离；之后基于映射距离头部边界框映射到车道过道的地面上；之后逐一计算所有映射后的人头边界框与标定区域的重合度，若存在一个重合度大于阈值，则认为该视频帧中车厢过道上存在乘客，若此时预设时间大于阈值，则令标志变量t为1，否则令t为0；最后，建立一个固定长度的序列，当处理完一帧图像数据后，将y值存入序列中；之后计算序列中所有y值之和，如果大于阈值，则给出车厢过道存在乘客的报警，语音提醒司机，并保存视频段作为报警附件，上传至监管云平台。

本实施例提供的客车超载检测方法，首先将原始图像划分为两个检测区域对车厢内的头部信息进行检测，从而提高了人头检测的召回率和精度；

其次本检测方法通过人工标定车厢过道区域，采用尺度映射方法，将人头边界框映射到车道过道地面上，提高了车厢过道乘客的检测精度，之后本实施例提供的方法通过预设时间长度或预设指定长度的序列，检测当达到预设时间阈值时，若车厢过道内仍有乘客存在，则对车辆的超载行为进行报警监控，从而保证了车辆行驶安全。

本发明实施例提供一种客车超载检测装置，如图8所示，该客车超载检测装置包括：

获取模块10，用于获取车厢内的头部信息，详细内容参考上述方法实施例的步骤s10的相关描述。

映射模块11，用于将所述头部信息进行尺度映射，得到映射头部信息，详细内容参考上述方法实施例的步骤s11的相关描述。

判断模块12，用于判断所述映射头部信息是否处于标定区域内，详细内容参考上述方法实施例的步骤s12的相关描述。

提示模块13，用于若所述映射头部信息处于所述标定区域内，则提示客车超员，详细内容参考上述方法实施例的步骤s13的相关描述。

本实施例提供的客车超载检测装置，通过获取模块获取头部信息，其次利用映射模块对头部信息进行映射，之后将映射后的头部信息送入判断模块，将其标定区域与头部信息进行对比已确定出头部信息是否处于标定区域内，从而实现了对客车超载进行准确检测。

另外，本发明实施例还提供了一种电子设备，如图9所示，该电子设备可以包括处理器20和存储器21，其中处理器20和存储器21可以通过总线或者其他方式连接，图9中以通过总线连接为例。

处理器20可以为中央处理器(centralprocessingunit，cpu)。处理器20还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。

存储器21作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的车载显示装置按键屏蔽方法对应的程序指令/模块(例如，图8所示的获取模块10、映射模块11、判断模块12、提示模块13)。处理器20通过运行存储在存储器21中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的客车超载检测方法。

存储器21可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器20所创建的数据等。此外，存储器21可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器21可选包括相对于处理器20远程设置的存储器，这些远程存储器可以通过网络连接至处理器20。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

所述一个或者多个模块存储在所述存储器21中，当被所述处理器20执行时，执行如图1-7所示实施例中的客车超载检测方法。

上述电子设备具体细节可以对应参阅图1至图8所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。

本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。