一种基于最小距离法的车辆排重方法、装置及存储介质与流程

本发明涉及视频图像处理领域，具体涉及一种基于最小距离法的车辆排重方法、装置及存储介质。

背景技术：

在视频数据处理中根据具体的业务需求，开发出满足不同应用场景要求的数据处理方法，车辆排重就是其中一种应用于视频结构化处理的方法。车辆排重主要应用于视频中同一行进或静止车辆的排重，最终输出一张最符合业务场景所需的车辆图像，如最清晰、最完整的车辆图像。车辆排重可应用于视频车辆结构化信息提取中，包括车颜色识别、车型识别、车牌识别等应用场景中，可以有效减少重复的车辆数据，减少车辆信息提取后端负载，大大提升装置性能。

在现有技术中，车辆排重应用的算法包括运动跟踪算法、车辆特征提取比对算法，但都无法给出得到最符合业务场景所需的车辆图像的依据，也就是无法从视频中得到最清晰、最完整的车辆图像，容易出现遗漏或是车辆图像不清晰等问题，特别是针对车辆特征清晰度的场景下，无法得到清晰完整的车辆图像。

有鉴于此，设计出一种新的车辆排重方法以获得清晰完整的车辆图像是亟待解决的问题之一。

技术实现要素：

针对上述提到的车辆排重无法输出最符合业务场景、最清晰、最完整的车辆图像等问题。本申请的实施例的目的在于提出了一种基于最小距离法的车辆排重方法、装置及存储介质，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种基于最小距离法的车辆排重方法，包括以下步骤：

s1：获取视频中的帧图像，通过目标检测算法对每张帧图像进行车辆检测得到包含有完整车辆的矩形框的车辆图像；

s2：通过目标跟踪算法生成车辆图像中的车辆id，并获得车辆id对应的车辆在帧图像中的车辆图像集合；

s3：分别计算车辆图像集合中的每张车辆图像的矩形框的距离指数，并将计算得到的最小距离指数所对应的车辆图像标记为车辆排重图像。

在一些实施例中，步骤s3中通过下式计算车辆图像的距离指数s：

其中，以车辆图像左上角的端点为原点，x0为矩形框左上角端点的横坐标，y0为矩形框左上角端点的纵坐标，w0为矩形框的长，h0为矩形框的宽，w为车辆图像的长，h为车辆图像的宽，b表示矩形框靠近车辆图像边缘的程度的常量，c表示当矩形框靠近车辆图像边缘时用于缩小矩形框的距离指数的系数，c取10000。通过计算得到车辆图像最小的距离指数可以获得具有最清晰、最完整的车辆的图像，该图像中可以获得更多关于车辆信息的特征。

在一些实施例中，目标跟踪算法包括deepsort算法。deepsort算法是基于sort算法的改进算法，可以实现在线跟踪，并判断出两个车辆图像中的车辆是否是同一个车辆。

在一些实施例中，目标检测算法包括yolo算法。使用yolo算法可以准确识别并检测到目标的位置，只需要进行一次cnn运算，算法速度快。

在一些实施例中，步骤s3还包括：

s31：若计算出的车辆id的车辆图像的矩形框的距离指数无最小距离指数历史记录，或者存在已记录的最小距离指数且车辆图像的矩形框的距离指数小于车辆id已记录的最小距离指数，则将车辆图像的矩形框的距离指数更新为车辆id的最小距离指数。

通过此步骤可以准确获得具有最小距离指数的车辆图片，有效实现对车辆进行排重，得到距离摄像头最近的最清晰的车辆图像，该车辆图像上的车辆特征最完整、最清晰。

第二方面，本申请的实施例还提出了一种基于最小距离法的车辆排重装置，包括：

车辆检测模块，被配置为获取视频中的帧图像，通过目标检测算法对每张帧图像进行车辆检测得到包含有完整车辆的矩形框的车辆图像；

车辆跟踪模块，被配置为通过目标跟踪算法生成车辆图像中的车辆id，并获得车辆id对应的车辆在帧图像中的车辆图像集合；

指数计算模块，被配置为分别计算车辆图像集合中的每张车辆图像的矩形框的距离指数，并将计算得到的最小距离指数所对应的车辆图像标记为车辆排重图像。

在一些实施例中，指数计算模块中通过下式计算车辆图像的距离指数s：

其中，以车辆图像左上角的端点为原点，x0为矩形框左上角端点的横坐标，y0为矩形框左上角端点的纵坐标，w0为矩形框的长，h0为矩形框的宽，w为车辆图像的长，h为车辆图像的宽，b表示矩形框靠近车辆图像边缘的程度的常量，c表示当矩形框靠近车辆图像边缘时用于缩小矩形框的距离指数的系数，c取10000。通过计算得到车辆图像最小的距离指数可以获得具有最清晰、最完整的车辆的图像，该图像中可以获得更多关于车辆信息的特征。

在一些实施例中，目标跟踪算法包括deepsort算法。deepsort算法是基于sort算法的改进算法，可以实现在线跟踪，并判断出两个车辆图像中的车辆是否是同一个车辆。

在一些实施例中，目标检测算法包括yolo算法。使用yolo算法可以准确识别并检测到目标的位置，只需要进行一次cnn运算，算法速度快。

在一些实施例中，指数计算模块中被配置为还包括：

距离指数更新模块，被配置为若计算出的车辆id的车辆图像的矩形框的距离指数无最小距离指数历史记录，或者存在已记录的最小距离指数且车辆图像的矩形框的距离指数小于车辆id已记录的最小距离指数，则将车辆图像的矩形框的距离指数更新为车辆id的最小距离指数。

通过此步骤可以准确获得具有最小距离指数的车辆图片，有效实现对车辆进行排重，得到最清晰、最完整的车辆图像。

第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面中任一实现方式描述的方法。

本申请的实施例公开了一种基于最小距离法的车辆排重方法和装置，通过计算车辆距离指数可以得到最清晰的、最完整的车辆图像，且不遗漏纵向行驶姿态下的最清晰车辆图像，并且结合运动状态下的目标跟踪算法，最终实现车辆排重。本申请的实施例可以有效满足对于车辆特征清晰度和完整度更为关注的场景下。本申请的实施例提出的基于最小距离法的车辆排重方法和装置能够有效减少重复的车辆数据，减少车辆信息提取后端负载，大大提升系统性能。最终得到的车辆排重图片可应用于视频车辆结构化信息提取中，例如车颜色识别、车型识别、车牌识别等场景中进行应用。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请的一个实施例可以应用于其中的示例性装置架构图；

图2为本发明的实施例的基于最小距离法的车辆排重方法的流程示意图；

图3为本发明的实施例的基于最小距离法的车辆排重装置的示意图；

图4是适于用来实现本申请实施例的电子设备的计算机装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示出了可以应用本申请实施例的基于最小距离法的车辆排重方法或基于最小距离法的车辆排重装置的示例性装置架构100。

如图1所示，装置架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种应用，例如数据处理类应用、文件处理类应用等。

终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上传的文件或数据进行处理的后台数据处理服务器。后台数据处理服务器可以对获取的文件或数据进行处理，生成处理结果。

需要说明的是，本申请实施例所提供的基于最小距离法的车辆排重方法可以由服务器105执行，也可以由终端设备101、102、103执行，相应地，基于最小距离法的车辆排重装置可以设置于服务器105中，也可以设置于终端设备101、102、103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在所处理的数据不需要从远程获取的情况下，上述装置架构可以不包括网络，而只需服务器或终端设备。

图2示出了本申请实施例公开的一种基于最小距离法的车辆排重方法，包括以下步骤：

s1：获取视频中的帧图像，通过目标检测算法对每张帧图像进行车辆检测得到包含有完整车辆的矩形框的车辆图像。

在具体的实施例中，从采集到的视频中选取一部分进行读取，并获取视频中的帧图像，其中帧图像可以按一定的序列进行排序，在优选的实施例中，按照时间来进行排序获得具有一定序列的帧图像。对所有的帧图像进行遍历，若不能全部遍历完，则进行步骤s1，，若全部遍历完，则遍历记录的各个车辆id的车辆信息，包括车辆图像。

在优选的实施例中，目标检测算法包括yolo算法，通过yolo算法对每张帧图像进行目标检测，检测出帧图像中的目标车辆。在具体的实施例中，yolo算法采用卷积网络来提取特征，然后使用全连接层来得到预测值。网络结构参考goolenet模型，包含24个卷积层和2个全连接层，对于卷积层，主要使用1x1卷积来做channlereduction，然后紧跟3x3卷积。对于卷积层和全连接层，采用leakyrelu激活函数：max(x,0.1x)。但是最后一层却采用线性激活函数。除了采用上面这个结构，还可以采用一种轻量级版本fastyolo，其仅使用9个卷积层，并且卷积层中使用更少的卷积核。最终检测得到的结果是获得具有检测到车辆的包含完整车辆的车辆图像，并用矩形框将具有完整车辆的图像框出来。另外，yolo算法包括yolo-v1算法和yolo9000算法，在其他可选的实施例中，也可以采用其他相同功能或相类似功能的算法以满足目标检测或其他具体业务场景的需求。

s2：通过目标跟踪算法生成车辆图像中的车辆id，并获得车辆id对应的车辆在帧图像中的车辆图像集合。

在具体的实施例中，目标跟踪算法包括deepsort算法。deepsort算法是基于sort算法的改进算法，可以实现在线跟踪，并判断出两个车辆图像中的车辆是否是同一个车辆，实现运动跟踪。在其他可选的实施例中，也可以选择sort算法等其他目标跟踪算法进行目标跟踪，只要能够满足相应业务场景的需求即可。最终识别后得到车辆的整型数字标识码，即车辆id，该车辆id具有唯一性，具有相同车辆id的车表示为同一辆车。

s3：分别计算车辆图像集合中的每张车辆图像的矩形框的距离指数，并将计算得到的最小距离指数所对应的车辆图像标记为车辆排重图像。

在具体的实施例中，可以通过下式计算车辆图像的距离指数s：

其中，以车辆图像左上角的端点为原点，x0为矩形框左上角端点的横坐标，y0为矩形框左上角端点的纵坐标，w0为矩形框的长，h0为矩形框的宽，w为车辆图像的长，h为车辆图像的宽，b表示矩形框靠近车辆图像边缘的程度的常量，在通常情况下，b可以取值为100。c表示当矩形框靠近车辆图像边缘时用于缩小矩形框的距离指数的系数，c取10000。在条件为x0＜b或x0+w0＞w-b或y0+h0＞h-b的情况下，c可以用来减小靠近左边缘、右边缘及下边缘的车辆图像的距离指数的系数。此时c可以取一个较大的值，例如10000，以进一步拉开靠近左边缘、右边缘及下边缘的车辆与在其他位置的车辆的距离指数的区别，以筛选出离摄像头最近的最清晰的车辆的图像。这样计算距离指数的话，可以计算得到车辆距离最小的车辆图像。通过计算得到车辆图像最小的距离指数可以获得具有最清晰、最完整的车辆的图像，该图像中可以包含有更多关于车辆信息的特征。车辆图像的距离指数越小代表车辆离摄像头越近，车辆越完整，越清晰。

在具体的实施例中，步骤s3还包括：

若计算出的车辆id的车辆图像的矩形框的距离指数无最小距离指数历史记录，此时说明该车辆是刚捕获的全新的车辆，先前还没有出现过该车辆，所以没有最小距离指数的历史记录。或者存在已记录的最小距离指数且车辆图像的矩形框的距离指数小于车辆id已记录的最小距离指数，则将车辆图像的矩形框的距离指数更新为车辆id的最小距离指数。

因此通过步骤s3可以准确获得具有最小距离指数的车辆图片，有效实现对车辆进行排重，得到最清晰、最完整的车辆图像。因为主要问题就是在视频结构化处理过程中提取出最符合业务场景所需的车辆图像，便于后续的目标车辆轨迹跟踪、车辆信息识别等工作提供可供于参考的有意义的车辆图像。

进一步参考图3，作为对上述各图所示方法的实现，本申请提供了一种基于最小距离法的车辆排重装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

本申请的实施例具体包括：

车辆检测模块1，被配置为获取视频中的帧图像，通过目标检测算法对每张帧图像进行车辆检测得到包含有完整车辆的矩形框的车辆图像；

车辆跟踪模块2，被配置为通过目标跟踪算法生成车辆图像中的车辆id，并获得车辆id对应的车辆在帧图像中的车辆图像集合；

指数计算模块3，被配置为分别计算车辆图像集合中的每张车辆图像的矩形框的距离指数，并将计算得到的最小距离指数所对应的车辆图像标记为车辆排重图像。

在具体的实施例中，指数计算模块3中通过下式计算车辆图像的距离指数s：

其中，以车辆图像左上角的端点为原点，x0为矩形框左上角端点的横坐标，y0为矩形框左上角端点的纵坐标，w0为矩形框的长，h0为矩形框的宽，w为车辆图像的长，h为车辆图像的宽，b表示矩形框靠近车辆图像边缘的程度的常量，c表示当矩形框靠近车辆图像边缘时用于缩小矩形框的距离指数的系数，c取10000。通过计算得到车辆图像最小的距离指数可以获得具有最清晰、最完整的车辆的图像，该图像中可以获得更多关于车辆信息的特征。

在具体的实施例中，目标跟踪算法包括deepsort算法。deepsort算法是基于sort算法的改进算法，可以实现在线跟踪，并判断出两个车辆图像中的车辆是否是同一个车辆。

在具体的实施例中，目标检测算法包括yolo算法。使用yolo算法可以准确识别并检测到目标的位置，只需要进行一次cnn运算，算法速度快。

在具体的实施例中，指数计算模块3中还包括：

距离指数更新模块，被配置为若计算出的车辆id的车辆图像的矩形框的距离指数无最小距离指数历史记录，或者存在已记录的最小距离指数且车辆图像的矩形框的距离指数小于车辆id已记录的最小距离指数，则将车辆图像的矩形框的距离指数更新为车辆id的最小距离指数。

通过此步骤可以准确获得具有最小距离指数的车辆图片，有效实现对车辆进行排重，得到最清晰、最完整的车辆图像。

本申请的实施例公开了一种基于最小距离法的车辆排重方法和装置，通过计算车辆距离指数可以得到最清晰的、最完整的车辆图像，并且结合运动状态下的目标跟踪算法，最终实现基于最小距离法的车辆排重。本申请的实施例可以有效满足对于车辆特征的清晰度和完整度更为关注的场景下的应用。本申请的实施例提出的基于最小距离法的车辆排重方法和装置能够有效减少重复的车辆数据，减少车辆信息提取后端负载，大大提升系统性能。最终得到的基于最小距离法的车辆排重图片可应用于视频车辆结构化信息提取中，例如车颜色识别、车型识别、车牌识别等场景。

下面参考图4，其示出了适于用来实现本申请实施例的电子设备(例如图1所示的服务器或终端设备)的计算机装置400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机装置400包括中央处理单元(cpu)401和图形处理器(gpu)402，其可以根据存储在只读存储器(rom)403中的程序或者从存储部分409加载到随机访问存储器(ram)404中的程序而执行各种适当的动作和处理。在ram404中，还存储有装置400操作所需的各种程序和数据。cpu401、gpu402、rom403以及ram404通过总线405彼此相连。输入/输出(i/o)接口406也连接至总线405。

以下部件连接至i/o接口406：包括键盘、鼠标等的输入部分407；包括诸如、液晶显示器(lcd)等以及扬声器等的输出部分408；包括硬盘等的存储部分409；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分410。通信部分410经由诸如因特网的网络执行通信处理。驱动器411也可以根据需要连接至i/o接口406。可拆卸介质412，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器411上，以便于从其上读出的计算机程序根据需要被安装入存储部分409。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分410从网络上被下载和安装，和/或从可拆卸介质412被安装。在该计算机程序被中央处理单元(cpu)401和图形处理器(gpu)402执行时，执行本申请的方法中限定的上述功能。

需要说明的是，本申请所述的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括车辆检测模块、车辆跟踪模块、指数计算模块和基于最小距离法的车辆排重模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，车辆检测模块还可以被描述为“被配置为获取视频中的帧图像，通过yolo算法对每张帧图像进行车辆检测得到包含有完整车辆的矩形框的车辆图像”。

作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取视频中的帧图像，通过目标检测算法对每张帧图像进行车辆检测得到包含有完整车辆的矩形框的车辆图像；通过目标跟踪算法生成车辆图像中的车辆id，并获得车辆id对应的车辆在帧图像中的车辆图像集合；分别计算车辆图像集合中的每张车辆图像的矩形框的距离指数，并将计算得到的最小距离指数所对应的车辆图像标记为车辆排重图像。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。