图片筛选方法及装置与流程

文档序号:18353511发布日期:2019-08-06 22:46阅读:231来源:国知局
图片筛选方法及装置与流程

本发明涉及图像处理技术领域,尤其涉及一种图片筛选方法及装置。



背景技术:

众包是指一个公司或机构把过去由员工执行的工作任务,以自由自愿的形式外包给非特定的大众网络的做法。

地图众包是行业新兴的数据生成模式,具有采集成本低、回传速度快、覆盖范围广的优势。用户仅需要在移动终端安装地图众包的应用程序即可参与众包数据采集并且由此获得一定的收入。

面对每年数十亿的众包图像数据,借助图像智能识别技术推动实现生产自动化,降低人工成本是一个非常迫切的任务。目前,通常是利用物体检测技术,检测每一张图片中是否包含交通要素的检测框,可以将大量无检测框的图片直接删除,无需人工查看,可以节省大量人工作业。其中,物体检测是指将图片中要检测的交通要素检测出来并用检测框进行标记。

然而,在众包图像采集中,同一个交通要素往往会出现在多张图片中,通过交通要素识别仅仅能够删除无交通要素的检测框的图片,具有相同的交通要素的检测框的多张图片,则会留下,因此,现有技术中还存在众包采集到的图片中存在大量冗余图片的情况,需要人工手动进行筛选,人工成本仍然非常高。



技术实现要素:

本发明的主要目的在于提供图片筛选方法及装置,旨在解决现有技术在删除无检测框的图片之后,还是需要人工筛选图片,存在人工成本高的技术问题。

为实现上述目的,本发明第一方面提供一种图片筛选方法,包括:

获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;

根据所述第一检测框的特征参数与所述第二检测框的特征参数,确定检测框对数,其中,一对检测框中包含属于同一物理点的一个第一检测框和一个第二检测框;

根据所述检测框对数对所述第一图片及所述第二图片进行筛选。

为实现上述目的,本发明第二方面提供图片筛选装置,包括:

获取模块,用于获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;

第一确定模块,用于根据所述第一检测框的特征参数与所述第二检测框的特征参数,确定检测框对数,其中,一对检测框中包含属于同一物理点的一个第一检测框和一个第二检测框;

图片筛选模块,用于根据所述检测框对数对所述第一图片及所述第二图片进行筛选。

为实现上述目的,本发明第三方面提供一种终端,包括:存储器、处理器及存储在所述存储器上且在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如本发明实施例第一方面提供的图片筛选方法中的各个步骤。

为实现上述目的,本发明第四方面提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如本发明第一方面提供的图片筛选方法中的各个步骤。

本发明提供一种图片筛选方法,该方法包括:获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,第二图片与第一图片相邻,根据第一检测框的特征参数与第二检测框的特征参数,确定检测框对数,其中,一对检测框包含属于同一物理点的一个第一检测框和一个第二检测框,根据该检测框对数对第一图片及第二图片进行筛选。相对于现有技术中仅删除无检测框的图片,本发明提供的技术方案中通过利用相邻两帧图片中各检测框的特征参数,确定该相邻两帧图片中存在的检测框对数,使得能够确定相邻两帧图片中属于相同物理点的检测框的情况,并基于该检测框对数对第一图片及第二图片进行筛选,使得有效实现基于检测框的特征参数的图片筛选,有效降低人工成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例中图片筛选方法的一流程示意图;

图2为本发明实施例中地图众包系统的应用场景图;

图3为本发明实施例中图片筛选方法的另一流程示意图;

图4为本发明实施例中图片筛选方法的另一流程示意图;

图5为本发明实施例中图片筛选方法的另一流程示意图;

图6为本发明实施例中图片筛选方法的另一流程示意图;

图7为本发明实施例中图片筛选装置的一结构示意图;

图8为本发明实施例中图片筛选装置的另一结构示意图;

图9为本发明实施例中图片筛选装置的另一结构示意图;

图10为本发明实施例中图片筛选装置的另一结构示意图;

图11为本发明实施例中图片筛选装置的另一结构示意图;

图12为一种终端的结构框图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而非全部实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

由于现有技术中在删除无检测框的图片之后,还需要人工筛选图片,存在人工成本高的技术问题。

为了解决上述问题,本发明提出一种图片筛选方法,通过利用相邻两帧图片中各检测框的特征参数,确定该相邻两帧图片中存在的检测框对数,使得能够确定相邻两帧图片中属于相同物理点的检测框的情况,并基于该检测框对数对第一图片及第二图片进行筛选,使得有效实现基于检测框的特征参数的图片筛选,有效降低人工成本。

请参阅图1,为本发明实施例中图片筛选方法的流程示意图,该方法包括:

步骤101、获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;

在本发明实施例中,上述图片筛选方法适用于地图众包领域,请参阅图2,为地图众包系统的应用场景图,用户可以使用用户侧终端如行车记录仪、智能手机、平板电脑等与服务器通信连接,且用户可以开启用户侧终端的摄像头进行图片拍摄,且可以每间隔预置时长拍摄一次。该预置时长可以为1s,0.5s等等。

可以理解的是,对于一个用户来说,其在一个不间断的时间段内拍摄的图片构成具有时间序列的图片组,例如,若用户侧在一分钟内拍摄了6帧图片,则该6帧图片具有拍摄时间的顺序关系,并构成图片组。本发明实施例中,是以用户使用的用户侧终端为单位进行图片筛选的,即筛选某一个用户侧终端拍摄的图片组。进一步的,上述图片筛选方法可以由用户侧终端实现,即用户侧终端在拍摄到图片组之后,基于本发明实施例中的方法进行筛选,并将筛选后的图片上传给服务器,或者,上述图片筛选方法可以由服务器实现,即用户侧终端在拍摄到图片组之后,将该图片组上传至服务器,由服务器基于本发明实施例中的方法进行筛选。其中,用户侧终端及服务器均可以称为终端。此外,上述图片筛选方法由图片筛选装置(以下简称为:筛选装置)实现,该筛选装置存储于终端的可读存储介质内,终端内的处理器调用该筛选装置即可实现上述图片筛选方法。

上述第一图片和第二图片为一个图片组中相邻的两个图片。其中,第一图片中包含第一检测框,且该第一检测框的个数为至少一个,第二图片中包含第二检测框,且该第二检测框的个数为至少一个。

其中,图片中的检测框可以基于物体检测技术对图片中包含的要素进行检测,且对于检测到的要素用检测框进行标识,其中,要素是预先设置的,例如要素可以是红绿灯、车牌号、路牌等等多种不同的物体。且若同一个物体在多张图片中出现至少一次,则可以标记为物理点。

上述物体检测技术,可以检测出图片中包含的检测框的特征向量,检测框在图片中的位置信息,及检测框的置信度,其中,特征向量是用于表征该检测框内的物理点的特征,可以由128维的特征值构成。检测框的位置信息则可以用检测框的左上方的点的xy坐标、及检测框的宽和高来表示,检测框的置信度用于表示该检测框真实存在的概率,且置信度越大,存在的概率就越大,置信度越小,存在的概率就越小。

此外,在众包领域,图片是携带有全球定位系统(globalpositioningsystem,gps)信息的,即用户侧终端在拍摄一张图片之后,会将该图片的gps信息作为图片的一部分。

在本发明实施例中,可以基于需要设置检测框的特征参数,例如,检测框的特征参数包括检测框的特征向量,或者检测框的特征参数包括:检测框的特征向量、位置信息及gps信息。

其中,上述置信度可以用于在基于物体检测算法检测到图片中的检测框之后,基于检测到的各检测框的置信度对检测框进行删除,例如,若图片a中的检测框b的置信度为35%,小于预置置信度80%,且该检测框的尺寸小于预设尺寸,则将检测框b从图片a中删除,图片a不包含检测框b,或者,可以将检测框的置信度与其他参数结合对检测框进行删除,其中,其他参数可以为检测框中的物理点在图片组中出现的次数。

或者,可以将检测框的置信度作为检测框的特征参数中的一种参数使用。

步骤102、根据所述第一检测框的特征参数与所述第二检测框的特征参数,确定检测框对数,其中,一对检测框中包含属于同一物理点的一个第一检测框和一个第二检测框;

步骤103、根据所述检测框对数对所述第一图片及所述第二图片进行筛选。

在本发明实施例中,第一检测框的特征参数可以表征第一检测框的特征,第二检测框的特征参数可以表征第二检测框的特征,基于第一检测框的特征参数及第二检测框的特征参数可以确定在第一检测框中与第二检测框属于同一物理点的检测框对数。

其中,一对检测框中包含属于同一物理点的一个第一检测框和一个第二检测框,属于同一物理点是指一对检测框中的第一检测框内的物理点,与第二检测框内的物理点相同,为同一个物体。例如,若第一图片a中包含4个检测框,分别为检测框a1至a4,且检测框a1至a4对应的物理点分别为c、d、e、f,第二图片b中包含6个检测框,分别为检测框b1至b6,且检测框b1至b6对应的物理点为c、h、e、g、l、p,则将确定第一图片a的检测框a1的物理点与第二图片b中检测框b1的物理点相同,属于同一个物理点,则第一图片a的检测框a1与第二图片b中检测框b1构成一对检测框,同理,第一图片中的检测框a3与第二图片中的检测框b3也构成一对检测框。则第一图片a与第二图片b具有2对检测框,检测框对数为2。

进一步的,筛选装置将根据上述的检测框对数对第一图片及第二图片进行筛选,该筛选的结果可以为删除第一图片、保留第二图片;或者删除第二图片、保留第一图片;或者保留第一图片和第二图片。

在本发明实施例中,通过利用相邻两帧图片中各检测框的特征参数,确定该相邻两帧图片中存在的检测框对数,使得能够确定相邻两帧图片中属于相同物理点的检测框的情况,并基于该检测框对数对第一图片及第二图片进行筛选,使得有效实现基于检测框的特征参数的图片筛选,有效降低人工成本。

请参阅图3,为本发明实施例中图片筛选方法的流程示意图,包括:

步骤301、获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;

步骤302、根据所述第一检测框的特征参数与所述第二检测框的特征参数,确定检测框对数,其中,一对检测框中包含属于同一物理点的一个第一检测框和一个第二检测框;

在本发明实施例中,上述步骤301及步骤302分别与图1所示实施例中的步骤101及步骤102相似,具体可以参阅图1所示实施例,此处不做赘述。

步骤303、确定所述第一检测框的第一个数与所述检测框对数的第一大小关系,及确定所述第二检测框的第二个数与所述检测框对数的第二大小关系;

步骤304、根据所述第一大小关系及所述第二大小关系对所述第一图片及所述第二图片进行筛选。

在本发明实施例中,将确定第一图片中第一检测框的第一个数,该第一个数为第一图片中检测框的总个数,及确定第二图片中第二检测框的第二个数,该第二个数为第二图片中检测框的总个数,并将上述第一个数与第二个数分贝与检测框对数进行比较,确定第一关系大小及第二关系大小,进一步的,筛选装置将根据上述第一大小关系及第二大小关系对第一图片及第二图片进行筛选。具体的,有四种情况,分别如下:

当第一大小关系为第一个数等于检测框对数,且第二大小关系为第二个数等于检测框对数时,表明第一图片中的所有物理点都在第二图片中出现,且第二图片中的所有物理点都有在第一图片中出现,此时,第一图片与第二图片是相同的图片的概率较大,此时,删除第一图片及第二图片中的任意一图片,使得相同的图片仅保留一帧。例如,若第一图片中包含3个检测框,且第二图片中包含3个检测框,此时,若检测框对数为3,则表明第一图片的检测框与第二图片检测框一一对应,第一图片与第二图片包含的要素并没有差别,此时可以删除第一图片,保留第二图片,或者删除第二图片,保留第一图片。

当第一大小关系为第一个数大于检测框对数,且第二大小关系为第二个数等于检测框对数时,表明第一图片中包含第二图片中的所有物理点,且具有第二图片中不存在的物理点,此时,为了使得重复的物理点剔除且保留不同的物理点,将删除第二图片,保留第一图片。例如,若第一图片的第一个数为5大于检测框对数3,第二图片的第二个数为3,等于检测框对数3,此时表明第一图片包含了第二图片所有的物理点,第二图片是多余的图片,此时删除第二图片,保留第一图片。

当第一大小关系为第一个数等于检测框对数,且第二大小关系为第二个数大于检测框对数时,表明第二图片中包含第一图片中的所有物理点,且第二图片中具有第一图片没有的物理点,第二图片中的物理点更丰富,此时为了使得重复的物理点删除且保留不同的物理点,将删除第一图片,保留第二图片。

当第一大小关系为第一个数大于检测框对数,且第二大小关系为第二个数大于检测框对数时,表明第一图片中存在第二图片中没有的物理点,第二图片中也存在第一图片中没有的物理点,第一图片与第二图片没有包含关系,此时为了保留不同的物理点,将保留第一图片及第二图片。

在本发明实施例中,通过利用相邻两帧图片中各检测框的特征参数,确定该相邻两帧图片中存在的检测框对数,使得能够确定相邻两帧图片中属于相同物理点的检测框的情况,并基于该检测框对数与第一图片的第一检测框的第一个数的第一大小关系,及该检测框对数与第二图片的第二检测框的第二个数的第二大小关系,对第一图片及第二图片进行筛选,使得能够删除重复的物理点并保持不同的物理点,有效实现基于检测框的特征参数的图片筛选,有效降低人工成本。

基于图1或图3所示实施例,特征参数可以包括:检测框的特征向量,或者,特征参数包括:检测框的特征向量、检测框的位置信息及检测框的gps信息,且可以基于分类器进行图片筛选,请参阅图4,为本发明实施例中图片筛选方法的流程示意图,包括:

步骤401、获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;

可以理解的是,步骤401与图1所示步骤101描述的内容相似,可以参阅步骤101,此处不做赘述。

步骤402、将所述第一检测框与所述第二检测框构成候选检测框对,一对候选检测框中包含一个第一检测框及一个第二检测框;

步骤403、利用所述候选检测框对的特征参数及预置的基于机器学习算法训练得到的分类器,确定所述检测框对数;

步骤404、根据所述检测框对数对所述第一图片及所述第二图片进行筛选

在本发明实施例中,筛选装置将第一检测框与第二检测框构成候选检测框对,其中,一对候选检测框中包含一个第一检测框及一个第二检测框,例如,若第一图片中包含n个第一检测框,第二图片中包含m个第二检测框,则候选检测框对的个数为n*m,其中,n、m均为正整数。通过这种方式,使得每一个第一检测框,都分别与第二图片中的m个第二检测框形成候选检测框对。

进一步的,将利用候选检测框对的特征参数及预置的基于机器学期算法训练得到的分类器,确定检测框对数,该检测框对为该对内的第一检测框与第二检测框均属于同一个物理点。

其中,上述机器学习算法可以为支持向量机(supportvectormachine,svm)算法或者是卷积神经网络(convolutionalneuralnetwork,cnn)算法,在训练时,需要使用的训练数据,该训练数据中包含多张图片,及每张图片的特征参数,通过利用训练数据对svm模型或者cnn模型进行训练,可以得到符合本发明实施例使用需求的svm分类器或者cnn分类器。

其中,训练数据中图片的特征参数,需要与分类器使用时输入的特征参数一致,例如,若训练数据中的图片的检测框的特征参数包含特征向量,则上述第一图片及第二图片的特征参数包含特征向量,若训练数据中的图片的检测框的特征参数包括特征向量、检测框的位置信息及gps信息,则上述第一图片及第二图片的特征参数包含特征向量、位置信息及gps信息。此外,若在训练分类器的过程中,使用到了检测框的置信度,则在使用分类器时,也需要将检测框的置信度输入分类器。

在本发明实施例中,筛选装置将利用候选检测框对的特征参数及上述分类器,确定上述检测框对数。

进一步的,上述步骤403具体可包括如下步骤:将候选检测框对的特征参数输入基于机器学习算法训练得到的分类器中,得到分类器输出的候选检测框对的分类结果;统计候选检测框对中,分类结果为属于同一物理点的候选检测框对的总对数,作为检测框对数。

其中,将候选检测框对的特征参数输入分类器中,具体包括候选检测框对中的第一检测框的特征参数及第二检测框的特征参数,分类器将输出分类结果,该分类结果为是或者否,筛选装置将遍历候选检测框对的分类结果,若分类结果为是,则表明此次输入的候选检测框对中的第一检测框和第二检测框属于同一物理点,将检测框对数加1,若为否,则表明此次输入的候选检测框对中的第一检测框和第二检测框不属于同一物理点,检测框对数不变。遍历结束之后,即可得到检测框对数。

可以理解的是,上述特征参数中包含的数据类型越多,检测框的特征更强大其具有可分辨性,训练到的分类器的分类结果越准确,且通过训练分类器的方式对图片进行筛选,智能化程度越高,能够有效提高图片筛选的准确度,实现删除同一个重复的物理点并保留不同的物理点的目的,节约人工成本。

可以理解的是,通过确定检测框对数,使得能够将第一图片与第二图片中属于同一物理点的两个检测框关联起来,实现相邻两帧图片的关联,且通过该种关联的方式对图片进行筛选,能够有效提高图片筛选的准确性。

在本发明实施例中,获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,将上述第一检测框与第二检测框构成候选检测框对,并利用候选检测框对的特征参数及分类器,确定检测框对数。由于使用到分类器,使得候选检测框对中的两个检测框是否属于同一物理点的判断更加准确,能够提高图片筛选的准确性,避免不该删除的图片被删除,而应该删除的图片未删除。且基于第一图片的特征参数、第二图片的特征参数及分类器,对第一图片及第二图片进行筛选,能够实现将同一重复的物理点尽量删除且保留不同的物理点的目的,能够有效降低包含不同的物理点的图片被误删的概率。

基于图1或图3所示实施例,请参阅图5,为本发明实施例中图片筛选方法的流程示意图,包括:

步骤501、获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;

步骤501与图1所示实施例中的步骤101描述的内容相似,可以参阅图1所示实施例,此处不做赘述。

步骤502、遍历所述第一检测框,确定遍历到的目标第一检测框的特征向量分别与所述第二检测框的特征向量的相似度,得到所述第二检测框的相似度;

步骤503、当最大相似度大于相似度阈值时,确定具有最大相似度的目标第二检测框与所述目标第一检测框属于同一物理点,遍历结束后,得到检测框对数;

步骤504、根据所述检测框对数对所述第一图片及所述第二图片进行筛选。

在本发明实施例中,上述特征参数包含特征向量,则筛选装置将遍历第一图片的第一检测框,确定遍历到的目标第一检测框的特征向量分别与第二检测框的特征向量的相似度,得到第二检测框的相似度,例如,若遍历到的目标第一检测框为a,第二检测框为3个,且分别为第二检测框b、c、d个,则计算第一检测框a的特征向量分别与第二检测框b、c、d的特征向量的相似度,得到第二检测框b、c、d的相似度分别为相似度b、相似度c、相似度d。

筛选装置确定相似度最大的第二检测框为目标第二检测框,且将该最大相似度与相似度阈值进行比较,当该最大相似度大于该相似度阈值时,则表明该目标第二检测框与目标第一检测框为属于同一物理点的检测框对。

其中,若上述最大相似度小于相似度阈值,则表明在第二图片中,不存在与目标第一检测框属于同一物理点的第一检测框。

可以理解的是,在遍历完第一检测框之后,可以确定哪些第一检测框在第二图片中存在属于同一物理点的第二检测框,即可得到检测框对数。且可进一步的根据检测框对数对第一图片及第二图片进行筛选,具体可参阅图1及图3,此处不做赘述。

可以理解的是,若第一检测框为7个,第二检测框为9个,则在遍历到第1个第一检测框a时,可以通过上述方式确定该第一检测框a与9个第二检测框中哪个是属于同一个物理点的,若第一检测框a与第二检测框b属于同一个物理点,则确定第一检测框a与第二检测框b为检测框对,且继续遍历到第2个第一检测框c,则可以通过上述方式确定该第一检测框c,与除已配对的第二检测框b以外的其他8个第二检测框中哪个是属于同一物理点的,并以此类型,每次都将遍历到的目标第一检测框与第二图片中未匹配的第二检测框计算相似度,相对于每次都与所有的第二检测框计算相似度的方式,能够有效的降低计算量。

在本发明实施例中,通过遍历第一检测框,确定遍历到的目标第一检测框的特征向量与第二检测框的特征向量的相似度,得到第二检测框的相似度,当最大相似度大于相似度阈值时,确定具有最大相似度的目标第二检测框与目标第一检测框属于同一物理点,为检测框对。通过该种方式,能够有效确定检测框对数,以便根据检测框对数对第一图片及第二图片进行筛选,使得能够有效实现对图片的筛选,不需要人工筛选,降低人工成本。

为了进一步优化图5所示实施例中的技术方案,请参阅图6,为本发明实施例中图片筛选方法的流程示意图,包括:

步骤601、获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;

步骤602、遍历所述第一检测框,确定遍历到的目标第一检测框的特征向量分别与所述第二检测框的特征向量的相似度,得到所述第二检测框的相似度;

可以理解的是,步骤601及步骤602分别与图5所示实施例中的步骤501及步骤502相似,可以参阅图5,此处不做赘述。

步骤603、当最大相似度大于相似度阈值时,利用所述目标第二检测框的位置信息及gps信息、所述目标第一检测框的位置信息及gps信息,确定所述目标第二检测框与所述目标第一检测框之间的变化数据是否符合预置的变化规则;执行步骤604或605;

步骤604、若符合预置的变化规则,则确定具有最大相似度的目标第二检测框与所述目标第一检测框属于同一物理点的;

步骤605、若不符合预置的变化规则,则确定所述第二图片中不存在与所述目标第一检测框属于同一物理点的第二检测框;

步骤606、遍历结束后,得到检测框对数,根据所述检测框对数对所述第一图片及所述第二图片进行筛选。

可以理解的是,图5所示实施例是以检测框的特征参数包含特征向量的前提下实现的,相对于图5,图6所示实施例中检测框的特征参数不仅包含检测框的特征向量,还包括:检测框的位置信息及gps信息。

在确定第二检测框的相似度中,最大相似度大于相似度阈值之后,将具有最大相似度的第二检测框作为目标第二检测框,此时,为了提高检测框对判断的准确性,进一步确定目标第一检测框与目标第二检测框是否可以构成检测框对,还将利用目标第二检测框的位置信息及gps信息,目标第一检测框的位置信息及gps信息,确定目标第二检测框与目标第一检测框之间的变化数据是否符合预置的变化规则。

可以理解的是,用户通常是在开车的过程中利用用户侧终端拍摄具有时间顺序的图片组,例如,若车从道路的一端开到道路的另一端,将拍摄下n帧具有时间先后关系的图片,对于该n帧图片中出现的要素来说,都需要经历一个相对于车由远至近再变远的过程,即要素都会有一个位置信息形成的范围从小逐渐增大,且增大到最大后,不再出现的过程(此处默认车是一直往前开)。因此,对于相邻两帧图片上的同一个物理点,该物理点的在图片上的范围也遵从上述规则,且物理点在图片上的位置也会发生变化,其中,上述变化与检测框的位置信息相关,且与gps信息相关,其中,该gps信息用于确定属于同一物理点的两个检测框之间的距离,且筛选装置可以基于该距离预测该两个检测框的位置信息的变化。例如,以确定第一图片的第一检测框a相对于第二图片的第二检测框b之间的变化参数为例,先基于第一检测框a和第二检测框b的位置信息,确定从第二检测框b变化到第一检测框a的变化数据,该变化数据包括移动的距离数据,及缩小放大的数据。继续基于第一检测框a与第二检测框b的gps信息,确定第一检测框a与第二检测框b之间的距离,基于第二检测框b的位置信息及上述距离,预测第一检测框a的预测位置信息,将该预测位置信息与第一检测框的微信信息进行比较,得到理论变化数据,若上述理论变化数据与上述变化数据之间的差距小于预设值,则确定由第二检测框b变化到第一检测框a是合理的,将确定第二检测框b与第一检测框a为检测框对。若上述理论变化数据与上述变化数据之间的差距大于预设值,则确定由第二检测框b变化到第一检测框a是不合理的,第一检测框a和第二检测框b确定为不是属于同一物理点。由此可知,上述的变化规则为由第二图片中的目标第二检测框变化至第一图片中的目标第一检测框,检测框的实际位置信息的变化数据与理论位置信息的变化数据的差距小于预设值。

在本发明实施例中,对于遍历到的每一个目标第一检测框,都将基于特征向量、位置信息及gps信息确定是否存在与其属于同一个物理点的目标第二检测框,且在特征向量的基础上使用位置信息及gps信息能够进一步提高判断俩个检测框是否属于同一物理点的准确性,使得图片筛选的结果更加准确。

请参阅图7,为本发明实施例中图片筛选装置的结构示意图,包括:

获取模块701,用于获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;

上述第一图片和第二图片为一个图片组中相邻的两个图片。其中,第一图片中包含第一检测框,且该第一检测框的个数为至少一个,第二图片中包含第二检测框,且该第二检测框的个数为至少一个。

其中,图片中的检测框可以基于物体检测技术对图片中包含的要素进行检测,且对于检测到的要素用检测框进行标识,其中,要素是预先设置的,例如要素可以是红绿灯、车牌号、路牌等等多种不同的物体。且若同一个物体在多张图片中出现至少一次,则可以标记为物理点。

上述物体检测技术,可以检测出图片中包含的检测框的特征向量,检测框在图片中的位置信息,及检测框的置信度,其中,特征向量是用于表征该检测框内的物理点的特征,可以由128维的特征值构成。检测框的位置信息则可以用检测框的左上方的点的xy坐标、及检测框的宽和高来表示,检测框的置信度用于表示该检测框真实存在的概率,且置信度越大,存在的概率就越大,置信度越小,存在的概率就越小。

此外,在众包领域,图片是携带有全球定位系统(globalpositioningsystem,gps)信息的,即用户侧终端在拍摄一张图片之后,会将该图片的gps信息作为图片的一部分。

在本发明实施例中,可以基于需要设置检测框的特征参数,例如,检测框的特征参数包括检测框的特征向量,或者检测框的特征参数包括:检测框的特征向量、位置信息及gps信息。

其中,上述置信度可以用于在基于物体检测算法检测到图片中的检测框之后,基于检测到的各检测框的置信度对检测框进行删除,例如,若图片a中的检测框b的置信度为35%,小于预置置信度80%,且该检测框的尺寸小于预设尺寸,则将检测框b从图片a中删除,图片a不包含检测框b,或者,可以将检测框的置信度与其他参数结合对检测框进行删除,其中,其他参数可以为检测框中的物理点在图片组中出现的次数。

或者,可以将检测框的置信度作为检测框的特征参数中的一种参数使用。

第一确定模块702,用于根据所述第一检测框的特征参数与所述第二检测框的特征参数,确定检测框对数,其中,一对检测框中包含属于同一物理点的一个第一检测框和一个第二检测框;

图片筛选模块703,用于根据所述检测框对数对所述第一图片及所述第二图片进行筛选。

在本发明实施例中,第一检测框的特征参数可以表征第一检测框的特征,第二检测框的特征参数可以表征第二检测框的特征,基于第一检测框的特征参数及第二检测框的特征参数可以确定在第一检测框中与第二检测框属于同一物理点的检测框对数。

其中,一对检测框中包含属于同一物理点的一个第一检测框和一个第二检测框,属于同一物理点是指一对检测框中的第一检测框内的物理点,与第二检测框内的物理点相同,为同一个物体。例如,若第一图片a中包含4个检测框,分别为检测框a1至a4,且检测框a1至a4对应的物理点分别为c、d、e、f,第二图片b中包含6个检测框,分别为检测框b1至b6,且检测框b1至b6对应的物理点为c、h、e、g、l、p,则将确定第一图片a的检测框a1的物理点与第二图片b中检测框b1的物理点相同,属于同一个物理点,则第一图片a的检测框a1与第二图片b中检测框b1构成一对检测框,同理,第一图片中的检测框a3与第二图片中的检测框b3也构成一对检测框。则第一图片a与第二图片b具有2对检测框,检测框对数为2。

进一步的,图片筛选模块703将根据上述的检测框对数对第一图片及第二图片进行筛选,该筛选的结果可以为删除第一图片、保留第二图片;或者删除第二图片、保留第一图片;或者保留第一图片和第二图片。

在本发明实施例中,通过利用相邻两帧图片中各检测框的特征参数,确定该相邻两帧图片中存在的检测框对数,使得能够确定相邻两帧图片中属于相同物理点的检测框的情况,并基于该检测框对数对第一图片及第二图片进行筛选,使得有效实现基于检测框的特征参数的图片筛选,有效降低人工成本。

请参阅图8,为本发明实施例中图片筛选装置的结构示意图,包括:如图7所示实施例中的获取模块701、第一确定模块702及图片筛选模块703,且与图7所示实施例中描述的内容相似,此处不做赘述。

其中,图片筛选模块703包括:

第二确定模块801,用于确定所述第一检测框的第一个数与所述检测框对数的第一大小关系,及确定所述第二检测框的第二个数与所述检测框对数的第二大小关系;

筛选模块802,用于根据所述第一大小关系及所述第二大小关系对所述第一图片及所述第二图片进行筛选。

其中,筛选模块802具体用于:

当所述第一大小关系为所述第一个数等于所述检测框对数,且所述第二大小关系为所述第二个数等于所述检测框对数时,删除所述第一图片及所述第二图片中的任意一图片;

当所述第一大小关系为所述第一个数大于所述检测框对数,且所述第二大小关系为所述第二个数等于所述检测框对数时,删除所述第二图片,保留所述第一图片;

当所述第一大小关系为所述第一个数等于所述检测框对数,且所述第二大小关系为所述第二个数大于所述检测框对数时,删除所述第一图片,保留所述第二图片;

当所述第一大小关系为所述第一个数大于所述检测框对数,且所述第二大小关系为所述第二个数大于所述检测框对数时,保留所述第一图片及所述第二图片。

在本发明实施例中,将确定第一图片中第一检测框的第一个数,该第一个数为第一图片中检测框的总个数,及确定第二图片中第二检测框的第二个数,该第二个数为第二图片中检测框的总个数,并将上述第一个数与第二个数分贝与检测框对数进行比较,确定第一关系大小及第二关系大小,进一步的,筛选模块802将根据上述第一大小关系及第二大小关系对第一图片及第二图片进行筛选。具体的,有四种情况,分别如下:

当第一大小关系为第一个数等于检测框对数,且第二大小关系为第二个数等于检测框对数时,表明第一图片中的所有物理点都在第二图片中出现,且第二图片中的所有物理点都有在第一图片中出现,此时,第一图片与第二图片是相同的图片的概率较大,此时,删除第一图片及第二图片中的任意一图片,使得相同的图片仅保留一帧。例如,若第一图片中包含3个检测框,且第二图片中包含3个检测框,此时,若检测框对数为3,则表明第一图片的检测框与第二图片检测框一一对应,第一图片与第二图片包含的要素并没有差别,此时可以删除第一图片,保留第二图片,或者删除第二图片,保留第一图片。

当第一大小关系为第一个数大于检测框对数,且第二大小关系为第二个数等于检测框对数时,表明第一图片中包含第二图片中的所有物理点,且具有第二图片中不存在的物理点,此时,为了使得重复的物理点剔除且保留不同的物理点,将删除第二图片,保留第一图片。例如,若第一图片的第一个数为5大于检测框对数3,第二图片的第二个数为3,等于检测框对数3,此时表明第一图片包含了第二图片所有的物理点,第二图片是多余的图片,此时删除第二图片,保留第一图片。

当第一大小关系为第一个数等于检测框对数,且第二大小关系为第二个数大于检测框对数时,表明第二图片中包含第一图片中的所有物理点,且第二图片中具有第一图片没有的物理点,第二图片中的物理点更丰富,此时为了使得重复的物理点删除且保留不同的物理点,将删除第一图片,保留第二图片。

当第一大小关系为第一个数大于检测框对数,且第二大小关系为第二个数大于检测框对数时,表明第一图片中存在第二图片中没有的物理点,第二图片中也存在第一图片中没有的物理点,第一图片与第二图片没有包含关系,此时为了保留不同的物理点,将保留第一图片及第二图片。

在本发明实施例中,通过利用相邻两帧图片中各检测框的特征参数,确定该相邻两帧图片中存在的检测框对数,使得能够确定相邻两帧图片中属于相同物理点的检测框的情况,并基于该检测框对数与第一图片的第一检测框的第一个数的第一大小关系,及该检测框对数与第二图片的第二检测框的第二个数的第二大小关系,对第一图片及第二图片进行筛选,使得能够删除重复的物理点并保持不同的物理点,有效实现基于检测框的特征参数的图片筛选,有效降低人工成本。

请参阅图9,为本发明实施例中图片筛选装置的结构示意图,包括:如图7所示实施例中的获取模块701、第一确定模块702及图片筛选模块703,且与图7所示实施例中描述的内容相似,此处不做赘述。

其中,第一确定模块702包括:

构成模块901,用于将所述第一检测框与所述第二检测框构成候选检测框对,一对候选检测框中包含一个第一检测框及一个第二检测框;

第三确定模块902,用于利用所述候选检测框对的特征参数及预置的基于机器学习算法训练得到的分类器,确定所述检测框对数。

其中,第三确定模块902具体用于:将所述候选检测框对的特征参数输入所述分类器中,得到所述分类器输出的所述候选检测框对的分类结果;统计所述候选检测框对中,分类结果为属于同一物理点的候选检测框对的总对数,作为所述检测框对数。

其中,上述机器学习算法可以为支持向量机(supportvectormachine,svm)算法或者是卷积神经网络(convolutionalneuralnetwork,cnn)算法,在训练时,需要使用的训练数据,该训练数据中包含多张图片,及每张图片的特征参数,通过利用训练数据对svm模型或者cnn模型进行训练,可以得到符合本发明实施例使用需求的svm分类器或者cnn分类器。

其中,训练数据中图片的特征参数,需要与分类器使用时输入的特征参数一致,例如,若训练数据中的图片的检测框的特征参数包含特征向量,则上述第一图片及第二图片的特征参数包含特征向量,若训练数据中的图片的检测框的特征参数包括特征向量、检测框的位置信息及gps信息,则上述第一图片及第二图片的特征参数包含特征向量、位置信息及gps信息。此外,若在训练分类器的过程中,使用到了检测框的置信度,则在使用分类器时,也需要将检测框的置信度输入分类器。

可以理解的是,上述特征参数中包含的数据类型越多,检测框的特征更强大其具有可分辨性,训练到的分类器的分类结果越准确,且通过训练分类器的方式对图片进行筛选,智能化程度越高,能够有效提高图片筛选的准确度,实现删除同一个重复的物理点并保留不同的物理点的目的,节约人工成本。

可以理解的是,通过确定检测框对数,使得能够将第一图片与第二图片中属于同一物理点的两个检测框关联起来,实现相邻两帧图片的关联,且通过该种关联的方式对图片进行筛选,能够有效提高图片筛选的准确性。

在本发明实施例中,获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,将上述第一检测框与第二检测框构成候选检测框对,并利用候选检测框对的特征参数及分类器,确定检测框对数。由于使用到分类器,使得候选检测框对中的两个检测框是否属于同一物理点的判断更加准确,能够提高图片筛选的准确性,避免不该删除的图片被删除,而应该删除的图片未删除。且基于第一图片的特征参数、第二图片的特征参数及分类器,对第一图片及第二图片进行筛选,能够实现将同一重复的物理点尽量删除且保留不同的物理点的目的,能够有效降低包含不同的物理点的图片被误删的概率。

请参阅图10,为本发明实施例中图片筛选装置的结构示意图,包括:如图7所示实施例中的获取模块701、第一确定模块702及图片筛选模块703,且与图7所示实施例中描述的内容相似,此处不做赘述。

其中,特征参数包括:检测框的特征向量;

则第一确定模块702包括:

遍历模块1001,用于遍历所述第一检测框,确定遍历到的目标第一检测框的特征向量分别与所述第二检测框的特征向量的相似度,得到所述第二检测框的相似度;

第四确定模块1002,用于当最大相似度大于相似度阈值时,确定具有最大相似度的目标第二检测框与所述目标第一检测框属于同一物理点。

可以理解的是,若第一检测框为7个,第二检测框为9个,则在遍历到第1个第一检测框a时,可以通过上述方式确定该第一检测框a与9个第二检测框中哪个是属于同一个物理点的,若第一检测框a与第二检测框b属于同一个物理点,则确定第一检测框a与第二检测框b为检测框对,且继续遍历到第2个第一检测框c,则可以通过上述方式确定该第一检测框c,与除已配对的第二检测框b以外的其他8个第二检测框中哪个是属于同一物理点的,并以此类型,每次都将遍历到的目标第一检测框与第二图片中未匹配的第二检测框计算相似度,相对于每次都与所有的第二检测框计算相似度的方式,能够有效的降低计算量。

在本发明实施例中,通过遍历第一检测框,确定遍历到的目标第一检测框的特征向量与第二检测框的特征向量的相似度,得到第二检测框的相似度,当最大相似度大于相似度阈值时,确定具有最大相似度的目标第二检测框与目标第一检测框属于同一物理点,为检测框对。通过该种方式,能够有效确定检测框对数,以便根据检测框对数对第一图片及第二图片进行筛选,使得能够有效实现对图片的筛选,不需要人工筛选,降低人工成本。

请参阅图11,为本发明实施例中图片筛选装置的结构示意图,包括:如图10所示实施例中的获取模块701、第一确定模块702及图片筛选模块703,且第一确定模块702如图10所示包括遍历模块1001及第四确定模块1002,且与图7及图10所示实施例中描述的内容相似,此处不做赘述。

其中,特征参数还包括:检测框的位置信息及gps信息;

则上述装置还包括:

第五确定模块1101,用于在最大相似度大于相似度阈值时,利用所述目标第二检测框的位置信息及gps信息、所述目标第一检测框的位置信息及gps信息,确定所述目标第二检测框与所述目标第一检测框之间的变化数据是否符合预置的变化规则;

执行模块1102,用于若符合预置的变化规则,则执行所述第四确定模块1102;

第六确定模块1103,用于若不符合预置的变化规则,则确定所述第二图片中不存在与所述目标第一检测框属于同一物理点的第二检测框。

在确定第二检测框的相似度中,最大相似度大于相似度阈值之后,将具有最大相似度的第二检测框作为目标第二检测框,此时,为了提高检测框对判断的准确性,进一步确定目标第一检测框与目标第二检测框是否可以构成检测框对,还将利用目标第二检测框的位置信息及gps信息,目标第一检测框的位置信息及gps信息,确定目标第二检测框与目标第一检测框之间的变化数据是否符合预置的变化规则。

可以理解的是,用户通常是在开车的过程中利用用户侧终端拍摄具有时间顺序的图片组,例如,若车从道路的一端开到道路的另一端,将拍摄下n帧具有时间先后关系的图片,对于该n帧图片中出现的要素来说,都需要经历一个相对于车由远至近再变远的过程,即要素都会有一个位置信息形成的范围从小逐渐增大,且增大到最大后,不再出现的过程(此处默认车是一直往前开)。因此,对于相邻两帧图片上的同一个物理点,该物理点的在图片上的范围也遵从上述规则,且物理点在图片上的位置也会发生变化,其中,上述变化与检测框的位置信息相关,且与gps信息相关,其中,该gps信息用于确定属于同一物理点的两个检测框之间的距离,且筛选装置可以基于该距离预测该两个检测框的位置信息的变化。例如,以确定第一图片的第一检测框a相对于第二图片的第二检测框b之间的变化参数为例,先基于第一检测框a和第二检测框b的位置信息,确定从第二检测框b变化到第一检测框a的变化数据,该变化数据包括移动的距离数据,及缩小放大的数据。继续基于第一检测框a与第二检测框b的gps信息,确定第一检测框a与第二检测框b之间的距离,基于第二检测框b的位置信息及上述距离,预测第一检测框a的预测位置信息,将该预测位置信息与第一检测框的微信信息进行比较,得到理论变化数据,若上述理论变化数据与上述变化数据之间的差距小于预设值,则确定由第二检测框b变化到第一检测框a是合理的,将确定第二检测框b与第一检测框a为检测框对。若上述理论变化数据与上述变化数据之间的差距大于预设值,则确定由第二检测框b变化到第一检测框a是不合理的,第一检测框a和第二检测框b确定为不是属于同一物理点。由此可知,上述的变化规则为由第二图片中的目标第二检测框变化至第一图片中的目标第一检测框,检测框的实际位置信息的变化数据与理论位置信息的变化数据的差距小于预设值。

在本发明实施例中,对于遍历到的每一个目标第一检测框,都将基于特征向量、位置信息及gps信息确定是否存在与其属于同一个物理点的目标第二检测框,且在特征向量的基础上使用位置信息及gps信息能够进一步提高判断俩个检测框是否属于同一物理点的准确性,使得图片筛选的结果更加准确。

本发明实施例还提供一种终端,包括存储器、处理器及存储在存储器上且在处理器上运行的计算机程序,处理器执行计算机程序时,实现图1、图2至图6任意一项所示实施例中的图片筛选方法中的各个步骤

本发明实施例还提供一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时,实现图1、图2至图6任意一项所示实施例中的图片筛选方法中的各个步骤

可以理解的是,在本发明实施例中,上述的图片筛选装置是一种终端,该终端具体可以是服务器,也可以是用户侧终端,为了更好的理解本发明实施例中的技术方案,请参阅图12,为本发明实施例中终端120的结构示意图。该终端120包括处理器1201、存储器1202和收发器1203,存储器1202可以包括只读存储器和随机存取存储器,并向处理器1201提供操作指令和数据。存储器1202的一部分还可以包括非易失性随机存取存储器(nvram)。

在一些实施方式中,存储器1202存储了如下的元素:可执行模块或者数据结构,或者他们的子集,或者他们的扩展集。

在本发明实施例中,通过调用存储器1202存储的操作指令(该操作指令可存储在操作系统中),执行以下过程:获取第一图片中第一检测框的特征参数,及获取第二图片中第二检测框的特征参数,所述第二图片与所述第一图片相邻;根据所述第一检测框的特征参数与所述第二检测框的特征参数,确定检测框对数,其中,一对检测框中包含属于同一物理点的一个第一检测框和一个第二检测框;根据所述检测框对数对所述第一图片及所述第二图片进行筛选

相对于现有技术中仅删除无检测框的图片,本发明提供的技术方案中通过利用相邻两帧图片中各检测框的特征参数,确定该相邻两帧图片中存在的检测框对数,使得能够确定相邻两帧图片中属于相同物理点(要素)的检测框的情况,并基于该检测框对数对第一图片及第二图片进行筛选,使得有效实现基于检测框的特征参数的图片筛选,有效降低人工成本。

其中,处理器1201控制终端120的操作,处理器1201还可以称为cpu(centralprocessingunit,中央处理单元)。存储器1202可以包括只读存储器和随机存取存储器,并向处理器1201提供指令和数据。存储器1202的一部分还可以包括非易失性随机存取存储器(nvram)。具体的应用中终端120的各个组件通过总线系统1204耦合在一起,其中总线系统1204除包括数据总线之外,还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线系统1204。

上述本发明实施例揭示的方法可以应用于处理器1201中,或者由处理器1201实现。处理器1201可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器1201中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器910可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1202,处理器1201读取存储器1202中的信息,结合其硬件完成上述方法的步骤。

以上的终端120可以参阅图1、图2至图6所示实施例的描述进行理解,本处不做过多赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。

所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本发明所必须的。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。

以上为对本发明所提供的一种图片筛选方法及装置的描述,对于本领域的技术人员,依据本发明实施例的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1