一种图像检索方法、装置、设备及计算机可读存储介质与流程

本申请涉及图像处理领域，特别涉及一种图像检索方法，还涉及一种图像检索装置、设备及计算机可读存储介质。

背景技术：

目前，在道路车辆监控系统中，其卡口图像的数量已远远超出人工可以处理的数量级别，因此，在如此庞大数量的图像集合中，想要搜索到具有特定特征的图像，将是一件非常困难的事情。

一般的，为实现快速图像检索，通常会从图像中提取出若干个特征，如基于特征提取算法提取出具有尺度不变性和一定旋转不变性的特征，或使用若干个fisher向量(费舍尔向量)来表征图像的整体特征。但以上特征提取方法都存在特征向量与检索目标不具备相关性的问题，例如，对于一个成年人站在一栋大楼前的图像，当检索目标是该成年人时，采用特征提取算法提取出的特征向量集合中，绝大部分却都是关于建筑物的特征。进一步，在图像检索过程中，如果仅仅依靠一种图像特征将很难查找到目标图像，例如，当图像检索系统仅能识别车牌号码时，如果驾驶员驾驶其他车辆或者安装套牌牌照时，将难以在大量的卡口图像中查找到包括该驾驶员的图像，从而无法实现人员查找。

因此，如何提供一种图像检索系统，以实现更为快速准确的图像查询是本领域技术人员亟待解决的问题。

技术实现要素：

本申请的目的是提供一种图像检索方法，该图像检索方法能够更加快速准确的在大量图像数据中检索出目标图像，进而实现特定信息的查询；本申请的另一目的是提供一种图像检索装置、设备及计算机可读存储介质，均具有上述有益效果。

为解决上述技术问题，本申请提供了一种图像检索方法，所述图像检索方法包括：

对获取的图像数据进行特征提取，获得所述图像数据的多个特征向量；

将所述图像数据存储至图像数据库，获得存储信息；

将所述存储信息和对应的各所述特征向量存储至索引数据库；

当接收到目标特征向量时，根据所述目标特征向量对所述索引数据库进行查询，确定对应的目标存储信息；

根据所述目标存储信息在所述图像数据库中查询获得目标图像。

优选的，所述对获取的图像数据进行特征提取，获得所述图像数据的多个特征向量，包括：

通过第一目标识别算法对所述图像数据进行背景识别，获得背景特征向量；

通过第二目标识别算法对所述图像数据进行人物识别，获得人物特征向量。

优选的，所述通过第二目标识别算法对所述图像数据进行人物识别，获得人物特征向量，包括：

通过人脸识别算法在所述图像数据中识别获得人脸区域；

确定所述人脸区域中的各特定区域；

通过局部特征提取算法在所述特定区域内进行特征提取，获得所述特定区域的特征向量集合；

通过聚类算法对所述特征向量集合进行聚类处理，获得全局聚合特征描述符向量；

对所述全局聚合特征描述符向量进行量化处理，获得所述人物特征向量。

优选的，所述局部特征提取算法为sift算法。

优选的，所述聚类算法为vlad算法。

优选的，所述图像检索方法还包括：

当接收到目标人物图像数据时，对所述目标人物图像数据进行特征提取，获得所述目标特征向量。

为解决上述技术问题，本申请还提供了一种图像检索装置，所述图像检索装置包括：

特征提取模块，用于对获取的图像数据进行特征提取，获得所述图像数据的多个特征向量；

图像数据存储模块，用于将所述图像数据存储至图像数据库，获得存储信息；

索引信息存储模块，用于将所述存储信息和对应的各所述特征向量存储至索引数据库；

存储信息确定模块，用于当接收到目标特征向量时，根据所述目标特征向量对所述索引数据库进行查询，确定对应的目标存储信息；

目标图像查询模块，用于根据所述目标存储信息在所述图像数据库中查询获得目标图像。

优选的，所述图像检索装置还包括：

目标特征提取模块，用于当接收到目标人物图像数据时，对所述目标人物图像数据进行特征提取，获得所述目标特征向量。

为解决上述技术问题，本申请还提供了一种图像检索设备，所述图像检索设备包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任意一种图像检索方法的步骤。

为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种图像检索方法的步骤。

本申请所提供的一种图像检索方法，包括对获取的图像数据进行特征提取，获得所述图像数据的多个特征向量；将所述图像数据存储至图像数据库，获得存储信息；将所述存储信息和对应的各所述特征向量存储至索引数据库；当接收到目标特征向量时，根据所述目标特征向量对所述索引数据库进行查询，确定对应的目标存储信息；根据所述目标存储信息在所述图像数据库中查询获得目标图像。

可见，本申请所提供的技术方案，对获取到的每个图像数据均可进行多个特征向量的提取，进一步，将这些特征向量及其对应的存储信息作为索引保存至索引数据库，完成图像检索系统的构建，由此，当接收到一个或多个目标特征向量时，均可在索引数据库中查找到该目标特征向量对应图像数据的存储位置，从而在图像数据库中快速准确的查找到目标图像；其中，由于在检索系统构建时，对每个图像数据均进行了多个特征向量的提取，相较于现有技术而言，该方法有效解决了图像查询过程中仅基于一种特征向量难以查找到目标图像的问题，因此，本申请所提供的图像检索方法能够更加快速准确的在大量图像数据中检索出目标图像，进而实现特定信息的查询，也有效避免了由于人工搜索导致的人力投入过大、耗时过长、容易疏漏的缺陷。

本申请所提供的一种图像检索装置、设备及计算机可读存储介质，均具有上述有益效果，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请所提供的一种图像检索方法的流程示意图；

图2为本申请所提供的一种人物特征向量提取方法的流程示意图；

图3为本申请所提供的一种图像检索装置的结构示意图；

图4为本申请所提供的一种图像检索设备的结构示意图。

具体实施方式

本申请的核心是提供一种图像检索方法，该图像检索方法能够更加快速准确的在大量图像数据中检索出目标图像，进而实现特定信息的查询；本申请的另一核心是提供一种图像检索装置、设备及计算机可读存储介质，均具有上述有益效果。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。

请参考图1，图1为本申请所提供的第一种图像检索方法的流程示意图，该图像检索方法可以包括：

s101：对获取的图像数据进行特征提取，获得图像数据的多个特征向量；

本步骤旨在实现特征向量的提取，对于获取到的每个图像数据，均可通过预设的特征提取算法提取到相应的特征向量。

需要说明的是，本步骤在进行特征向量提取时，主要在于提取图像数据尽可能多的特征向量，以避免后期在进行图像检索时出现仅基于一种特征向量难以查找到目标图像的问题。

当然，上述各个特征向量的具体内容并不唯一，例如，对于某一图像数据而言，其特征向量可以包括人物特征、实物特征、背景特征等，更为具体的，人物特征可以为眼部特征、唇部特征、体型特征等，实物特征可以为车辆特征、道路特征、建筑特征等，背景特征可以为各实物的颜色特征、状态特征等。

作为一种优选实施例，上述对获取的图像数据进行特征提取，获得图像数据的多个特征向量，可以包括：通过第一目标识别算法对图像数据进行背景识别，获得背景特征向量；通过第二目标识别算法对图像数据进行人物识别，获得人物特征向量。

关于上述特征向量，本申请提供了较为具体的提取内容，即背景特征向量和人物特征向量，对于这两种特征向量，均可基于相应的目标识别算法实现，即背景特征向量对应的上述第一目标识别算法，以及人物特征向量对应的上述第二目标识别算法。可以想到的，上述目标识别算法的具体类型并不影响本技术方案的实施，由技术人员根据实际需求预先进行设置即可。

进一步，对于上述人物特征向量的提取过程，本申请提供了一种较为具体的实现方法，请参考图2，图2为本申请所提供的一种人物特征向量提取方法的流程示意图。

优选的，上述通过第二目标识别算法对图像数据进行人物识别，获得人物特征向量，可以包括：

s201：通过人脸识别算法在所图像数据中识别获得人脸区域；

s202：确定人脸区域中的各特定区域；

s203：通过局部特征提取算法在特定区域内进行特征提取，获得特定区域的特征向量集合；

s204：通过聚类算法对特征向量集合进行聚类处理，获得全局聚合特征描述符向量；

s205：对全局聚合特征描述符向量进行量化处理，获得人物特征向量。

具体的，对于人物特征向量，人物的面部特征尤为关键，因此，本申请实施例旨在实现人脸特征向量的提取。首先，可通过预设的人脸识别算法在图像数据中查询到人脸区域；进一步，由于图像数据大小受限，人脸微小特征难以提取，故本实施例采用了局部特征提取的方法，先对确定的人脸区域内进行划分，获得各特定区域，如眼睛区域、嘴部区域、鼻子区域等，从而基于局部特征提取算法对每个特定区域进行特征提取，获得该特定区域的特征向量集合；最后，利用聚类算法对该特征向量集合进行聚类处理，获得全局聚合特征描述符向量，对其进行量化处理后，即可得到所有的人物特征向量，包括眼部特征、嘴部特征、鼻部特征等。其中，通过上述聚类处理可以得到压缩的全局特征向量，既可以加快后续图像检索速度，又可以避免图像数据局部特征过度损失的问题。

其中，上述局部特征提取算法可以为sift(scale-invariantfeaturetransform，尺度不变特征转换)算法。

对于上述局部特征提取算法，本申请提供了较为具体的实现方式，即sift算法。sift算法具有旋转不变性和位移不变性等特性，非常适合卡口图像分析，此外，由于特征向量提取是在严格特定的区域，噪声及背景干扰的影响都非常小，所提取到的特征向量能够更为准确的反应对应区域的特征。

其中，上述聚类算法可以为vlad(vectoroflocallyaggregateddescriptors，fv算法的一种)算法。

对于上述聚类算法，本申请提供了较为具体的实现方式，即vlad算法。vlad算法考虑到了特征点的每一维的值，对图像局部信息有更细致的刻画，而且vlad特征没有信息损失。

s102：将图像数据存储至图像数据库，获得存储信息；

本步骤旨在实现图像数据库的构建，具体的，可将s101中获取到的图像数据保存至图像数据库，在图像数据库中，所有的图像数据均可按照一定规则进行分类存储，如将同一类型的图像数据存储至相同的文件夹下；进一步，在完成图像数据的存储后，还可提取其存储信息，以便后续图像检索的实现。

其中，上述存储信息的具体内容并不影响本技术方案的实施，可以为存储路径信息、图像数据信息等。

s103：将存储信息和对应的各特征向量存储至索引数据库；

本步骤旨在实现索引数据库的构建，基于该索引数据库可快速准确的在图像数据库中检索到目标数据。具体而言，对于某一图像数据，可将基于s101提取到的各个特征向量与基于s102提取的存储信息进行绑定，生成索引一同存储至索引数据库。

需要说明的是，上述s101至s103的执行过程，相当于图像检索系统的构建过程，可以看出，该图像检索系统包括特征提取模块，图像数据库以及索引数据库，进一步，加上图像检索模块(对应于下述s104与s105的检索过程)，即可得到完整的图像检索系统，基于该图像检索系统，即可实现目标图像的快速查找。可以想到的，在图像检索过程中，上述s101至s103的执行过程只需执行一次即可。

s104：当接收到目标特征向量时，根据目标特征向量对索引数据库进行查询，确定对应的目标存储信息；

s105：根据目标存储信息在图像数据库中查询获得目标图像。

具体的，s104与s105旨在基于上述图像检索系统实现目标图像的查询，当接收到目标特征向量时，即可与索引数据库中的各个特征向量进行比对查询，以确定该目标特征向量对应目标图像的存储信息，即上述目标存储信息，由此，即可根据该存储信息在图像数据库中检索到目标图像，实现图像快速检索。

作为一种优选实施例，该图像检索方法还可以包括：当接收到目标人物图像数据时，对目标人物图像数据进行特征提取，获得目标特征向量。

对于上述目标特征向量，可以由用户直接输入，也可以根据已知的对比图像获得，具体而言，对于输入的目标人物图像数据，可先对其进行特征向量的提取，以获得上述目标特征向量，进而基于该目标特征向量实现目标图像的检索。

例如，当只有目标人员的图像信息，如身份证照片或生活照片，而无法确定其驾驶的车辆的信息时，可对其进行细节区域的特征向量的提取，从而实现图像检索以获得目标人员驾驶车辆的图像数据。以眼睛区域特征向量为例，其实现过程如下：

首先，从目标人员的图像信息中确定眼睛区域，并利用sift算法提取出该区域中的局部特征向量集合，以及采用vlad算法获得sift局部特征向量集合的全局特征向量；进一步，确定图像搜索范围，如特定卡口三天内的图像数据，进而对索引数据库上述范围内的每条记录进行检索，具体可对索引数据库中各个眼睛特征向量与上述在目标人员图像中提取到的眼睛特征向量进行欧式距离的计算，当欧氏距离低于预设阈值时，确定该索引并从图像数据库中输出对应的图像数据，由此，即可从输出的所有图像数据中人工分辨是否包括上述目标人员，从而获得目标人员驾驶车辆的图像数据。

本申请所提供的图像检索方法，对获取到的每个图像数据均可进行多个特征向量的提取，进一步，将这些特征向量及其对应的存储信息作为索引保存至索引数据库，完成图像检索系统的构建，由此，当接收到一个或多个目标特征向量时，均可在索引数据库中查找到该目标特征向量对应图像数据的存储位置，从而在图像数据库中快速准确的查找到目标图像；其中，由于在检索系统构建时，对每个图像数据均进行了多个特征向量的提取，相较于现有技术而言，该方法有效解决了图像查询过程中仅基于一种特征向量难以查找到目标图像的问题，因此，本申请所提供的图像检索方法能够更加快速准确的在大量图像数据中检索出目标图像，进而实现特定信息的查询，也有效避免了由于人工搜索导致的人力投入过大、耗时过长、容易疏漏的缺陷。

在上述各实施例的基础上，以卡口图像为例，本申请对于上述特征向量的提取过程提供了更为具体的实现方法，具体流程如下：

步骤1、对图像数据中的特定区域进行识别，包括车牌区域，车标区域，车型轮廓区域，主驾驶员头部区域，副驾驶员头部区域，主驾驶员身躯区域，副驾驶员身躯区域；

步骤2、通过车牌识别模块识别获得车牌号码，通过车标识别模块识别获得车辆生产厂家，通过车型识别模块结合车标信息，识别获得车辆车型；

步骤3、在驾驶员头部区域进一步划分出眼镜区域和嘴部区域，并对驾驶员身躯区域、眼镜区域、嘴部区域均进行如下操作：

首先，采用sift算法提取出对应区域图像的局部特征，具体的，对于每一个关键点，可使用16个种子点表示，每个种子点具有8个方向，由此，得到的sift向量为128维，每个区域图像均可提取到几百至几千个sift向量；

进一步，采用vlad算法得到对应区域图像sift特征向量集合的全局聚合特征描述符向量；

最后，对全局聚合特征描述符向量进行量化，将量化结果作为该区域的特征向量保存至索引数据库中。

由此，对所有的图像数据进行如上处理，即完成了图像数据特征向量的提取以及索引数据库的构建，当进行卡口图像检索时，即可进行单一特征类别以及组合特征类别的查询。例如，当已知车辆的车牌号码、卡口位置以及大致时间时，即可快速高效的从索引数据库中查询到对应图像数据的名称以及存储位置，进而从图像数据库中得到该图像数据。

下面对本申请实施例提供的图像检索装置进行介绍，下文描述的图像检索装置与上文描述的图像检索方法可相互对应参照。

请参考图3，图3为本申请所提供的一种图像检索装置的结构示意图，该图像检索装置可以包括：

特征提取模块10，用于对获取的图像数据进行特征提取，获得图像数据的多个特征向量；

图像数据存储模块20，用于将图像数据存储至图像数据库，获得存储信息；

索引信息存储模块30，用于将存储信息和对应的各特征向量存储至索引数据库；

存储信息确定模块40，用于当接收到目标特征向量时，根据目标特征向量对索引数据库进行查询，确定对应的目标存储信息；

目标图像查询模块50，用于根据目标存储信息在图像数据库中查询获得目标图像。

本申请所提供的图像检索装置，对获取到的每个图像数据均可进行多个特征向量的提取，进一步，将这些特征向量及其对应的存储信息作为索引保存至索引数据库，完成图像检索系统的构建，由此，当接收到一个或多个目标特征向量时，均可在索引数据库中查找到该目标特征向量对应图像数据的存储位置，从而在图像数据库中快速准确的查找到目标图像；其中，由于在检索系统构建时，对每个图像数据均进行了多个特征向量的提取，相较于现有技术而言，该方法有效解决了图像查询过程中仅基于一种特征向量难以查找到目标图像的问题，因此，本申请所提供的图像检索装置能够更加快速准确的在大量图像数据中检索出目标图像，进而实现特定信息的查询，也有效避免了由于人工搜索导致的人力投入过大、耗时过长、容易疏漏的缺陷。

作为一种优选实施例，上述特征提取模块10可以包括：

背景特征提取子模块，用于通过第一目标识别算法对图像数据进行背景识别，获得背景特征向量；

人物特征提取子模块，用于通过第二目标识别算法对图像数据进行人物识别，获得人物特征向量。

作为一种优选实施例，上述人物特征提取子模块可以包括：

人脸区域识别单元，用于通过人脸识别算法在图像数据中识别获得人脸区域；

特定区域划分单元，用于确定人脸区域中的各特定区域；

区域特征提取单元，用于通过局部特征提取算法在特定区域内进行特征提取，获得特定区域的特征向量集合；

特征聚类单元，用于通过聚类算法对特征向量集合进行聚类处理，获得全局聚合特征描述符向量；

特征量化单元，用于对全局聚合特征描述符向量进行量化处理，获得人物特征向量。

作为一种优选实施例，该图像检索装置还可以包括：

目标特征提取模块，用于当接收到目标人物图像数据时，对目标人物图像数据进行特征提取，获得目标特征向量。

对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。

下面对本申请实施例提供的图像检索设备进行介绍，下文描述的图像检索设备与上文描述的图像检索方法可相互对应参照。

请参考图4，图4为本申请所提供的一种图像检索设备的结构示意图，该图像检索设备可以包括：

存储器1，用于存储计算机程序；

处理器2，用于执行上述存储器1存储的计算机程序时可实现如下步骤：

对获取的图像数据进行特征提取，获得图像数据的多个特征向量；将图像数据存储至图像数据库，获得存储信息；将存储信息和对应的各特征向量存储至索引数据库；当接收到目标特征向量时，根据目标特征向量对索引数据库进行查询，确定对应的目标存储信息；根据目标存储信息在图像数据库中查询获得目标图像。

对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。

进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序，其中，计算机程序被处理器执行时可实现如下步骤：

对获取的图像数据进行特征提取，获得图像数据的多个特征向量；将图像数据存储至图像数据库，获得存储信息；将存储信息和对应的各特征向量存储至索引数据库；当接收到目标特征向量时，根据目标特征向量对索引数据库进行查询，确定对应的目标存储信息；根据目标存储信息在图像数据库中查询获得目标图像。

该计算机可读存储介质可以包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

对于本申请提供的计算机可读存储介质的具体介绍请参照上述方法实施例，本申请在此不做赘述。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本申请所提供的图像检索方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围要素。