基于图片匹配的信息检索方法、装置、计算机设备与流程

本发明涉及计算机技术领域，尤其涉及一种基于图片匹配的信息检索方法、装置、计算机设备及存储介质。

背景技术：

在现实生活中，传统的信息检索方法只能通过文字信息对与文字信息相对应的图片进行检索，却无法通过图片检索得到与图片相对应的文字信息，用户察看某一图片只能大致了解该图片所属的领域，却无法获取该图片中所包含的具体信息。因而现有的信息检索方法无法通过图片对相应的信息进行检索，导致对信息检索的效率不高。

技术实现要素：

本发明实施例提供了一种基于图片匹配的信息检索方法、装置、计算机设备及存储介质，旨在解决现有技术方法中信息检索方法所存在的信息检索效率不高的问题。

第一方面，本发明实施例提供了一种基于图片匹配的信息检索方法，其包括：

若接收到用户终端所上传的待检索图片及特征标签，获取预设的图片信息库中与所述特征标签相匹配的图片集作为候选图片集；

获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度；

获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度；

根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片；

对所述目标图片是否包含描述信息进行判断以得到判断结果；

若所述判断结果为所述目标图片包含描述信息，将所述目标图片的描述信息推送至所述用户终端。

第二方面，本发明实施例提供了一种基于图片匹配的信息检索装置，其包括：

候选图片集获取单元，用于若接收到用户终端所上传的待检索图片及特征标签，获取预设的图片信息库中与所述特征标签相匹配的图片集作为候选图片集；

第一相似度获取单元，用于获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度；

第二相似度获取单元，用于获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度；

目标图片确定单元，用于根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片；

描述信息判断单元，用于对所述目标图片是否包含描述信息进行判断以得到判断结果；

描述信息推送单元，用于若所述判断结果为所述目标图片包含描述信息，将所述目标图片的描述信息推送至所述用户终端。

第三方面，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于图片匹配的信息检索方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于图片匹配的信息检索方法。

本发明实施例提供了一种基于图片匹配的信息检索方法、装置、计算机设备及存储介质。根据用户终端所上传的特征标签获取图片信息库中与特征标签对应的候选图片集，并通过图片相似度匹配确定候选图片集中与待检索图片对应的目标图片，若目标图片包含描述信息则将描述信息推送至用户终端。通过上述基于图片匹配的信息检索方法，能够通过图片相似度匹配的方法实现对信息进行高效率检索，能够方便用户获取图片中所包含的未知信息，在实际应用过程中取得了良好的技术效果。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于图片匹配的信息检索方法的流程示意图；

图2为本发明实施例提供的基于图片匹配的信息检索方法的应用场景示意图；

图3为本发明实施例提供的基于图片匹配的信息检索方法的子流程示意图；

图4为本发明实施例提供的基于图片匹配的信息检索方法的另一子流程示意图；

图5为本发明实施例提供的基于图片匹配的信息检索方法的另一子流程示意图；

图6为本发明实施例提供的基于图片匹配的信息检索方法的另一流程示意图；

图7为本发明实施例提供的基于图片匹配的信息检索装置的示意性框图；

图8为本发明实施例提供的基于图片匹配的信息检索装置的子单元示意性框图；

图9为本发明实施例提供的基于图片匹配的信息检索装置的另一子单元示意性框图；

图10为本发明实施例提供的基于图片匹配的信息检索装置的另一子单元示意性框图；

图11为本发明实施例提供的基于图片匹配的信息检索装置的另一示意性框图；

图12为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1-图2，图1是本发明实施例提供的基于图片匹配的信息检索方法的流程示意图；图2为本发明实施例提供的基于图片匹配的信息检索方法的应用场景示意图。该基于图片匹配的信息检索方法应用于管理服务器10中，该方法通过安装于管理服务器10中的应用软件进行执行，用户终端20与管理服务器10建立网络连接以进行数据信息的传输。管理服务器10即是用于执行基于图片匹配的信息检索方法以对信息进行检索的服务器端，用户终端20即是与管理服务器10建立网络连接以进行数据信息传输的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等。

如图1所示，该方法包括步骤s110～s160。

s110、若接收到用户终端所上传的待检索图片及特征标签，获取预设的图片信息库中与所述特征标签相匹配的图片集作为候选图片集。

若接收到用户终端所上传的待检索图片及特征标签，获取预设的图片信息库中与所述特征标签相匹配的图片集作为候选图片集。具体的，所述待检索图片为一张用户所上传的图片，特征标签即是用户对该待检索图片所添加的标签信息，特征标签的数量可以为一个或多个。图片信息库中包含多个图片集，图片集即是对图片进行分类之后所得到的相应类别图片的集合，每一个图片集均对应一个特征标签，每一个图片集中包含多张图片，若用户所上传的特征标签为一个，则将对应匹配得到的一个图片集作为候选图片集，若用户所上传的特征标签为多个，则将对应匹配得到的多个图片集作为候选图片集。

例如，用户所上传的特征标签为“植物”，则对应获取图片信息库中与“植物”这一特征标签对应的一个图片集作为候选图片集。

s120、获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度。

获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度。具体的，在对候选图片集中图片与待检索图片是否为相似图片进行判断时，需进一步结合图片整体特征进行判断，图片整体特征即可通过待检索图片与候选图片集中图片之间的第一相似度进行体现。

在一实施例中，如图3所示，步骤s120包括子步骤s121、s122和s123。

s121、根据预设的缩放规则对所述待检索图片的尺寸进行缩放调整。

根据预设的缩放规则对所述待检索图片的尺寸进行缩放调整。用户所上传的待检索图片尺寸可能较大或较小，为便于对待检索图片的特征变量进行提取，需对待检索图片的尺寸进行缩放调整，缩放规则即是用于对图片的尺寸进行缩放调整的规则信息。例如，可根据缩放规则将待检索图片的尺寸调整为200×200像素。

s122、根据预设的特征提取公式获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的特征变量。

根据预设的特征提取公式获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的特征变量。图片的特征变量为基于卷积神经网络提取得到的图片整体特征变量值。

具体的，根据预设的特征提取公式对候选图片集中所有图片及待检索图片的特征变量进行提取。预设的特征提取公式基于卷积神经网络进行构建，预设的特征提取公式为包括第一卷积计算公式、池化计算公式、第二卷积计算公式、第一全连接计算公式、第二全连接计算公式，通过特征提取公式即可提取得到所述候选图片集中所有图片及待检索图片的特征变量。图片的特征变量即是通过对图片进行特征提取之后所得到的用于反映图片特性的多维向量，计算机程序无法对不同的图片进行识别，但将多个图片转换为特征变量后计算机程序通过对多个图片的特征变量进行分析即可对不同的图片进行识别。

具体的，候选图片集中所有图片的尺寸均为200×200像素，已调整尺寸的待检索图片为200×200像素，根据第一卷积计算公式，以分辨率10×10作为窗口，步长为1，进行卷积操作，以得到大小为190×190的向量矩阵，也即是图片的浅层特征；根据池化计算公式，以分辨率10×10作为窗口，步长为10，进行降采样，以得到大小为18×18的向量矩阵，也即是图片的深层次特征；根据第二卷积计算公式，以分辨率2×2作为窗口，步长为2的进行卷积操作，以得到大小为9×9的向量矩阵。通过第一全连接计算公式，对所得到的9×9的向量矩阵进行计算，第一全连接公式中共包含五个节点，每一个节点均与9×9的向量矩阵相关联，也即是分别通过五个计算公式计算得到与9×9的向量矩阵相关联的五个节点的值，第一个计算公式可表示为c1＝w1×x1+b1，其中，c1为第一个节点的计算值，x1为该图片向量矩阵的值，w1和b1为第一节点与该向量矩阵向关联的第一计算公式中所预设的参数值，通过五个计算公式即可计算与该向量矩阵向关联的五个节点的值；通过第二全连接计算公式对五个节点的值进行计算以得到最终该图片的特征变量，计算公式为f1＝a1×c1+a2×c2+a3×c3+a4×c4+a5×c5；其中c1、c2、c3、c4、c5为与该图片的向量矩阵相关联的五个节点的值，a1、a2、a3、a4、a5为五个节点至最后输出节点的预设参数值，最后得到该图片的特征变量为一个1×128维的向量矩阵，可以采用f1＝(f1，f2……f128)来表示。

根据上述特征提取公式可对所有图片及待检索图片进行特征提取以得到所有图片的特征变量:f1、f2、f3……fn，及待检索图片的特征变量fp。

s123、根据预设的第一特征匹配公式计算待检索图片的特征变量与所述候选图片集中每一图片的特征变量之间的第一相似度。

根据预设的第一特征匹配公式计算待检索图片的特征变量与所述候选图片集中每一图片的特征变量之间的第一相似度。为实现对待检索图片与所述候选图片集中图片之间的相似性进行对比，可通过第一特征匹配公式对用户所输入的待检索图片与候选图片集中图片之间的第一相似度进行计算。具体的，第一特征匹配公式为第一相似度s＝1/(((f1-p1)²+(f2-p2)²+……+(fn-pn)²)-1+1)，其中，f1、f2……fn为候选图片集中某一张图片的特征变量值，p1、p2……pn为待检索图片的特征变量值。

s130、获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度。

获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度。具体的，在对候选图片集中图片与待检索图片是否为相似图片进行判断时，需进一步获取图片之间的局部特征并进行判断，图片局部特征相似度即可通过待检索图片和所述候选图片集中图片之间的第二相似度进行体现。

图片的sift特征为基于sift(scale-invariantfeaturetransform，尺度不变特征变换)算法提取的图片局部特征。获取图片sift特征的初始化操作为：构建尺度空间，尺度空间理论目的是模拟图片数据的多尺度特征。通常来讲，要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体也总是通过不同尺度的观察而得到不同的变化。例如，对同一物体拍照，我们拍摄了一副近景和一副远景，虽然两幅图片中都有这个物体，但这个物体确是处于两个不同的尺度。sift特征具有尺度不变性，也就是说即使同一物体处于两个不同的尺度的图片中，我们仍可以通过提取图片的sift特征匹配成功。图片的尺度有多种表示方法(金字塔、八叉树等)，在sift中采用了尺度空间理论。其主要思想是通过对原始图片进行尺度变换，获得图片多尺度下的尺度空间表示序列，并检测这个序列中的关键点，这样图片便被映射为多个尺度上的关键点信息。

在一实施例中，如图4所示，步骤s130包括子步骤s131、s132、s133和s134。

s131、根据预设的特征点获取规则获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的sift特征点。

根据预设的特征点获取规则获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的sift特征点。基于log(laplacianofgaussian，高斯拉普拉斯)近似dog(differenceofgaussian，高斯差分)找到每一图片所包含的sift特征点。为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，判断其是否比它的图片域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图片空间都检测到极值点。一个点如果在dog尺度空间本层以及上下两层的26个领域中是最大或最小值时，便认为该点是图片在该尺度下的一个sift特征点。再者，去除一些不稳定的sift特征点，比如边界和低亮度区域的特征点，除去它们以使得算法有效和鲁棒，比如使用近似harriscorner检测器来完成sift特征点的去除，最终即可得到每一图片所包含的sift特征点。

s132、根据预设的描述子获取规则获取每一所述sift特征点在相应图片中所对应的描述子。

根据预设的描述子获取规则获取每一所述sift特征点在相应图片中所对应的描述子。描述子(descriptor)实质上是每个sift特征点的唯一用于对其进行标识的指纹。为了得到这样的描述子，可以将sift特征点周围的16×16窗口分解为16个4×4的子窗口。在每个4×4的子窗口中，计算出梯度的大小和方向，并用一个8bin的直方图来统计子窗口的平均方向。其中，梯度方向在0-44度范围的像素点被放到第一个bin中，45-89度范围的像素点被放到下一个bin中，依此类推。同样加入到bin中的量依赖于该像素点梯度的大小。与之前不同的是，加入的量不仅与像素点的梯度大小相关，而且还依赖离sift特征点的距离，这样远离sift特征点的像素点会加入较少的量到直方图中。这通过一个高斯加权函数来实现，这个高斯加权函数函数生成一个加权值，用它乘以16×16窗口中每个像素点的梯度大小，得到加权后的梯度大小，距离sift特征点越远，要加入直方图的像素点的梯度大小越小。这样每个4×4的子窗口都对应一个8bin的直方图，且直方图中加入的量是像素用高斯加权后的梯度大小，而sift特征点周围16×16窗口中包含16个4×4的子窗口，共有16×8＝128个数，然后将这128个数组成的向量进行单位化，单位化后的128维向量就是sift特征点的描述子。每一特征点对应描述子的维数可以相同或不同，此处仅以128维为例进行举例说明。

s133、将每一所述图片中所包含的描述子映射为一个相同长度的sift特征向量以获取所述待检索图片与所述候选图片集中所有图片的sift特征。

将每一所述图片中所包含的描述子映射为一个相同长度的sift特征向量以获取所述待检索图片与所述候选图片集中所有图片的sift特征。在获取图片的sift特征点及每一sift特征点对应的描述子之后，分别将第一sift特征点对应的第一描述子与除第一sift特征点之外其他sift特征点的描述子映射为与第一描述子长度相同的sift特征向量，即为最终得到该图片的sift特征。由于在每张图片中提取到的sift特征点的数量比较多，直接用来做特征点匹配速度会比较慢，且每张图片中的特征点数量不同，匹配结果的好坏不好量化，因此需将每张图片的sift特征点的描述子映射为一个相同长度的sift特征向量，也即是该图片的sift特征。通过以上步骤即可获取得到待检索图片的sift特征及候选图片集中图片的sift特征。

s134、根据预设的第二特征匹配公式计算待检索图片的sift特征与所述候选图片集中每一图片的sift特征之间的第二相似度。

根据预设的第二特征匹配公式计算待检索图片的sift特征与所述候选图片集中每一图片的sift特征之间的第二相似度，其中，第二相似度为基于sift算法的图片局部相似度。具体的，第二特征匹配公式为第二相似度e＝1/(((k1-r1)²+(k2-r2)²+……+(kn-rn)²)-1+1)，其中，k1、k2……kn为某一张候选图片集中图片的sift特征值，r1、r2……rn为待检索图片的sift特征值。

s140、根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片。

根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片。具体的，目标图片确定规则即是通过第一相似度及所述第二相似度以确定目标图片的规则信息，最终所确定的目标图片有且仅有一张。

在一实施例中，如图5所示，步骤s140包括子步骤s141和s142。

s141、根据所述目标图片确定规则中的计算公式对所述第一相似度和所述第二相似度进行计算以得到所述待检索图片与所述候选图片集中每一图片之间的匹配概率。

根据所述目标图片确定规则中的计算公式对所述第一相似度和所述第二相似度进行计算以得到所述待检索图片与所述候选图片集中每一图片之间的匹配概率。目标图片确定规则中包括计算公式，具体的，计算公式为匹配概率c＝a×s+b×e。a和b为计算公式中的参数值，s为待检索图片与候选图片集中某一张图片之间第一相似度，e为待检索图片与候选图片集中该图片之间第二相似度。

s142、将所述候选图片集中与所述待检索图片匹配概率最高的图片作为与所述待检索图片对应的目标图片。

将所述候选图片集中与所述待检索图片匹配概率最高的图片作为与所述待检索图片对应的目标图片。具体的，根据所获取得到的候选图片集中每一图片与待检索图片之间的匹配概率，即可将匹配概率最高的图片作为与所述待检索图片对应的目标图片。

s150、对所述目标图片是否包含描述信息进行判断以得到判断结果。

对所述目标图片是否包含描述信息进行判断即可得到目标图片的判断结果。具体的，描述信息即是对图片集中图片所添加的文字描述信息，描述信息用于对图片中所包含的物体进行详细描述，以方便用户获取与其所上传待检索图片相关的信息。若目标图片包含描述信息，可直接将相应的描述信息进行输出；若目标图片不包含描述信息，则判断结果为目标图片不包含描述信息。

在一实施例中，如图6所示，步骤s150之后还包括步骤s150a。

s150a、若所述判断结果为所述目标图片不包含描述信息，将添加描述信息的提示信息推送至管理员。

若所述判断结果为所述目标图片不包含描述信息，将添加描述信息的提示信息推送至管理员，管理员也即是管理服务器的使用者，管理员接收到相应的提示信息之后，可为该目标图片添加相应的描述信息。

s160、若所述判断结果为所述目标图片包含描述信息，将所述目标图片的描述信息推送至所述用户终端。

若所述判断结果为所述目标图片包含描述信息，将所述目标图片的描述信息推送至所述待检索图片对应的用户终端。通过获取与待检索图片相似的目标图片并将该目标图片所包含的描述信息推送至上传待检索图片的上传端，以方便用户获取与其所上传的待检索图片相关的信息，实现了通过图片对相应的信息进行检索，提高了对信息进行检索的效率。

根据用户终端所上传的特征标签获取图片信息库中与特征标签对应的候选图片集，并通过图片相似度匹配确定候选图片集中与待检索图片对应的目标图片，若目标图片包含描述信息则将描述信息推送至用户终端。通过上述基于图片匹配的信息检索方法，能够通过图片相似度匹配的方法实现对信息进行高效率检索，能够方便用户获取图片中所包含的未知信息，在实际应用过程中取得了良好的技术效果。

本发明实施例还提供一种基于图片匹配的信息检索装置，该基于图片匹配的信息检索装置用于执行前述基于图片匹配的信息检索方法的任一实施例。具体地，请参阅图7，图7是本发明实施例提供的基于图片匹配的信息检索装置的示意性框图。该基于图片匹配的信息检索装置可以配置于管理服务器10中。

如图6所示，基于图片匹配的信息检索装置100包括候选图片集获取单元110、第一相似度获取单元120、第二相似度获取单元130、目标图片确定单元140、描述信息判断单元150和描述信息推送单元160。

候选图片集获取单元110，用于若接收到用户终端所上传的待检索图片及特征标签，获取预设的图片信息库中与所述特征标签相匹配的图片集作为候选图片集。

若接收到用户终端所上传的待检索图片及特征标签，获取预设的图片信息库中与所述特征标签相匹配的图片集作为候选图片集。具体的，所述待检索图片为一张用户所上传的图片，特征标签即是用户对该待检索图片所添加的标签信息，特征标签的数量可以为一个或多个。图片信息库中包含多个图片集，图片集即是对图片进行分类之后所得到的相应类别图片的集合，每一个图片集均对应一个特征标签，每一个图片集中包含多张图片，若用户所上传的特征标签为一个，则将对应匹配得到的一个图片集作为候选图片集，若用户所上传的特征标签为多个，则将对应匹配得到的多个图片集作为候选图片集。

第一相似度获取单元120，用于获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度。

获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度。具体的，在对候选图片集中图片与待检索图片是否为相似图片进行判断时，需进一步结合图片整体特征进行判断，图片整体特征即可通过待检索图片与候选图片集中图片之间的第一相似度进行体现。

其他发明实施例中，如图8所示，所述第一相似度获取单元120包括子单元：图片缩放调整单元121、特征变量获取单元122和第一相似度计算单元123。

图片缩放调整单元121，用于根据预设的缩放规则对所述待检索图片的尺寸进行缩放调整。

根据预设的缩放规则对所述待检索图片的尺寸进行缩放调整。用户所上传的待检索图片尺寸可能较大或较小，为便于对待检索图片的特征变量进行提取，需对待检索图片的尺寸进行缩放调整，缩放规则即是用于对图片的尺寸进行缩放调整的规则信息。例如，可根据缩放规则将待检索图片的尺寸调整为200×200像素。

特征变量获取单元122，用于根据预设的特征提取公式获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的特征变量。

根据预设的特征提取公式获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的特征变量。图片的特征变量为基于卷积神经网络提取得到的图片整体特征变量值。

具体的，根据预设的特征提取公式对候选图片集中所有图片及待检索图片的特征变量进行提取。预设的特征提取公式基于卷积神经网络进行构建，预设的特征提取公式为包括第一卷积计算公式、池化计算公式、第二卷积计算公式、第一全连接计算公式、第二全连接计算公式，通过特征提取公式即可提取得到所述候选图片集中所有图片及待检索图片的特征变量。图片的特征变量即是通过对图片进行特征提取之后所得到的用于反映图片特性的多维向量，计算机程序无法对不同的图片进行识别，但将多个图片转换为特征变量后计算机程序通过对多个图片的特征变量进行分析即可对不同的图片进行识别。

具体的，候选图片集中所有图片的尺寸均为200×200像素，已调整尺寸的待检索图片为200×200像素，根据第一卷积计算公式，以分辨率10×10作为窗口，步长为1，进行卷积操作，以得到大小为190×190的向量矩阵，也即是图片的浅层特征；根据池化计算公式，以分辨率10×10作为窗口，步长为10，进行降采样，以得到大小为18×18的向量矩阵，也即是图片的深层次特征；根据第二卷积计算公式，以分辨率2×2作为窗口，步长为2的进行卷积操作，以得到大小为9×9的向量矩阵。通过第一全连接计算公式，对所得到的9×9的向量矩阵进行计算，第一全连接公式中共包含五个节点，每一个节点均与9×9的向量矩阵相关联，也即是分别通过五个计算公式计算得到与9×9的向量矩阵相关联的五个节点的值，第一个计算公式可表示为c1＝w1×x1+b1，其中，c1为第一个节点的计算值，x1为该图片向量矩阵的值，w1和b1为第一节点与该向量矩阵向关联的第一计算公式中所预设的参数值，通过五个计算公式即可计算与该向量矩阵向关联的五个节点的值；通过第二全连接计算公式对五个节点的值进行计算以得到最终该图片的特征变量，计算公式为f1＝a1×c1+a2×c2+a3×c3+a4×c4+a5×c5；其中c1、c2、c3、c4、c5为与该图片的向量矩阵相关联的五个节点的值，a1、a2、a3、a4、a5为五个节点至最后输出节点的预设参数值，最后得到该图片的特征变量为一个1×128维的向量矩阵，可以采用f1＝(f1，f2……f128)来表示。

根据上述特征提取公式可对所有图片及待检索图片进行特征提取以得到所有图片的特征变量:f1、f2、f3……fn，及待检索图片的特征变量fp。

第一相似度计算单元123，用于根据预设的第一特征匹配公式计算待检索图片的特征变量与所述候选图片集中每一图片的特征变量之间的第一相似度。

根据预设的第一特征匹配公式计算待检索图片的特征变量与所述候选图片集中每一图片的特征变量之间的第一相似度。为实现对待检索图片与所述候选图片集中图片之间的相似性进行对比，可通过第一特征匹配公式对用户所输入的待检索图片与候选图片集中图片之间的第一相似度进行计算。具体的，第一特征匹配公式为第一相似度s＝1/(((f1-p1)²+(f2-p2)²+……+(fn-pn)²)-1+1)，其中，f1、f2……fn为候选图片集中某一张图片的特征变量值，p1、p2……pn为待检索图片的特征变量值。

第二相似度获取单元130，用于获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度。

获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度。具体的，在对候选图片集中图片与待检索图片是否为相似图片进行判断时，需进一步获取图片之间的局部特征并进行判断，图片局部特征相似度即可通过待检索图片和所述候选图片集中图片之间的第二相似度进行体现。

图片的sift特征为基于sift(scale-invariantfeaturetransform，尺度不变特征变换)算法提取的图片局部特征。获取图片sift特征的初始化操作为：构建尺度空间，尺度空间理论目的是模拟图片数据的多尺度特征。通常来讲，要精确表示的物体都是通过一定的尺度来反映的。现实世界的物体也总是通过不同尺度的观察而得到不同的变化。例如，对同一物体拍照，我们拍摄了一副近景和一副远景，虽然两幅图片中都有这个物体，但这个物体确是处于两个不同的尺度。sift特征具有尺度不变性，也就是说即使同一物体处于两个不同的尺度的图片中，我们仍可以通过提取图片的sift特征匹配成功。图片的尺度有多种表示方法(金字塔、八叉树等)，在sift中采用了尺度空间理论。其主要思想是通过对原始图片进行尺度变换，获得图片多尺度下的尺度空间表示序列，并检测这个序列中的关键点，这样图片便被映射为多个尺度上的关键点信息。

其他发明实施例中，如图9所示，所述第二相似度获取单元130包括子单元：图片特征点获取单元131、图片描述子获取单元132、sift特征获取单元133和第二相似度计算单元134。

图片特征点获取单元131，用于根据预设的特征点获取规则获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的sift特征点。

根据预设的特征点获取规则获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的sift特征点。基于log(laplacianofgaussian，高斯拉普拉斯)近似dog(differenceofgaussian，高斯差分)找到每一图片所包含的sift特征点。为了寻找尺度空间的极值点，每一个采样点要和它所有的相邻点比较，判断其是否比它的图片域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图片空间都检测到极值点。一个点如果在dog尺度空间本层以及上下两层的26个领域中是最大或最小值时，便认为该点是图片在该尺度下的一个sift特征点。再者，去除一些不稳定的sift特征点，比如边界和低亮度区域的特征点，除去它们以使得算法有效和鲁棒，比如使用近似harriscorner检测器来完成sift特征点的去除，最终即可得到每一图片所包含的sift特征点。

图片描述子获取单元132，用于根据预设的描述子获取规则获取每一所述sift特征点在相应图片中所对应的描述子。

根据预设的描述子获取规则获取每一所述sift特征点在相应图片中所对应的描述子。描述子(descriptor)实质上是每个sift特征点的唯一用于对其进行标识的指纹。为了得到这样的描述子，可以将sift特征点周围的16×16窗口分解为16个4×4的子窗口。在每个4×4的子窗口中，计算出梯度的大小和方向，并用一个8bin的直方图来统计子窗口的平均方向。其中，梯度方向在0-44度范围的像素点被放到第一个bin中，45-89度范围的像素点被放到下一个bin中，依此类推。同样加入到bin中的量依赖于该像素点梯度的大小。与之前不同的是，加入的量不仅与像素点的梯度大小相关，而且还依赖离sift特征点的距离，这样远离sift特征点的像素点会加入较少的量到直方图中。这通过一个高斯加权函数来实现，这个高斯加权函数函数生成一个加权值，用它乘以16×16窗口中每个像素点的梯度大小，得到加权后的梯度大小，距离sift特征点越远，要加入直方图的像素点的梯度大小越小。这样每个4×4的子窗口都对应一个8bin的直方图，且直方图中加入的量是像素用高斯加权后的梯度大小，而sift特征点周围16×16窗口中包含16个4×4的子窗口，共有16×8＝128个数，然后将这128个数组成的向量进行单位化，单位化后的128维向量就是sift特征点的描述子。每一特征点对应描述子的维数可以相同或不同，此处仅以128维为例进行举例说明。

sift特征获取单元133，用于将每一所述图片中所包含的描述子映射为一个相同长度的sift特征向量以获取所述待检索图片与所述候选图片集中所有图片的sift特征。

将每一所述图片中所包含的描述子映射为一个相同长度的sift特征向量以获取所述待检索图片与所述候选图片集中所有图片的sift特征。在获取图片的sift特征点及每一sift特征点对应的描述子之后，分别将第一sift特征点对应的第一描述子与除第一sift特征点之外其他sift特征点的描述子映射为与第一描述子长度相同的sift特征向量，即为最终得到该图片的sift特征。由于在每张图片中提取到的sift特征点的数量比较多，直接用来做特征点匹配速度会比较慢，且每张图片中的特征点数量不同，匹配结果的好坏不好量化，因此需将每张图片的sift特征点的描述子映射为一个相同长度的sift特征向量，也即是该图片的sift特征。通过以上步骤即可获取得到待检索图片的sift特征及候选图片集中图片的sift特征。

第二相似度计算单元134，用于根据预设的第二特征匹配公式计算待检索图片的sift特征与所述候选图片集中每一图片的sift特征之间的第二相似度。

根据预设的第二特征匹配公式计算待检索图片的sift特征与所述候选图片集中每一图片的sift特征之间的第二相似度，其中，第二相似度为基于sift算法的图片局部相似度。具体的，第二特征匹配公式为第二相似度e＝1/(((k1-r1)²+(k2-r2)²+……+(kn-rn)²)-1+1)，其中，k1、k2……kn为某一张候选图片集中图片的sift特征值，r1、r2……rn为待检索图片的sift特征值。

目标图片确定单元140，用于根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片。

根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片。具体的，目标图片确定规则即是通过第一相似度及所述第二相似度以确定目标图片的规则信息，最终所确定的目标图片有且仅有一张。

其他发明实施例中，如图10所示，所述目标图片确定单元140包括子单元：匹配概率计算单元141和图片确定单元142。

匹配概率计算单元141，用于根据所述目标图片确定规则中的计算公式对所述第一相似度和所述第二相似度进行计算以得到所述待检索图片与所述候选图片集中每一图片之间的匹配概率。

根据所述目标图片确定规则中的计算公式对所述第一相似度和所述第二相似度进行计算以得到所述待检索图片与所述候选图片集中每一图片之间的匹配概率。目标图片确定规则中包括计算公式，具体的，计算公式为匹配概率c＝a×s+b×e。a和b为计算公式中的参数值，s为待检索图片与候选图片集中某一张图片之间第一相似度，e为待检索图片与候选图片集中该图片之间第二相似度。

图片确定单元142，用于将所述候选图片集中与所述待检索图片匹配概率最高的图片作为与所述待检索图片对应的目标图片。

将所述候选图片集中与所述待检索图片匹配概率最高的图片作为与所述待检索图片对应的目标图片。具体的，根据所获取得到的候选图片集中每一图片与待检索图片之间的匹配概率，即可将匹配概率最高的图片作为与所述待检索图片对应的目标图片。

描述信息判断单元150，用于对所述目标图片是否包含描述信息进行判断以得到判断结果。

对所述目标图片是否包含描述信息进行判断即可得到目标图片的判断结果。具体的，描述信息即是对图片集中图片所添加的文字描述信息，描述信息用于对图片中所包含的物体进行详细描述，以方便用户获取与其所上传待检索图片相关的信息。若目标图片包含描述信息，可直接将相应的描述信息进行输出；若目标图片不包含描述信息，则判断结果为目标图片不包含描述信息。

其他发明实施例中，如图11所示，所述基于图片匹配的信息检索装置100还包括子单元：提示信息推送单元150a。

提示信息推送单元150a，用于若所述判断结果为所述目标图片不包含描述信息，将添加描述信息的提示信息推送至管理员。

若所述判断结果为所述目标图片不包含描述信息，将添加描述信息的提示信息推送至管理员，管理员也即是管理服务器的使用者，管理员接收到相应的提示信息之后，可为该目标图片添加相应的描述信息。

描述信息推送单元160，用于若所述判断结果为所述目标图片包含描述信息，将所述目标图片的描述信息推送至所述用户终端。

若所述判断结果为所述目标图片包含描述信息，将所述目标图片的描述信息推送至所述待检索图片对应的用户终端。通过获取与待检索图片相似的目标图片并将该目标图片所包含的描述信息推送至上传待检索图片的上传端，以方便用户获取与其所上传的待检索图片相关的信息，实现了通过图片对相应的信息进行检索，提高了对信息进行检索的效率。

根据用户终端所上传的特征标签获取图片信息库中与特征标签对应的候选图片集，并通过图片相似度匹配确定候选图片集中与待检索图片对应的目标图片，若目标图片包含描述信息则将描述信息推送至用户终端。通过上述基于图片匹配的信息检索方法，能够通过图片相似度匹配的方法实现对信息进行高效率检索，能够方便用户获取图片中所包含的未知信息，在实际应用过程中取得了良好的技术效果。

上述基于图片匹配的信息检索装置可以实现为计算机程序的形式，该计算机程序可以在如图12所示的计算机设备上运行。

请参阅图12，图12是本发明实施例提供的计算机设备的示意性框图。

参阅图12，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行基于图片匹配的信息检索方法。

该处理器502用于提供计算和控制能力，支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行基于图片匹配的信息检索方法。

该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图12中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：若接收到用户终端所上传的待检索图片及特征标签，获取预设的图片信息库中与所述特征标签相匹配的图片集作为候选图片集；获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度；获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度；根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片；对所述目标图片是否包含描述信息进行判断以得到判断结果；若所述判断结果为所述目标图片包含描述信息，将所述目标图片的描述信息推送至所述用户终端。

在一实施例中，处理器502在执行获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度的步骤时，执行如下操作：根据预设的缩放规则对所述待检索图片的尺寸进行缩放调整；根据预设的特征提取公式获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的特征变量；根据预设的第一特征匹配公式计算待检索图片的特征变量与所述候选图片集中每一图片的特征变量之间的第一相似度。

在一实施例中，处理器502在执行获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度的步骤时，执行如下操作：根据预设的特征点获取规则获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的sift特征点；根据预设的描述子获取规则获取每一所述sift特征点在相应图片中所对应的描述子；将每一所述图片中所包含的描述子映射为一个相同长度的sift特征向量以获取所述待检索图片与所述候选图片集中所有图片的sift特征；根据预设的第二特征匹配公式计算待检索图片的sift特征与所述候选图片集中每一图片的sift特征之间的第二相似度。

在一实施例中，处理器502在执行根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片的步骤时，执行如下操作：根据所述目标图片确定规则中的计算公式对所述第一相似度和所述第二相似度进行计算以得到所述待检索图片与所述候选图片集中每一图片之间的匹配概率；将所述候选图片集中与所述待检索图片匹配概率最高的图片作为与所述待检索图片对应的目标图片。

在一实施例中，处理器502在执行对所述目标图片是否包含描述信息进行判断以得到判断结果的步骤之后，还执行如下操作：若所述判断结果为所述目标图片不包含描述信息，将添加描述信息的提示信息推送至管理员。

本领域技术人员可以理解，图12中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图12所示实施例一致，在此不再赘述。

应当理解，在本发明实施例中，处理器502可以是中央处理单元(centralprocessingunit，cpu)，该处理器502还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现以下步骤：若接收到用户终端所上传的待检索图片及特征标签，获取预设的图片信息库中与所述特征标签相匹配的图片集作为候选图片集；获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度；获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度；根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片；对所述目标图片是否包含描述信息进行判断以得到判断结果；若所述判断结果为所述目标图片包含描述信息，将所述目标图片的描述信息推送至所述用户终端。

在一实施例中，所述获取所述待检索图片及所述候选图片集中所有图片的特征变量，并根据所获取的特征变量计算该待检索图片与所述候选图片集中每一图片之间的第一相似度的步骤，包括：根据预设的缩放规则对所述待检索图片的尺寸进行缩放调整；根据预设的特征提取公式获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的特征变量；根据预设的第一特征匹配公式计算待检索图片的特征变量与所述候选图片集中每一图片的特征变量之间的第一相似度。

在一实施例中，所述获取所述待检索图片及所述候选图片集中所有图片的sift特征，并根据所获取的sift特征计算该待检索图片与所述候选图片集中每一图片之间的第二相似度的步骤，包括：根据预设的特征点获取规则获取已调整尺寸的所述待检索图片及所述候选图片集中所有图片的sift特征点；根据预设的描述子获取规则获取每一所述sift特征点在相应图片中所对应的描述子；将每一所述图片中所包含的描述子映射为一个相同长度的sift特征向量以获取所述待检索图片与所述候选图片集中所有图片的sift特征；根据预设的第二特征匹配公式计算待检索图片的sift特征与所述候选图片集中每一图片的sift特征之间的第二相似度。

在一实施例中，所述根据预设的目标图片确定规则、所述第一相似度及所述第二相似度，从候选图片集中确定与所述待检索图片对应的目标图片的步骤，包括：对每一所述基于图片匹配的信息检索任务进行实时监控；根据所述目标图片确定规则中的计算公式对所述第一相似度和所述第二相似度进行计算以得到所述待检索图片与所述候选图片集中每一图片之间的匹配概率；将所述候选图片集中与所述待检索图片匹配概率最高的图片作为与所述待检索图片对应的目标图片。

在一实施例中，所述对所述目标图片是否包含描述信息进行判断以得到判断结果的步骤之后，还包括：若所述判断结果为所述目标图片不包含描述信息，将添加描述信息的提示信息推送至管理员。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的计算机可读存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。