本发明涉及图像处理技术领域，尤其涉及一种基于图像分割技术的图像局部特征的提取方法。
背景技术
图像检索是利用图像搜索相似图像或同一目标图像的过程。精准检索就要求搜索到的图像都是同一目标的图像，而不是相似目标。图像检索的流程包括图像特征的提取，图像特征的入库，特征的对比，按相似度对输出结果进行排序。市面上图像检索的方法很多，其中主要的创新都聚焦在图像特征的提取方式，特征的对比方式以及最后的输出结果的排序方法。本发明的关键是利用图像分割技术，深度模型去对图像或目标进行像素级别的分割，精准定位目标位置(行人，车辆在图像的位置)或目标部分(人的躯干，四肢)的位置，针对这些位置来对应的提取特征，对部分特征的对比可以细致的分辨出是否为同一目标，相比于全局特征，这样的局部特征包含的细节信息更多，更有助于目标的区分。
大部分现有技术的特征提取方案是基于全局特征进行的，细致一点的局部特征也很少有针对像素级别的特征提取，基本都是使用图像梯度或者使用框选的图像块的方法去进行局部特征的提取。在相似图像的图像检索任务中，这样的特征基本可以满足任务的要求，但是细致到检索同一目标的检索任务时，这样的特征也不能很好的满足任务要求。
另外，在进行检索任务时，检索图像一般要求输入图像是只包含目标图像的图像，或者输入全图(包含各种场景和目标的图)后，在做检索前要进行一次检测，才能对目标进行图像检索。
技术实现要素：
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于图像分割技术的图像局部特征的提取方法，以解决现有技术的不足。
为实现上述目的，本发明提供了一种基于图像分割技术的图像局部特征的提取方法，包括以下步骤：
步骤1、构建图像分割模型，分割模型由多个不同功能的网络层组成，包括cnn模型结构、batchnorm层结构、deconv层结构；
步骤2、图像输入cnn网络，获得多层的特征图，在经过多个卷积层及池化降采样之后，得到了特征图以及对应每张特征图降采样时原本像素所在位置的信息；
步骤3、将特征图通过上采样模块向上采样，根据之前每层特征图上像素原本的位置信息，重新将像素分配到原本的位置，使产生的特征图和原始输入图像的特征保持一致；
步骤4、对新产生的特征图上每个像素位置计算softmax损失，对每一个像素点的位置进行分类，通过比较手工标注的图像标签与网络输出的结果，计算出针对每个像素位置的损失，通过回传损失，训练模型中的参数；
步骤5、不断迭代上述过程，直到回传的损失值小到接受范围内，完成图像分割模型的构建与训练的过程；
步骤6、完成图像分割模型的构建与训练的过程后，通过训练特征提取网络，根据上一个分割网络的输出图像，对原始图像提取不同部位的特征，完成图像局部特征的提取。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述步骤6的特征提取网络包括模型构建部分和特征训练部分。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述特征提取网络特征提取的分支部分采用残差设计，通过将图像分割网络模型的输出，输入特征提取网络的残差网络，经过一系列的残差层，最终使用三元组损失函数与softmax损失函数，共同监督这个特征提取网络的训练。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述特征提取网络输入的图像是根据分割网络的输出结果，从原图上提取相应位置的图像，取一块矩形区域，矩形区域的大小根据实际检索需求设定，对于在矩形区域内，需要的类别所属的像素位置上填充原图像相应位置像素，其余位置全部置0。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述特征提取网络在训练时,网络的输入图像为三元组图像,三元组中包含两张同一目标的图像,一张不同目标的图像；训练结束,在用户使用时,特征提取网络的输入一张图像。
上述的一种基于图像分割技术的图像局部特征的提取方法，所述特征提取网络输入图像可以是从整个场景中分割出的目标图像，也可以是目标图像的局部图像。
本发明的有益效果是：
本发明利用图像分割技术，图像特征部分采用图像分割网络和特征提取网络的融合网络方法，将图像分割网络引入了特征提取网络中，根据目标标注等级的不同，可以实现不同程度的精准检索，精准定位目标以及目标部位定位，从而提取关键部位特征进行细致的特征比对，能更加有效的将同一目标的特征与其他特征区分开来。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的框架流程图。
具体实施方式
如图1所示，一种基于图像分割技术的图像局部特征的提取方法，包括以下步骤：
步骤1、构建图像分割模型，分割模型由多个不同功能的网络层组成，包括cnn模型结构、batchnorm层结构、deconv层结构；
步骤2、图像输入cnn网络，获得多层的特征图，在经过多个卷积层及池化降采样之后，得到了特征图以及对应每张特征图降采样时原本像素所在位置的信息；
步骤3、将特征图通过上采样模块向上采样，根据之前每层特征图上像素原本的位置信息，重新将像素分配到原本的位置，使产生的特征图和原始输入图像的特征保持一致；
步骤4、对新产生的特征图上每个像素位置计算softmax损失，对每一个像素点的位置进行分类，通过比较手工标注的图像标签与网络输出的结果，计算出针对每个像素位置的损失，通过回传损失，训练模型中的参数；
步骤5、不断迭代上述过程，直到回传的损失值小到接受范围内，完成图像分割模型的构建与训练的过程；
步骤6、完成图像分割模型的构建与训练的过程后，通过训练特征提取网络，根据上一个分割网络的输出图像，对原始图像提取不同部位的特征，完成图像局部特征的提取。
本实施例中，所述步骤6的特征提取网络包括模型构建部分和特征训练部分。
本实施例中，所述特征提取网络特征提取的分支部分采用残差设计，通过将图像分割网络模型的输出，输入特征提取网络的残差网络，经过一系列的残差层，最终使用三元组损失函数与softmax损失函数，共同监督这个特征提取网络的训练。
本实施例中，所述特征提取网络输入的图像是根据分割网络的输出结果，从原图上提取相应位置的图像，取一块矩形区域，矩形区域的大小根据实际检索需求设定，对于在矩形区域内，需要的类别所属的像素位置上填充原图像相应位置像素，其余位置全部置0。
本实施例中，所述特征提取网络在训练时,网络的输入图像为三元组图像,三元组中包含两张同一目标的图像,一张不同目标的图像；训练结束,在用户使用时,特征提取网络的输入一张图像。
本实施例中，所述特征提取网络输入图像可以是从整个场景中分割出的目标图像，也可以是目标图像的局部图像。
一般的图像检索流程分为图像特征提取、图像入库、检索图像特征比对三个流程，本方法是主要针对图像特征提取做出创新。图像特征部分采用图像分割网络和特征提取网络的融合网络方法，将图像分割网络引入了特征提取网络中，根据目标标注等级的不同，可以实现不同程度的精准检索。当标注只针对目标和背景时，提取的图像特征将局限于目标区域，此时产生一个图像局部用于特征检索的目标特征。当标注是针对目标本身进行了更细粒度的标注(比如，对于人来说，他标注出了人头，人躯干，人的四肢以及携带物品等)，此时得到一个由目标局部特征组合而成的检索特征。两种情况下的检索性能都要优于单独使用单张图像进行检索的效果。
图像目标分割指的是从图像中像素级别的将目标从图像背景中分割出来，根据分割细粒度的不同，也可以将目标的部分从目标中分离出来从而达到将目标的局部特征提取出来的目的。本发明中使用的图像分割方法，是使用深度神经网络cnn的一种图像分割方法，分割网络将原始输入图像根据在训练集上训练的结果，生成输出一张与输入图像尺寸一致的图像，这张图像的像素对应于原始图像中每个像素点的类别信息。当训练数据中的类别只包含目标与背景两个类别时，输出图像的像素将只包含两种像素值，用以区别前景与背景。本发明根据区分出的前后背景，将目标部分的特征取出，放入特征提取分支，产生的特征就是用于图像检索使用的特征。
接下来叙述下图像分割的大致流程。首先，需要构建图像分割模型，分割模型由多个不同功能的网络层组成，除了常用的cnn模型结构外，还加入了batchnorm层，deconv层等不同结构。整体模型框架如图1所示。
图像先通过一个cnn网络，获得多层的特征图，在经过多个卷积层及池化(pooling，降采样)之后，得到了特征图，以及对应每张特征图降采样时原本像素所在位置的信息。
这之后，这些特征图通过向上采样，根据之前每层特征图上像素原本的位置信息，重新将像素分配到原本的位置，使产生的特征图，尽可能和原始输入图像的特征保持一致。
对新产生的特征图上每个像素位置计算softmaxloss，对每一个像素点的位置进行分类，通过比较手工标注的图像标签与网络输出的结果，计算出针对每个像素位置的损失(loss)，通过回传损失，达到训练模型中参数的作用。使模型的输出图像中，每个像素都对应一个类别，根据类别的不同，就可以针对需要的类别的位置来提取相应位置的图像。
不断迭代上述过程，直到回传的损失值小到接受范围内，这样就完成了图像分割模型的构建与训练的过程。
但由于本发明是针对图像检索任务，直接提取分割网络的卷积层或池化层的特征不足以达到检索任务的需求，所以这里引入一个特征提取网络。这个网络作为分割网络的一个分支，在分割网络训练完成之后，再单独训练这个分支部分。这个特征提取网络主要是根据上一个分割网络的输出图像，对原始图像提取不同部位的特征。这个特征提取网络也分为模型构建部分和特征训练部分。首先介绍下模型构建部分：
特征提取的分支部分采用残差设计，通过将上述网络产生的特征图以及图像分割网络的输出，输入特征提取的残差网络，经过一系列的残差层，最终使用三元组损失函数与softmax损失函数，共同监督这个特征提取网络的训练。输入特征提取网络的图像是根据分割网络的输出结果，从原图上提取相应位置的图像，取一块矩形区域，矩形区域的大小根据实际检索需求设定，对于在矩形区域内，需要的类别所属的像素位置上填充原图像相应位置像素，其余位置全部置0。三元组损失与softmax特征一个监督特征的分类，一个监督不同目标特征的离散程度，目的是使产生的特征分辨能力更强，对同一目标的特征更敏感。
训练部分，由于需要用到三元组loss，所以在输入图像的组织上需要进行一些处理，将同一目标的2张不同图像与另一不同目标的图像组合在一起，一同输入网络中。在本发明中，输入图像可以是从整个场景中分割出的目标图像，也可以是目标图像的局部图像。其余的训练过程和分割网络的训练流程相似。
在特征提取网络的输出部分，结合之前的图像分割网络的输出结果，就可以对应分割结果提取图像部分及目标部分的特征，进行目标局部细节比对。
在将特征图与分割结果输入特征提取网络后，可以根据实际项目需求，设置好提取特征的形式，可以根据分割结果对目标不同部位获取不同的局部特征，也可以整体提取目标部分特征。当提取整个目标特征时，允许输入图像中存在两个及以上的目标。当选择提取目标部分区域特征时，输入图像只允许存在一个目标。根据用户选择和比对方法的不同，这种局部特征的选择方式也更灵活。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。