专利名称：一种广义图像目标检测方法
技术领域：
本发明涉及一种图像目标检测方法，尤其涉及一种多核多实例相似度特征与前向特征选择的广义图像目标检测方法，属于图像分析处理技术领域。
背景技术：
在图像分析领域中，目标检测是ー项重要的工作。通常的方法是利用模式识别技术，通过滑动窗ロ对图像进行遍历实现。在遍历窗ロ的过程中，分类器对每个当前窗ロ进行决策，判断它是目标或是背景。近些年的研究对于某些类型目标的检测(例如，人脸，行人，车辆等)取得了一定的成果。然而，广义目标类型的检测仍然是个有待解决的问题。解决该问题的难点在于，语言上关于ー个类的概念，跟图像中实际观察到的该类
的特征之间存在着差距，很难精确给出ー个概念对应的特征的分布。这ー现象通常称为语义鸿沟。直观来看即是，基于语义的目标类能表现出风格迥异的外观。例如，车辆类包含了多种亚类巴士、轿车、卡车等。对于复合结构或者复杂结构的目标，其视觉外观会受到其各个部件设置的影响。例如，每个部件具有不同的位置，每个部件还可以包含自己的亚类。这些变化条件使目标类的潜在外观设置数目以指数级增长。还有ー些外在因素，如视角、光照进ー步加剧了目标的外观变化范围。为解决这ー问题，许多研究工作致力于设计出具有高区分度的特征，为目标检测提供更有效的信息。然而，由于目标类在其特征空间中往往具有多模型分布的特点，即分类边界具有不规则性，如何为这种分布找到合理的分类边界，是模式识别工作面临的ー个难题。目前，解决多模型分布问题的最直观、最广泛使用的技术是利用分治思想，将目标实例通过人工或者机器自动分成亚类。由于每个亚类中目标具有相似的外观特征分布，因此从每一类中可以学习到ー个模型。如果ー个测试实例属于该目标的某个亚类，那么该测试实例被分类器判定属于该目标类，也有方法将该实例与在每个亚类中的计分(score)作为特征应用到更高ー层的分类器中。但是，在目标亚类决策问题上，一些目标亚类是模棱两可和难以定义的。例如，一个亚类可以为目标的任何部件进行定义，但是因为对多个部件的多种亚类情况进行组合吋，目标数目出现爆炸，因此不能为整个目标进行定义。可变形部件模型和语法模型方法，构建了 “部件-整体”模型和“整体亚类-部件亚类”模型。它包含了 ー套丰富的语法，用来描述目标的种类，并可以很好的与目标部件的几何构造配合使用。然而，语法模型的參数过多，训练比较困难，而且复杂的语法模型对于解决目标检测这样的问题也不必要。目前，目标的部件检测仍然是语法模型中最薄弱的环节。基于样例的方法取代显式的亚分类，通过隐式的亚分类方法，使用目标与样例集相似度作为分类特征，捕获多模型分布。与从传感器信号直接提取的低层特征相比，相似度特征是ー种中层特征，具有一定的语义信息。使用相似度特征训练分类器的方法，与使用亚分类计分作为特征训练高级模型是相似的。相似度特征空间能够有效解决在特征空间多模型分布的分类问题。另外，在目标检测中，不管在训练集还是测试集中，目标常常不能得到很好的配准。造成这种现象的原因包括对训练集标注不准确性，以及目标存在形变(如人体的关节变化)。因此，目标部件与一个样例中的匹配最好的长方形区域，与另ー个样例中匹配最好的长方形，很可能位于不同的位置。例如，ー套行人的采样集中，人体头部可以位于目标包围盒中的不同位置。多实例学习方法(MIL)可以解决训练集中的配准不准确性和目标的局部几何变换问题。在训练过程中，对给定训练样本的不精确的包围盒抖动得到ー个训练实例包。MIL方法从一系列已标记的实例包中学习。标记是仅对实例包的标记，如果ー个包中至少含有一个目标实例，那么将该包标记成为“正”;如果ー个包中没有ー个实例是目标实例，则将该包标记为“负”。本工作将多实例方法应用在特征提取的级别。在训练和测试时，通过计算样例与锚点处部件实例包的相似度，并提取出相似度最大的那个值作为该部件的特征。此方
法不仅简单，而且比其它复杂方法(例如，可变形部件模型和Hough变换方法)的实验效果更理想。然而，不管是样例特征还是多实例相似度特征，都面临了ー些学习时的难点，如特征向量的长度是样例数目与核数目的乘积，会很容易产生上10万级的特征长度，给分类器的训练造成了很大的计算消耗和分类困难。
发明内容
本发明的目的是为了在广义图像目标检测实现过程中，能够接受图像中待测目标更大范围内的形变，并解决目标配准问题，提出一种新的广义图像目标检测方法。本发明方法的基本原理是，首先，结合图像特征提取与学习过程中的样例方法和多实例方法的优势，在此基础上扩展成为多核多实例相似度特征(MKMIS)，能够为同一类中具有不同外观的目标进行很好的描述，井能接受一定范围内的配准误差；其次，针对MKMIS特征的弱势，即图像特征维度过高、计算量大的情况，在分类器学习过程中，使用推广的前向特征选择方法，使其能够满足任意条件的损失和约束函数，使分类器可以选择到少量并且有效的图像特征，如此一来，当进行在线目标检测时，只计算和使用这些特征即可，从而加快目标检测的速度。为实现上述目的，本发明所采用的技术方案如下，包括以下步骤步骤一、读取训练集图像和样例集图像，提取出它们的低层图像特征。具体如下所述训练图像和样例图像，具有统ー的图像尺寸，目标在图像中所占的比例应保持尺度相当。特征提取是基于统一大小的固定网格进行的，图像被网格划分为M个矩形块，每个矩形块对应于ー个图像特征通道，M为正整数。首先，定义每个矩形块的位置为ー个锚点，锚点邻域内的若干矩形块为该锚点的支撑集。锚点的支撑集对应于多实例学习方法(MIL)中的实例包。然后，根据已设置的M个锚点处的矩形块，对训练集图像提取低层多实例图像特
征。每ー个图像采样Sampi的低层特征向量是A =·{ ，.L，其中i表示训练图像的序号，为正整数。x|,x,2,...,xf分别表示第i个图像上I至M个矩形块上的图像特征向量。其中=(Xjj)ieZm，m e {I, 2,... ,Μ}, Im表示锚点m处的支撑集，j表示支撑集Im中的实
例序号。之后，根据已设置的锚点位置，对样例集图像提取低层图像特征Xた=X^, ...,X^LeXe表示样例图像的特征向量，k表示样例图像的序号。步骤ニ、对经步骤ー提取出的训练集图像与样例集图像的低层特征进行相似度比较，获取训练集图像的MKMIS特征。具体如下令训练集特征ろ=8ズ，...，1"和样例特征3^=ト^，1^，...，1^^的相似度
特征表示为S(Xek，Xi )。首先，按矩形区域进行分块比较，如X,1和Xし、X,2和 < 进行比较，即
外υ.) = 0(χ し，x!)，s(xLx )，…メ (x2，xf)}然后，计算多核相似度*S(X；%X；i)。计算两个实例之间的相似度S(Xi，Xj)可以使用多种相似度函数，均适用于低层特征空间上的几何分布。例如，I-范数、2-范数、基于多种协方差矩阵的马氏距离，或者是不同带宽下的RBF核。训练图像与样例图像在锚点m处的多核相似度特征，是通过不同相似度函数计算得到的特征连接起来构成的多核相似度
_] SW,0呢xk)”..,SKyf(O其中,*^(ΧΓ,Χ=) ，…, ，ぬ)是P种不同的相似度函数，P取正整数。T是转
置符号。之后，计算多实例相似度办Xf，X；；D。训练图像锚点m的支撑集Im与样例集图像
对应锚点m处矩形块的相似度比较结果的集合为·(ぶ；X&·,ObeJw O由于存在配准误差，目标部件与样例集中的最好配准会出现在该锚点支撑集中。理想的情况是，正样例与正锚点支撑集中至少有ー个长方形块具有很高的相似度值，与负样例的锚点支撑集具有很低的相似度值。负样例与负锚点支撑集中至少ー个长方形块具有很高的相似度值，与正标记锚点支撑集具有很低的相似度。多实例学习可以通过取锚点支撑集中的最大值作为该锚点的相似度值S(^X1k) = max{S(x ,x^)}(2,以上的形式不是对称的。若相似度函数是半正定的，可以设计一个匹配核k:
I MKxl ,XekJ = -TAS(xZXk) + S(xkXJ)r)k这个核函数忽略较小的配准误差，只要误差在支持集的范围之内。最后，构成MKMIS特征。对于训练集的一幅图像，将它所有锚点处计算得到的相似度值灸连接起来，构成整个相似度特征向量S(Wk)=改 )，...,歲xf，ぐ)]Γ(4 )
其中，T是转置符号。由于噪声的存在，两个正实例整体可能并不相似，但是会在个别特征通道上表现出高度的相似。将标量的相似度值连接起来形成相似度向量，可以保留更多的信息。步骤三、使用经步骤ニ得到的MKMIS特征，训练基于前向特征选择的SVM分类器。实现本步骤所基于的原理如下利用MKMIS特征训练线性SVM分类器，首先通过求解ー个结构风险最小化的问题min λ R(f) +L(f)(5)其中，f是SVM的计分函数；R(f)是规范项，用来约束分类器的VC維；L(f)是在
训练集上的经验损失；λ是在规范项跟经验损失之间做平衡的ー个数值。使用统计学习理论，能够保证学到好的分类器，VC维与经验错误率一起决定了分类器的泛化错误率。使用线性模型f (S) = a Ts训练2-范数规范，1_范数损失的SVM
PNmm — αΓα +〉max(0,1 - y-μ1 s,)(6)
ムJ=I其中，N是样本个数，s表示分类器选择到的若干个MKMIS特征向量，α是选择到的MKMIS特征向量s的权重，T是转置符。当规范化项价/)=所α) = |α"α时，说明分类器具
有较大的边缘，铰链损失(即经验损失)为L(f、= [(a) = [二 max(0,1 — y.arsr)对于在线性不可分的训练集上训练分类器的问题，铰链损失提供了求解该问题的松弛条件。使用MKMIS特征的线性SVM的计分函数，与使用原始特征(即低层特征)的核SVM
具有相同的形式f(x) = Y^=iakk(x,xek)。通过对基函数S (Xi, Xek)求加权和，对目标函数(计分函数)f求近似
K/(X) = IakS (X，Xek)其中，X表示ー个测试样本，K是样例图像的数目。由MKMIS特征可以产生如下形式的线性计分函数其中，a k ni直接通过线性SVM学习到，m表示图像中的矩形区域。传统的多核学习方法(MKL)能够学习到了个应用于所有样例的全局的相似矩阵，而本发明方法为每个样例Xek学习了ー个相似度度量S (X，xek)
MS(x,xek) = J]akMS(xmXk)m
m=l由此可见，本发明方法比传统的MKL方法包含有更多的參数(MXK vs.M+K)，探索了更广阔的函数空间。使用前向特征选择，减小分类器训练时的计算消耗，学习到ー个高效的分类器，使少量的！>k.m}具有非O值。本发明方法使用前向特征选择方法，并为它做出了推广。前向特征选择对于结构风险最小化问题，使用线性计分函数f (X)=WTX，其中，X表示一个测试样本的特征向量，W是样本权重，T是转置符号。假设规范项和损失项都是凸函数并且可导，损失函数表示为各个
训练样本的可分离的函数，如Z(W) =W1X)。通过引入辅助变量^=W1Xi, Xi表示
第i个样本的特征向量，w是SVM的系数，も是SVM对这个样本的计分。由此，最优化问题变成为min zl/《w) + /'(",，./;) s.t. Ji = W \J = l,...,N(9)其中yi e {O, 1}是样本分类标记，W表示w的值域范围。将原始问题写成拉格朗日对偶问题，不加任何简化，如下
权利要求
1.一种广义图像目标检测方法，其特征在于包括以下步骤 步骤一、读取训练集图像和样例集图像，提取出它们的低层图像特征，具体如下 所述训练图像和样例图像，具有统一的图像尺寸，目标在图像中所占的比例应保持尺度相当；特征提取是基于统一大小的固定网格进行的，图像被网格划分为M个矩形块，每个矩形块对应于一个图像特征通道，M为正整数； 首先，定义每个矩形块的位置为一个锚点，锚点邻域内的若干矩形块为该锚点的支撑集，锚点的支撑集对应于多实例学习方法中的实例包；然后，根据已设置的M个锚点处的矩形块，对训练集图像提取低层多实例图像特征；每一个图像采样Sampi的低层特征向量是Xi = ( ...，xf L ,其中i表示训练图像的序号，为正整数；X7K^xf分别表示第i个图像上I至M个矩形块上的图像特征向量，其中= IxU}j€/m，m G {I, 2,. . . , M}, Im表示锚点m处的支撑集，j表示支撑集Im中的实例序号； 之后，根据已设置的锚点位置，对样例集图像提取低层图像特征XgjfcX^,.其中，Xe表示样例图像的特征向量，k表示样例图像的序号； 步骤二、对经步骤一提取出的训练集图像与样例集图像的低层特征进行相似度比较，获取训练集图像的MKMIS特征； 具体如下 令训练集特征XfL和样例特征 =的相似度特征表示为S(Xdt，Xi);首先按矩形区域进行分块比较，然后计算多核相似度S( kh 所述训练图像与样例图像在锚点m处的多核相似度特征，是通过不同相似度函数计算得到的特征连接起来构成的多核相似度Si^XJf(I) 其中，S1 (xf,X=),…, (xf,X=)是P种不同的相似度函数，P取正整数；1~是转置符号; 之后，计算多实例相似度§(xTXD ;训练图像锚点m的支撑集Im与样例集图像对应锚点m处矩形块的相似度比较结果的集合为XDjjElm ； 由于存在配准误差，目标部件与样例集中的最好配准将会出现在该锚点支撑集中；理想的情况是，正样例与正锚点支撑集中至少有一个长方形块具有很高的相似度值，与负样例的锚点支撑集具有很低的相似度值；负样例与负锚点支撑集中至少一个长方形块具有很高的相似度值，与正标记锚点支撑集具有很低的相似度；多实例学习通过取锚点支撑集中的最大值作为该锚点的相似度值S(^iXl) 二 m,x{S(x; ,4)}(2) 以上的形式不是对称的；若相似度函数是半正定的，则设计一个匹配核k:
全文摘要
本发明公开了一种广义图像目标检测方法，属于图像分析处理技术领域。本发明方法结合图像特征提取与学习过程中的样例方法和多实例方法的优势，在此基础上扩展成为多核多实例相似度特征(MKMIS)，能够为同一类中具有不同外观的目标进行很好的描述，并能接受一定范围内的配准误差；其次，针对MKMIS特征的弱势，即图像特征维度过高、计算量大的情况，在分类器学习过程中，使用推广的前向特征选择方法，使其能够满足任意条件的损失和约束函数，使分类器可以选择到少量并且有效的图像特征，当进行在线目标检测时，只计算和使用这些特征即可，从而加快目标检测的速度。
文档编号G06K9/46GK102855486SQ20121029733
公开日2013年1月2日 申请日期2012年8月20日 优先权日2012年8月20日
发明者赵三元, 李凤霞, 李仲军, 陈宇峰, 王清云, 孙晨升 申请人:北京理工大学