一种商标检测新技术的制作方法
【专利摘要】本申请公开了一种用来在图像中检测标识的商标检测新技术，包括以下步骤：步骤1.从检测图像中提取多个关键点；步骤2.对于所述多个关键点，判断其视觉词汇序号是否与标识模型中的某个根节点的视觉词汇序号相同；步骤3.对于所述判断结果为“是”的每个关键点，寻找视觉词汇序号与所述一个或多个树结构各自的叶节点的视觉词汇序号分别相同、且满足树结构约束的一个或多个关键点集合；步骤4.计算在步骤3中找到的对应于所述一个或多个树结构中的每个树结构的关键点集合的数目，如果对应于所述一个或多个树结构中的某个树结构的所述关键点集合的数目大于预定阈值，则判定与所述某个树结构相对应的标识出现在所述检测图像中。
【专利说明】一种商标检测新技术
【技术领域】
[0001]本发明属于计算机视觉领域，尤其涉及基于树结构的大规模商标检测技术。
【背景技术】
[0002]现有技术一的技术方案
[0003]现有技术一的检测结构在文献[I]中首先提出，解决了大规模的商标检测问题。该方法中，对于每一幅输入图片，首先提取关键点，并用特征对关键点进行描述。通过在关键点之间连线，并根据关键点的方向来确定连线的相对旋转角度，将此作为连线的特征。通过合并具有共同顶点的连线形成三角形，并将三角形的内角作为三角形特征，该方法通过查找带匹配图片和模板图片之间这些三角形的匹配关系，来最终明确关键点之间的匹配。同时，该方法引入了多级反向索引的方法，可以同时检测多种商标，因此具有非常高的检测效率。
[0004]现有技术一的缺点
[0005]1.该方法定义了多个关键点之间的位置约束关系，该位置约束关系不是仿射不变的，该方法不是严格仿射不变的，不能很好地处理真实场景中的商标发生的变化；
[0006]2.该方法在检测过程中牵涉到大量的浮点数运算，匹配效率较低；
[0007]3.该方法在训练和匹配过程中都使用了随机算法，一定程度上影响了算法的稳定性.[0008]现有技术二的技术方案
[0009]现有技术二的检测结构首先在文献[2]中提出，解决的问题是对关键点之间的位置关系进行约束，并通过多个关键点之间的匹配提高检测的精度。在现有技术二中，对于每一幅输入图片，首先提取关键点和对应的特征，并建立多尺度Delaunay三角形(下称MSDT)。在后续匹配中，用MSDT三角形之间的匹配代替单纯的点与点匹配。
[0010]现有技术二的缺点
[0011]1.该方法不是严格仿射不变的，不能很好地处理真实场景中的商标发生的变化；
[0012]2.该方法需要建立MSDT三角形网络，建立过程效率较低；
[0013]3.该方法依赖于MSDT网络的建立，网络中关键点如果出现缺损，将影响最终MSDT网络的形成，鲁棒性不好；
[0014]4.该方法每次只能检测一种商标，当需要对多种商标进行检测时，效率较低。
[0015]参考文献:
[0016][I]Romberg, Stefan,et al."Scalable logo recognition in real-worldimages."Proceedings of the1st ACM International Conference on MultimediaRetrieval.ACM, 2011.[0017][2] Kalantidisj Yannisj et al."Scalable triangulation-based logorecognition."Proceedings of thelst ACM International Conference on MultimediaRetrieval.ACM, 2011.
【发明内容】
[0018]本发明解决的问题是在高检测精度的前提下，对于一幅给定的图片，快速检测出图片中出现的商标。
[0019]针对以上介绍的现有技术的不足，本发明主要解决以下几个问题:
[0020](I)提出一种新的形状描述子，同时描述图像的局部视觉特征和关键点之间的几何位置关系，该描述子具有严格的仿射不变性，对二维平面物体在实际图像中产生的变化具有良好的鲁棒性；
[0021](2)为了解决多关键点描述匹配中由于排列组合引起的造成的模型过于复杂的问题，该描述子采用树结构对构成描述子的多个关键点进行两级排列，避免了之前方法需要对训练模型进行采样简化的过程；
[0022](3)根据形状描述子的结构，本发明提出了一种新的反向索引结构，使得可以同时进行检测多个商标，大大提高了检测效率，增加了该发明的实用性。
[0023]解决技术问题的手段(技术方案)
[0024]本发明的运用场景要求系统同时具有较高的效率和检测精度，同时还需要能够快速对多种商标进行检测。
[0025]从检测效率考虑，本发明采用了关键点匹配的方法对物体进行检测。为了进一步提高效率，本发明可采用基于BoW模型(参见参考文献6)的方法对初始特征进行量化，使得特征之间能够以极高的时空效率进行匹配。同时，为了适应多商标检测的场景，本发明采用了在训练好的模型基础上建立反向索引的方法，对于每一个输入图像的关键点特征，能够快速找出其和训练好的商标之间的匹配关系，从而可以同时检测多种商标。
[0026]从检测精度考虑，本发明首先提出了一种新的形状描述子，该描述子具有严格的仿射不变性，对于二维商标在现实场景中由于拍摄角度的变化产生的形变可以进行建模，因此该描述子具有良好的鲁棒性。由于描述子之间的匹配为多个符合特定位置关系的关键点之间的匹配，因此可以降低误匹配的发生，同时对图像的局部特征和位置进行匹配，有效提高检测的精度。另外，该描述子通过引入树形结构，有效避免了其他基于视觉短语的方法中，由于排列组合问题造成的维数灾难问题，降低了模型的复杂度。更为详尽的方法，参见【具体实施方式】。
[0027]根据本发明的实施例，提供了一种用来在图像中检测标识的标识检测方法，包括以下步骤:步骤1、从检测图像中提取多个关键点h?Ic1，其中I为关键点的总数；步骤2、对于所述多个关键点h?Ic1中的每个关键点km，判断其视觉词汇序号I CO是否与标识模型中的某个根节点ka的视觉词汇序号I CO相同，其中m e I?I，其中，所述根节点ka是所述标识模型中的一个或多个树结构的根节点，其中，所述一个或多个树结构中的每个与不同的标识相对应；步骤3、对于所述判断结果为“是”的每个关键点km，对从检测图像中提取的其它关键点进行遍历，寻找视觉词汇序号与所述一个或多个树结构各自的叶节点的视觉词汇序号分别相同、且满足树结构约束的一个或多个关键点集合，其中，所述一个或多个关键点集合中的每个关键点集合对应于所述一个或多个树结构中的一个树结构；以及步骤
4、计算在步骤3中找到的对应于所述一个或多个树结构中的每个树结构的关键点集合的数目，如果对应于所述一个或多个树结构中的某个树结构的所述关键点集合的数目大于预定阈值，则判定与所述某个树结构相对应的标识出现在所述检测图像中本发明的有益效果主要在于以下几个方面。
[0028]首先，商标检测在版权检测、商业调查、用户行为分析等诸多领域有着广泛的用途。该发明要解决的问题即在海量图片中快速找出每幅图片出现的不同商标种类，有着良好的商业价值和社会效益。
[0029]同时，相比之如的方法，该发明在检测精度和效率上都有提闻。这些提闻将有助于增加该发明在多种应用场景下的实用性:
[0030](I)该发明提出的形状描述子具有严格的仿射不变性。由于现实场景图片中的商标会因为光照条件，拍摄角度等原因产生较大的外观变化，但由于多数商标为二维平面物体，仿射变化可以对多数现实场景中的商标变化进行建模，因此通过严格的仿射不变性，该发明具有很好的鲁棒性，可以提高商标检测的精度；
[0031](2)该发明提出的形状描述子通过引入树形结构对关键点的几何位置进行约束，借助于树形结构的多级结构化特点，可以提高商标模型训练和检测的效率，并降低模型的复杂度。发明的训练和检测方法中不牵涉到复杂的几何位置变化计算和浮点数运算，大大提闻了运行效率；
[0032](3)实际应用中往往要求检测多种商标，而现有方法通常只能够对每种商标依次进行检测，当需要检测的商标种类较多时，这类方法将不具有实用性。该发明中，通过对训练好的商标模型建立方向索引结构，可以同时对多种商标同时进行检测，提高了效率和发明的实用性。
【专利附图】
【附图说明】
[0033]图1为说明根据本发明的实施例的树形结构和描述子的示意图。
【具体实施方式】
[0034]下面，结合附图对技术方案的实施作进一步的详细描述。
[0035]在本说明书中，为了说明本发明的原理而呈现了有关商标检测的一些细节，然而，本领域的技术人员可以理解，本发明不限于商标检测，还可应用于其它类型的标识检测。另夕卜，其中各步骤所采用的技术手段均为示例而不意味着唯一性的限制，本发明可以有各种变型，其均落入如所附权利要求限定的保护范围。
[0036]为了更清楚的解释该商标检测方法，下文将从位置点之间的位置关系结构、训练方法以及检测方法三个方面，对本发明进行详细阐述。
[0037]在诸多检测方法中，该发明属于基于关键点匹配的方法的类型，并通过引入BoW模型来提高检测效率。
[0038]作为一种基于BoW模型的商标检测方法，不做特殊说明，在下文中对于每一幅图片，首先使用hessian affine作为检测子提取关键点，并用sift特征对关键点进行描述，后在训练好的码书中查找该sift特征的最近邻，并将其序号作为表示该关键点局部视觉外观特征的视觉词汇。同时，对于每个关键点，加入几何信息来进一步描述该点。由此，图片中的任一关键点k可以表示为k = {P (k)，S (k)，R (k)，I (k)}，其中P (k)表示关键点的位置，s(k)表示关键点的尺度，R(k)表示关键点的响应(其中，关键点的尺度和响应涉及到了关键点的检测子，这是已有技术。现有多种关键点检测子技术，本发明在具体实现中使用了如参考文献3所述的角点检测子，具体详见该参考文献3的第3部分)，I (k)表示关键点对应的视觉词汇序号。
[0039]对于任一图片Ii，将其表示为一个关键点集Ii = {kl,…，kn}。给定两幅图片I1和
I2(在底层特征方面，本发明采用基于关键点的框架进行检测，因此后续试验中，将每幅图片看作一个关键点的集合，每个关键点的表示如本段上文所述，即，不同的图片有不同的关键点集)，如果he Ipk2 e I2且I GO=I (Ic2)^k1和匕匹配(两幅图片中的两个关键点匹配)。
[0040]该方法的实质是通过引入多个关键点之间的相互位置关系，将一个关键点之间一对一的匹配问题转变为多对多的匹配问题，从而提高匹配的精度。
[0041]本发明提出一种新的树形位置关系来约束四个关键点之间的位置，进而隐含的表示出了商标的形状，并提出一种树形形状描述子来描述这种位置关系。本文将这种形状描述子称为基于树的形状描述子(tree-based shape descriptor, TSD),为了叙述方便,下文简称其为TSD。
[0042]TSD结构的具体逻辑关系是:对于一幅具体的图片，本发明提出了一种树形位置关系来对几个关键点进行约束，并用结构化的描述子TSD对该结构进行描述。该结构具有严格的仿射不变性，同时由于树形结构的加入，使得层次化反向索引得以实现。
[0043]在描述TSD结构之前，首先给出树形结构tr的定义，并用树形结构来表示一组符合特定位置关系的关键点，之后介绍如何用TSD来描述该树形结构。如图1所示，树形结构tr具有四个节点A、B、C、D,其可表示为tr = {ka, kb, k。，kd}。其中ka为根节点，kb、kc、kd
为叶节点，它们之间符合以下的几何约束关系
【权利要求】
1.一种用来在图像中检测标识的标识检测方法，包括以下步骤: 步骤1、从检测图像中提取多个关键点ki~Ic1，其中I为关键点的总数； 步骤2、对于所述多个关键点Ic1~Ic1中的每个关键点km，判断其视觉词汇序号I CO是否与标识模型中的某个根节点匕的视觉词汇序号IGO相同，其中me I~I，其中，所述根节点ka是所述标识模型中的一个或多个树结构的根节点，其中，所述一个或多个树结构中的每个与不同的标识相对应； 步骤3、对于所述判断结果为“是”的每个关键点km，对从检测图像中提取的其它关键点进行遍历，寻找视觉词汇序号与所述一个或多个树结构各自的叶节点的视觉词汇序号分别相同、且满足树结构约束的一个或多个关键点集合，其中，所述一个或多个关键点集合中的每个关键点集合对应于所述一个或多个树结构中的一个树结构；以及 步骤4、计算在步骤3中找到的对应于所述一个或多个树结构中的每个树结构的关键点集合的数目，如果对应于所述一个或多个树结构中的某个树结构的所述关键点集合的数目大于预定阈值，则判定与所述某个树结构相对应的标识出现在所述检测图像中。
2.如权利要求1所述的标识检测方法，其中，所述树结构是包括一个根节点和三个叶节点kpk。、!^的结构，所述树结构同时满足以下树结构约束: 1)
3.如权利要求2所述的标识检测方法，其中，所述标识模型包含各自对应于不同标识Li的多个标识模型，所述多个标识模型中的每个是通过以下步骤产生的: 步骤11、所述标识模型始为空，输入Ni个图像，所述Ni个图像中的每个图像均包含某个标识，并标注了标识在所述图像中的位置，其中，队>2，Li表示与该标识模型对应的标识； 步骤12、从所述Ni个图像中的每个图像提取关键点； 步骤13、对于所述Ni个图像中的两个图像，通过遍历所有关键点，找到能够满足所述树结构约束的所有关键点集合tr，其中，所述关键点集合tr包括组成所述树结构的一个根节点ka和三个叶节点kb、k。、kd, 步骤14、对于在所述两个图像中找到的所述关键点集合中的每个关键点集合tr，计算描述子tsd(tr) = {I (ka), I (kb), I (k。), I (kd)},其中，I O表示该关键点对应的视觉词汇序号; 步骤15、如果分别属于所述两个图像的两个关键点集合具有相同的描述子tsd(tr)，则将所述描述子tsd(tr)添加到标识模型子集，并记录所述描述子tsd(tr)与在该图像中所包含的标识的对应关系； 步骤16、对于所述Ni个图像中的其它每两个图像，重复上述步骤13至15，最后得到标识模型ML
4.如权利要求3所述的标识检测方法，其中，将标识模型MLi中的所有描述子按照其在Ni个图像中出现的总次数进行降序排列，取前5000个描述子形成集合，并且，对于所有标识Li,将标识模型MLi级联，级联之后的标识模型作为在步骤2中所使用的标识模型，在所述级联过程中，若根据在步骤15中记录的对应关系、发现同一描述子对应于不同标识，则从标识模型中删除该描述子。
【文档编号】G06F17/30GK103942276SQ201410125961
【公开日】2014年7月23日 申请日期:2014年3月31日 优先权日:2014年3月31日
【发明者】赵志诚, 万乘德, 苏菲, 赵衍运, 庄伯金 申请人:北京邮电大学