一种适用于视频/图像局部特征的空间关系匹配方法及系统的制作方法
【技术领域】
[0001] 本发明涉及基于内容的图像视频检索技术，特别涉及一种适用于视频/图像局部 特征的空间关系匹配方法及系统。
【背景技术】
[0002] 互联网图像和视频等视觉信息的迅速增长，给信息的组织与管理带来了巨大挑 战，相似图像视频检测是实施视频图像内容管理、检索的重要技术手段。以尺度不变特征变 换（SIFT，Scale-InvariantFeatureTransform)为代表的局部特征为相似视频图像内容 检测提供了一种鲁棒的特征表达方法，它可以提取出对亮度、模糊、视角、旋转等具有不变 性的特征，已经成为视频图像内容检索应用中一项极其重要的技术。
[0003] 然而，为了确保局部特征对于各类变换的鲁棒性，其区分能力降低较为严重，其 突出表现为：1)仅将一个小的邻域空间内方向梯度直方图（HOG，HistogramofOriented Gradient)作为中心点的特征描述子（参考文献Lowe,DavidG.Objectrecognitionfrom localscale-invariantfeatures.ProceedingsoftheInternationalConferenceon ComputerVision2.pp. 1150 - 1157, 1999)，对于视频图像中的文字、草地等具有局部相似 纹理分布的对象，其描述子无法区分；2)为应对旋转变换而加入的主方向提取，导致特征 不具有方向识别不能，比如不能区分"6"和"9"。而为了提高检索速度，通过词袋（B〇W，Bag ofWords)技术（参考文献Sivic,Josef.Efficientvisualsearchofvideoscastas textretrieval.IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE, 31 (4)，pp. 591 - 605, 2009)，将SIFT描述子量化为多个视觉单词，则进一步降低了SIFT的 区分能力。
[0004] 通常有两类手段改进SIFT特征，一是对SIFT局部特征点的空间关系进行校验，去 除空间关系不符合仿射变换的匹配点，典型方法如随机采样一致（RANSAC，RANdomSAmple Consensus)(具体参见文南犬M.A.FischlerandR.C.Bolles.Randomsampleconsensus:a paradigmformodelfittingwithapplicationstoimageanalysisandautomated cartography.CommunicationsoftheACM, 24 (6) : 381 - 395, 1981)，缺点是计算复杂度高； 二是将SIFT特征映射到低维空间中二次划分，提高词袋中视觉单词的区分能力，典型方法 为海明嵌入（HE，HammingEmbedding)(具体参见文献H.J'egou，M.Douze,andC.Schmid. Hammingembeddingandweakgeometricconsistencyforlargescaleimagesearch. ECCV. 2008)，缺点是数据依赖性较高。
【发明内容】
[0005] 针对现有技术的不足，本发明提出一种适用于视频/图像局部特征的空间关系匹 配方法及系统。
[0006] 本发明提出一种适用于视频/图像局部特征的空间关系匹配方法，包括：
[0007] 步骤1，获取所述视频/图像的所有视频/图像特征点与所述视频/图像特征点 的属性信息，根据所述视频/图像特征点与所述属性信息，获取所有所述视频/图像特征点 的尺度信息，通过所述尺度信息，确定每个所述视频/图像特征点的局部邻域空间，获取所 述局部邻域空间内所有所述视频/图像特征点的视觉关键词编码，对所述视觉关键词编码 进行量化处理，生成新视觉关键词编码，对所述新视觉关键词编码进行排序，生成所述视频 /图像特征点的空间关系编码；
[0008] 步骤2,比较待匹配视频/图像特征点与所述视频/图像特征点的空间关系编码， 构建关系矩阵，计算所述关系矩阵中所述待匹配视频/图像特征点与所述视频/图像特征 点空间关系编码相似度，融合所述待匹配视频/图像特征点与所述视频/图像特征点的视 觉相似度及空间关系编码相似度，以完成空间关系匹配。
[0009] 所述的适用于视频/图像局部特征的空间关系匹配方法，所述步骤1包括计算视 频图像特征点之间的位置距离，公式为：
[0011] 其中ro(i，j)为位置距离，i、j为视频/图像特征点，x( ? )，y( ?)分别为视频/ 图像特征点在视频/图像中水平和垂直方向的位置坐标；
[0012] 计算邻域空间因子s，公式为：
[0014] 其中〇为所述尺度信息。
[0015] 所述的适用于视频/图像局部特征的空间关系匹配方法，还包括所述邻域空间是 以所述视频/图像特征点为中心，半径为a?s的圆，其中I<a< 2,a为缩放系数。
[0016] 所述的适用于视频/图像局部特征的空间关系匹配方法，所述步骤2包括：
[0017] 步骤201，所述关系矩阵中，若待匹配视频/图像特征点与所述视频/图像特征点 的视觉关键词相同，则矩阵元素设置为z，否则设置为h;
[0018] 步骤202,从左向右，从上而下，在符合距离顺序关系前提下，扫描关系矩阵中的元 素，构建由元素z构成的阶梯，阶梯数称为同序长度，所述同序长度最大的阶梯数为最长同 序长度；
[0019] 步骤203.计算最长同序长度与有效编码长度的比值作为所述待匹配视频/图像 特征点与所述视频图像特征点的空间关系编码的相似度。
[0020] 所述的适用于视频/图像局部特征的空间关系匹配方法，通过如下公式融合特征 点视觉相似度及空间关系编码相似度：
[0021] Sim=(人?simv+sims) ?w
[0022] 其中Sim最终相似度，Simv为所述待匹配视频/图像特征点基于特征描述子的视 觉相似度，Sims为所述待匹配视频/图像特征点基于特征描述子的空间关系编码相似度，w 为所述待匹配视频/图像特征点在整个视频图像匹配中的权重，A为特征描述子距离相对 于空间关系距离的重要程度。
[0023] 本发明还提出一种适用于视频/图像局部特征的空间关系匹配系统，包括：
[0024] 生成空间关系编码模块，用于获取所述视频/图像的所有视频/图像特征点与所 述视频/图像特征点的属性信息，根据所述视频/图像特征点与所述属性信息，获取所有所 述视频/图像特征点的尺度信息，通过所述尺度信息，确定每个所述视频/图像特征点的局 部邻域空间，获取所述局部邻域空间内所有所述视频/图像特征点的视觉关键词编码，对 所述视觉关键词编码进行量化处理，生成新视觉关键词编码，对所述新视觉关键词编码进 行排序，生成所述视频/图像特征点的空间关系编码；
[0025] 空间关系匹配模块，用于比较待匹配视频/图像特征点与所述视频/图像特征点 的空间关系编码，构建关系矩阵，计算所述关系矩阵中所述待匹配视频/图像特征点与所 述视频/图像特征点空间关系编码相似度，融合所述待匹配视频/图像特征点与所述视频 /图像特征点的视觉相似度及空间关系编码相似度，以完成空间关系匹配。
[0026] 所述的适用于视频/图像局部特征的空间关系匹配系统，所述生成空间关系编码 模块包括计算视频图像特征点之间的位置距离，公式为：
[0028] 其中ro(i，j)为位置距离，i、j为视频/图像特征点，x( ? )，y( ?)分别为视频/ 图像特征点在视频/图像中水平和垂直方向的位置坐标；
[0029] 计算邻域空间因子s，公式为：
[0031] 其中〇为所述尺度信息。
[0032] 所述的适用于视频/图像局部特征的空间关系匹配系统，还包括所述邻域空间是 以所述视频/图像特征点为中心，半径为a?s的圆，其中I<a< 2,a为缩放系数。
[0033] 所述的适用于视频/图像局部特征的空间关系匹配系统，所述空间关系匹配模块 包括：
[0034] 所述关系矩阵中，若待匹配视频/图像特征点与所述视频/图像特征点的视觉关 键词相同，则矩阵元素设置为z，否则设置为h;
[0035] 从左向右，从上而下，在符合距离顺序关系前提下，扫描关系矩阵中的元素，构建 由元素z构成的阶梯，阶梯数称为同序长度，所述同序长度最大的阶梯数为最长同序长度；
[0036] 计算最长同序长度与有效编码长度的比值作为所述待匹配视频/图像特征点与 所述视频图像特征点的空间关系编码的相似度。
[0037] 所述的适用于视频/图像局部特征的空间关系匹配系统，通过如下公式融合特征 点视觉相似度及空间关系编码相似度：
[0038] Sim=(人?simv+sims) ?w
[0039] 其中Sim最终相似度，Simv为所述待匹配视频/图像特征点基于特征描述子的视 觉相似度，Sims为所述待匹配视频/图像特征点基于特征描述子的空间关系编码相似度，w 为所述待匹配视频/图像特征点在整个视频图像匹配中的权重，A为特征描述子距离相对 于空间关系距离的重要程度。由以上方案可知，本发明的优点在于：
[0040] 本发明具有旋转不变性、尺度不变性，对于因噪声、模糊、等导致的特征点丢失、乱 序所产生的空间关系编码变换具有鲁棒性，在holidays数据集上，图像检索精度mAP可以 提高5个百分点。