景信息,具有情景感知力、高识别度和稳健性强的优势。
[0057] 本发明是这样实现的,如图1所示的一种基于二元分割树的区域特征描述方法,步 骤包括:
[0058] S1,将原始图像分割成若干分割区域。在本步骤中,利用Mean-shift、Graph based、gPb等任何图像分割算法的其中的一种分割算法对所述原始图像进行分割。
[0059] S2,计算相邻的所述分割区域之间的相似度,将相似度最高的两相邻区域合成一 超区域。
[0060]以Rj表不某一分割区域,Nj表不该分割区域Rj的相邻区域的集合,S(Rn,Rj)表不分 割区域心和其某一相邻区域Rn的相似度,Rs表示分割区域^与其相邻区域之间的相似度的 最大值,则两个分割区域的区域合并准则为:
[0061] Rs = arg max S(Rn,Rj),RnENj。
[0062] S3,重复执行步骤S2直至得到的所有相邻区域合并成完整的原始图像在本步骤 中,将步骤S2合成的超区域作为所述分割区域的相邻区域,重复执行步骤S2直至合并成完 整的原始图像;
[0063] S4,根据所述分割区域和所述超区域构建二元分割树。在本步骤中,在所述二元分 割树中包含有根节点、叶子节点和非叶子节点,其中,根节点表示合并完的整个原始图像, 叶子节点表示一个分割区域,非叶子结点表示一个超区域。
[0064] S5,分别提取目标区域和所述目标区域对应的超区域的特征,构建区域特征,然后 根据所述区域特征进行目标区域的特征描述。在本步骤中,按照S2构建好二元分割树后,在 进行区域描述之前,先选定目标区域,该目标区域可以是二元分割树上的任一节点。
[0065] 如图2所示,是基于二元分割树的区域特征结构示意图,图中说明了如何组合基本 区域特征来构建目标区域Rk、iaPRn的特征区域描述符。图2中,lu表示目标区域化的基本区 域特征。
[0066] 构建二元分割树的框架时,首先需要在原始图像中进行区域分割,区域分割中建 立一个二元分割树,从而提取分层图像区域以及系统地分析它们的邻近关系。在实际应用 中,对区域分割的方法没有限制,比如可以用Mean-shift,Graph based,gPb等。区域合并的 准则是由相邻区域的相似度决定的:
[0067] Rs = argmaxS(Rn,Rj) ,Rn^Nj
[0068] Nj代表相邻目标区域Rj的集合,S(Rn,Rj)代表相邻区域Rr^PRj的相似度。通过合并 产生的区域称为超区域,在二元分割树中,根节点表示合并完的整个原始图像,叶子节点代 表一个分割区域,非叶子节点代表超区域。
[0069] 在如图2所构造的二元分割树的基础上,通过以下观察我们提出了一个先进的特 征结构框架。
[0070] 首先,处于分割树叶子节点的图像区域(片段)是很小的,人们无法通过单独观察 而有效的辨认它们,因此仅仅通过小的区域去提取特征对于显著性目标检测而言是不具备 足够的差异度的;其次,在分割树中,完整的目标(如图2中小女孩)在某个分割区域或超区 域中都没能完全从背景中分离出来。但是,当我们从叶子节点往上观察时,目标的主要部分 会变得越来越清晰,比如小女孩的手臂、裙子和头部。这说明了二元分层表示能捕获目标的 全局情景。基于以上讨论,本实施例提出了两个方法去计算叶子节点区域的基于二元分割 树的区域特征(命名为hierarchy-associated rich features,HARF)〇
[0071]构建图2中的HARFi具体步骤包括:
[0072] al,计算所述二元分割树中的目标区域的基本区域特征,及所述目标区域对应的β 个上级节点的超区域的基本区域特征;
[0073 ] a2,根据所述基本区域特征构建第一区域特征;
[0074]以Rk表示所述目标区域,k表示第k个节点,β表示目标区域Rk对应的上级节点的级 别数,hk表示目标区域Rk对应的基本区域特征(:/?〇表示第一特征区域;
[0075] a3,若所述目标区域Rk到达所述二元分割树中根节点的级别数大于所述目标区域 对应的上级节点的级别数β,则所述特征区域if 为:
[0077] a4,若所述目标区域Rk到达所述二元分割树中根节点的级别数小于所述目标区域 对应的上级节点的级别数β,η表示所述目标区域到所述根节点的级别数,则复制n-1节点的 基本区域特征使得上级节点的级数为β,即所述特征区域为:
[0079]在构建HARF1的过程中,首先,计算分割树中的目标区域Rk和对应的β个上级节点 的超区域的基本区域特征然后将提取到的基本区域特征堆成一个特征矩阵。这个 提取出来的特征记为HARFfCRy其中,R代表目标区域,β代表用于计算HARF的在分割层中 的超区域的级别数。因此,假设代表每一个区域或超区域的基本区域特征是一个d维特征矩 阵,那么产生的HARFf特征的维数即是d+d*i3。计算特征HARFf 的方法表示为:
[0081 ] 构建图2中的HARF2具体步骤包括:
[0082] bl,计算所述二元分割树的目标区域的基本区域特征,及所述目标区域对应的β个 上级节点的超区域的基本区域特征,以及所述目标区域对应的同级区域的基本区域特征, 以及所述超区域的同级区域的基本区域特征;
[0083] b2,根据步骤bl计算的所有基本区域特征构建第二区域特征;
[0084] 以1表示所述目标区域,m表示第m个节点,β表示目标区域Rm对应的上级节点的级 别数,hm表示目标区域仏对应的基本区域特征,(;没》1>表示所述目标区域和超区域构 建的第一特征区域,si ibing(hm)表示所述目标区域的同级区域的基本区域特征, 表示目标区域Rm对应β-l层上级超区域的基本区域特征,/ 表示第二区域特征;
[0085] b3,若所述目标区域1到达所述二元分割树中根节点的级别数大于所述目标区域 Rm对应的上级节点的级别数β,则所述特征区域;(/^)为:则:
[0087] b4,若所述目标区域1到达所述二元分割树中根节点的级别数小于所述目标区域 Rm对应的上级节点的级别数β,πι表示所述目标区域到所述根节点的级别数,则所述特征区
[0089] 在构建HARF2的过程中,给定一个目标区域Rm,综合考虑二元分割树中的上级节点 的超区域以及它们对应的同级区域[silbing (Rf ) }|^,我们提出一个能获取 更丰富HARF特征的方法,记为H ARFkRm ;)?
[0090]
特征加上目标区域的同级区域silbing(hm)以及 上级超区域的同级区域.fsi出ing (/z m+i 1的基本特征堆成的新的矩阵,其表达式可定 义如下,该特征矩阵维数为d+2d*i3。
[0092]应该注意到的是,在根节点的完整图像既包含了显著性目标也包含背景区域,因 而它并不用于计算HARF值,此外,并不是所有处于叶子节点的区域到达根节点的级别数都 是相等的,因而存在一些区域的没有足够的级数去计算HARF,在这种情况下,可通过复制最 高层的超区域的基本区域特征并结合较低层的其他特征来产生目标区域的HARF特征,如图
。综上所述,产生基于二元分割树的区域特征的流程图 可图3所示
[0093]和已有的技术相比,本发明提供的HARF因为融合了目标区域、同级超区域以及邻 近上级区域和超区域的基本区域特征来描述目标区域的特征,既包含了局部区域特征,也 包含了全局情景信息,所以会具有情景感知力、高识别度、稳健性强的优势。因而克服了已 有技术中特征稳健性差、信息量不够丰富的缺点。
[0094]我们通过实验验证了HARF的优势,将其应用于显著性目标检测中,与采用传统特 征(包含颜色、纹理和区域性质)和卷积神经网络(CNN)特征对比,在MSRA-B,PASCAL-1500和 S0D数据集上进行实验,采用F-SC〇re(i32 = 0.3)和平均绝对误差(MAE)对结果进行评价,图4 为不同采用不同特征结构所生成的显著图,能明显的看到HARF的优势。图4采用不同特征结 构所产生的显著图,其中,(a)表示原始图像,(b)表示传统特征,(c)表示基于传统特征的 HARFi,(d)表示基于传统特征的HARF2,(e)表示传统特征和CNN特征,(f)表示基于传统特征 和CNN特征的HARFi,( g)表示基于传统特征和CNN特征的HARF2。
[0095] 在下表中,我们得到了在不同数据集上采用不同特征结构产生显著图的Fe分数 MAE值,结果中可以看出,加入HARF特征结构框架后三个数据集的Fe分数明显提升(越高表 示性能越好),并且平均绝对误差都有明显的降低(越低表示性能越好)。我们通过理论分析 和实验都验证的所提出的基于二元分割树的区域特征描述方法(HARF)的优越性。下表表示 在三个数据集上采用不同