图像层次化超像素分割方法、系统、电子设备及存储介质与流程

本发明属于图像超像素分割技术领域，特别涉及一种图像层次化超像素分割方法、系统、电子设备及存储介质。

背景技术：

在计算机视觉领域，图像超像素分割(segmentation)指的是将数字图像细分为多个图像子区域(像素的集合，也称作超像素)的过程；其中，超像素是由一系列位置相邻且颜色、亮度、纹理等特征相似的像素点组成的小区域，这些小区域大多保留了进一步进行图像分割的有效信息，且一般不会破坏图像中物体的边界信息。

图像分割的结果是图像上子区域的集合(这些子区域的全体覆盖了整个图像)，或是从图像中提取的轮廓线的集合(例如边缘检测)；其中，一个子区域中的每个像素在某种特性的度量下或是由计算得出的特性都是相似的，例如颜色、亮度、纹理等，邻接区域在某种特性的度量下有很大的不同。

综合对比分析已发表的文献，发现如区域生长等目前图像多层次分割通常采用的技术框架以及以ecognition为代表的通用分割软件存在对特征的利用不足、运算效率不高、只能单一层次输出等技术问题；另外，一个好的图像分割算法往往需要针对性地兼顾运算速度、边缘吻合度和自动化程度等，并在后续的区域合并过程中或区域合并过程完成后进行自动化地同时输出层次化结果，现有的区域生长等常见的分割合并方法仅考虑了光谱特征和形状特征，对于表征目标具有重要作用的纹理特征没有考虑，同时仍然具有分割尺度参数难以设置、分割效率低、内存消耗高等不足，需要多次设定参数才能实现多尺度超像素分割，无法获取理想的分割结果。

技术实现要素：

本发明的目的在于提供一种图像层次化超像素分割方法、系统、电子设备及存储介质，以解决上述存在的一个或多个技术问题。本发明考虑了纹理特征，通过一次分割能够获取多尺度的分割结果。

为达到上述目的，本发明采用以下技术方案：

本发明公开的一种图像层次化超像素分割方法，包括以下步骤：

对图像采用快速扫描合并算法构建初始分割基元并统计各区域的色彩、形状特征，获取同质图像区域并构建获得区域邻接图；

在区域邻接图的基础上基于区域异质性准则进行合并，每次合并结束后重新计算区域异质性，如果满足层次化输出阈值则跳转至下一层合并，输出当前层次结果；循环直到满足区域合并停止条件，获得多尺度图像分割结果；

其中，所述区域异质性准则为每次对异质性增量小于预设阈值的所有区域进行合并；所述异质性增量由色彩异质性增量、纹理异质性增量和形状异质性增量的加权平均值构成。

本发明的进一步改进在于，在对图像采用快速扫描合并算法构建初始分割基元之前还包括：对图像进行切片预处理，用于保证内存计算不溢出。

本发明的进一步改进在于，所述快速扫描合并算法以多波段色彩角作为区域合并准则；

所述多波段色彩角的计算表达式为：

式中，θobj1、θobj2分别表示区域robj1、robj2的b个色彩通道的灰度均值向量；b为色彩通道或者波段的总数，b表示当前计算的通道。

本发明的进一步改进在于，所述在区域邻接图的基础上基于区域异质性准则进行合并的步骤具体包括：

把待处理的子区域对象并入到合并后对象异质性最小的邻近区域中，使每次合并后的异质性最小或者达到优化；其中，区域合并的异质度变化增量计算表达式为：

hdiff＝∑cωc(n1(hmc-h1c)+n2(hmc-h2c))，

式中，ωc为第c个波段对应的权重，n1、n2分别为两相邻对象内像元个数，h1c、h2c分别为第c个波段两个相邻对象的平均异质度，hmc为第c个波段两相邻对象合并后对象的异质度，hdiff为两相邻对象与合并后对象的异质度的差异。

本发明的进一步改进在于，所述异质性增量由色彩异质性增量、纹理异质性增量和形状异质性增量的加权平均值构成的表达式为：

h＝ωcolor×hcolor+ωtexture×htexture+ωshape×hshape；

式中，ωcolor、ωtexture与ωshape分别代表色彩、纹理与形状异质性的权重系数，ωcolor+ωtexture+ωshape＝1；hcolor、htexture与hshape分别代表色彩、纹理与形状异质性增量。

本发明的进一步改进在于，

纹理的异质性增量的计算表达式：

htexture＝nmerge·δc,merge-(nobj1·δc，onj1+nobj2·δc,obj2)，

式中，htexture为两个对象合并后得到的纹理直方图异质性值和合并前对象obj1和obj2的各自纹理直方图异质性值之和的差异，nmerge、δc,merge分别表示合并后的区域面积和纹理直方图方差，δc,obj1、nobj1、δc，obj2、nobj2分别为两个空间相邻区域的纹理直方图方差和面积；

其中，计算纹理的异质性增量时，采用局部二进制模式作为纹理特征描述符，通过对比中心像素点与其邻域像素点的灰度值的差异性计算算子，表达式为：

式中，gp为所述邻域像素点的灰度值，gc为所述中心像素点的灰度值，p为邻域中像素点的个数，r为邻域半径；

基于差异性计算算子表达式，以超像素作为处理单元，求得超像素内包含的每个像素的lbp纹理特征；通过纹理直方图统计具有相同lbp纹理特征的像素的个数，获得纹理直方图方差。

本发明的进一步改进在于，所述在区域邻接图的基础上基于区域异质性准则进行合并，每次合并结束后重新计算区域异质性，如果满足层次化输出阈值则跳转至下一层合并，输出当前层次结果；循环直到满足区域合并停止条件，获得多尺度图像分割结果的步骤具体包括：

采用基于渐进合并参数的递增的尺度参数序列控制方法实现多尺度图像分割结果输出；其中，渐进合并参数pmp表示当前分割层次的异质性阈值与前一层的异质性阈值的比值。

本发明公开的一种图像层次化超像素分割系统，包括：

区域邻接图获取模块，用于对图像采用快速扫描合并算法构建初始分割基元并统计各区域的色彩、形状特征，获取同质图像区域并构建获得区域邻接图；

分割结果获取模块，用于在区域邻接图的基础上基于区域异质性准则进行合并，每次合并结束后重新计算区域异质性，如果满足层次化输出阈值则跳转至下一层合并，输出当前层次结果；循环直到满足区域合并停止条件，获得多尺度图像分割结果；其中，所述区域异质性准则为每次对异质性增量小于预设阈值的所有区域进行合并；所述异质性增量由色彩异质性增量、纹理异质性增量和形状异质性增量的加权平均值构成。

本发明公开的一种电子设备，包括：处理器；存储器，用于存储计算机程序指令；所述计算机程序指令由所述处理器加载并运行时，所述处理器执行本发明任一项上述的分割方法。

本发明公开的一种可读存储介质，所述可读存储介质存储有计算机程序指令，所述计算机程序指令被处理器加载并运行时，所述处理器执行本发明任一项上述的分割方法。

与现有技术相比，本发明具有以下有益效果：

本发明的分割方法中，加入纹理特征改进图像层次化超像素分割，将图像分解成多层次的网络结构进行目标信息表达；通过快速扫描算法构建初始化过分割基元，在基元的rag区域邻接图基础上加入纹理特征改进异质性最小区域合并准则，采用循环迭代算法实现区域合并通过一次分割获取多尺度的分割结果。

本发明提出的多尺度超像素分割方法无需种子点，通过切片预处理可以实现大数据处理，基于快速扫描构建初始过分割基元简单快速；在区域异质性判断和合并环节引入了纹理特征，通过序列化控制输出多个层级的分割结果，为图像目标信息提取奠定了良好的基础。

本发明中，采用逐步迭代优化算法实现区域合并通过一次分割获取多尺度的分割结果，通过递增的尺度参数序列控制方法实现图像的层次化超像素分割。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的一种图像层次化超像素分割方法的流程示意图；

图2是本发明实施例的一种融合纹理特征合并的层次化图像超像素分割方法的流程示意图；

图3是本发明实施例中，快速扫描分割方法的流程示意图；

图4是本发明实施例中，初始化分割结果示意图及对应的区域邻接图；其中，图4中的(a)为初始化分割结果示意图，图4中的(b)为图4中的(a)对应的区域邻接图；

图5是本发明实施例中，合并后的分割结果示意图及对应的区域邻接图；其中，图5中的(a)为合并后的分割结果示意图，图5中的(b)为图5中的(a)对应的区域邻接图；

图6是本发明实施例中，多尺度分割结果输出示意图；

图7是本发明一实施例的实验结果示意图；其中，图7中的(a)为原始图像示意图，图7中的(b)为快速扫描初始分割结果示意图，图7中的(c)为分割层次1的示意图，图7中的(d)为分割层次2的示意图，图7中的(e)为分割层次3的示意图；

图8是本发明又一实施例的实验结果示意图；其中，图8中的(a)为原始图像示意图，图8中的(b)为分割层次1的示意图，图8中的(c)为分割层次2的示意图，图8中的(d)为分割层次3的示意图；

图9是本发明又一实施例的实验结果示意图；其中，图9中的(a)为原始图像示意图，图9中的(b)为分割层次1的示意图，图9中的(c)为分割层次2的示意图，图9中的(d)为分割层次3的示意图。

具体实施方式

为使本发明实施例的目的、技术效果及技术方案更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例是本发明一部分实施例。基于本发明公开的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的其它实施例，都应属于本发明保护的范围。

超像素图像分割是根据图像的单一或者多元特征的相似性程度对图像像素进行分组聚合，从二维平面角度将图像矩阵划分成若干具有一致相似性的互不重叠区域。总体的准则是，希望同一区域中的像素特征是具有一致性和相似性，而不同区域间像素的特征保持异质性或者非一致性。从图像分割定义中区域内相似性和区域间异质性出发，本发明采用区域生长策略实现超像素图像分割，并针对现有多数方法没有考虑纹理特征的不足，引入纹理特征构建合并准则。

请参阅图1，本发明实施例的一种图像层次化超像素分割方法，包括以下步骤：

s101，对图像采用快速扫描合并算法构建初始分割基元并统计各区域的色彩、形状特征，获取同质图像区域并构建获得区域邻接图。

本发明实施例中，初始化分割可选的分割算法很多。示例性的，分割算法包括slic、meanshift、分水岭变换分割等。本发明实施例中，针对数据量较大的场景需求，采用的fsam快速扫描合并算法，fsam由ding等人2009年提出，被证明是一种高效的图像分割方法。在恰当的阈值设定下可以实现快速、准确的图像预分割，fsam快速扫描合并算法适合作为后续区域合并的初始分割基础步骤。

s102，在区域邻接图的基础上基于区域异质性准则进行合并，每次合并结束后重新计算区域异质性，如果满足层次化输出阈值则跳转至下一层合并，输出当前层次结果；循环直到满足区域合并停止条件，获得多尺度图像分割结果；其中，所述区域异质性准则为每次对异质性增量小于预设阈值的所有区域进行合并；所述异质性增量由色彩异质性增量、纹理异质性增量和形状异质性增量的加权平均值构成。

除了常用的色彩和形状特征以外，纹理特征也是图像中目标的关键表征。因此，本发明实施例提出了加入纹理特征的异质性最小区域合并方法，在形成基于色彩特征的初始分割构建图像基元之后，综合考虑区域邻接图(regionadjecencygraph，rag)分割图像基元的色彩、形状和纹理特征等来度量区域之间的异质性，有效利用图像的色彩、纹理和形状等多维信息实现多尺度的分割和图像内容的表征。

根据本发明上述实施例可知，本发明提供的分割方法中加入纹理特征改进图像层次化超像素分割，将图像分解成多层次的网络结构进行目标信息表达；通过快速扫描算法构建初始化过分割基元，在基元的rag区域邻接图基础上加入纹理特征改进异质性最小区域合并准则，采用循环迭代算法实现区域合并通过一次分割获取多尺度的分割结果。

请参阅图2，本发明实施例的一种融合纹理特征合并的层次化图像超像素分割方法，包括以下步骤：

首先输入影像图片，对图像进行切片预处理以保证内存计算不溢出，然后采用快速扫描合并算法(fastscanningandadaptivemerging，fsam)(ding，2009)构建初始分割基元并统计各区域的各类色彩、形状特征，获取最精细层次的同质图像区域并构建区域邻接图；

然后，以区域邻接图为基础，计算当前邻域对象异质性，设定迭代参数k和初始输出阈值seg1；其中，迭代的过程包括：当满足当前尺度＜seg1时，执行异质性最小区域合并，得到第二层分割结果，将第二层分割结果合并至层次分割结果，在第二层分割结果的基础上重新计算合并和区域异质性值；否则，输出层次分割结果；

当满足当前尺度＜k*seg1时，执行异质性最小区域合并，得到第三层分割结果，将第三层分割结果合并至层次分割结果，在第三层分割结果的基础上重新计算合并和区域异质性值；否则，输出层次分割结果；

重复迭代，直至输出层次分割结果；迭代结束时的迭代次数为n-1；第n-1次迭代时，当满足当前尺度＜k*segn-1时，执行异质性最小区域合并，得到第n层分割结果，将第n层分割结果合并至层次分割结果；否则，输出层次分割结果。

在合并准则设计环节，加入纹理特征进行优化，综合考虑相邻基元区域的色彩、纹理和形状异质性，于是区域邻接图中的边缘权重对应两节点区域合并的异质性代价，在邻接图的基础上基于区域异质性准则进行合并，每次合并结束后重新计算区域异质性，如果满足层次化输出阈值则跳到下一层合并，输出当前层次结果，如此循环直到满足区域合并停止条件即获得最终多尺度输出结果。

根据本发明上述实施例，本发明加入纹理特征改进图像层次化超像素分割，将图像分解成多层次的网络结构进行目标信息表达；通过改进快速扫描算法构建初始化过分割基元，在基元的rag区域邻接图基础上加入纹理特征改进异质性最小区域合并准则，采用逐步迭代优化算法实现区域合并通过一次分割获取多尺度的分割结果，提出一种递增的尺度参数序列控制方法(progressivemergeparameter，pmp)实现图像的层次化超像素分割。

本发明实施例中，初始化分割可选的分割算法很多，包括slic、meanshift、分水岭变换分割等，此处针对数据量较大的场景需求，采用的fsam快速扫描合并算法，fsam由ding等人2009年提出，被证明是一种高效的图像分割方法。在恰当的阈值设定下可以实现快速、准确的图像预分割，fsam快速扫描合并算法适合作为后续区域合并的初始分割基础步骤。

fsam快速扫描方法与传统的其他区域生长分割方法相比具有以下优点：

(1)不需要像分水岭分割一样选取种子点，提高效率的同时增强了分割流程的自动化程度；

(2)处理速度明显快于大多数区域生长分割方法；

(3)快速扫描分割方法具有较好的符合人眼认知的形状匹配度，对于目标轮廓的分割结果更接近于现实边界；

(4)分割结果具有较高的色彩连通性。

请参阅图3，本发明实施例的快速扫描分割方法示例(灰度阈值为45，最小区域像素个数为4)，fsam快速扫描算法主要包括以下五个基本步骤，具体包括：

(1)设定一个灰度阈值，从左上角开始，以从上到下为主、从左到右为辅的方向逐像素扫描一幅完整的灰度图像；

(2)考察当前像素的四邻域关系，从左往右扫描的过程中，若当前像素左侧像素不为空，从上往下扫描的过程也是同理，分别计算当前像素的灰度值与其上侧和左侧像素所隶属区域对象的灰度均值之差作为区域合并条件；

(3)当特定的区域合并条件得到满足时，查找左侧像素的区域编号，将当前像素合并至与其差值较小的区域中，并更新区域对象列表中的当前区域，如果不满足区域合并条件则将当前像素作为一个新的区域保留；

(4)重复上述过程，继续扫描后续像素，直至图像右下角最后一个像素停止扫描，完成对整幅图像的分割，每一个像素被归并到符合阈值的图像区域中；

(5)前述快速扫描过程结束后，设定最小区域允许的像素个数，遍历所有区域，如果其像素个数小于最小区域允许的像素个数，则将其合并至与其灰度均值之差最小的相邻区域中，以此进行消除小区域后处理实现适度合并优化。

考虑到fsam快速扫描合并算法只针对单波段灰度图像进行处理，仅采用单波段色彩灰度均值对区域相似性进行判断，无法充分发挥图像丰富的色彩信息，难以获得理想的图像超像素分割结果，此处借鉴fsam快速扫描合并算法基本思想，针对多波段提出以多波段色彩角(spectralanglemapper，sam)作为区域合并准则的改进fsam快速扫描合并算法。同时，鉴于初始对象没有形成，最底层的像素不具备几何特征，因此本步骤没有从这一步就综合考虑形状特征的必要，这样处理也一定程度上保证了初始化分割的时间效率。

式中，θobj1和θobj2分别表示区域robj1和robj2的b个色彩通道的灰度均值向量。

本发明实施例中，在完成基于快速扫描算法的初始分割生成超像素基元后，构建rag区域邻接图模型来表示基元间的拓扑关系，设计区域合并准则综合考虑色彩、形状和纹理等图像特征进行异质性判断和区域合并。区域合并通过预先设定的合并准则或者策略将具有相似性质的区域基元合并构成更大的区域对象，以商业软件ecognition采用的fnea算法为例，其区域合并准则中考虑了区域对象的多波段色彩特征，并且在合并准则中加入区域对象的形状特征进行优化，因此其区域合并异质性度量仅由色彩异质性和形状异质性两部分构成。但是，众所周知，除了常用的色彩和形状特征以外，纹理特征也是图像中目标的关键表征，因此，本发明提出了加入纹理特征的异质性最小区域合并方法，在形成基于色彩特征的初始分割构建图像基元之后，综合考虑区域邻接图(regionadjecencygraph，rag)分割图像基元的色彩、形状和纹理特征等来度量区域之间的异质性，有效利用图像的色彩、纹理和形状等多维信息实现多尺度的分割和图像内容的表征。

本发明实施例中，初始化分割的图像基元区域间具有拓扑关系，从图模型角度出发邻接关系可以用区域邻接图(regionadjecencygraph，rag)来表示(haris，1998)。区域邻接图g＝(v，e)定义为一个代数结构：包含一个节点集合v＝{v1，v2，…，vn}和一个边缘弧段集合e＝{e1，e2，…，em}；其中，节点对应于区域，相邻区域通过边缘弧段连接起来。在图模型中，相邻两节点间具有一条弧段，每条弧段带有权值；因此，区域邻接图经常呈现为无向加权图。区域邻接图对分割基元之间关系进行程式化建模，通常地在实际应用中弧段被赋予权重数值，当节点代表特定事物时，弧段便表征事物间的连接，弧段上的权重数值即可表达事物之间连接的紧密程度。

请参阅图4，本发明实施例通过初始分割构建区域邻接图时，假设初始分割获得了若干子区域ri，则这些子区域组成的集合即可表示整幅图像区域，即r＝{r1，r2，…，rn}。在区域邻接图模型中，节点vi就等价于图像场景中的子区域ri，而边缘弧段e(ri,rj)可以表达邻接的图像子区域ri和rj之间的连接或者相邻关系，此处当前子区域ri和rj之间的异质性可以通过弧段e(ri,rj)的权重数值来表达，权重数值越小表示区域ri和rj之间相似性程度越高，反之则异质性程度越高。以图4为例，图4中的(a)表达了由8个子区域组成的图像超像素分割场景，图4中的(b)对应图4中的(a)中8个子区域对象之间的相互邻接关系，数学符号化地对图像分割进行了建模。

本发明实施例中，图像分割的目的是将图像划分成若干有意义的区域，可以从单个像素或者初始过分割的子区域特征开始执行进一步分割。图像分割区域具有如下特点：1)均匀性；2)连通性；3)边缘完整性；4)反差性；上述特点是指导图像分割的基本出发点，其中区域内部均匀性是最重要的准则之一。从前述的初始分割子区域开始，随着图像对象的两两合并获得更大的对象，此时所有分割对象的色彩平均异质度将明显的增加，应该把待处理的子区域对象并入到合并后新对象异质性最小的邻近区域中，使每次合并后新的异质性最小或者达到优化是异质性最小区域合并算法实现的关键原则。

因此，首先计算合并前两个相邻对象的平均异质度(h1和h2)，再计算与合并后新对象的异质度(hm)间的差异hdiff，以此衡量这两个分割对象的同质性程度。理想影像对象的异质度定义旨在保证合并后新对象异质度增加量最小。合并前后异质度变化的计算可以通过简单的求平均值实现：

hdiff＝hm-(h1+h2)/2，(2)

这种描述方式以合并对象的异质度均值最小作为分割结果评价的量化标准，但是没有考虑合并前两个对象之间的大小差异，假设两相邻对象内像元个数分别为n1和n2，如果将合并前对象的大小因素加入异质性评价标准中，则上述公式可以改进为：

hdiff＝hm-(h1n1+h2n2)/(n1+n2)，(3)

同样地将合并后的区域对象的大小也考虑进来的话，异质度公式又可以表达为：

hdiff＝(n1+n2)hm-(h1n1+h2n2)＝n1(hm-h1)+n2(hm-h2)，(4)

将上述单波段的异质度公式拓展到多波段，充分利用多源图像丰富的波谱信息，假设每个波段对应的权重为ωc，则多色彩图像区域合并的异质度变化增量计算公式如下：

hdiff＝∑cωc(n1(hmc-h1c)+n2(hmc-h2c))，(5)

设计或选择合适的区域合并异质性准则旨在更好地定量化表征区域合并过程中对象之间的相似程度。区域合并异质性准则涉及两个重要方面：特征的选择和计算公式的选择。

特征选择方面，从认知科学角度出发结合形状匹配度、紧凑度、闭合度等语义特征进行分析，被证明是相比于单一的灰度特征更契合人眼视觉认知习惯(baatz等，1999)。本发明组合多类图像特征信息引导区域合并，构建基于更丰富语义特征的区域异质性度量方法。

异质性最小区域合并方法的关键在两个图像对象间异质度的定义和描述。这种异质性是由两个对象的色彩、形状和纹理模式等特征的差异决定的。若只考虑色彩异质性，难以避免会导致分割对象的边界比较破碎，如ecognition商业软件采用的fnea算法把色彩异质性和空间异质性标准联合使用，旨在使整幅影像所有分割对象的平均异质性达到最小(baatzetal，1999)。但是，ecognition忽略的纹理模式被证明是图像区域的一种重要属性特征，对图像基元区域纹理的分析是图像理解的一个有效手段。fnea方法的区域合并异质性度量中只使用了色彩和形状两种特征，没有考虑纹理这一重要特征。鉴于此，本发明实施例的方法不止计算区域的色彩特征与形状参数，同时对区域的纹理特征进行考察，将表征区域特性的纹理模式特征引入到顶点合并的判据准则中。对于异质性进行度量时提出了加入纹理特征的区域异质性最小合并算法，探索和研究综合考虑色彩、形状和纹理特征的层次化图像超像素分割方法。

在具体的度量计算公式方面，分别对色彩特征、纹理特征和形状特征的异质性进行定量化计算，在以色彩特征为主要衡量因素的基础上，为获得更加符合人类知觉原理的分割区域对象，同时加入反映马尔视觉理论中提出的形状约束和纹理约束，作为衡量区域合并异质性度量的辅助特征信息，具体计算公式如下：

(1)对象的色彩异质性度量

本发明实施例采用的对象的色彩异质性计算模型是色彩值的标准差，采用如下式定义，标准差代表了图像灰度分布的波动情况，可以用来衡量整体差异，因此单个对象的色彩异质性可以理解为对象对应的各波段标准差的加权平均值。

对象合并前后的异质性用下面的式子来表示：

hspectral＝∑b＝1(nmerge·δc,merge-(nobj1·δc,obj1+nobj2·δc,obj2))，(7)

hspectral为两个对象合并后得到的色彩异质性值和合并前对象obj1和对象obj2的各自色彩异质性值之和的差异，nmerge，δc，merge分别表示合并后的区域面积和色彩方差，δc，obj1，nobj1，δc，onj2，nobj2分别为两个空间相邻区域的色彩方差和面积。

同时，hseg软件默认的区域对象异质性度量计算模型采用波段均方误差和的平方根，如下式所示：

式中，nobj1和nobj2分别表示区域对象robj1和robj2的区域面积(包含的像素个数)，b为波段数目，θobj1和θobj2分别表示区域对robj1和robj2的b个波段的色彩均值向量。

本发明实施例采用规范化向量距离(normalizedvectordistance，nvd)模型(baraldi等，1995)进行异质性度量，规范化向量距离同时考虑了向量范数度量和色彩角制图度量，当两个区域具有相同或近似的向量范数和色彩角时认为它们是相等的。该方法首先计算两个区域对象的第2范数的比值的较小者，然后对色彩角进行归一化处理，将两者相乘；之后再进行归一化处理，即得到如下规范化向量距离，其取值范围为0.0～1.0，值越小代表两个区域对象的色彩越相似，反之则差异越大，计算公式为：

上式中，hsam(robj1，robi2)为两个区域的色彩向量的色彩角。

(2)对象的纹理异质性度量

随着高空间分辨率和色彩分辨率的对地观测数据在民用领域大量出现，面向对象图像分析方法受到了越来越多的关注。高空间分辨率数据包含了丰富的纹理信息，加入了纹理信息的图像分割方法可以提高图像分割结果(gaetanoetal，2009)。因此，本发明利用色彩和纹理信息来进行图像分割方法。

对象的纹理异质性与色彩异质性类似，对象合并前后的异质性可以采用如下的定义来表示：

htexture＝nmerge·δc，merge-(nobj1·δc，obj1+nobj2·δc，obj2)，(10)

htexture为两个对象合并后得到的纹理直方图异质性值和合并前对象obj1和obj2的各自纹理直方图异质性值之和的差异，nmerge，δc，merge分别表示合并后的区域面积和纹理直方图方差，δc，obj1，nobj1，δc，obj2，nobj2分别为两个空间相邻区域的纹理直方图方差和面积。

本发明实施例中，选择局部二进制模式lbp(localbinarypatterns)作为纹理特征描述符，lbp纹理特征可以反映图像的局部结构信息(ojalaetal，2002)。纹理在多色彩图像的不同波段上具有高度的相似性，因此为了提高运算速度，仅利用输入图像的单波段(如近红外波段)灰度值计算图像的lbp纹理特征。通过引入lbp纹理特征到区域合并异质性度量准则之中，通过对具有纹理一致性的小尺寸图像基元增加lbp纹理同质性的权重，获得更符合人眼感知组织的分割区域。

lbp算法通过对比中心像素点与其领域像素点的灰度值的差异性来计算lbp算子：

式中，gp为所述邻域像素点的灰度值，gc为所述中心像素点的灰度值，p为邻域中像素点的个数，r为邻域半径。

从纹理分析的角度来看，图像上某个像素点的纹理特征，大多数情况下是指这个点和周围像素点的关系，即这个点和它的邻域内点的关系。原始的lbp算子定义在一个3×3的窗口内，以窗口中心像素为阈值，与相邻的8个像素的灰度值比较，若周围的像素值大于中心像素值，则该位置被标记为1，否则标记为0。如此可以得到一个8位二进制数，将这个值作为窗口中心像素点的lbp值，以此来反应这个3×3区域的纹理信息。本发明实施例中，以超像素作为处理单元，求得超像素内包含的每个像素的lbp值，然后，在这些像素上建立lbp特征的统计直方图。如此一来，每个超像素的纹理特征，就可以用一个统计直方图来进行描述。纹理直方图统计了具有相同lbp纹理特征的像素的个数，直方图的均值＝(该区域每一个像素*该像素的个数)/该区域像素点个数；直方图的方差＝((该区域每一个像素-均值)^2*该像素的个数)/该区域像素点个数。示例性的，算子是计算中心像素点的lbp纹理特征，上面公式中每个对象里面包含多个像素，这里基于多个像素的lbp纹理特征值，可以求每个超像素对象内像素的直方图均值、方差。

(3)对象的形状异质性度量

传统的图像分类技术仅关注色彩信息而忽略空间关系信息，为了弥补这一点才需要发展结合图像上下文信息、形状信息等的区域合并方法。其中，对象的形状异质性度量指标是由光滑度指数、紧凑度指数这两个子异质性指标组成。光滑度指数和圆度有些类似，其是用来表示对象形状的平滑程度的，影像的平滑与否是衡量对象规则不规则的一种指标。紧凑度指数指对象的圆度，是用来衡量区域接近圆形的程度，也可以作为衡量对象形状的规则程度的指标(徐国华，2011)。

紧凑度指数的公式为：

平滑度指数的公式为：

对象合并前后紧凑度指数的增量公式为：

对象合并前后光滑度指数的增量公式为：

计算光滑度指数增量和紧凑度指数增量的加权平均，即可获得对象合并前后的形状异质性增量，ωsmoothness与ωcompactness代表两者间的权重调配，两者的和为1，其表达形式为：

hshape＝ωsmoothness×hsmoothness+ωcompactness×hcompactness(17)

其中，i为对象的实际边长，b为对象的最短边长，n为对象面积；若平滑指标的权重较高，分割后的对象边界较为平滑，反之，若紧密指标的权重较高，分割后的对象形状较为紧密较接近矩形，根据不同的影像特性以及目标对象特性，两者间的权重调配亦有所不同，可依使用者的需求加以调整。加入形状的因子于影像分割的过程中，能约制对象形状的发展，使分割后的区域形状较平滑完整，较符合人的视觉习惯。

(4)对象的整体异质性度量

对象的整体异质性增量由色彩异质性增量、纹理异质性增量和形状异质性增量的加权平均值所构成的。ωcolor、ωtexture与ωshape分别代表色彩、纹理与形状异质性的权重系数，满足ωcolor+ωtexture+ωshape＝1，同样可以依据实际情况进行调整，其计算公式为：

h＝ωcolor×hcolor+ωtexture×htexture+ωshape×hshape。(18)

本发明实施例的异质性最小区域合并中，图像分割区域合并问题的数学解释相当于分片的图像拟合(beaulieuetal，1989)，每次的区域合并都会使得整个拟合误差增加，这里的增加量即等效于区域合并的异质性增量，表征当前合并需要付出的异质性增长代价。对图像分割流程定义异质性准则，其目的是在分割过程中每当对象合并时总是引导性地使得整体异质性最小执行合并，直到最小的异质性增长量超过预先设置的阈值则合并过程终止。

本发明基于异质性最小区域合并算法在区域邻接图上进行区域合并，因此，每次合并搜索满足全局最优条件的相邻区域的过程即转化为每次搜索区域邻接图中权值最小的弧段，然后将该弧段连接的两个相邻区域进行合并，并对由合并引起的局部变化调整拓扑邻接关系及重新计算权值。由于每次合并都需要从全局范围内搜索异质性最小的两个相邻区域，导致该方法效率相对较低，尤其是在处理较大的影像时，效率方面很难满足实际应用需求。改进的主要思路是通过修改合并原则、合并策略等方法增加满足合并条件的相邻区域的数量，使每次迭代合并更多的相邻区域，从而减少算法迭代次数，提高区域合并效率。

请参阅图5，本发明实施例在采用异质性最小区域合并算法进行图像分割时，传统的方法是每次只选择异质性最小的两个区域执行合并操作，这种方式在图像较大的情况下面向上万个区域合并运算，时间效率上具有较大的局限性，因此本发明采用每次对异质性小于预设阈值的所有区域同时合并的方式，在执行一次合并的操作中只需要遍历一次区域邻接图的边缘弧段进行判断，提高了处理效率。

多尺度图像超像素分割的目的是生成关于目标图像的微观和宏观尺度兼备的多尺度表达，在此基础上更好地实现图像分析和信息提取。因此，根据多尺度面向对象的图像分析的原理，一般地，先针对小目标进行分割，这可以通过设置较小的尺度参数来实现，得到一层尺度较小的分割结果；然后针对影像中稍大目标进行分割，在上一层较小尺度分割的基础上，设置稍大的尺度参数继续进行区域合并，从而得到尺度较大的一层分割结果。

与易康层次输出控制进行对比分析发现，ecognition软件为了提高分割效率，将多尺度分割算法的中间运算数据都存储在内存中，这样的处理不可避免导致内存消耗较高，对于大图像的处理容易出现软件长时间不响应的情况。同时ecognition采用的层次输出方式简单，需要通过设定多个尺度参数经过多次的处理才能得到最终的多尺度的分割结果。

在进行异质性最小区域合并过程中，随着合并次数的增加，合并区域越来越大的同时其平均异质性程度也在持续性增加。为了实现多尺度的合并和结果输出，基于区域间平均异质性值乘以一个序列参数获得一系列多尺度层次阈值，在中间某一层次的合并过程中，如果在前一层合并结束后的当前场景内区域间异质性值均大于当前层次的预设阈值，那么整个合并流程结束并输出已合并多尺度分割结果；反之，则继续合并当前层次的场景内异质性最小的图像区域，跳到下一层的分割，直到满足合并终止条件才结束。因此，本发明在构建的区域邻接图基础上采用逐步迭代方法进行区域合并通过一次分割获取多尺度的分割结果，提出了一种基于渐进合并参数(progressivemergeparameter，pmp)的递增的尺度参数序列控制方法实现多尺度图像分割结果输出，渐进合并参数pmp表示当前分割层次的异质性阈值与前一层的异质性阈值的比值，计算表达式为：

pmp＝thresholdcurrent/thresholdprevious，(19)

通常pmp的值为1～10。

请参阅图6，按照本发明实施例上述流程进行多尺度分割的输出结果示例如图6所示。最终通过本发明方法，可以获得图像介于像素尺度到设定的最大合并尺度之间的多尺度分割结果，如图6中的区域5会同时具有层次2到层次4的各级特征，包括其在尺度3上的父对象区域3，和在尺度2上的父对象区域4的超对象信息。在超对象信息加入后，拥有关于目标以及目标的背景或者超对象的更多的语义特征，可以有效的应用到后续的目标分类和信息提取任务中。

请参阅图7至图9，从实验结果分析发现，通过在图像的超像素分割过程中加入形状、纹理等关键视觉线索，可以有效降低影像噪声对分割结果的干扰，从而在充分利用形状、纹理模式的条件下，减少影像对象边界破碎程度，得到边界更加紧凑和光滑的规则图像目标对象。

从方法设计的思路角度分析与目前常用的图像分割的异同点，表1总结了本方法与相关的开源分割软件的特点，包括分水岭分割watershed、slic、swa、fsam快速扫描合并、meanshift、ecognitions、hseg。从是否需要种子点、分割时间效率、形状的连接度和匹配度、是否考虑纹理特征、是否具有层次化的多层输出机制以及是否能有效处理大尺寸数据等几个方面进行对比。总的来说，本发明提出的多尺度超像素分割方法无需种子点，通过切片预处理可以实现大数据处理，基于快速扫描构建初始过分割基元简单快速，且在区域异质性判断和合并环节引入了纹理特征，通过序列化控制输出多个层级的分割结果，兼顾了下表提到的多个方面因素，为图像目标信息提取奠定了良好的基础。

表1.各类图像分割软件与本文方法对比

本发明实施例的一种图像层次化超像素分割系统，包括：

区域邻接图获取模块，用于对图像采用快速扫描合并算法构建初始分割基元并统计各区域的色彩、形状特征，获取同质图像区域并构建获得区域邻接图；

分割结果获取模块，用于在区域邻接图的基础上基于区域异质性准则进行合并，每次合并结束后重新计算区域异质性，如果满足层次化输出阈值则跳转至下一层合并，输出当前层次结果；循环直到满足区域合并停止条件，获得多尺度图像分割结果；其中，所述区域异质性准则为每次对异质性增量小于预设阈值的所有区域进行合并；所述异质性增量由色彩异质性增量、纹理异质性增量和形状异质性增量的加权平均值构成。

本发明实施例的一种电子设备，包括：

在硬件层面，该电子设备包括：处理器，可选的还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存储器，也可能还包括非易失性存储器，例如，至少一个磁盘存储器等。当然，该电子设备可能还包括其他业务所需的硬件。

处理器、网络接口、存储器通过内部总线互相连接，该内部总线可以是工业标准体系结构总线、外设部件互连标准总线、扩展工业标准结构总线等。总线可以分为地址总线、数据总线、控制总线等。

存储器用于存放程序。具体地，程序可以包括程序代码、所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成上述电子设备。处理器执行程序时，具体执行以下操作：对图像采用快速扫描合并算法构建初始分割基元并统计各区域的色彩、形状特征，获取同质图像区域并构建获得区域邻接图；在区域邻接图的基础上基于区域异质性准则进行合并，每次合并结束后重新计算区域异质性，如果满足层次化输出阈值则跳转至下一层合并，输出当前层次结果；循环直到满足区域合并停止条件，获得多尺度图像分割结果；其中，所述区域异质性准则为每次对异质性增量小于预设阈值的所有区域进行合并；所述异质性增量由色彩异质性增量、纹理异质性增量和形状异质性增量的加权平均值构成。

本发明实施例的一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序指令，所述计算机程序指令被处理器加载并运行时，所述处理器执行的分层方法包括：对图像采用快速扫描合并算法构建初始分割基元并统计各区域的色彩、形状特征，获取同质图像区域并构建获得区域邻接图；在区域邻接图的基础上基于区域异质性准则进行合并，每次合并结束后重新计算区域异质性，如果满足层次化输出阈值则跳转至下一层合并，输出当前层次结果；循环直到满足区域合并停止条件，获得多尺度图像分割结果；其中，所述区域异质性准则为每次对异质性增量小于预设阈值的所有区域进行合并；所述异质性增量由色彩异质性增量、纹理异质性增量和形状异质性增量的加权平均值构成。。具体地，所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器可以包括随机存储存储器(ram)和/或高速缓冲存储器(cache)等。所述非易失性存储器可以包括只读存储器(rom)、硬盘、闪存、光盘、磁盘等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。