专利名称：一种图像对象分割方法
技术领域：
本发明属于图像数据处理方法，具体涉及一种符合人类视觉感知的图像对 象分割方法。
背景技术：
图像分割是将图像划分成若干具有特征一致性且互不重叠的图像区域的过 程。理想的图像分割能抽取出和真实世界对应的"图像对象"，从而使更高层的 图像理解成为可能。目前较新且效果较好的图像分割方法主要有以均值漂移
(MeanShift)为代表的基于像素的特征空间聚类，(参见文献Comanicu D， Meer P. Mean shift: A robust approach toward feature space analysis. IEEE Trans on Patten Analysis and Machine Intelligence, 2002, 24(5): 603-619)禾口 以联合系统工程组(Joint System Engineering Group)为代表的基于区域同 质性的分裂-合并方法，(参见文献Deng Y N， Manjunath B S. Unsupervised segmentation of color—texture regions in images and video. IEEE Trans on Pattern Analysis and Machine Intelligence, 2001, 23(8):800-810)。 均值漂移通过估计模式空间密度函数的梯度来实现特征空间的颜色聚类，但它 只考虑了颜色信息，过分割现象比较严重；联合系统工程组通过色彩量化将图 像的色彩限制到一定数目，然后在反映图像区域分布信息的J图上综合颜色和 纹理信息进行区域划分，可以取得较好的结果，但是当同质区域由于光照不均 出现空间颜色变化时，该算法很难把它们分割成一个整体区域。同时，目前大 多数的分割方法都只考虑了底层图像特征的一致性，所以分割得到的结果通常 也只是一些底层特征一致的图像区域，并不能直接分割出图像对象。
发明内容
本发明提出一种图像对象分割方法，解决现有分割方法只考虑颜色信息、过分割现象较严重或者光照不均时难于分割成一个整体区域的问题；其分割结 果用于基于图像对象的检索和分析，提高分割技术的可用性。
本发明的一种图像对象分割方法，步骤为
(1) 建立双尺度空间步骤在非线性尺度空间中，利用总变分流模型得到 的迭代方程
<formula>formula see original document page 7</formula>
将一幅图像生成不同尺度的图像序列v L。，式中/"表示图像序列中尺度为
k的图像，/为原图，八，^为/的一阶偏导，L，"，^为/的二阶偏导，&取0.25， 抽取原尺度图像,和最大尺度图像,作为双尺度空间，其中N为5 10，根据所 需要分割对象的尺寸选择；
(2) 粗分割步骤在最大尺度图像,上，采用基于八叉树结构的颜色量化 方法对图像中各像素进行颜色量化，经过颜色量化后，将"的颜色空间从红、 绿、蓝RGB颜色空间转到色调、亮度、饱和度HVC颜色空间，在HVC颜色空间 中对图像f采用C均值聚类方法进行颜色聚类，完成粗分割；
(3) 区域合并步骤将粗分割后的HVC颜色空间图像,各区域映射到RGB 颜色空间原尺度图像/°上，在原尺度图像/。上计算粗分割各区域的纹理、颜色信 息，并根据它们对粗分割区域进行区域合并；
(4) 对象分割步骤由具体对象的各个组成部分构造对象模型，根据对象 模型建立对象区域结构图(^-(P^,&)，其中节点集^={《，《,...1^中元素 《，《，...《分别表示组成对象的各个区域节点，边缘集^ 中元素 《,《，...，《分别表示相邻区域的拓扑空间关系和它们面积比的约束值；然后根据
对象的显著特征在原尺度图像r上选取区域合并后的一个区域作为对象的种子 区域，如果找不到对象的显著特征，则人工选取对象的任意组成部分在区域合
并后的对应区域作为对象的种子区域；从种子区域在对象区域结构图中所对应的节点出发，遍历对象区域结构图c^，根据相邻区域间的拓扑空间关系和面积
比的约束值，把对象的其他区域与种子区域合并，完成对象分割。
所述的图像对象分割方法，其特征在于
所述粗分割步骤中，定义^-(^,^C,)， ^ = (//2,「2,2)为HVC颜色空间的两 种颜色，它们之间的距离"，为 -
l-cos(!A^) 100
+ AC2+(4AF)2
其中，A/^lA-i/2|， AC叫C广C2|， AF,_r2|;当1)顺<6.0时，则认为它 们是视觉相似的；采用C均值聚类方法进行颜色聚类的过程为
(2. l)初始化颜色量化后,的颜色数为厶对每一种颜色。构造一个空 集合&,并且将该颜色作为聚类中心，￡《255, j=l，2，……L;
(2.2) 在HVC颜色空间中，对于图像的每一个像素点，找到一个集合A，
使得其对应的像素值/i讽,F;，Q满足D顺(/,A)-minj"鹏(/,.,CJ ，并将/,添加到集
合A中，集合&中像素点的数目iv(s;)加l， i = i，2，……Nt， NT为图像总的像素
数；
(2.3) 对每一个集合《，修改聚类中心。.=^五/,;
(2.4) 对每 一 个集合& ,如果存在集合》，满足 "皿(。，C》-^^Z)皿(C,6.0，那么合并集合S,及《.，并生成一个新集合5)，
其聚类中心为C) =、,,。、:,。、 j; /,，颜色对应的集合数L减1;
(2.5)重复执行过程(2.2)， (2.3)， (2.4)，直到所有的颜色集合都收敛， 形成M个区域。
所述的图像对象分割方法，其特征在于所述区域合并步骤过程为
(3. 1)建立粗分割后M个区域的邻接关系表，该邻接关系表为MXM的二维
矩阵，两个区域邻接，则对应元素置为l，否则置为0;
(3. 2)利用Gabor滤波器对原尺度图像/°进行Gabor变换得到3个尺度各8 个方向共24个纹理特征子带，将粗分割后的图像,各区域映射到24个纹理特 征子带上，利用24个纹理特征子带的纹理特征计算各个区域的均值/^和方差 V ，构成 一 个48维的特征向量，作为各区域的纹理特征信息 T: = ，《>/<formula>formula see original document page 9</formula>
(3. 3)计算每个区域和其邻域的所有区域的纹理距离d二和颜色距离DfA ，
<formula>formula see original document page 9</formula>
分别归一化后，计算区域距离<formula>formula see original document page 9</formula>
其中hJ， W分别为区域a和区域b的面积；C。， C,分别为区域a和区域b 的颜色均值；",，^为权值；A。6表示区域的邻接关系，两个区域相邻，则A。6置 为l，否则取+oo;
根据区域距离i^得到M个区域的距离关系表，该距离关系表为MXM的二 维矩阵；
(3.4)合并距离关系表中区域距离最小的两个区域，然后更新区域邻接关 系表，根据过程(3.3)计算合并后区域与其邻域的所有区域的的区域距离，更新 距离关系表；每进行一次区域合并，计算一次代价函数F并保存，直到最小的 区域距离大于0. 2，选取对应最小代价函数值的那次合并作为最终合并结果；其 中代价函数F定义为
<formula>formula see original document page 9</formula>
其中，c"是区域a和区域b的公共边长度，1>。力就是图像中区域合并到只剩下/t,个区域时分割线的总长度，C是粗分割后M个区域分割线的总长度; 乂为第r个区域的像素数，r=l,…ik,; 为图像总的像素数；/;为第r个区域 的第s个像素的颜色值；/_为图像中颜色平均值,/二为第r个区域的颜色平均
5: 〉: ||人i
值；-，用来度量合并后区域的同质性程度，^越小则区域的
同质性越高；0<-《1为相应的惩罚因子。
代价函数的意义在于从语义对象提取的角度，希望用最少的分割线勾画 图像中各个对象的轮廓，但这是以降低区域同质性为代价的。当然希望J,和人都 越小越好，但是随着区域的合并，J,单调递减而^单调递增，两者此消彼长不 可能同时达到最小。最小化代价函数的目的就是使对象的完整性J,和区域的同 质性^之间达到最佳的平衡。
所述的图像对象分割方法，其特征在于 所述对象分割步骤中，
(4. 1)所述对象区域结构图& 中，节点集^ 中各个
区域节点《,《，...《相应为对象的各个组成部分；
(4. 2)边缘集^ ={《，《,...,《}中元素ef，ef ，...，《分别表示相邻区域的拓扑 空间关系和它们面积比的约束值；所述相邻区域的拓扑空间关系包括上、下、 左、右、包含、相交；相邻区域面积比的约束值由如下方法确定针对具体对 象，选取多幅包含该对象的图像，手工分割出该对象的各个组成部分在图像中 的区域，然后分别计算各个相邻区域的面积比值，根据其中的最小值和最大值 确定相邻区域面积比约束值的范围；
(4. 3)所述对象的显著特征是指待分割对象的某个组成部分在不同尺度和 光照条件下不变的且能用Hough平行线检测、Hough圆检测、矩形度度量或者不 变矩度量几者之一描述的几何特征。本发明通过模拟人类视觉感知特性，在双尺度空间进行图像分割，有效地 解决了图像分割中当同质区域由于光照不均出现空间颜色变化时，很难把它们 分割成一个整体区域的难题；在区域合并过程中，为了避免过合并现象，通过 最小化代价函数的方法来自动停止区域合并，提高了算法的鲁棒性；以空间拓 扑结构构造对象模型作为对象的先验知识，完成图像对象分割，其分割结果可 以用于基于图像对象的检索和分析，大大提高了分割技术的可用性。
图l是本发明的流程图； 图2(a)是汽车对象模型图； 图2(b)是人像对象模型图； 图3(a)是包括汽车对象原图3(b)是尺度6的图像；
图3(C)是粗分割结果；
图3(d)是区域合并结果；
图3(e)是车轮检测结果；
图3(f)是汽车对象的种子区域;
图3(g)是汽车提取结果
图4(a)是包括人像对象的原图;
图4(b)是区域合并结果；
图4(C)是人脸检测结果；
图4(d)是人像提取结果；
图5(a)是包括动物对象的原图; 图5(b)是动物对象分割结果。
具体实施例方式
实施例l:汽车对象分割。
1、建立双尺度空间在非线性尺度空间中，利用总变分流(TVF)模型得到的迭代方程:
fr=/
由迭代方程将图3(a)生成7个尺度的图像序列{/^=。，从中抽取/° (图3 (a)) 和/6 (图3(b))作为双尺度空间。
2、 粗分割颜色量化和基于视觉一致性的颜色聚类
采用基于八叉树结构的颜色量化方法对图3(b)进行颜色量化，颜色量化后 图像的颜色数L二200，然后把颜色空间从RGB颜色空间转到HVC颜色空间，将这 200种颜色作为初始聚类中心，采用C均值聚类方法根据NBS颜色度量将具有视 觉相似颜色的像素点聚类到一起，而将具有显著不同颜色的像素点归并到不同 的类。粗分割后，还剩下36个区域。
3、 区域合并
(3.1)建立粗分割后的36个区域的邻接关系表。
(3. 2)利用Gabor滤波器对图3(a)进行Gabor变换得到3个尺度各8个方 向共24个纹理特征子带，图像/V(图3(b))粗分割后成为图3 (c)，将其各区 域映射到24个纹理特征子带上，利用24个纹理特征子带的纹理特征计算各个 区域的均值/V和方差《/，构成一个48维的特征向量，作为各区域的纹理特征 信息TX/^，《;W2W，…y"2/，《/)， k = l~24， z = l 36;
(3. 3)计算每个区域和其邻域的所有区域的纹理距离z^和颜色距离i^, 分别归一化后，计算区域距离i^， Z^=(^Z^+"2i^)A。6，其中a取0.4, ^取 0.6。根据区域距离Z^得到36个区域的距离关系表；
(3.4)合并区域距离最小的两个区域，然后更新区域邻接关系表和区域距
离关系表，每进行一次区域合并，就计算一次代价函数F并保存直到最小的区 域距离大于0. 2，最后选取使得代价函数最小的那次合并作为最终的合并结果如 图3(d)，合并后还有5块区域。
4、 对象分割(4.1) 图2(a)所示为一个汽车模型。汽车模型包含车身、车窗、车轮3个 部分。根据这个汽车模型可以建立汽车区域结构图&=(~，&)，其中
节点集^={车身，车窗，车轮)， 边缘集^ ，
6"={车身，车轮l车身在车轮上方，且面积约束比为2: 1~6: 1}， ef ={车身，车窗l车身包含车窗，且面积约束比为3: 1~5: ，
(4.2) 通过Hough圆检测检测到汽车的车轮(图3 (e))，选取其所在的区 域的作为汽车对象的种子区域(图3 (f))。
(4.3) 从种子区域在汽车区域结构图中所对应的节点出发，遍历汽车区域 结构图C^，那么在车轮上方且满足面积比的区域为车身，而被车身包含的区域 为车窗，最后合并这3个区域完成汽车对象的分割(图3 (g))。
实施例2:人像对象分割，
其建立双尺度空间，粗分割，区域合并步骤与实施例1相同，区域合并后 还有15块区域。图4(a)是包括人像对象的原图；图4(b)是区域合并结果；
图2(b)所示为一个人像模型。人像模型包含脸、头发、身体、腿4个部分。
根据人像对象模型建立人像区域结构图G"" =(fm，￡m)，其中 节点集^={脸，头发，身体，腿}
通过人脸检测算法(opencv-intel开源计算机视觉库，提供了人脸检测实 现函数)检测到人脸，图4(c)是人脸检测结果；选取其所在区域作为对象的种 子区域，那么人脸上方和下方且满足面积比的区域分别为头发和身体，而身体 下方的区域为腿，最后合并这4个区域完成人像分割(图4 (d))。
<={头发，脸1头发在脸的上方，且面积约束比为l: 1.5-1: 4}
ef ={身体，脸|身体在脸的下方，且面积约束比为2: 1-5: 1
<={身体，腿i腿在身体下方，且面积约束比为1.5: 1~2: 1实施例3为一个动物图像分割，图5(a)是包括动物对象的原图，由于该对 象的构成比较简单，对象的各个组成部分具有相似的色彩、纹理特征，所以只 需要执行前3个步骤建立双尺度空间，粗分割，区域合并就可以得到对象的 完整区域(图5 (b))。
权利要求
1. 一种图像对象分割方法，步骤为(1)建立双尺度空间步骤在非线性尺度空间中，利用总变分流模型得到的迭代方程将一幅图像生成不同尺度的图像序列式中Ik表示图像序列中尺度为k的图像，I为原图，Ix，Iy为I的一阶偏导，Ixx，Ixy，Iyy为I的二阶偏导，Δt取0.25，抽取原尺度图像I0和最大尺度图像IN作为双尺度空间，其中N为5~10，根据所需要分割对象的尺寸选择；(2)粗分割步骤在最大尺度图像IN上，采用基于八叉树结构的颜色量化方法对图像中各像素进行颜色量化，经过颜色量化后，将IN的颜色空间从红、绿、蓝RGB颜色空间转到色调、亮度、饱和度HVC颜色空间，在HVC颜色空间中对图像IN采用C均值聚类方法进行颜色聚类，完成粗分割；(3)区域合并步骤将粗分割后的HVC颜色空间图像IN各区域映射到RGB颜色空间原尺度图像I0上，在原尺度图像I0上计算粗分割各区域的纹理、颜色信息，并根据它们对粗分割区域进行区域合并；(4)对象分割步骤由具体对象的各个组成部分构造对象模型，根据对象模型建立对象区域结构图GM＝(VM，EM)，其中节点集中元素分别表示组成对象的各个区域节点，边缘集中元素分别表示相邻区域的拓扑空间关系和它们面积比的约束值；然后根据对象的显著特征在原尺度图像I0上选取区域合并后的一个区域作为对象的种子区域，如果找不到对象的显著特征，则人工选取对象的任意组成部分在区域合并后的对应区域作为对象的种子区域；从种子区域在对象区域结构图中所对应的节点出发，遍历对象区域结构图GM，根据相邻区域间的拓扑空间关系和面积比的约束值，把对象的其他区域与种子区域合并，完成对象分割。
2.如权利要求1所述的图像对象分割方法，其特征在于所述粗分割步骤中，定义J-(Z/,，^C,), 5 = (//2，「2，&)为HVC颜色空间的两 种颜色，它们之间的距离"，为-1-cos(lA//) 100+ AC2 + (4AF)2其中，A// = |//,-/f2|， AC-lq-Cj, /^ = ^-「2|;当0娜<6.0时，则认为它 们是视觉相似的；采用C均值聚类方法进行颜色聚类的过程为(2.1) 初始化颜色量化后,的颜色数为厶对每一种颜色C,构造一个空 集合&，并且将该颜色作为聚类中心，Z^255， j二l，2,……L;(2.2) 在HVC颜色空间中，对于图像的每一个像素点，找到一个集合&，使得其对应的像素值/,C^，C)满足Z)鹏(/,.A.) = ^^{/)顺(/,，<^)}，并将/,添加到集 合A中，集合《中像素点的数目iV(S》加1， i = l，2，……NT， NT为图像总的像素 数；(2.3) 对每一个集合S"修改聚类中心C,^Z/,;(2.4) 对每 一 个集合& ，如果存在集合& ，满足 A^(C,，C》-^g(Z)鹏(C,，C》)《6.0 ，那么合并集合&及A.，并生成一个新集合s)，其聚类中心为C;、^、1、^、 2 A，颜色对应的集合数L减1;(2.5)重复执行过程(2.2)， (2.3)， (2.4)，直到所有的颜色集合都收敛， 形成M个区域。
3.如权利要求l所述的图像对象分割方法，其特征在于 所述区域合并步骤过程为(3.1)建立粗分割后M个区域的邻接关系表，该邻接关系表为MXM的二维 矩阵，两个区域邻接，则对应元素置为l，否则置为0;(3. 2)利用Gabor滤波器对原尺度图像"进行Gabor变换得到3个尺度各8 个方向共24个纹理特征子带，将粗分割后的图像,各区域映射到24个纹理特 征子带上，利用24个纹理特征子带的纹理特征计算各个区域的均值^/和方差 <V ，构成 一 个48维的特征向量，作为各区域的纹理特征信息 TX/V，《z〃2V/，…〃24Wh k=l 24， z = l M;(3. 3)计算每个区域和其邻域的所有区域的纹理距离化〗和颜色距离/^ ，《曾。-T』'巧，"分别归一化后，计算区域距离/^,化x^《+^0w ，其中kl， W分别为区域a和区域b的面积；C。， Q分别为区域a和区域b 的颜色均值；A，化为权值；A。,表示区域的邻接关系，两个区域相邻，贝ljA^置 为1，否则取+oo;根据区域距离Z^得到M个区域的距离关系表，该距离关系表为MXM的二 维矩阵；(3.4)合并距离关系表中区域距离最小的两个区域，然后更新区域邻接关 系表，根据过程(3.3)计算合并后区域与其邻域的所有区域的的区域距离，更新 距离关系表；每进行一次区域合并，计算一次代价函数F并保存，直到最小的 区域距离大于0.2，选取对应最小代价函数值的那次合并作为最终合并结果；其 中代价函数F定义为〉:c"》 〉:〉:||人其中，c。,6是区域a和区域b的公共边长度，2>。》就是图像中区域合并到只剩下&个区域时分割线的总长度，C是粗分割后M个区域分割线的总长度;乂为第r个区域的像素数，r=l，…A; ^为图像总的像素数；《为第r个区域的第s个像素的颜色值；/_ 为图像中颜色平均值，C。"为第r个区域的颜色平均 *, <formula>formula see original document page 5</formula>值；《/2 = ^-，用来度量合并后区域的同质性程度，^越小则区域的 同质性越高；0<"《1为相应的惩罚因子。
4.如权利要求l所述的图像对象分割方法，其特征在于 所述对象分割步骤中，(4. 1)所述对象区域结构图(^ =(~,^)中，节点集^ 中各个 区域节点vr，vf，…《相应为对象的各个组成部分；(4. 2)边缘集^ ={ ，...,《}中元素《，ef ,...，《分别表示相邻区域的拓扑 空间关系和它们面积比的约束值；所述相邻区域的拓扑空间关系包括上、下、 左、右、包含、相交；相邻区域面积比的约束值由如下方法确定针对具体对 象，选取多幅包含该对象的图像，手工分割出该对象的各个组成部分在图像中 的区域，然后分别计算各个相邻区域的面积比值，根据其中的最小值和最大值 确定相邻区域面积比约束值的范围；(4. 3)所述对象的显著特征是指待分割对象的某个组成部分在不同尺度和 光照条件下不变的且能用Hough平行线检测、Hough圆检测、矩形度度量或者不 变矩度量几者之一描述的几何特征。
全文摘要
一种图像对象分割方法，属于图像数据处理方法，解决现有分割方法只考虑颜色信息、过分割现象较严重或者光照不均时难于分割成一个整体区域的问题；本发明包括(1)建立双尺度空间步骤；(2)粗分割步骤；(3)区域合并步骤；(4)对象分割步骤。本发明有效解决了图像分割中当同质区域光照不均出现空间颜色变化时，难于分割成整体区域的问题；通过最小化代价函数的方法自动停止区域合并，提高了算法的鲁棒性；分割结果符合人类视觉感知特性，可以用于基于图像对象的检索和分析，大大提高了分割技术的可用性。
文档编号G06T7/00GK101425182SQ200810198000
公开日2009年5月6日 申请日期2008年11月28日 优先权日2008年11月28日
发明者田金文, 蔡华杰, 谭毅华, 超 陶 申请人:华中科技大学