一种基于优化高斯混合模型的图像语义标注的方法
【技术领域】
[0001] 本发明涉及图像检索和自动图像标注技术领域，尤其涉及一种基于优化高斯混合 模型的图像语义标注的方法。
【背景技术】
[0002] 随着数字图像以及图像数据库数量的快速增长，图像检索已成为信息检索领域中 的一个重要研宄方向，它的目的是从图像数据库中快速提取出与查询相关的图像或者图像 序列，使用户能迅速获取需要的特定图像。
[0003]图像语义自动标注是基于语义的图像检索的关键环节，已经成为图像检索中的研 宄热点。图像语义的自动标注就是为图像添加关键字来表示图像的语义内容，能够将图像 的视觉特征转化为图像的标注字信息，继承了关键字检索的高效率，也克服了手工标注费 时费力的缺点。传统的基于语义的图像检索方法原理如图1所示，直接由计算机自动实现 从媒体内容中提取特征，并通过相似性匹配来检索图像，突破了关键词检索基于文本特征 的局限，避免了人工描述的主观性，也大大减少了工作量，检索方式更加多样化。
[0004] 但是传统的基于语义的图像检索建立在对图像底层特征的提取和分析、匹配的基 础之上，无法解决图像底层特征与高层的语义概念表达之间存在着巨大的差异的问题，即 "语义鸿沟"的问题。
【发明内容】
[0005] 本发明为解决上述问题提出了一种基于优化高斯混合模型（I-GMM)的有监督图 像语义标注方法，即通过监督贝叶斯学习得到图像的底层视觉特征和语义概念间关系，利 用最大期望（EM)算法对每一图像语义概念建立两个高斯混合模型，并增加去除噪声区域 的步骤，进一步提高了概念分类器的标注性能。
[0006] 本发明的技术方案通过以下实现。
[0007] -种基于优化高斯混合模型图像语义标注方法，包括如下步骤：
[0008]S1.通过监督贝叶斯学习得到图像的底层视觉特征和语义概念间关系，图像分割 后进行底层特征提取，然后通过图像的特征选择得到图像特征集合；
[0009]S2.利用最大期望算法对每一图像语义概念建立两个高斯混合模型，并增加去除 噪声区域的步骤；
[0010]S3.根据图像特征集合，计算出区域层颜色后验概率和纹理后验概率，将求得的图 像属于所有概念的后验概率按照降序排列，获得每一个概念的颜色排序值；类似的对纹理 后验概率按照降序排列，获得每一概念的纹理排序值；选取前R个排序值之和最小的概念 类标注图像。
[0011] 进一步地，所示基于优化高斯混合模型图像语义标注方法，步骤S1中图像分割及 底层特征提取，具体步骤如下：
[0012]S1-1?分析图像颜色并量化；
[0013]S1-2.对颜色量化后的图像进行空间分割得到任意形状的相似点集合，即分割后 的图像区域；
[0014]S1-3.提取颜色特征，获得3维主颜色特征，以及每个图像区域中H、S、V3个分量 的均值和方差，共9维特征向量；
[0015]S1-4.提取纹理特征，获得4个尺度和6个方向的Gabor小波系数的均值和方差， 共48维的区域纹理特征向量；
[0016]S1-5.整合图像特征，存入图像特征库。
[0017] 进一步地，所示的基于优化高斯混合模型图像语义标注方法，步骤S1中图像的特 征选择模块具体步骤如下：
[0018] 1)对图像特征库进行采样，生成特征子集；
[0019] 2)用连接F属性评估的属性选择算法评价特征子集，并得到其优劣程度的得分 Score；
[0020] 3)将特征子集优劣程度得分与连接F属性评估的属性选择算法中设定的阈值相 比较，若Score大于阈值则转入步骤4)，否则转入步骤1);
[0021] 4)验证特征选择的结果。
[0022] 进一步地，所示的基于优化高斯混合模型图像语义标注方法，S2中高斯混合模型 建立具体步骤如下：
[0023]S2-1.对某一个语义概念wkGW，建立图像训练集Tk= 其中Wk为第k 个语言概念元素；W为语义概念的集合；Tk为第k个语义概念元素的训练集合；I,为训练集 合的第i个元素；
[0024]S2-2.确定高斯混合模型代表公式，如下：
[0025]
【主权项】
1. 一种基于优化高斯混合模型图像语义标注方法，其特征在于， 包括如下步骤：
51. 通过监督贝叶斯学习得到图像的底层视觉特征和语义概念间关系，图像分割后进 行底层特征提取，然后通过图像的特征选择得到图像特征集合；
52. 利用最大期望算法对每一图像语义概念建立两个高斯混合模型，并增加去除噪声 区域的步骤；
53. 根据图像特征集合，计算出区域层颜色后验概率和纹理后验概率，将求得的图像属 于所有概念的后验概率按照降序排列，获得每一个概念的颜色排序值；类似的对纹理后验 概率按照降序排列，获得每一概念的纹理排序值；选取前R个排序值之和最小的概念类标 注图像。
2. 根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，步 骤Sl中图像分割及底层特征提取，具体步骤如下： Sl-L分析图像颜色并量化； S1-2.对颜色量化后的图像进行空间分割得到任意形状的相似点集合，即分割后的图 像区域； S1-3.提取颜色特征，获得3维主颜色特征，以及每个图像区域中H、S、V 3个分量的均 值和方差，共9维特征向量； S1-4.提取纹理特征，获得4个尺度和6个方向的Gabor小波系数的均值和方差，共48 维的区域纹理特征向量； 51- 5.整合图像特征，存入图像特征库。
3. 根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，步 骤Sl中图像的特征选择具体步骤如下： 1) 对图像特征库进行采样，生成特征子集； 2) 用连接F属性评估的属性选择算法评价特征子集，并得到其优劣程度的得分Score 3) 将特征子集优劣程度得分与连接F属性评估的属性选择算法中设定的阈值相比较， 若Score大于阈值则转入步骤4)，否则转入步骤1); 4) 验证特征选择的结果。
4. 根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，S2 中高斯混合模型建立具体步骤如下： 52- 1.对某一个语义概念WkG W建立图像训练集Tk= = 其中Wk为第k个语 言概念元素；W为语义概念的集合；Tk为第k个语义概念元素的训练集合；I ,为训练集合的 第i个元素； S2-2.确定高斯混合模型代表公式，如下：
其中X p y p E i分别表不第i个高斯分量的权重、均值向量和方差矩阵，X表不m维 的特征向量，K是高斯模型的分量数目；
入j表示第j个高斯分量的权重；y ^表示第j个均值向量；E ^表示第j个方差矩阵， 表示m维的特征向量，K是高斯模型的分量数目； S2-4.对每类特征参数进行GMM训练，得到训练的GMM矩阵； S2-5. Sl得到的特征参数进行优化，并且输入训练好的GMM，求其似然度； S2-6.根据S2-5步算出的似然度，计算各类特征的匹配概率； S2-7.对S2-6步中求出的各特征参数匹配概率加权求和得总匹配度Match ; S2-8.将求得的Match和阈值进行比较，如果大于阈值，将进行各特征的贡献率计算； 如果小于阈值，将进行计数及送入结束判断； 52- 9.对S2-8.中的Match小于阈值且不满足结束条件的图像特征送回进行新一轮的 训练，如果满足结束条件，则训练结束。
5. 根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，S3 步骤中语义标注步骤具体如下： 53- 1.对于每一张测试图像I，按照步骤Sl得到图像特征集合；
个概念在整个训练集中出现的概率；px(x)假设为均匀分布，为一个常量；计算出区域层颜 色后验概率Pwixc(WkIBj)和纹理后验概率pw|XT (wk I Bj);
像面积的比例；计算出该图像的颜色后验概率值Pwlxc(WkIl)和纹理后验概率值p w|XT(wk|l); S3-4.将求得的图像属于所有概念的后验概率pw|xe(wk|l)按照降序排列，获得每一个 概念的颜色排序值 < ;类似的对PW|XT (wk 11)按照降序排列，获得每一概念的纹理排序值^'; 因此，对于每一个概念类，都可以求出它的颜色和纹理排序值之和rk; S3-5.选取前R个排序值之和最小的概念类标注图像。
6. 根据权利要求1所示的基于优化高斯混合模型图像语义标注方法，其特征在于，S3 步骤中R为6。
【专利摘要】本发明公开了一种基于优化高斯混合模型图像语义标注方法，属于图像检索和自动图像标注技术领域。本发明具体步骤如下：S1.通过监督贝叶斯学习得到图像的底层视觉特征和语义概念间关系，得到图像特征集合；S2.利用最大期望算法对每一图像语义概念建立两个高斯混合模型，并增加去除噪声区域的步骤；S3.根据图像特征集合，计算出区域层颜色后验概率和纹理后验概率，将求得的图像属于所有概念的后验概率按照降序排列，获得每一个概念的颜色排序值；类似的对纹理后验概率按照降序排列，获得每一概念的纹理排序值；选取前R个排序值之和最小的概念类标注图像。本发明图像底层特征与高层的语义概念表达之间的差异明显减少，有效解决了语义鸿沟的问题。
【IPC分类】G06K9-62
【公开号】CN104820843
【申请号】CN201510289187
【发明人】张晓俊, 曹毅, 陶智
【申请人】常熟苏大低碳应用技术研究院有限公司
【公开日】2015年8月5日
【申请日】2015年5月29日