专利名称：：基于视觉注意模型的图像分类方法
技术领域：
：本发明涉及的是一种图像分类
技术领域：
的方法，具体是一种基于视觉注意模型的图像分类方法。
背景技术：
：人眼的视觉选择性注意机制就是使我们能够在复杂的视觉环境中快速地定位感兴趣目标。注意力使用一种信息处理瓶颈机制，它只允许一小部分进入感觉器官的信息到达短期记忆和视觉注意区域。如果某个视觉刺激(物体)足够显著，它会从一幅画面中凸显出来，这种显著性与观察目的无关，它是以一种快速的、自底向上的方式起作用的。图像分类，即图像类别识别是随计算机的发展而兴起的一门学科，现已渗透各个领域。如生物学中的色体特性研究；天文学中的望远镜图像分析；医学中的心电图分析、脑电图分析、医学图像分析；军事领域中的航空摄像分析、雷达和声纳信号检测和分类、自动目标识别等等。近年来，随着数字图像的普及，设计一个能自动的管理海量图像库的图像分类方法有着巨大的现实意义。当前，对图像分类识别的常用方法是先提取图像特征，再输出给分类器进行特征值的归类。图像特征包括几何特征、形状特征、颜色特征、纹理特征等等。所提取到的特征被送往分类器，分类器用于对接收到的特征与数据库中的样本进行匹配识别，判断当前图像是否属于某一类别，以及当前图像与该类别相似程度的高低。目前常用的分类器基于以下几种分类方式，例如贝叶斯决策准则、最小距离分类方法、支持向量机方法(Svm)、增压(Boosting)、神经网络方法等。经对现有技术文献的检索发现，LiFei-Fei等人在proceedingsofIEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,vol.2,pp:524-531,20-25June,2005(IEEE计算机视觉和模式识别国际会议，第2巻，524—531页，2005年6月20—25日)上发表的文拿(ABayesianHierarchicalModelforLearningNaturalSceneCategories"("学习自然场景类别的一种贝叶斯层次模型")中，提出一种提取特征向量的方法，该方法通过将整幅图像分解为很多子块(patch)的组合，对各个子块提取特征向量加以组合形成分类所需特征向量。该方法有个明显的缺陷，即对整幅图像的各个子块不加筛选的提取特征，这样所提取出的特征必然包含了图像中包括目标和背景等各个组成部分的信息，所以有较大的冗余性以及干扰性。
发明内容本发明针对上述现有技术存在的不足，提出一种基于视觉注意模型的图像分类方法，使其通过视觉注意模型，对图像中各像素点的显著性进行度量，加强对图像中人眼感兴趣区域的描述，并抑制人眼所不感兴趣的区域，从而减少背景等杂乱目标的干扰，在图像^迅速找到感兴趣的内容即注意焦点，在注意焦点的引导下高效的完成图像分类的任务。本发明是通过以下技术方案实现的，具体步骤如下步骤一，在所选图像库中随机选取设定数量的图像作为训练样本；步骤二，提取训练样本中每幅图像的基于视觉注意模型和全局稀少型的特征向量，具体如下首先，获取图像的亮度通道、颜色通道、方向通道以及稀少性通道，然后，利用多分辨率处理的机制，分别为各个通道，建立高斯金字塔，其次，对于高斯金字塔通过中心一边缘操作生成一系列特征图，其中，对亮度通道通过中心-边缘操作计算中心一边缘差，同时也计算边缘一中心差，则亮度通道被分解为两个子通道上；最后，在各个通道内对由第六步生成的特征图进行跨尺度相加，使得每个通道各生成一副总的特征图，并采用网格平均法对生成的各特征图提取特征向量；步骤三，对待分类的图像也采用与步骤二相同的方法提取每副图像基于视觉注意模型和全局稀少性的特征向量；步骤四，将步骤二和步骤三提取的特征向量送往分类器进行分类，最终得到待分类图像的分类结果。所述获取亮度通道，对每幅输入图像提取其R、G、B分量值，图像的亮度通道表示为<formula>formulaseeoriginaldocumentpage6</formula>所述获取颜色通道，包括如下步骤首先，用亮度I对r、g、b进行归一化处理获得,、g'、6'，以去除颜色分量与亮度之间的耦合关系，并将亮度处于设定的门限值以下的像素点的颜色全部置零，因为在亮度低的地方很难引起人眼视觉的注意；然后，将,、g'、6'转化为四原色(PrimaryColors)红色、绿色、蓝色和黄色，分别表示为R、G、B、Y，转化关系如下<formula>formulaseeoriginaldocumentpage7</formula>最后，将上述四元色合成两个"颜色对"以获取颜色通道，作为R-G颜色子通道和B-Y颜色子通道，合成关系如下所述用亮度I对r、g、b进行归一化处理获得,、g'、6'，具体如下①寻找图像亮度的最大值/_;②设置亮度的门限值为/_/10，选择所有亮度小于门限值的点；③设置像素点的,、g'、6'，将第②步选择的像素点设置为<formula>formulaseeoriginaldocumentpage7</formula>其他的像素点设置为<formula>formulaseeoriginaldocumentpage7</formula>所述获取方向通道，是指通过对亮度通道进行加博(Gabor)滤波得到方向通道，根据Gabor滤波器的方向参数将方向通道分为四个子通道，分别对应(T、45°、90°和135°,对亮度通道在特定方向上运用Gabor滤波器，便可得到对应的方向子通道<formula>formulaseeoriginaldocumentpage7</formula>所述获取稀少性通道，包括如下步骤①将图像作为一系列消息附,的组合，并获得每个消息出现的频率，具体如下<formula>formulaseeoriginaldocumentpage7</formula>其中，WW(附,)为图像像素m,在统计直方图中的值，cfl^(M)为图像M中像素点个数；②如果两个消息附,和邵具有相同的出现频率，但是其中m,比起外同其他的消息相比具有更大的差异性，也就是附,相对于附;较为稀少，此时m,显然应该获得较大的注意值，则引入全局区分度^^^"ce(肌)来描述消息肌和图像中其他消息的差异性，具体如下产i③根据消息出现的频率和全局区分度来获得消息附,的自信息量，其中图像中稀少的消息将包含较高的自信息量，具体如下-/(肌)二-log(/7(附,))所述采用网格平均法对生成的各特征图提取特征向量，是指对每一个特征图，将其划分为固定的4X4小块，并计算每一块的平均值，这样对生成的各幅颜色、亮度、方向特征图和基于全局稀少性的特征图，分别用一个16维特征向量来表征，最后将所有特征向量合并作为下一步图像分类的特征向量。本发明中的网格平均法也可以理解为"模糊处理"，是一种符合生物视觉原理的方法。所述为各个通道建立高斯金字塔，具体如下-①分别将各个通道得到的最细尺度的图像作为金字塔的底层(第0级)；②将每一层图像与5X5的高斯核函数巻积；③在宽度和高度两个方向上2倍减采样，得到金字塔的下一级；④跳转至步骤②，直到金字塔的顶层。一个典型的图像金字塔的每一层是前一层宽度和高度的一半，金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的表示。当金字塔向上移动时，尺寸和分辨率就降低。如果图像的分辨率是2的幂，或者2的幂的倍数，那么构建这些金字塔是非常方便的。在层与层之间，常常使用一些核函数或者滤波器进行平滑和滤波，场景的核函数包括高斯核、拉普拉斯核、Gabor核等，因此对应的有高斯金字塔、拉普拉斯金字塔和Gabor金字塔。所述中心一边缘操作，是指将图像的"中心"区域与"边缘"区域相比较，在视觉注意模型中，"中心"区域与"边缘"区域的差值即为特征图中各像素值。在视觉注意模型中，中心为底层到顶层金字塔中的各像素，而边缘则通过计算每个中心像素某个邻域内的平均值得到。与现有技术相比，本发明具有如下有益效果本发明结合人眼视觉特性，提出了一种基于视觉选择性注意和全局稀少性相结合的视觉注意计算模型，对该计算模型产生的特征图通过网格平均法提取特征向量，从而可以从底层特征中获取高层的具有视觉特性的特征进行图像分类，使得分类的结果更为精准。图1为本发明流程图2为本发明方法中基于视觉注意模型的特征向量的提取流程图。具体实施例方式下面结合附图对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。本实施例中采用的图像数据库为Caltech图像库，包括人脸、飞机、车尾、车身、摩托车和背景6类，每一类有比较大的类内差异性且背景杂乱。如图1所示，本实例包括如下步骤步骤一，在Caltech图像库6类的每一类中随机选取50%作为训练样本，50%作为测试样本。步骤二，按以下步骤提取每个训练样本基于视觉注意模型和全局稀少型的特征向量，如图2所示第一步，亮度通道的获取对输入图像提取其R,G,B分量值，图像的亮度由下式给出/=!^±^;3第二步，颜色通道的获取为了去除颜色分量与亮度之间的耦合关系，首先用亮度I对r、g、b进行归一化处理。同时考虑到在亮度很低的地方(如小于最大亮度的10%),很难引起人眼视觉的注意，因此将亮度处于门限值以下的像素点的颜色全部置零。归一化的具体过程如下(1)寻找图像亮度的最大值；(2)找出所有亮度小于门限值(通常设为/_/10)的点；(3)在这些点对应位置'=0g'=0，其他位置6'=0将,、g'、6'转化为四原色(PrimaryColors)红色、绿色、蓝色和黄色，分别表示为R、G、B、Y。转化关系由下式给出<formula>formulaseeoriginaldocumentpage10</formula>为获取颜色通道，我们将上述四元色合成两个"颜色对"，作为R-G颜色子通道和B-Y颜色子通道，合成关系由下式给出第三步，方向通道的获取方向通道通过对亮度通道进行Gabor滤波得到方向通道根据Gabor滤波器的方向参数分为四个子通道，分别对应(T、45°、90°和135°。对亮度通道在特定方向上运用Gabor滤波器，便可得到对应的方向子通道=/*Ga6w(外<9e{0。,45。，90。，135。}。第四步，稀少性通道的获取视觉选择性注意模型可以通过亮度、颜色和方向图来衡量当前图像中各像素点的显著性，从而引导早期的视觉注意。然而，一个显著的特征在某些情况下可能不是我们视觉注意的焦点，此时人眼更可能会为图像中出现频率较少的特征所吸引。稀少性通道的获取步骤如下(1)将图像看作是一系列消息肌的组合(2)计算消息出现的频率如下^,、其中为图像像素肌在统计直方图中的值，c^/(M)为图像M中像素点个数。(3)计算消息的全局区分度如下2|附,画附j(4)计算各消息的自信息量。/(w,)=-logO(w,))第五步，各通道的金字塔分解对第一步到第四步得到的亮度，颜色，方向以及稀少性通道，利用多分辨率处理的机制，分别为各个通道建立高斯金字塔。高斯金字塔的建立过程如下(1)分别将各个通道得到的最细尺度的图像作为金字塔的底层(第0级)；(2)每一层图像与5X5的高斯核函数巻积；(3)在宽度和高度两个方向上2倍减采样，得到金字塔的下一级；(4)跳转至步骤(2)，直到金字塔的顶层(第4级)。第六步，中心—边缘操作对第五步建立的各通道的图像金字塔通过中心一边缘操作生成一系列特征图。中心一边缘操作即是将"中心"区域与"边缘"区域相比较。在视觉注意模型中，特征图是由中心-边缘操作(Center-SurroundOperation)通过比较"中心"区域与"边缘"区域生成的。在视觉注意模型中，中心为第2级到第4级金字塔中的各像素，而边缘则通过计算每个像素某个邻域内的平均值得到。另外，对亮度通道为了模拟人眼感受野中细胞的响应，不仅计算中心一边缘差，同时也计算边缘一中心差，这样亮度通道被分解为两个子通道上，即/。"和/。#。第七步，特征向量的生成首先在各个通道内对由第六步生成的特征图进行跨尺度相加，使得每个通道各生成一副总的特征图。采用网格平均法对生成的各特征图提取特征向量，即对每一个特征图，我们将其划分为固定的4X4小块，然后计算每一块的平均值。这样对生成的2幅颜色、2幅亮度及4幅方向特征图和1幅基于全局稀少性的显著图，共提取到9*16=144维向量作为下一步图像分类的特征向量。这里的网格平均法也可以理解为所谓的"模糊处理"，是一种符合生物视觉原理的方法。步骤三，对待分类的图像按照与步骤二相同的方法提取每副图像基于视觉注意模型和全局稀少性的特征向量。步骤四，将步骤二和步骤三提取的特征向量送往分类器进行分类，最终得到待分类图像的分类结果。，本实施例中采用支持向量机(SVM)分类器，得到总的分类结果的混淆矩阵如表1所示表l6类混淆矩阵<table>tableseeoriginaldocumentpage12</column></row><table>由表一可计算出6类图像分类的总的准确率为97.74%。由表一可知，本实施例对各类图像均可取得很好的分类效果。本实施例结合人眼视觉特性，提出了一种基于视觉选择性注意和全局稀少性相结合的视觉注意计算模型，对该计算模型产生的特征图通过网格平均法提取特征向量，从而可以从底层特征中获取高层的具有视觉特性的特征进行图像分类。本实施例的分类结果表明，本实施例方法在提高分类准确率和降低分类错误率上均有非常好的效果。权利要求1、一种基于视觉注意模型的图像分类方法，其特征在于，包括如下步骤步骤一，在所选图像库中随机选取设定数量的图像作为训练样本；步骤二，提取训练样本中每幅图像的基于视觉注意模型和全局稀少型的特征向量，具体如下首先，获取图像的亮度通道、颜色通道、方向通道以及稀少性通道，然后，利用多分辨率处理的机制，分别为各个通道建立高斯金字塔，其次，对于高斯金字塔通过中心—边缘操作生成一系列特征图，其中，对亮度通道通过中心-边缘操作计算中心—边缘差，同时也计算边缘—中心差，则亮度通道被分解为两个子通道上；最后，在各个通道内对由第六步生成的特征图进行跨尺度相加，使得每个通道各生成一副总的特征图，并采用网格平均法对生成的各特征图提取特征向量；步骤三，对待分类的图像也采用与步骤二相同的方法提取每副图像基于视觉注意模型和全局稀少性的特征向量；步骤四，将步骤二和步骤三提取的特征向量送往分类器进行分类，最终得到待分类图像的分类结果。2、根据权利要求1所述的基于视觉注意模型的图像分类方法，其特征是，所述获取亮度通道，对每幅输入图像提取其R、G、B分量值，图像的亮度通道表示为<formula>formulaseeoriginaldocumentpage2</formula>3、根据权利要求1所述的基于视觉注意模型的图像分类方法，其特征是，所述获取颜色通道，包括如下步骤首先，用亮度I对r、g、b进行归一化处理获得r'、g'、6'，以去除颜色分量与亮度之间的耦合关系，并将亮度处于设定的门限值以下的像素点的颜色全部置零，因为在亮度低的地方很难引起人眼视觉的注意；然后，将,、g'、6'转化为四原色红色、绿色、蓝色和黄色，分别表示为R、G、B、Y，转化关系如下<formula>formulaseeoriginaldocumentpage2</formula>最后，将上述四元色合成两个"颜色对"以获取颜色通道，作为R-G颜色子通道和B-Y颜色子通道，合成关系如下^=5-7°4、根据权利要求3所述的基于视觉注意模型的图像分类方法，其特征是，所述用亮度I对r、g、b进行归一化处理获得r'、g'、6'，具体如下①寻找图像亮度的最大值/m^;②设置亮度的门限值为/_/10，选择所有亮度小于门限值的点；③设置像素点的r'、g'、6'，将第②步选择的像素点设置为g'=0，其他的6'=0像素点设置为6'=6〃5、根据权利要求1所述的基于视觉注意模型的图像分类方法，其特征是，所述获取方向通道，是指通过对亮度通道进行加博滤波得到方向通道，根据Gabor滤波器的方向参数将方向通道分为四个子通道，分别对应(T、45°、90°和135°，对亮度通道在特定方向上运用加博滤波器，便可得到对应的方向子通道=/*Ga6w(外Pe{0。，45。,900，135。}。6、根据权利要求1所述的基于视觉注意模型的图像分类方法，其特征是，所述获取稀少性通道，包括如下步骤①将图像作为一系列消息抓的组合，并获得每个消息出现的频率，具体如下,,、///W(抓)其中，My"附O为图像像素附,在统计直方图中的值，cfl^(M)为图像M中像素点个数；②如果两个消息附,和叫具有相同的出现频率，但是其中附,比起外同其他的消息相比具有更大的差异性，也就是附,相对于叫较为稀少，此时m,显然应该获得较大的注意值，则弓l入全局区分度d晚m^(肌)来描述消息m,和图像中其他消息的差异性，具体如下<formula>formulaseeoriginaldocumentpage4</formula>③根据消息出现的频率和全局区分度来获得消息附,的自信息量，其中图像中稀少的消息将包含较高的自信息量，具体如下-<formula>formulaseeoriginaldocumentpage4</formula>7、根据权利要求1所述的基于视觉注意模型的图像分类方法，其特征是，所述采用网格平均法对生成的各特征图提取特征向量，是指对每一个特征图，将其划分为固定的4X4小块，并计算每一块的平均值，即对生成的各幅颜色、亮度、方向特征图和基于全局稀少性的特征图，分别用一个16维特征向量来表征，最后将所有特征向量合并作为下一步图像分类的特征向量。8、根据权利要求1所述的基于视觉注意模型的图像分类方法，其特征是，所述为各个通道建立髙斯金字塔，具体如下①分别将各个通道得到的最细尺度的图像作为金字塔的底层；②将每一层图像与5X5的高斯核函数巻积；③在宽度和高度两个方向上2倍减采样，得到金字塔的下一级；④跳转至步骤②，直到金字塔的顶层。9、根据权利要求1所述的基于视觉注意模型的图像分类方法，其特征是，所述中心一边缘操作，是指将图像的"中心"区域与"边缘"区域相比较，在视觉注意模型中，"中心"区域与"边缘"区域的差值即为特征图中各像素值，在视觉注意模型中，中心为底层到顶层金字塔中的各像素，而边缘则通过计算每个中心像素某个邻域内的平均值得到。全文摘要一种图像分类
技术领域：
的基于视觉注意模型的图像分类方法，包括如下步骤步骤一，在所选图像库中随机选取一定数量的图像作为训练样本；步骤二，提取每幅图像基于视觉注意模型和全局稀少性的特征向量；步骤三，对待分类的图像计算每幅图像基于视觉注意模型和全局稀少性的特征向量；步骤四，将步骤二和步骤三中提取的特征向量送往分类器进行分类，最终得到待分类图像的分类结果。本发明可以从底层特征中获取高层的具有视觉特性的特征进行图像分类，使得分类的结果更为精准。文档编号G06F17/30GK101383008SQ20081020162公开日2009年3月11日申请日期2008年10月23日优先权日2008年10月23日发明者宋雁斓,瑞张,琤支,杨小康,陈尔康申请人:上海交通大学