专利名称：基于图论的视觉注意焦点转移轨迹规划方法
技术领域：
本发明涉及一种视觉注意焦点转移轨迹规划方法。特别是涉及一种注意焦点的确定及视线转移轨迹规划的基于图论的视觉注意焦点转移轨迹规划方法。
背景技术：
人类视觉系统能将有限的计算和存储资源优先分配给场景中少数的显著或感兴趣区域，从而很好地解决了视觉信息处理中的“瓶颈问题”(视网膜感受器所提供的信息量远大于视觉系统的存储容量)，这种特异性称为视觉系统的注意机制。如果能将这种机制引入图像分析或机器视觉领域，将极大地提升图像及视频信息的处理效率。受人类视觉系统信息加工过程启发，并借鉴最新的神经生理学和解剖学的实验结果，研究人员提出了多种视觉注意机制计算模型，其中Itti的计算模型最具代表性(期刊IEEE Transactions on Pattern Analysis and Machine Intelligence ；著者Itti L, Koch C, Niebur E ；出版年月1998年；文章IS巨:A model of saliency-based visual attention for rapid scene analysis，页码1254-1259)。视觉注意机制的建模主要包括两个环节即注意焦点的确定及视线转移轨迹规划。在注意焦点的确定方面，目前相关的研究成果较多。但在注意焦点转移轨迹规划方面，相关研究成果较少，目前广泛采用的是Itti等人提出的“胜者为王”神经网络 (Winner-Take-All Neural Network)方法。1990 年 Zabrodsky 在其研究报告中指出人眼注意焦点的转移通常遵循如下几条规律1)顺序性注意焦点按照显著度强弱次序由一个位置向另一个位置转移；2)排他性同一时间只能存在一个注意焦点；3)邻近优先性注意焦点转移时倾向于选择与当前注意焦点接近的位置；4)返回抑制性注意焦点转移时抑制返回已被选择过的注意焦点；实验测试发现，多数情况下Itti的WTA方法并未很好地遵循目前已知的人眼注意焦点转移规律。进一步研究发现，注意焦点转移规律中的“排他性原则”和“返回抑制性”较容易实现，但多数情况下“顺序性原则”和“邻近优先性原则”存在一定的冲突，如何调和上述两条原则，至今尚没有很好地解决方案。
发明内容
本发明所要解决的技术问题是，提供一种能较好地遵循已知的人眼注意焦点转移规律，特别是能较好地调和“顺序性”和“邻近优先性”这两条存在冲突的原则的基于图论的视觉注意焦点转移轨迹规划方法。本发明所采用的技术方案是一种基于图论的视觉注意焦点转移轨迹规划方法， 包括如下步骤1)从输入的彩色图像中提取多幅初级特征图；2)分别检测这些初级特征图的SIFT关键点，并利用关键点的位置和尺度信息生成显著图；3)对输入的彩色图像进行区域分割，生成区域分割图；4)根据区域分割图结合显著图确定注意焦点；5)计算任意两个注意焦点间的连接损失代价；6)利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点的转移轨迹；7)在输入图像I (X，y)上显示出注意焦点的转移轨迹。步骤1所述的初级特征图包括有灰度图、红绿对比图和蓝黄对比图。步骤2所述的生成显著图包括如下过程首先，生成一幅和输入图像I (X，y)等大小的显著图S(x, y)，初始化显著图的所有像素值为0 ；然后，对图像进行逐行扫描，如某一像素位置检测到关键点，利用该关键点尺度信息确定局部高信息区域范围，将区域内的各像素位置的显著值增加1，区域外的统计权重不做调整保留原值，扫描结束后即可获得显著图。步骤3所述的对输入的彩色图像进行区域分割，生成区域分割图，是采用JSEG分割算法对输入图像I U，y)进行分割，获得区域分割图R(x，y)。步骤4所述的根据区域图结合显著图确定注意焦点，是在区域图中结合显著图， 可以找到每一个区域内的最大显著值位置，如果区域内最大显著值小于全局最大显著值的五分之一，我们认为该区域不存在注意焦点，否则将区域最大显著值位置作为候选注意焦点，如果候选注意焦点之间的欧式距离过小，那么它们很可能指向同一目标物，因此应该将这些候选注意焦点剔除。步骤5所述的计算任意两个注意焦点间的连接损失代价，采用如下计算公式
权利要求
1.一种基于图论的视觉注意焦点转移轨迹规划方法，其特征在于，包括如下步骤1)从输入的彩色图像中提取多幅初级特征图；2)分别检测这些初级特征图的SIFT关键点，并利用关键点的位置和尺度信息生成显著图；3)对输入的彩色图像进行区域分割，生成区域分割图；4)根据区域分割图结合显著图确定注意焦点；5)计算任意两个注意焦点间的连接损失代价；6)利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点的转移轨迹；7)在输入图像I(X，y)上显示出注意焦点的转移轨迹。
2.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于， 步骤1所述的初级特征图包括有灰度图、红绿对比图和蓝黄对比图。
3.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于， 步骤2所述的生成显著图包括如下过程首先，生成一幅和输入图像I (X，y)等大小的显著图S(x，y)，初始化显著图的所有像素值为0 ；然后，对图像进行逐行扫描，如某一像素位置检测到关键点，利用该关键点尺度信息确定局部高信息区域范围，将区域内的各像素位置的显著值增加1，区域外的统计权重不做调整保留原值，扫描结束后即可获得显著图。
4.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于， 步骤3所述的对输入的彩色图像进行区域分割，生成区域分割图，是采用JSEG分割算法对输入图像I (X，y)进行分割，获得区域分割图R(x，y)。
5.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于， 步骤4所述的根据区域图结合显著图确定注意焦点，是在区域图中结合显著图，可以找到每一个区域内的最大显著值位置，如果区域内最大显著值小于全局最大显著值的五分之一，我们认为该区域不存在注意焦点，否则将区域最大显著值位置作为候选注意焦点，如果候选注意焦点之间的欧式距离过小，那么它们很可能指向同一目标物，因此应该将这些候选注意焦点剔除。
6.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于， 步骤5所述的计算任意两个注意焦点间的连接损失代价，采用如下计算公式(z.7) = (MCUHU) (Ο,^,οο)⑷βP2P(Kj) +R(i J) μ其中，Fe(i，j)为两个注意焦点(Xi，yi)和( ，yp连接的损失代价，P(i，j)为两个注意焦点(Xyyi)和(Xj，y」)连接的距离(轨迹长度)损失因子，R(i，j)为两个注意焦点(Xi， Yi)和(Xj，Yj)连接的显著度排序损失因子，P(i，j)和R(i，j)计算公式如下P(j J} = d(ij) =p1-^J)2+(y1-yJ)2， max— distmax— dist⑶IS1-Sj]R(^J) = 1~^,、num -1(g)其中，d(i，j)是两个注意焦点(Xi，Yi)和(Xj，Yj)之间的欧式距离，maX_dist表示所有的注意焦点之间距离最大值，num表示注意焦点的总个数，S”。分别表示两个注意焦点 (xi; Yi)和Up Yj)的显著度排序值，定义显著度最大的注意焦点排序值为num，次大的为 num-1，依次类推显著度最小的为1。
7.根据权利要求1所述的基于图论的视觉注意焦点转移轨迹规划方法，其特征在于， 步骤6所述的利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点的转移轨迹是，首先，选择最显著的注意焦点作为视线轨迹的起始点，然后将连接损失代价作为路径优化准则，利用改进的哈密尔顿路径寻优算法规划其它注意焦点的转移轨迹。
全文摘要
一种基于图论的视觉注意焦点转移轨迹规划方法，从输入的彩色图像中提取多幅初级特征图；分别检测这些初级特征图的SIFT关键点，并利用关键点的位置和尺度信息生成显著图；对图像进行区域分割，生成区域分割图；根据区域分割图结合显著图确定注意焦点；计算任意两个注意焦点间的连接损失代价；利用改进的基于模拟退火原理的哈密尔顿路径寻优算法规划注意焦点转移轨迹；在输入图像上显示出注意焦点转移轨迹。本发明使得规划轨迹能较好地遵循人眼注意焦点转移规律；能较好地调和“顺序性”和“邻近优先性”这两条存在冲突的原则，使算法具有广泛的适用性；达到在尽可能少的注意焦点数条件下搜寻出更多的图像信息；将为进一步揭示人眼的视觉注意机理提供重要线索。
文档编号G06T7/20GK102521845SQ20111041537
公开日2012年6月27日 申请日期2011年12月13日 优先权日2011年12月13日
发明者孟庆浩, 曾明, 杨婷, 贾海燕, 韩铁锚 申请人:天津大学