图像处理装置、图像处理方法、程序以及记录介质的制作方法
【专利摘要】实现不需要事前知识且即使对一张静止图像也能够高精度地评价显著度的图像处理装置、图像处理方法、程序以及记录介质。图像处理装置（1）包括：相似图生成部（122），对各个超像素，生成表示与位于图像中的端部区域的超像素的相似度的相似图；前景区域确定部（123），确定在由相似图生成部（122）计算出的相似图中相似度表示与规定阈值相比不相似的超像素，作为前景区域；以及显著图生成部（124），对各超像素求出表示与前景区域的相似度的前景相似图，并输出该前景相似图作为显著图。
【专利说明】图像处理装置、图像处理方法、程序以及记录介质
【技术领域】
[0001] 本发明涉及输出图像中的显著度的图像处理装置以及图像处理方法。
【背景技术】
[0002] 以往，在图像处理的领域中，已知将作为设想在图像中人们关注的图像区域或者 应关注的图像区域的显著区域从该图像中检测(提取）的图像处理装置。此外，也通过使用 这样的显著区域检测的技术而计算图像中的各像素的显著度（saliency measure),从而制 作表示该图像的各像素的显著度的显著图。
[0003] 这样的显著区域检测的技术例如为了从图像检测被摄体而使用。
[0004] 那么，作为用于上述显著区域检测的算法，存在基于学习的算法。例如，在专利文 献1中，记载了如下技术：基于成为学习对象的多个图像数据，事先学习而决定特征的种 类，基于所决定的特征的种类和成为显著度的计算对象的对象图像数据，提取该对象图像 数据中的各部分的特征。根据该技术，通过将学习效果虚构为人的经验或记忆的程度，能够 进行更接近于人的感觉的显著度的判断。
[0005] 另外，在上述基于学习的算法中，作为对于对象图像数据的事前知识（previous knowledge)，需要预先准备成为学习对象的多个图像数据。因此，在不具有这样的事前知识 的情况下，不能评价显著度。
[0006] 另一方面，在专利文献2中，记载了如下技术：不需要事前知识，使用构成影像的 各帧之间的信息而检测显著区域。
[0007] 【现有技术文献】
[0008] 【专利文献】
[0009] 【专利文献1】（日本）特开2001-236508号公报（2001年8月31日公开）
[0010] 【专利文献2】（日本）特开2010-258914号公报（2010年11月11日公开）
[0011] 但是，虽然专利文献2的技术不需要事前知识，但只将由多个帧构成的活动图像 作为对象，不能应用于对于静止图像的显著度的评价。
【发明内容】
[0012] 本发明是为了解决上述课题而完成的，其目的在于，提供一种不需要事前知识且 即使对一张静止图像也能够高精度地评价显著度的图像处理装置以及图像处理方法。
[0013] 本发明的图像处理装置的特征在于，包括：相似度计算部，将图像中的像素或者由 被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图像中的端 部区域的单位结构的第1相似度；前景区域确定部，确定由上述相似度计算部计算出的第1 相似度表示与规定阈值相比不相似的单位结构的区域，作为前景区域；以及显著度输出部， 对上述图像的各单位结构，求出与由前景区域确定部确定的前景区域的第2相似度，并输 出该第2相似度作为该单位结构的显著度。
[0014] 此外，本发明的图像处理方法的特征在于，包括：相似度计算步骤，将图像中的像 素或者由被连接的多个像素构成的区域作为单位结构，对各个上述单位结构求出与位于图 像中的端部区域的单位结构的第1相似度；前景区域确定步骤，确定上述第1相似度表示与 规定阈值相比不相似的单位结构的区域，作为前景区域；以及显著度输出步骤，对上述图像 的各单位结构，求出与上述前景区域的第2相似度，并输出该第2相似度作为该单位结构的 显著度。
[0015] 在拍摄图像时，人们一般使得应关注的物体尽可能不超出图像的端部(框)。因此， 在图像的端部，主要存在背景区域。根据上述的结构，由于由与位于图像中的端部区域的单 位结构的相似度表示与判定阈值相比不相似的单位结构的区域被确定为前景区域，所以在 图像中人们应关注的关注物体被确定为如景区域的概率提1?。
[0016] 并且，对图像的各单位结构，求出与被确定的前景区域的第2相似度，作为显著 度。如上所述，由于在图像中人们应关注的关注物体被确定为前景区域，所以与前景区域的 第2相似度表示单位结构中的显著度。
[0017] 由此，根据上述结构，能够实现即使是一张静止图像，也不需要事前知识，能够高 精度地评价显著度的图像处理装置以及图像处理方法。
[0018] 此外，优选地，本发明的图像处理装置包括：分割处理部，将上述图像分割为由亮 度值和/或色度相似的互相相邻的像素构成的像素小区域，并将该像素小区域作为上述单 位结构。
[0019] 根据上述结构，与将像素作为单位结构的情况相比，求出第1相似度以及第2相似 度时的运算处理数减少，能够提高计算速度。
[0020] 此外，优选地，在本发明的图像处理装置中，上述相似度计算部对各个上述单位结 构，求出与位于矩形的上述图像的上端部区域的单位结构的相似度即上端用相似度、与位 于上述图像的下端部区域的单位结构的相似度即下端用相似度、与位于上述图像的左端部 区域的单位结构的相似度即左端用相似度、与位于上述图像的右端部区域的单位结构的相 似度即右端用相似度，并通过将上端用相似度、下端用相似度、左端用相似度以及右端用相 似度相乘而求出上述第1相似度。
[0021] 在人们拍摄的图像中有各种各样的形态，也有人们应关注的关注物体存在于图像 的端部(框）的一部分的情况。但是，即使是在这样的情况下，在大部分图像中，关注物体只 重叠在图像的4个端部(上端部、下端部、左端部、右端部)的一部分中。因此，在与关注物体 未重叠的端部的相似度中，关注物体的区域和端部的相似度倾向于降低。因此，通过将4个 相似度相乘而求出第1相似度，即使是在关注物体存在于图像的端部(框）的一部分中的情 况下，也能够在某种程度上较高地维持能够将关注物体确定为前景区域的概率。
[0022] 此外，在本发明的图像处理装置中，上述相似度计算部使用以下的式（1)，求出上 端用相似度、下端用相似度、左端用相似度以及右端用相似度。
[0023] f * = (D-α W)-1y......式（1)
[0024] 另外，f *由[f\ *，……，fn * ]T表示，是表示上端用相似度、下端用相似度、左 端用相似度以及右端用相似度的矢量。这里，fi *表示第i个单位结构和位于端部区域的 单位结构的相似度。另外，η是图像中的单位结构的数目。
[0025] W是η行Χη列的矩阵，i行j列的元素 w u由以下的式表示。
[0026]【数1】
【权利要求】
1. 一种图像处理装置，其特征在于，包括： 相似度计算部，将图像中的像素或者由被连接的多个像素构成的区域作为单位结构， 对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度； 前景区域确定部，确定由上述相似度计算部计算出的第1相似度表示与规定阈值相比 不相似的单位结构的区域，作为前景区域；以及 显著度输出部，对上述图像的各单位结构，求出与由前景区域确定部确定的前景区域 的第2相似度，并输出该第2相似度作为该单位结构的显著度。
2. 如权利要求1所述的图像处理装置，其特征在于，包括： 分割处理部，将上述图像分割为由亮度值和/或色度相似的互相相邻的像素构成的像 素小区域，并将该像素小区域作为上述单位结构。
3. 如权利要求1或2所述的图像处理装置，其特征在于， 上述相似度计算部对各个上述单位结构，求出与位于矩形的上述图像的上端部区域的 单位结构的相似度即上端用相似度、与位于上述图像的下端部区域的单位结构的相似度即 下端用相似度、与位于上述图像的左端部区域的单位结构的相似度即左端用相似度、与位 于上述图像的右端部区域的单位结构的相似度即右端用相似度，并通过将上端用相似度、 下端用相似度、左端用相似度以及右端用相似度相乘而求出上述第1相似度。
4. 如权利要求3所述的图像处理装置，其特征在于， 上述相似度计算部使用以下的式（1)，求出上端用相似度、下端用相似度、左端用相似 度以及右端用相似度： f * = (D-a W)^y……式（1)， 另外，f *由[?\ *，......，fn * ]τ表示，是表示上端用相似度、下端用相似度、左端用 相似度以及右端用相似度的矢量，这里，A *表示第i个单位结构和位于端部区域的单位结 构的相似度，另外，η是图像中的单位结构的数目， W是η行Χη列的矩阵，i行j列的元素 w υ由以下的式表示：
另外，Ci表示第i个单位结构的特征量，(^表示第j个单位结构的特征量， D是η行Xn列的对角矩阵，由D = diag (dn，......，dm)表示， 另外，dii由以下的式表示： 【数2】 dii = XjWij y由[yp ......，yn]τ表示，yi在第i个单位结构位于成为比较对象的端部区域时为1， 在第i个单位结构不位于成为比较对象的端部区域时为〇， α为规定的常数。
5. 如权利要求4所述的图像处理装置，其特征在于， 上述显著度输出部使用将在第i个单位结构位于前景区域时成为1且在第i个单位结 构不位于前景区域时成为〇的yi作为元素的y，根据上述的式（1)求出第2相似度。
6. -种图像处理方法，其特征在于，包括： 相似度计算步骤，将图像中的像素或者由被连接的多个像素构成的区域作为单位结 构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度； 前景区域确定步骤，确定上述第1相似度表示与规定阈值相比不相似的单位结构的区 域，作为前景区域；以及 显著度输出步骤，对上述图像的各单位结构，求出与上述前景区域的第2相似度，并输 出该第2相似度作为该单位结构的显著度。
7. -种程序，进行控制，使得通过计算机实施包括如下步骤的方法： 相似度计算步骤，将图像中的像素或者由被连接的多个像素构成的区域作为单位结 构，对各个上述单位结构求出与位于图像中的端部区域的单位结构的第1相似度； 前景区域确定步骤，确定上述第1相似度表示与规定阈值相比不相似的单位结构的区 域，作为前景区域；以及 显著度输出步骤，对上述图像的各单位结构，求出与上述前景区域的第2相似度，并输 出该第2相似度作为该单位结构的显著度。
8. -种计算机可读取的记录介质，记录了权利要求7所述的程序。
【文档编号】G06T7/00GK104123717SQ201410074536
【公开日】2014年10月29日 申请日期:2014年3月3日 优先权日:2013年4月26日
【发明者】阮翔, 卢湖川, 杨川, 张立和 申请人:欧姆龙株式会社