图像处理装置及方法、图像处理控制程序、以及记录介质的制作方法

图像处理装置及方法、图像处理控制程序、以及记录介质的制作方法
【专利摘要】本发明实现即使未提供与显著区域相关的先验信息，也能够有效地利用贝叶斯定理，从一张图像中高精度地检测显著区域的图像处理装置、图像处理方法、图像处理控制程序、以及记录介质。先验概率计算部件（123）以构成与周边的色距离大的超像素的各像素的先验概率高的方式计算显著区域的先验概率，似然度计算部件（126）计算显著区域的似然度，显著区域检测部件（127）使用上述先验概率和上述似然度，计算上述显著区域的后验概率。
【专利说明】图像处理装置及方法、图像处理控制程序、以及记录介质

【技术领域】
[0001] 本发明涉及用于检测图像的显著区域的图像处理装置、图像处理方法、图像处理 控制程序、以及记录介质。

【背景技术】
[0002] 以往，在图像处理的领域中，已知从图像检测(提取）在该图像中预想为人会关注 的图像区域、或应关注的图像区域即显著区域的图像处理装置。此外，还进行使用这样的显 著区域检测的技术而计算图像中的各点的显著程度（saliency measure),从而生成表示该 图像的各点的显著程度的显著图图像。
[0003] 这样的显著区域检测或显著区域检测的技术例如用于从图像检测被摄体。
[0004] 那么，作为用于上述显著区域检测的算法，存在基于学习的算法以及基于物理模 型的算法。
[0005] 上述基于学习的算法使用大量图像的学习用数据库，使图像处理装置进行用于显 著区域检测的学习之后，基于其学习结果进行显著区域检测。另一方面，上述基于物理模型 的算法使用近似人或者其他物体的识别模型的算式而计算显著区域。
[0006] 然而，在上述基于学习的算法中，图像处理装置的显著区域的检测性能依赖于学 习用数据库的内容。但是，构筑显著区域的学习用数据库是困难的。
[0007] 此外，在上述基于物理模型的算法中，需要使用近似人的识别模型的算式。但是， 人的物理模型是复杂的，不能容易地以算式来表现。完整地定义人的物理模型根本就没有 实现。
[0008] 因此，例如，在专利文献1中，记载了不事先进行构筑图像的学习用数据库和定义 识别模型，而是从图像提取显著区域，实现显著区域及其以外的区域之间的区域分割的显 著区域视频生成装置。
[0009] 具体而言，在上述显著区域视频生成装置中，根据构成输入视频的帧的输入图像， 计算表示是显著区域的概率的显著区域先验概率图像、表示在显著区域以及显著区域外的 区域中分别包含的图像特征量的似然度的特征量似然度。并且，上述显著区域视频生成装 置根据上述输入图像、上述显著区域先验概率图像、以及上述特征量似然度，提取表示上述 输入图像的显著区域的显著区域图像。
[0010] 由此，同文献中记载了：即使在关于某输入图像，完全没有提供与物体区域以及背 景区域相关的先验信息的情况下，上述显著区域视频生成装置也能够从该输入图像提取显 著区域，进行图像的区域分割。
[0011] 此外，在非专利文献1以及非专利文献2中，公开了利用贝叶斯定理而计算显著程 度（saliency measure)的方法。
[0012] 现有技术文献
[0013] 专利文献
[0014] 专利文献1 :(日本）特开2010 - 258914号公报（2010年11月11日公开）
[0015] 非专利文献
[0016] 非专利文献 1 :Ε· Rahtu，J. Kannala，Μ· Salo, and J. Heikkila，"Segmenting salient objects from images and videos，，'in Proceedings of European Conference on Computer Vision, 2010
[0017] 非专利文献 2 :Z. Tang，Z. Miao, Y. Wan，and J. Li，"Automatic foreground extraction for images and videos，，'in Proceedings of IEEE International Conference on Image Processing, 2010
[0018] 在专利文献1所述的上述显著区域视频生成装置中，为了提取上述显著区域图 像，首先，根据构成输入视频的某时刻的帧的输入图像而生成先验概率图像。之后，基于根 据上述某时刻的一个单位时间之前的输入图像而生成的显著区域图像，更新上述某时刻的 先验概率图像。并且，使用更新后的先验概率图像，提取上述显著区域图像。
[0019] 即，在上述显著区域视频生成装置中，为了从某输入图像提取显著区域，需要包含 上述某输入图像的多个输入图像。因此，上述显著区域视频生成装置不能从静止图像提取 显著区域图像。进而，存在以下问题：为了在显著区域的提取处理中处理多个输入图像，上 述显著区域视频生成装置对于执行上述提取处理的运算装置的负荷大。
[0020] 此外，在上述非专利文献1以及上述非专利文献2中，将显著区域的先验概率假设 为常数。
[0021] 例如，在上述非专利文献1中，假设为规定的矩形窗（rectangular window) W中 的像素分布（distribution of pixels)Z在矩形窗W的中心部（kernel)K以及周边部 (border) B 中具有常数的概率密度函数（probability density function) p。
[0022] 因此，在非专利文献1中，图像的像素 x的显著程度Sjx)仅依赖于中心部K以及 周边部Β中的特征量（feature)F(x)归一化后的频数分布（normalized histogram,归一化 直方图)P(F(x) | H。）以及P(F(x) |氏）。^、氏分别是在中心部K或者周边部B中包含的 像素分布Z的事件（event)。
[0023] 上述频数分布P(F(x) | Η。）以及P(F(x) |氏）分别对应于显著区域的似然度、以 及背景的似然度。
[0024] 从而，上述非专利文献1中的显著程度Sjx)的计算结果与使用了仅依赖于似然 度的一般的物理模型的计算结果等同。换言之，由于在上述非专利文献1中将上述概率密 度函数(对应于先验概率）假设为常数，所以不能有效地利用与似然度的项一起还包含先验 概率的项的贝叶斯定理。


【发明内容】

[0025] 本发明是鉴于上述课题而完成的，其目的在于，实现即使完全没有提供与显著区 域以及背景区域相关的先验信息的情况下，也能够有效地利用贝叶斯定理，从一张图像中 高精度地检测显著区域的图像处理装置等。
[0026] 本发明所涉及的图像处理装置是从图像中检测显著区域的图像处理装置，具备： 像素小区域图像生成部件，根据上述图像，生成将由亮度值和/或色度类似的相互相邻的 像素构成的像素小区域设为单位结构的像素小区域图像；先验概率计算部件，关于上述图 像的各像素，计算上述显著区域可能性的先验概率；区域生成部件，基于从上述图像提取的 角点，生成包含显著区域的可能性高的显著区域含有区域；似然度计算部件，以越是具有与 在上述像素小区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或色度的像 素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区域的似然 度；以及显著区域检测部件，使用上述先验概率和上述显著区域的似然度，计算上述显著区 域可能性的后验概率，上述先验概率计算部件使在上述像素小区域图像中包含的像素小区 域中，越是与相邻的像素小区域的色距离更大的像素小区域，构成该像素小区域的各像素 的上述先验概率越高。
[0027] 此外，本发明的一个方式所涉及的图像处理方法是从图像中检测显著区域的图像 处理方法，包含：像素小区域图像生成步骤，根据上述图像，生成将由亮度值和/或色度类 似的相互相邻的像素构成的像素小区域设为单位结构的像素小区域图像；先验概率计算步 骤，在上述像素小区域图像中包含的像素小区域中，以越是与相邻的像素小区域的色距离 更大的像素小区域，关于构成该像素小区域的各像素，上述显著区域可能性的先验概率越 高的方式，关于上述图像的各像素，计算上述先验概率；区域生成步骤，基于从上述图像提 取的角点，生成包含显著区域的可能性高的显著区域含有区域；似然度计算步骤，以越是具 有与在上述显著区域含有区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/ 或色度的像素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著 区域的似然度；以及显著区域检测步骤，使用上述先验概率和上述显著区域的似然度，计算 上述显著区域可能性的后验概率。
[0028] 在此，角点是图像中显眼的点，一般而言，多在显著区域和背景的边界上产生。因 此，通过连接上述角点之间而生成的显著区域含有区域中，显著区域的比例高。
[0029] 根据上述的各结构，关于图像的各像素，计算显著区域可能性的先验概率。该先验 概率用于在贝叶斯定理中求得显著区域可能性的后验概率。
[0030] 如非专利文献1以及2所记载的那样，以往，使用贝叶斯定理求得显著区域的后验 概率时，显著区域的先验概率被设为常数。因此，即使是与本发明相同地利用贝叶斯定理求 得显著区域的后验概率的结构，以往的结构中的显著区域的先验概率没有本发明中的先验 概率那样与特定的图像对应的精度高。其结果，以往的结构的显著区域的后验概率的精度 也低。
[0031] 另一方面，在本发明的一个方式所涉及的上述的各结构中，对每个图像的像素求 得显著区域的先验概率。由此，比起以往，显著区域的先验概率与特定的图像对应的精度更 商。
[0032] 并且，其结果，将上述先验概率代入贝叶斯定理而得到的显著区域的后验概率也 比以往精度高。换言之，在上述的各结构中，能够高精度地检测图像的区域。
[0033] 此外，在上述的各结构中，提取显著区域时，仅需要一张图像。即，不需要像专利文 献1所记载的以往的结构那样需要多张图像。
[0034] 由此，还能够从由照相机拍摄的图像等静止图像提取显著区域，此外，与在显著区 域提取处理时处理多张图像的以往的结构相比，能够以负担更小的处理进行显著区域提 取。
[0035] 像这样，根据本发明的一个方式，即使在完全没有提供与显著区域以及背景区域 相关的先验信息的情况下，也能够从一张图像中高精度地提取显著区域。
[0036] 另外，上述图像处理方法也可以通过计算机实现，此时，通过使计算机执行包含上 述各步骤的处理，在计算机中实现图像处理方法的各步骤的图像处理程序以及将其记录的 计算机能够读取的记录介质也包含于本发明的范畴。
[0037] 进而，在本发明所涉及的图像处理装置中，也可以是以下结构：上述先验概率计算 部件使越是相邻的其他像素小区域的面积更大的像素小区域，构成该像素小区域的各像素 的先验概率越高。
[0038] 根据上述的结构，关于某像素小区域，若处于该像素小区域的周围的像素小区域 的面积更大，则该像素小区域中包含的像素的先验概率变得更高。
[0039] 在此，像素小区域由颜色或者亮度值等类似的像素组构成。因此，在某像素小区域 的面积大的情况下，在该像素小区域的区域内，颜色或者亮度值等为比较一定的较多的像 素之间相邻。像这样，颜色或者亮度值等比较一定的区域大的情况表示该区域为图像中应 关注的区域、即显著区域。
[0040] 并且，在与某像素小区域相邻而存在作为显著区域的像素小区域的情况下，上述 某像素小区域的区域也是显著区域的可能性高。
[0041] 从而，根据上述的结构，能够使显著区域的可能性高的像素的先验概率提高。
[0042] 进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：上述先 验概率计算部件使越是与上述图像的中心的距离更近的像素小区域，构成该像素小区域的 各像素的先验概率越高。
[0043] 根据上述的结构，接近图像的中心的像素的先验概率变高。另外，图像的中心部是 该图像的显著区域的可能性高。
[0044] 从而，根据上述的结构，能够使显著区域的可能性高的像素的先验概率提高。
[0045] 进而，本发明的一个方式所涉及的图像处理装置也可以是以下结构：还具备：边 缘点校正部件，在上述像素小区域中包含的边缘点的数目为规定数以下的情况下，以越是 上述边缘点的数目更多的像素小区域，构成该像素小区域的各像素的上述先验概率越低的 方式进行校正，或在像素小区域中包含的上述边缘点的数目比规定数多的情况下，以构成 该像素小区域的各像素的上述先验概率成为零的方式进行校正。
[0046] 在此，图像的边缘(轮廓）点是临近的像素之间的对比度差大的点。在比较窄的区 域内存在多个这样的边缘点的情况下，该区域是背景的可能性高。
[0047] 根据上述的结构，由于构成边缘点的数目多的像素小区域的像素的先验概率降 低，所以能够使显著区域的先验概率的精度提高。此外，关于边缘点的数目比规定数多的像 素小区域，由于构成该像素小区域的像素的先验概率成为零，所以能够使显著区域的先验 概率的精度进一步提1?。
[0048] 进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：上述区 域生成部件生成区域的各顶点的内角分别比180小的凸包区域作为上述显著区域含有区 域，所述图像处理装置还具备：凸包区域调整部件，关于与上述凸包区域的至少一部分重合 的上述像素小区域，在构成该像素小区域的像素之中，上述凸包区域中包含的像素比规定 的第一比例大的情况下，将该像素小区域的整体包含于上述凸包区域，另一方面，在构成该 像素小区域的像素之中，上述凸包区域中包含的像素比规定的第二比例小的情况下，将上 述凸包区域之中与该像素小区域重合的部分从上述凸包区域去除，
[0049] 上述似然度计算部件基于由上述凸包区域调整部件调整的凸包区域，关于上述图 像的各像素，计算上述显著区域的似然度。
[0050] 根据上述的结构，使用从图像提取的角点生成凸包区域。
[0051] 此外，根据上述的结构，关于与所生成的凸包区域重合的超像素，根据构成该超像 素的规定的比例以上的像素是否包含于上述凸包区域，调整凸包区域。
[0052] 由此，调整后的凸包区域的轮廓与超像素的轮廓一致。像这样，通过调整凸包区域 的形状，变得易于进行对由超像素构成的超像素图像的处理。
[0053] 此外，根据上述的结构，越是具有与凸包区域内中包含的更多的像素的亮度值或 者色度相同的亮度值或者色度的像素，显著区域的似然度越高。
[0054] 在此，如上所述，凸包区域的显著区域的比例变高。这对调整后的凸包区域也同 样。因此，认为凸包区域内中包含的像素的亮度值或者色度与显著区域的亮度值或者色度 对应。
[0055] 因此，根据上述的结构，能够使越是具有与凸包区域内的多数像素的亮度值或者 色度相同的亮度值或者色度且包含于显著区域的可能性高的像素，显著区域的似然度越 商。
[0056] 进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：上述凸 包区域调整部件将在上述凸包区域中离上述图像的中心规定的距离以上的周边部中包含 的部分，从上述凸包区域去除。
[0057] 显著区域在图像的中心部存在的可能性高，在周边部存在的可能性低。
[0058] 根据上述的结构，显著区域的可能性低的图像的周边部，从凸包区域被去除。由 此，在凸包区域中，仅包含显著区域的可能性高的图像的中心部。
[0059] 从而，认为根据上述的结构，能够使凸包区域中包含的显著区域的比例提高。
[0060] 进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：在由上 述区域生成部件生成多个上述凸包区域，相对于某凸包区域的面积的其他凸包区域的面积 的比例比规定值小的情况下，上述凸包区域调整部件将上述其他凸包区域从上述凸包区域 去除。
[0061] 在有多个凸包区域部且这些凸包区域部之间的面积等同的情况下，这些凸包区域 部每一个包含显著区域的可能性都高。
[0062] 另一方面，在有多个凸包区域且这些凸包区域之间的面积有较大的差的情况下， 较大的凸包区域部包含显著区域而较小的凸包区域是背景的可能性高。
[0063] 根据上述的结构，认为由于将相对于其他凸包区域部的面积的比例比规定值小的 凸包区域部从凸包区域去除，所以能够使凸包区域中包含的显著区域的比例提高。
[0064] 进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：在由上 述区域生成部件生成多个上述凸包区域，相对于某凸包区域的平均先验概率的其他凸包区 域的平均先验概率的比例比规定值小的情况下，上述凸包区域调整部件将上述其他凸包区 域从上述凸包区域去除。
[0065] 上述平均先验概率是某凸包区域中包含的全部像素的先验概率的平均。
[0066] 认为显著区域中包含的像素的先验概率与背景中包含的像素的先验概率相比更 商。
[0067] 根据上述的结构，比较两个凸包区域的平均先验概率之间，在相对于一方的凸包 区域的平均先验概率的另一方的凸包区域的平均先验概率的比例比规定值小的情况下，将 上述另一方的凸包区域从凸包区域去除。由此，认为由于背景的可能性高的上述另一方的 凸包区域变得不是凸包区域，所以能够使凸包区域中包含的显著区域的比例提高。
[0068] 进而，在本发明的一个方式所涉及的图像处理装置中，也可以是以下结构：在该凸 包区域调整部件的调整后的上述凸包区域在上述图像的整体中占的比例比第一规定值大 或比第二规定值小的情况下，上述凸包区域调整部件将该凸包区域调整部件的调整后的上 述凸包区域恢复至调整前的凸包区域。
[0069] 在通过凸包区域调整部件进行了凸包区域的调整后，该调整后的凸包区域过大的 情况下，在调整的过程中凸包区域中包含的显著区域的比例变低的可能性高。
[0070] 当凸包区域在图像中占的区域比某范围中包含的大小更大的情况下，凸包区域中 所占的显著区域的比例低的可能性高。
[0071] 根据上述的结构，在调整后的凸包区域的面积比规定的第一尺寸大的情况下，由 于恢复至由凸包区域生成部件生成的凸包区域，所以能够抑制凸包区域中的显著区域的比 例变小的可能性。
[0072] 此外，在凸包区域图像中占的区域比某范围中包含的大小更小的情况下，凸包区 域未包含显著区域的大部分的可能性高。
[0073] 根据上述的结构，在调整后的凸包区域的面积比规定的第二尺寸小的情况下，由 于恢复至由凸包区域生成部件生成的凸包区域，所以能够抑制凸包区域中不包含显著区域 的可能性。
[0074] 本发明的各方式所涉及的图像处理装置也可以通过计算机实现，此时，通过使计 算机作为上述图像处理装置具备的各部件而动作从而在计算机中实现上述图像处理装置 的图像处理装置的图像处理控制程序、以及将其记录的计算机能够读取的记录介质也包含 于本发明的范畴。
[0075] 以上那样，本发明所涉及的图像处理装置是从图像中检测显著区域的图像处理装 置，具备：像素小区域图像生成部件，根据上述图像，生成将由亮度值和/或色度类似的相 互临近的像素构成的像素小区域设为单位结构的像素小区域图像；先验概率计算部件，关 于上述图像的各像素，计算上述显著区域可能性的先验概率；区域生成部件，基于从上述图 像提取的角点，生成包含显著区域的可能性高的显著区域含有区域；似然度计算部件，以越 是具有与在上述像素小区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或 色度的像素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区 域的似然度；以及显著区域检测部件，使用上述先验概率和上述显著区域的似然度，计算上 述显著区域可能性的后验概率，上述先验概率计算部件使在上述像素小区域图像中包含的 像素小区域中，越是与相邻的像素小区域的色距离更大的像素小区域，构成该像素小区域 的各像素的上述先验概率越高。
[0076] 此外，本发明所涉及的图像处理方法是从图像中检测显著区域的图像处理方法， 包含：像素小区域图像生成步骤，根据上述图像，生成将由亮度值和/或色度类似的相互临 近的像素构成的像素小区域设为单位结构的像素小区域图像；先验概率计算步骤，在上述 像素小区域图像中包含的像素小区域中，以越是与相邻的像素小区域的色距离更大的像素 小区域，关于构成该像素小区域的各像素，上述显著区域可能性的先验概率越高的方式，关 于上述图像的各像素，计算上述先验概率；区域生成步骤，基于从上述图像提取的角点，生 成包含显著区域的可能性高的显著区域含有区域；似然度计算步骤，以越是具有与在上述 显著区域含有区域内包含的更多的像素的亮度值和/或色度相同的亮度值和/或色度的像 素，上述显著区域的似然度越高的方式，关于上述图像的各像素，计算上述显著区域的似然 度；以及显著区域检测步骤，使用上述先验概率和上述显著区域的似然度，计算上述显著区 域可能性的后验概率。
[0077] 由此，起到即使在完全没有提供与显著区域以及背景区域相关的先验信息的情况 下，也能够有效地利用贝叶斯定理，从一张图像中高精度地检测显著区域的效果。

【专利附图】

【附图说明】
[0078] 图1是表示本发明的一个实施方式所涉及的图像处理装置的概略的结构的一例 的功能框图。
[0079] 图2是表示角点CP的具体例的图。
[0080] 图3是表示凸包区域的具体例的图。
[0081] 图4是表示图1所示的图像处理装置中的显著区域检测处理的流程的流程图。
[0082] 图5是表示显著区域检测处理中先验概率计算处理的步骤的细节的流程图。
[0083] 图6是表示显著区域检测处理中似然度计算处理的步骤的细节的流程图。
[0084] 图7是表示使用本发明所涉及的显著区域检测的算法而生成的显著图的例的图。
[0085] 图8是表示本发明所涉及的显著区域检测的算法的PR曲线的图表。
[0086] 标号说明
[0087] 1 图像处理装置
[0088] 14 存储部
[0089] 121 SP图像生成部件(像素小区域生成部件）
[0090] 122边缘检测部件(边缘点校正部件）
[0091] 123先验概率计算部件
[0092] 124凸包区域生成部件(区域生成部件）
[0093] 125凸包区域调整部件
[0094] 126似然度计算部件
[0095] 127显著图图像生成部件(显著区域检测部件）

【具体实施方式】
[0096] 以下，参照图1?图7说明本发明的一个实施方式。
[0097] 本发明以使用概率论估计显著区域为基本概念。详细地说，本发明所涉及的图像 处理装置利用使用Bayesian理论（贝叶斯定理)的显著区域检测算法，实现高精度的显著区 域检测。
[0098] 以下，以式（1)表示上述贝叶斯定理。
[00"]【数1】 \ P(x\F)*P(f) 、)P{f)* ρ(χ IF) + (1 - P(f)) *Ρ(χ\β) {
[0101] 在式（1)中，
[0102] P<F I 1>表示像素 χ是显著区域的后验概率；
[0103] P(F)表示像素 X是显著区域的先验概率；
[0104] P(B) = (1 - P(F))表示像素 X是背景的先验概率；
[0105] P<x I ?>表示像素 X的显著区域可能性（S卩，显著区域的似然度）；
[0106] P<x I 8>表示像素 X的背景可能性。
[0107] 在此，上述显著区域的先验概率是在未提供可能是显著区域的区域(相当于后述 的凸包区域）的条件下，表示像素 X的显著区域可能性的概率。
[0108] (图像处理装置1的结构）
[0109] 以下，使用图1说明本发明所涉及的图像处理装置1的结构。同图是表示图像处 理装置1的结构的功能框图。
[0110] 如图1所示，图像处理装置1具备图像取得部11、控制部件12、输出部13、以及存 储部14。
[0111] 图像取得部11是从外部取得彩色的输入图像的部件。例示性地，图像取得部11 根据用户的输入操作，从与图像处理装置1连接的数码照相机或数码摄像机等摄像装置， 以实时(取得同步）或者非同步的方式取得输入图像。
[0112] 但是，不特别限定输入图像的供应源。例如，图像取得部11可以取得存储部14 中存储的图像数据作为输入图像，也可以从与图像处理装置1连接的周边设备取得输入图 像，还可以经由有线或者无线的通信网络取得输入图像。
[0113] 控制部件12是统一地控制图像处理装置1中的各种功能的部件。控制部件12的 控制功能通过CPU (Central Processing Unit,中央处理单元）等处理装置执行控制程序 而实现。
[0114] 例如，控制部件12具备用于执行对从图像取得部11输入的输入图像的各种处理 的功能以及结构。另外，控制部件12的详细的功能以及结构如后述。
[0115] 输出部13是对外部输出控制部件12的输入图像的处理结果的部件。例如，输出 部13也可以对各种图像应用输出上述处理结果。
[0116] 存储部14是存储各种数据以及程序的部件。存储部14例如能够通过组合ROM (Read Only Memory，只读存储器)、RAM (Random Access Memory，随机存取存储器)、以及非 易失性存储器(例如闪速存储器）等存储装置而实现。
[0117] 在存储部14中，存储例如控制部件12中执行的程序、或该程序中处理的各种数据 等。
[0118] (控制部件12)
[0119] 接着，使用图1?图3分别说明控制部件12的各部。
[0120] 如图1所示，控制部件12是包含SP图像生成部件(像素小区域生成部件）121、边 缘检测部件(边缘点校正部件)122、先验概率计算部件123、凸包区域生成部件(区域生成部 件）124、凸包区域调整部件125、似然度计算部件126、以及显著图图像生成部件(显著区域 检测部件）127的结构。
[0121] SP图像生成部件121是将从图像取得部11取得的输入图像作为源图像，根据以像 素为单位的源图像，生成以超像素（SP)为单位的超像素图像（SP图像）的部件。另外，关于 超像素，以之后的补充进行说明。
[0122] 边缘检测部件122是在由SP图像生成部件121生成的超像素图像中，计算各超像 素的边缘点(轮廓点）的数目的部件。在此，边缘点是临近的像素之间的对比度差大的点。
[0123] 此外，边缘检测部件122基于包含该像素 k的超像素的边缘点的数目，校正由下述 的先验概率计算部件123计算出的像素 k的先验概率。
[0124] 先验概率计算部件123是关于源图像的各像素 k，计算显著区域的先验概率的部 件。
[0125] 凸包区域生成部件124是从图像检测角点（corner point),在图像内生成包含上 述角点的至少一部分的、凸状的凸包区域（convex hull)的部件。在此，凸状意味着图形的 各顶点的内角比180度小。
[0126] 详细地说，凸包区域生成部件124将上述角点设为顶点，通过以直线连接这些角 点之间，生成上述凸包区域。
[0127] 另外，角点是图像中"显眼的点"。一般而言，这样的角点多在显著区域和背景的边 界上产生。因此，通过连接上述角点之间而生成的凸包区域包含显著区域的可能性高。
[0128] 特别是，在凸包区域生成部件124以包含图像中的全部的角点的方式生成了凸包 区域的情况下，在上述凸包区域内包含显著区域的概率变得最高。
[0129] 在本实施方式中，如图2所示，凸包区域生成部件124将源图像中两根以上的对比 度线交叉的点、所谓哈里斯点（harris point)检测为角点（CP)。
[0130] 图3表示由凸包区域生成部件124生成的凸包区域的具体例。在同图中，四张图 像所示的多边形分别相当于凸包区域。另外，图像中的凸包区域都是五边形，但本发明不限 于此。即，凸包区域是具有三个以上的顶点的凸状的多边形即可。
[0131] 凸包区域调整部件125是调整由凸包区域生成部件124生成的凸包区域，在图像 中计算具有可能是显著区域的特征量的区域的部件。
[0132] 似然度计算部件126是关于源图像的各像素 X，计算显著区域的似然度的部件。
[0133] 显著图图像生成部件127是使用由边缘检测部件122以及先验概率计算部件123 计算出的关于各像素的显著区域的先验概率、和由似然度计算部件126计算出的关于各像 素的显著区域的似然度，生成与源图像对应的表示显著区域的似然度的概率图像的部件。
[0134] 进而，显著图图像生成部件127生成上述概率图像被平滑后的显著图图像。
[0135] (显著区域检测处理的流程）
[0136] 接着，使用图4?图6说明由图像处理装置1的控制部件12执行的显著区域检测 处理的流程。
[0137] 图4是表示由控制部件12执行的显著区域检测处理的流程的流程图。此外，图5 是表示图4所示的显著区域检测处理中的先验概率计算处理（S2)的步骤的细节的流程图。 此外，图6是表示图4所示的显著区域检测处理中的似然度计算处理（S3)的步骤的细节的 流程图。
[0138] 首先，使用图4说明基于本发明所涉及的显著区域检测处理的显著区域检测处理 的概略的流程。如同图所示，显著区域检测处理包含四个步骤：输入图像的读入（S1)、先验 概率计算处理（S2)、似然度计算处理（S3)、以及显著区域检测处理（S4)。
[0139] 上述显著区域检测处理中，控制部件12在取得了作为源图像的输入图像（S1) 之后，使用根据该源图像生成的超像素图像，进行计算源图像的像素 k是显著区域的概率 Pk(F)的先验概率计算处理（S2)。
[0140] 接着，控制部件12进行计算像素 k的显著区域可能性、即像素 k与显著区域相似 的程度(似然度）的似然度计算处理（S3)。由此，得到表示源图像中显著区域可能性的频数 分布的概率图像。
[0141] 最后，控制部件12进行对上述概率图像进行平滑而生成显著图（saliency map) 图像的显著区域检测处理（S4)。
[0142] 以下，按顺序说明显著区域检测处理的S2?S4的三个步骤的各个的细节。
[0143] (1.先验概率计算处理（S2))
[0144] 在此，使用图5所示的流程图，说明基于本发明所涉及的先验概率计算算法的先 验概率计算处理（S2)的流程。
[0145] 如图5所示，在先验概率计算处理（S2)中，首先，SP图像生成部件121根据源图像 生成多尺度超像素图像（以下，简单地简写为超像素图像）（S201)。
[0146] 之后，先验概率计算部件123对源图像的各像素 k，计算表示该像素 k的显著区域 可能性的先验概率（S202)。
[0147] 接着，边缘检测部件122检测源图像的边缘点（S203)，使用上述边缘点的信息来 校正后述的式⑷的F(〇 (S204)。
[0148] 以上的步骤S201?S204的各处理关于源图像的全部像素执行（S205)。
[0149] (S202 ;计算像素的先验概率）
[0150] 在步骤S202中，先验概率计算部件123对源图像的各像素 k，使用以下的式（2)? 式（4)，计算表示该像素 k的显著区域可能性的先验概率（S202)。

【权利要求】
1. 一种图像处理装置，在图像中检测显著区域，其特征在于，具备： 像素小区域图像生成部件，根据上述图像，生成将由亮度值和/或色度类似的相互相 邻的像素构成的像素小区域设为单位结构的像素小区域图像； 先验概率计算部件，关于上述图像的各像素，计算上述显著区域可能性的先验概率； 区域生成部件，基于从上述图像提取的角点，生成包含显著区域的可能性高的显著区 域含有区域； 似然度计算部件，以越是具有与在上述像素小区域内包含的更多的像素的亮度值和/ 或色度相同的亮度值和/或色度的像素，上述显著区域的似然度越高的方式，关于上述图 像的各像素，计算上述显著区域的似然度；以及 显著区域检测部件，使用上述先验概率和上述显著区域的似然度，计算上述显著区域 可能性的后验概率， 上述先验概率计算部件使在上述像素小区域图像中包含的像素小区域中，越是与相邻 的像素小区域的色距离更大的像素小区域，构成该像素小区域的各像素的上述先验概率越 商。
2. 如权利要求1所述的图像处理装置，其特征在于， 上述先验概率计算部件使越是相邻的其他像素小区域的面积更大的像素小区域，构成 该像素小区域的各像素的先验概率越高。
3. 如权利要求1或者2所述的图像处理装置，其特征在于， 上述先验概率计算部件使越是与上述图像的中心的距离更近的像素小区域，构成该像 素小区域的各像素的先验概率越高。
4. 如权利要求1?3的任一项所述的图像处理装置，其特征在于，还具备： 边缘点校正部件，在上述像素小区域中包含的边缘点的数目为规定数以下的情况下， 以越是上述边缘点的数目更多的像素小区域，构成该像素小区域的各像素的上述先验概率 越低的方式进行校正，或在像素小区域中包含的上述边缘点的数目比规定数多的情况下， 以构成该像素小区域的各像素的上述先验概率成为零的方式进行校正。
5. 如权利要求1?4的任一项所述的图像处理装置，其特征在于， 上述区域生成部件生成区域的各顶点的内角分别比180小的凸包区域作为上述显著 区域含有区域， 所述图像处理装置还具备： 凸包区域调整部件，关于与上述凸包区域的至少一部分重合的上述像素小区域，在构 成该像素小区域的像素之中，上述凸包区域中包含的像素比规定的第一比例大的情况下， 将该像素小区域的整体包含于上述凸包区域，另一方面，在构成该像素小区域的像素之中， 上述凸包区域中包含的像素比规定的第二比例小的情况下，将上述凸包区域之中与该像素 小区域重合的部分从上述凸包区域去除， 上述似然度计算部件基于由上述凸包区域调整部件调整的凸包区域，关于上述图像的 各像素，计算上述显著区域的似然度。
6. 如权利要求5所述的图像处理装置，其特征在于， 上述凸包区域调整部件将在上述凸包区域中离上述图像的中心规定的距离以上的周 边部中包含的部分，从上述凸包区域去除。
7. 如权利要求5或6所述的图像处理装置，其特征在于， 在由上述区域生成部件生成多个上述凸包区域，相对于某凸包区域的面积的其他凸包 区域的面积的比例比规定值小的情况下，上述凸包区域调整部件将上述其他凸包区域从上 述凸包区域去除。
8. 如权利要求5?7的任一项所述的图像处理装置，其特征在于， 在由上述区域生成部件生成多个上述凸包区域，相对于某凸包区域的平均先验概率的 其他凸包区域的平均先验概率的比例比规定值小的情况下，上述凸包区域调整部件将上述 其他凸包区域从上述凸包区域去除。
9. 如权利要求5?8的任一项所述的图像处理装置，其特征在于， 在该凸包区域调整部件的调整后的上述凸包区域在上述图像的整体中占的比例比第 一规定值大或比第二规定值小的情况下，上述凸包区域调整部件将该凸包区域调整部件的 调整后的上述凸包区域恢复至调整前的凸包区域。
10. -种图像处理方法，从图像中检测显著区域，其特征在于，包含： 像素小区域图像生成步骤，根据上述图像，生成将由亮度值和/或色度类似的相互相 邻的像素构成的像素小区域设为单位结构的像素小区域图像； 先验概率计算步骤，在上述像素小区域图像中包含的像素小区域中，以越是与相邻的 像素小区域的色距离更大的像素小区域，关于构成该像素小区域的各像素，上述显著区域 可能性的先验概率越高的方式，关于上述图像的各像素，计算上述先验概率； 区域生成步骤，基于从上述图像提取的角点，生成包含显著区域的可能性高的显著区 域含有区域； 似然度计算步骤，以越是具有与在上述显著区域含有区域内包含的更多的像素的亮度 值和/或色度相同的亮度值和/或色度的像素，上述显著区域的似然度越高的方式，关于上 述图像的各像素，计算上述显著区域的似然度；以及 显著区域检测步骤，使用上述先验概率和上述显著区域的似然度，计算上述显著区域 可能性的后验概率。
11. 一种图像处理控制程序， 用于使计算机作为权利要求1至9的任一项所述的图像处理装置而发挥作用，且用于 使计算机作为上述各部件而发挥作用。
12. -种计算机能够读取的记录介质，记录了权利要求11所述的图像处理控制程序。
【文档编号】G06T7/00GK104123718SQ201410123175
【公开日】2014年10月29日 申请日期:2014年3月28日 优先权日:2013年4月26日
【发明者】阮翔, 卢湖川, 佟娜 申请人:欧姆龙株式会社