目标区域检测方法、装置、设备及存储介质与流程

[0001]
本发明涉及计算机视觉领域，尤其涉及一种目标区域检测方法、装置、设备及存储介质。


背景技术：

[0002]
视觉显著性分析是一种有效的目标区域自动检测方法，采用显著性检测方法可以迅速地了解图像信息，将注意力集中在感兴趣目标上，同时忽略周围背景信息的干扰，实现目标的快速精确定位。
[0003]
现有显著性检测算法可以分为自底向上和自顶向下两类方法。前者是指利用纹理、强度、颜色和边缘等低层次线索来度量显著值，大致可分为以下三种检测模型：(1)基于局部对比度的方法，如经典的itti算法和基于图论的gbvs算法，该类方法通过提取目标的颜色、亮度和方向等低层特征，经过线性融合得到目标的显著性图，优点是特征易于提取、实现简单，但该模型获得的显著性图对场景目标的描述较模糊，容易产生块效应，很难获取目标区域的整体信息和边缘信息；(2)基于全局对比度的方法，如谱残差(sr)方法和频域可调谐的显著区域检测(ft)算法，这两种方法均是在频率域从全局结构中去除图像的冗余部分，运算简单且快速，但只考虑了图像的整体特征而忽略了局部特征信息，对目标的纹理细节不能进行很好地描述，对复杂背景和噪声稳健性差；(3)局部和全局对比度相结合的方法，如基于上下文感知(ca)算法，该方法只考虑了显著性目标周围的小部分背景区域，导致在全局范围内对非显著性区域的抑制不足，只在边缘处得到增强，对大尺度目标检测容易产生内容缺失，复杂场景中误检现象严重。
[0004]
相比之下，后者是利用高层次先验知识，采用训练学习的方式进行显著性识别。例如，borji等提取图像中每一个像素点位置低层的和自顶向下的特征，选取训练过的分类器去决定该位置是否属于显著性区域。lu等人通过对已有的图像库标签数据进行大量学习，生成了一组显著性种子，并使用这些种子来识别显著性区域。vig使用深度卷积网络进行首次显著性预测的尝试。然而在这类方法的计算过程中提取了数量巨大的且与目标无关的候选区域，耗费了大量的计算时间。因此，在实际工程应用中，这类算法不适合在资源有限的视觉感知平台上运行。
[0005]
现有显著性检测方法存在以下问题：
①
为了得到更加清晰的目标边界，通常在像素级别上来进行显著性计算，计算成本过大，部分取得不错检测效果的算法往往要以增加计算复杂度为代价；
②
实验表明，这些常用方法应用于背景与目标区分度低、目标处于图像边缘区域或者目标区域较大等复杂场景时，检测效果不理想。
[0006]
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

[0007]
本发明的主要目的在于，提供能有效兼顾检测准确性与时效性的目标区域检测方
法、装置、设备及存储介质，旨在解决现有技术中显著性检测方法计算成本过大，背景与目标区分度低、目标处于图像边缘区域或者目标区域较大等复杂场景时，检测效果不理想的技术问题。
[0008]
为实现上述目的，本发明提供目标区域检测方法，包括以下步骤：
[0009]
获取待处理图像，通过超像素分割将所述待处理图像分割为u个超像素；
[0010]
获取u个所述超像素中所有的相邻超像素对；
[0011]
对u个所述超像素进行迭代合并处理，获得k个超像素块；
[0012]
提取k个所述超像素块中每个超像素块的特征信息，通过计算获得每个超像素块的显著值；
[0013]
通过中心约束和边界约束对每个所述超像素块的显著值进行加权计算，获得目标区域。
[0014]
优选地，所述获取u个所述超像素中所有的相邻超像素对，包括：
[0015]
构建u个所述超像素的无向图模型g(v,e)，其中v表示超像素的标号集合，e表示超像素的相邻关系；对所述待处理图像进行超像素分割获得超像素的标号集合v，同一超像素中的所有像素点具有相同的标号；
[0016]
依次判断所述待处理图像中每个像素点所属的超像素标号是否与右方相邻像素点所属的超像素标号和下方相邻像素点所属的超像素标号一致；
[0017]
若不一致，则对应的像素点所属的超像素与右方或下方相邻像素点所属的超像素为相邻超像素对；
[0018]
遍历所有像素点，获得所有的相邻超像素对，其集合即为e。
[0019]
优选地，所述对u个所述超像素进行迭代合并处理，获得k个超像素块，包括：
[0020]
计算u个所述超像素中每个超像素的lab分量均值，将每个所述超像素的lab分量均值作为对应超像素的特征向量；
[0021]
计算所有的所述相邻超像素对中每个相邻超像素对在cielab颜色空间的欧式距离；
[0022]
计算所有获得的所述欧式距离的均值，将所述均值作为阈值t；
[0023]
将每个相邻超像素对的欧式距离依次与所述阈值t进行比较，将所述欧式距离小于所述阈值t的相邻超像素对进行合并；
[0024]
重复上述步骤进行n次迭代，获得k个超像素块，所述n为正整数，取值范围为3到5，缺省值为4。
[0025]
优选地，所述计算所述所有的相邻超像素对中每个相邻超像素对在cielab颜色空间的欧式距离的公式为：
[0026][0027]
其中分别表示超像素的lab分量均值，i、j为一对相邻超像素的标号，i和j均为正整数，且i不等于j。
[0028]
优选地，所述提取k个所述超像素块中每个超像素块的特征信息，计算获得每个超像素块的显著值，包括：
[0029]
计算获得超像素块r
i
和超像素块r
j
的颜色距离d
c
(r
i
,r
j
)，公式具体为：
[0030][0031]
计算获得超像素块r
i
和超像素块r
j
的空间距离d
p
(r
i
,r
j
)，公式具体为：
[0032][0033]
其中sqrt()表示开方运算，分别为超像素块r
i
和超像素块r
j
中所有像素点的lab分量均值,分别为超像素块r
i
和超像素块r
j
中所有像素点位置坐标的均值，i、j为一对相邻超像素的标号，i和j均为正整数，且i不等于j；
[0034]
对所述超像素块r
i
与其它所有超像素块的颜色距离之和以及空间距离之和进行计算，获得所述超像素块r
i
的特征信息d(r
i
)，公式具体为：
[0035][0036]
系数c＝5，d
c
(r
i
)为超像素块r
i
与其它所有超像素块的颜色距离之和，d
s
(r
i
)为超像素块r
i
与其它所有超像素块的空间距离之和；
[0037]
根据所述超像素块r
i
的特征信息d(r
i
)，计算获得超像素块r
i
的显著值s(r
i
)，公式具体为：
[0038]
s(r
i
)＝1-exp(-d(r
i
))
[0039]
其中，exp()为以自然常数e为底的指数函数，d(ri)为超像素块r
i
的特征信息。
[0040]
优选地，所述通过中心约束和边界约束对每个所述超像素块的显著值进行加权计算，获得目标区域，包括：
[0041]
计算所述超像素块r
i
的边界约束w
b
(r
i
)和中心约束w
c
(r
i
)，公式具体为：
[0042][0043][0044]
其中，n为超像素块r
i
包含图像边界像素点的数目，n为图像边界像素点的总数目，t为控制二者比例的权值参数，经验值取t＝10，p
i
为超像素块r
i
中每个像素点的位置坐标，p
c
是图像的中心位置坐标，n
i
是超像素块r
i
中像素点的个数；
[0045]
根据所述超像素块r
i
的显著值s(r
i
)、所述边界约束w
b
(r
i
)和所述中心约束w
c
(r
i
)，计算获得所述超像素块r
i
的最终显著值s
′
(r
i
)，具体公式为：
[0046]
s
′
(r
i
)＝w
b
(r
i
)
×
w
c
(r
i
)
×
s(r
i
)
[0047]
重复上述步骤，获得所有超像素块的最终显著值，根据所有所述超像素块的最终显著值，获得最终显著性图像；
memory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
[0066]
本领域技术人员可以理解，图1中示出的结构并不构成对目标区域检测设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0067]
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及目标区域检测程序。
[0068]
在图1所示的目标区域检测设备中，网络接口1004主要用于连接后台服务器，与所述后台服务器进行数据通信；用户接口1003主要用于连接用户设备；所述目标区域检测设备通过处理器1001调用存储器1005中存储的目标区域检测程序，并执行本发明实施例提供的目标区域检测方法。
[0069]
基于上述硬件结构，提出本发明目标区域检测方法的实施例。
[0070]
参照图2，图2为本发明目标区域检测方法的流程示意图。
[0071]
在第一实施例中，所述目标区域检测方法适用于基于树莓派的视觉感知系统，具体包括以下步骤：
[0072]
s10：获取待处理图像，通过超像素分割将所述待处理图像分割为u个超像素。
[0073]
在具体实现中，优选地，u的值为200，利用树莓派视觉感知系统采集待检测图像，对图像采用单线性迭代聚类方法slic(simple linear iterative clustering)进行超像素分割，紧凑系数为40，分成200块互不重叠的超像素。后续的检测过程在超像素级别上进行，有助于提高检测算法的运行速度。
[0074]
s20：获取u个所述超像素中所有的相邻超像素对。
[0075]
在具体实现中，依次对所有像素点分别与其右边以及下边紧邻的像素点进行比较，判断它们各自所属的超像素标号是否一致，如果不一致说明它们是超像素的边缘点且分属的两个超像素是相邻的，在数组中记录这两个超像素的标号，遍历所有的像素可以得到所有相邻超像素对。
[0076]
s30：对u个所述超像素进行迭代合并处理，获得k个超像素块。
[0077]
在具体实现中，计算所有相邻超像素对在cielab颜色空间的欧式距离，将其均值作为阈值，将颜色欧式距离小于该阈值的超像素进行合并，重复n次步骤s20、s30得到合并后的超像素块，优选地，n取4。
[0078]
s40：提取k个所述超像素块中每个超像素块的特征信息，通过计算获得每个超像素块的显著值。
[0079]
在具体实现中，计算每个超像素块与其他所有超像素块的颜色距离之和以及空间距离之和，构建基于这二者的综合函数并计算每个超像素块的显著值。
[0080]
s50：通过中心约束和边界约束对每个所述超像素块的显著值进行加权计算，获得目标区域。
[0081]
在具体实现中，对于每个超像素块，分别求解边界约束与中心约束；通过计算最终显著值，从而生成最终的显著性图，图中目标区域高亮显示。
[0082]
进一步地，所述获取u个所述超像素中所有的相邻超像素对，包括：
[0083]
s201：构建u个所述超像素的无向图模型g(v,e)，其中v表示超像素的标号集合，e表示超像素的相邻关系；对所述待处理图像进行超像素分割获得超像素的标号集合v，同一
超像素中的所有像素点具有相同的标号；
[0084]
s202：依次判断所述待处理图像中每个像素点所属的超像素标号是否与右方相邻像素点所属的超像素标号和下方相邻像素点所属的超像素标号一致；
[0085]
s203：若不一致，则对应的像素点所属的超像素与右方或下方相邻像素点所属的超像素为相邻超像素对；
[0086]
s204：遍历所有像素点，获得所有的相邻超像素对，其集合即为e。
[0087]
进一步地，所述对u个所述超像素进行迭代合并处理，获得k个超像素块，包括：
[0088]
s301：计算u个所述超像素中每个超像素的lab分量均值，将每个所述超像素的lab分量均值作为对应超像素的特征向量；
[0089]
s302：计算所有的所述相邻超像素对中每个相邻超像素对在cielab颜色空间的欧式距离；
[0090]
s303：计算所有获得的所述欧式距离的均值，将所述均值作为阈值t；
[0091]
s304：将每个相邻超像素对的欧式距离依次与所述阈值t进行比较，将所述欧式距离小于所述阈值t的相邻超像素对进行合并；
[0092]
s305：重复上述步骤进行n次迭代，获得k个超像素块，所述n为正整数，取值范围为3到5，缺省值为4。
[0093]
在具体实现中，k的值由具体实验决定，取值范围一般为2到5的整数。
[0094]
进一步地，所述计算所述所有的相邻超像素对中每个相邻超像素对在cielab颜色空间的欧式距离的公式为：
[0095][0096]
其中分别表示超像素的lab分量均值，i、j为一对相邻超像素的标号，i和j均为正整数，且i不等于j。
[0097]
进一步地，所述提取k个所述超像素块中每个超像素块的特征信息，计算获得每个超像素块的显著值，包括：
[0098]
s401：计算获得超像素块r
i
和超像素块r
j
的颜色距离d
c
(r
i
,r
j
)，公式具体为：
[0099][0100]
s402：计算获得超像素块r
i
和超像素块r
j
的空间距离d
p
(r
i
,r
j
)，公式具体为：
[0101][0102]
其中sqrt()表示开方运算，分别为超像素块r
i
和超像素块r
j
中所有像素点的lab分量均值,分别为超像素块r
i
和超像素块r
j
中所有像素点位置坐标的均值，i、j为一对相邻超像素的标号，i和j均为正整数，且i不等于j；x和y为空间坐标。
[0103]
s403：对所述超像素块r
i
与其它所有超像素块的颜色距离之和以及空间距离之和进行计算，获得所述超像素块r
i
的特征信息d(r
i
)，公式具体为：
[0104][0105]
系数c＝5，d
c
(r
i
)为超像素块r
i
与其它所有超像素块的颜色距离之和，d
s
(r
i
)为超像素块r
i
与其它所有超像素块的空间距离之和；
[0106]
s404：根据所述超像素块r
i
的特征信息d(r
i
)，计算获得超像素块r
i
的显著值s(r
i
)，公式具体为：
[0107]
s(r
i
)＝1-exp(-d(r
i
))
ꢀꢀꢀ
(5)
[0108]
其中，exp()为以自然常数e为底的指数函数，d(r
i
)为超像素块r
i
的特征信息。
[0109]
进一步地，所述通过中心约束和边界约束对每个所述超像素块的显著值进行加权计算，获得目标区域，包括：
[0110]
s501：计算所述超像素块r
i
的边界约束w
b
(r
i
)和中心约束w
c
(r
i
)，公式具体为：
[0111][0112][0113]
其中，n为超像素块r
i
包含图像边界像素点的数目，n为图像边界像素点的总数目，t为控制二者比例的权值参数，经验值取t＝10，p
i
为超像素块r
i
中每个像素点的位置坐标，p
c
是图像的中心位置坐标，n
i
是超像素块r
i
中像素点的个数；
[0114]
s502：根据所述超像素块r
i
的显著值s(r
i
)、所述边界约束w
b
(r
i
)和所述中心约束w
c
(r
i
)，计算获得所述超像素块r
i
的最终显著值s
′
(r
i
)，具体公式为：
[0115]
s
′
(r
i
)＝w
b
(r
i
)
×
w
c
(r
i
)
×
s(r
i
)
ꢀꢀꢀ
(8)
[0116]
s503：重复上述步骤，获得所有超像素块的最终显著值，根据所有所述超像素块的最终显著值，获得最终显著性图像；
[0117]
所述最终显著性图像中的高亮部分，即为目标区域。
[0118]
为了对本发明方法的性能进行评估，将本发明的目标区域检测方法与六种典型的显著性检测算法(ft、gmr、hc、mss、pca和rc算法)进行比较。
[0119]
图4给出了测试图像采用不同方法得到的显著性图。图4(a)为搭载树莓派视觉感知系统的小型无人机采集的测试图像，图4(b)～(g)分别给出了上述六种算法的检测结果，图4(h)是本方法的检测结果。对比检测结果可以发现，采用传统方法时目标区域检测不够完整，特别是当背景区分度较差时，传统算法会有更多的误检。相反，本方法可以抑制背景干扰的影响，在各种条件下都能得到更加完整的检测结果，边缘轮廓也更加清晰。
[0120]
在代码未经优化的情况下，单幅352*288图像在树莓派上的平均处理时间约为30s，基本可以满足搭载树莓派视觉感知系统的无人机空中监测任务的需求。
[0121]
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有目标区域检测程序，所述目标区域检测程序被处理器执行时实现如上文所述的目标区域检测方法的步
骤。
[0122]
此外，参照图3，本发明实施例还提出目标区域检测装置，所述目标区域检测装置包括：
[0123]
分割模块10，用于获取待处理图像，通过超像素分割将所述待处理图像分割为u个超像素；
[0124]
相邻超像素对提取模块20，用于获取u个所述超像素中所有的相邻超像素对；
[0125]
合并模块30，用于对u个所述超像素进行迭代合并处理，获得k个超像素块；
[0126]
显著值计算模块40，用于提取k个所述超像素块中每个超像素块的特征信息，通过计算获得每个超像素块的显著值；
[0127]
目标区域获取模块50，用于通过中心约束和边界约束对每个所述超像素块的显著值进行加权计算，获得目标区域。
[0128]
本发明所述目标区域检测装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
[0129]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0130]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。词语第一、第二、以及第三等的使用不表示任何顺序，可将这些词语解释为标识。
[0131]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器镜像(read only memory image，rom)/随机存取存储器(random access memory，ram)、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0132]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。