基于语义分割的图像像素级伪标签确定方法及系统

1.本发明涉及图像语义分割领域，特别是涉及一种基于语义分割的图像像素级伪标签确定方法及系统。


背景技术：

2.由于语义分割标签需要对图像的每一个像素进行标注，这导致了大量的耗时和费力。训练数据集的生成已经成为语义分割研究的瓶颈。因此，如何以廉价、高效的方式获得给定图像的像素级标注，是未来语义分割的一个很有前途的方向。


技术实现要素：

3.本发明的目的是提供一种基于语义分割的图像像素级伪标签确定方法及系统，能够通过分类网络的图像及标签得到分割网络的像素级伪标签。
4.为实现上述目的，本发明提供了如下方案：
5.一种基于语义分割的图像像素级伪标签确定方法，包括：
6.获取初始图像并对所述初始图像进行预处理，得到第一图像；
7.利用特征提取器对所述第一图像进行特征提取，得到第一特征图；
8.将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图；
9.对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵；
10.对所述多个第一像素关系测量矩阵进行平均融合得到第二像素关系测量矩阵；
11.对所述第二特征图和第二像素关系测量矩阵进行矩阵乘积运算，得到第四特征图；
12.将所述第四特征图输入全局平均池化层，得到张量矩阵；
13.将所述张量矩阵输入softmax分类层进行分类，得到所述张量矩阵与图像输出概率的函数关系；
14.根据所述函数关系对应的损失函数训练分类网络，得到训练后的分类网络；
15.根据所述训练后的分类网络和第四特征图得到目标位置图和背景目标图；
16.获取语义分割网络模型；
17.根据所述第一图像、目标位置图和背景目标图对所述语义分割网络模型进行训练，得到训练后的语义分割网络模型；
18.将待测图像输入所述训练后的语义分割网络模型得到图像像素级伪标签。
19.可选的，对初始图像以[321,481]范围随机缩放，然后将图片裁剪到尺寸为321*321，得到第一图像。
[0020]
可选的，所述特征提取器为去除vgg
‑
16模型结构中最后两个池层的改进型vgg
‑
16网络模型。
[0021]
可选的，所述张量矩阵与图像输出概率的函数关系为其中，表示对于类n,f
c
的权重参数，p
n
表示类n的图像输出概率，f
c
表示张量矩阵。
[0022]
可选的，所述语义分割网络模型为deeplab
‑
aspp网络模型。
[0023]
可选的，所述初始图像采用pascal voc 2012数据集。
[0024]
可选的，在将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图步骤之后，对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵步骤之前，还包括：
[0025]
对所述第二特征图和多个第三特征图进行尺寸重塑。
[0026]
可选的，所述第一特征图是通过改进型vgg
‑
16网络模型的conv5_3层获得。
[0027]
可选的，所述第一特征图尺寸为c*h*w，其中c为通道数量，w,h分别为特征图尺寸。
[0028]
一种基于语义分割的图像像素级伪标签确定系统，包括：
[0029]
预处理模块，用于获取初始图像并对所述初始图像进行预处理，得到第一图像；
[0030]
特征提取模块，用于利用特征提取器对所述第一图像进行特征提取，得到第一特征图；
[0031]
第一输入模块，用于将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图；
[0032]
第一矩阵乘积运算模块，用于对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵；
[0033]
矩阵融合模块，用于对所述多个第一像素关系测量矩阵进行平均融合得到第二像素关系测量矩阵；
[0034]
第二矩阵乘积运算模块，用于对所述第二特征图和第二像素关系测量矩阵进行矩阵乘积运算，得到第四特征图；
[0035]
第二输入模块，用于将所述第四特征图输入全局平均池化层，得到张量矩阵；
[0036]
分类模块，用于将所述张量矩阵输入softmax分类层进行分类，得到所述张量矩阵与图像输出概率的函数关系；
[0037]
第一网络训练模块，用于根据所述函数关系对应的损失函数训练分类网络，得到训练后的分类网络；
[0038]
目标位置图和背景目标图确定模块，用于根据所述训练后的分类网络和第四特征图得到目标位置图和背景目标图；
[0039]
模型获取模块，用于获取语义分割网络模型；
[0040]
第二网络训练模块，用于根据所述第一图像、目标位置图和背景目标图对所述语义分割网络模型进行训练，得到训练后的语义分割网络模型；
[0041]
伪标签确定模块，用于将待测图像输入所述训练后的语义分割网络模型得到图像像素级伪标签。
[0042]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0043]
本发明通过设计深度神经分类网络为分割网络提供高质伪标签训练分割网络，从而进行图像语义分割。提出空洞卷积像素关系网络，在分类网络中结合空洞卷积于与注意
力机制产生空洞卷积特征图与一般卷积特征图之间的像素关系模型，促进分类网产生的类激励图可以高亮更完整的目标区域，从而产生更高质量的分割网络伪标签，提高分割网络的分割能力。
附图说明
[0044]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0045]
图1为本发明语义分割的图像像素级伪标签确定方法流程图；
[0046]
图2为本发明空洞卷积像素关系网络结构图；
[0047]
图3为本发明空洞卷积像素关系模型图；
[0048]
图4为本发明语义分割的图像像素级伪标签确定系统模块图。
具体实施方式
[0049]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0050]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0051]
本发明的目的是提供一种基于语义分割的图像像素级伪标签确定方法及系统，能够通过分类网络的图像及标签得到分割网络的像素级伪标签。
[0052]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0053]
如图1所示，本发明公开了一种语义分割的图像像素级伪标签确定方法，包括：
[0054]
步骤101：获取初始图像并对所述初始图像进行预处理，得到第一图像。
[0055]
步骤102：利用特征提取器对所述第一图像进行特征提取，得到第一特征图。
[0056]
步骤103：将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图。
[0057]
步骤104：对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵。
[0058]
步骤105：对所述多个第一像素关系测量矩阵进行平均融合得到第二像素关系测量矩阵。
[0059]
步骤106：对所述第二特征图和第二像素关系测量矩阵进行矩阵乘积运算，得到第四特征图。
[0060]
步骤107：将所述第四特征图输入全局平均池化层，得到张量矩阵。
[0061]
步骤108：将所述张量矩阵输入softmax分类层进行分类，得到所述张量矩阵与图像输出概率的函数关系。
[0062]
步骤109：根据所述函数关系对应的损失函数训练分类网络，得到训练后的分类网络。
[0063]
步骤110：根据所述训练后的分类网络和第四特征图得到目标位置图和背景目标图。
[0064]
步骤111：获取语义分割网络模型。
[0065]
步骤112：根据所述第一图像、目标位置图和背景目标图对所述语义分割网络模型进行训练，得到训练后的语义分割网络模型。
[0066]
步骤113：将待测图像输入所述训练后的语义分割网络模型得到图像像素级伪标签。
[0067]
步骤101具体包括：
[0068]
采用pascal voc 2012数据集(20个前景类和一个背景类)，其中包括1464张图片作为训练集，1449张图片作为验证集，1456张图片作为测试集。
[0069]
将图片以[321,481]范围随机缩放，然后将图片裁剪到尺寸为321*321作为网络的输入图像集a。
[0070]
步骤102具体包括：
[0071]
2.1将在imagnet数据库上进行预训练的vgg
‑
16模型作为特征提取器。
[0072]
2.2去除vgg
‑
16模型结构中最后两个池化层以提高特征地图的分辨率。
[0073]
2.3将输入图像集a传入改变的vgg
‑
16模型中进行特征提取。
[0074]
2.4在vgg
‑
16模型conv5_3层获得尺寸为c*h*w的特征图z，其中c为通道数量，w，h分别为特征图尺寸。
[0075]
步骤103
‑
106具体包括：
[0076]
3.1将改进型vgg
‑
16的获得的特征图传入空洞卷积像素关系模型(dcpam)。
[0077]
3.2dcpam将特征图z(第一特征图)分别代入空洞卷积单元和标准卷积单元，分别得到特征图d∈r
c
×
h
×
w
(第三特征图)和s∈r
c
×
h
×
w
(第二特征图)。
[0078]
3.3将s和d重塑尺寸为r
c
×
n
，其中n＝h
×
w，是s和d特征图中位置的总数。
[0079]
3.4通过对重塑的特征图s和d之间进行矩阵乘积来获得其之间的第一像素关系测量矩阵a∈r
n
×
n
。a的特征值表示为其中i和j为重塑的特征图s和d位置索引，s
i
和d
j
为重塑的特征图s和d在i位置和j位置的特征值。
[0080]
3.5通过softmax层对ai,j进行归一化操作
[0081]
3.6将标准卷积单元输出的特征图(第二特征图)与空洞卷积单元中不同空洞率卷积核输出的特征图(第三特征图)之间的多个第一像素关系测量矩阵进行平均融合，得到第
二像素关系测量矩阵其中d表示空洞卷积率，a
d
表示标准卷积单元输出的特征图与空洞卷积率为d的卷积核输出的特征图之间的第一像素关系测量矩阵。
[0082]
3.7用第二像素关系测量矩阵a加强标准卷积单元生成的重塑特征图s，执行s和a之间的矩阵乘法，然后我们将结果重整为r
c
×
h
×
w
，并用s进行元素求和，以获得增强的特征图(第四特征图)e∈r
c
×
h
×
w
，其中λ初始化为0并通过训练逐渐学习。
[0083]
步骤107具体包括：
[0084]
将获得的加强特征图(第四特征图)传入平均池化层中，对于通道c执行全局平均池化层的结果为最终得到张量矩阵r
c
×
h
×
w
∈r
c
×1×1作为图像表示。
[0085]
步骤108具体包括：
[0086]
将图像表示张量矩阵代入softmax分类层进行分类,对于类n，softmax输出为其中表示对于类n,fc的权重参数，p
n
表示类n的图像输出概率，f
c
表示张量矩阵。。
[0087]
步骤109具体包括：
[0088]
通过图像类别标签进行cross
‑
entropy loss损失函数的计算，训练分类网络，其中损失函数为y
n
表示数据集的标签，n标示类别。这个损失函数通过随机梯度下降优化分类网络。
[0089]
步骤110具体包括：
[0090]
7.1将训练好的分类网络中的gap层与分类层之间权重参数传入分类网络中的加强特征图e(第四特征图)进行操作得到目标位置图：m
n
(i,j)表示属于类别n的目标位置图。
[0091]
7.2根据分类网络中概率最低的类的位置图高亮与目标无关的区域，我们采用前x个概率最低的类别作为背景目标，其中b(x)为平衡融合函数：
[0092]
步骤111
‑
112是将目标位置图作为分割网络伪标签训练分割网络，以下是训练分割网络的超参数设置。
[0093]
具体包括：
[0094]
8.1采用deeplab
‑
aspp作为语义分割网络模型。
[0095]
8.2取子步骤7.1中目标位置图中的像素值最高的前20％作为前景目标。
[0096]
8.3取子步骤7.2中背景目标位置图中的像素值最高的前30％作为背景目标，设置
p＝3,q＝数据集类别数量
‑
p。
[0097]
8.4训练过程中忽略所有未分配和冲突的像素。
[0098]
8.5用pascal voc 2012数据集作为分割网络的训练数据，定义为g，对于任何训练图像g∈g。
[0099]
8.6定义标签集为n＝n
fg
∪n
bg
,其中n
fg
为前景标签，n
bg
为背景标签。
[0100]
8.7将分割网络模型定义为f(g；θ)，其中θ为可优化参数。f
u,c
(g；θ)表示分割模型对特定类置信度图的任意位置u处的任何标签c的条件概率进行的建模。
[0101]
8.8定义平衡种子损失函数：hc表示有目标位置图mn(i,j)生成的像素级分割伪标签，|
·
|表示像素的数量。
[0102]
8.9定义辅助种子损失函数：表示图像由分割模型在线预测的目标位置标签。
[0103]
8.10通过条件随机场(crf)定义边界约束损失函数：其中ru,c(i,f(i；θ))为全连接crf的输出概率图。
[0104]
8.11最终模型的损失函数定义为：l＝l
seed
+l
seg
+l
boundary
。
[0105]
8.12将mini
‑
batch设置为10张图像，动量为0.9，重量衰减为0.0005。初始学习率为5e
‑
3，每2000次迭代将其降低10倍，并且训练在10000次迭代后终止。
[0106]
经过步骤112之后就得到了训练后的语义分割网络模型，后续可以直接将待测图像输入训练后的语义分割网络模型就可以得到图像像素级伪标签。
[0107]
1、此外，本发明还公开了供一种基于语义分割的图像像素级伪标签确定系统，如图4所示，一种基于语义分割的图像像素级伪标签确定系统，包括：
[0108]
预处理模块201，用于获取初始图像并对所述初始图像进行预处理，得到第一图像。
[0109]
特征提取模块202，用于利用特征提取器对所述第一图像进行特征提取，得到第一特征图。
[0110]
第一输入模块203，用于将所述第一特征图输入空洞卷积像素关系模型，得到第二特征图和多个第三特征图。
[0111]
第一矩阵乘积运算模块204，用于对所述第二特征图和每一个第三特征图分别进行矩阵乘积运算，对应得到多个第一像素关系测量矩阵。
[0112]
矩阵融合模块205，用于对所述多个第一像素关系测量矩阵进行平均融合得到第二像素关系测量矩阵。
[0113]
第二矩阵乘积运算模块206，用于对所述第二特征图和第二像素关系测量矩阵进
行矩阵乘积运算，得到第四特征图。
[0114]
第二输入模块207，用于将所述第四特征图输入全局平均池化层，得到张量矩阵。
[0115]
分类模块208，用于将所述张量矩阵输入softmax分类层进行分类，得到所述张量矩阵与图像输出概率的函数关系。
[0116]
第一网络训练模块209，用于根据所述函数关系对应的损失函数训练分类网络，得到训练后的分类网络。
[0117]
目标位置图和背景目标图确定模块210，用于根据所述训练后的分类网络和第四特征图得到目标位置图和背景目标图。
[0118]
模型获取模块211，用于获取语义分割网络模型。
[0119]
第二网络训练模块212，用于根据所述第一图像、目标位置图和背景目标图对所述语义分割网络模型进行训练，得到训练后的语义分割网络模型。
[0120]
伪标签确定模块213，用于将待测图像输入所述训练后的语义分割网络模型得到图像像素级伪标签。
[0121]
本发明还公开了如下技术效果：
[0122]
1、本发明通过分类网络结合空洞卷积和注意力机制的优点，可以有效地扩大高亮的目标区域同时，也可以增强类相关目标区域抑制类不相关区域的产生，得到更高质量的语义分割为标签，从而提高分割网络的分割能力。
[0123]
2、本发明通过设计深度神经分类网络为分割网络提供高质伪标签训练分割网络，从而进行图像语义分割。提出空洞卷积像素关系网络，在分类网络中结合空洞卷积于与注意力机制产生空洞卷积特征图与一般卷积特征图之间的像素关系模型，促进分类网产生的类激励图可以高亮更完整的目标区域，从而产生更高质量的分割网络伪标签，也能够提高分割网络的分割能力。
[0124]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0125]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。