一种基于属性引导对抗哈希网络的零样本图像检索方法与流程

[0001]
本发明属于图像处理的技术领域，具体涉及一种基于属性引导对抗哈希网络的零样本图像检索方法。


背景技术：

[0002]
图像识别和处理是人工智能领域研究的基本课题之一，对ai方面的学术发展和工业生产都有重要意义，其基本思想是利用算法让计算机能够像人类一样“看到”图像，并能够识别其类别，从而赋予计算机视觉识别的能力。
[0003]
随着大数据时代的到来和深度学习卷积神经网络的飞速发展，对于特定的任务，只要能够获得每一个类别足够多的图像，将其输入到深度神经网络学习得到网络的最优参数矩阵，就能够在测试数据集上轻松地达到很高的识别准确率。
[0004]
然而，在现实生活中，海量数据往往不是轻易就能够获得的，并且，人工标注的成本也相当高，因此，为了解决上述问题，对零样本学习技术的研究具有非常实际的应用意义。零样本学习与传统模式识别技术不同之处在于训练样本和测试样本的类别互不相交，也就是说，测试阶段的数据属于未见类，但是参与训练的已知类别与测试阶段的未见类别之间能够共享一定维度的属性语义信息，所以，如何利用这些属性语义信息把在已知类别的数据下学习到的模型有效地迁移到未见类别，是零样本学习研究的重点，这也是本发明着力解决的问题之一。并且，现有的图像检索方法的准确率低，检索效率低，不能满足高效检索的需求。
[0005]
为此，亟需提出一种新型的图像检索方法以解决上述问题。


技术实现要素：

[0006]
本发明的目的在于：针对现有技术的不足，提供一种基于属性引导对抗哈希网络的零样本图像检索方法，能够显著提高零样本条件下以标签检索图像的准确率，并极大地提高了检索效率，从而实现了图像的快速检索。
[0007]
为了实现上述目的，本发明采用如下技术方案：
[0008]
一种基于属性引导对抗哈希网络的零样本图像检索方法，包括以下步骤：
[0009]
s1、向resnet-101模型输入图像，向word2vec模型输入所述图像的类别标签的文本，提取所述图像的高维特征向量f
img
和所述文本的高维特征向量f
txt
；
[0010]
s2、将所述f
img
输入到一个三层全连接神经网络v2a-net，将所述f
txt
输入到一个三层全连接神经网络t2a-net，以二值化属性向量作为监督训练所述v2a-net和所述t2a-net的网络参数；
[0011]
s3、把所述v2a-net输出的图像特征f
v2a
和所述t2a-net输出的文本特征f
t2a
共同输入到一个由两层神经网络构成的判别器d，以输入的图像特征的标签为1，以输入的文本特征的标签为0，对抗训练并调节所述v2a-net和所述t2a-net的网络参数；
[0012]
s4、经过所述s3的对抗训练后，把所述v2a-net输出的图像特征f
v2a
和所述t2a-net
输出的文本特征f
t2a
输入到一个三层全连接哈希码生成网络a2h-net从而产生所述图像对应的哈希码和所述文本对应的哈希码。
[0013]
进一步地，所述s2中的监督训练所述v2a-net还包括计算所述v2a-net的损失函数l
v2a
，其计算过程包括
[0014]
p＝softmax(w
v2a
f
img
)，l
v2a
＝-log(p(a))；其中，w
v2a
表示图像通道的参数，softmax为分类函数，p表示输出是各个属性的概率，p(a)表示所述v2a-net正确预测图像属性的概率。
[0015]
进一步地，所述s2中的监督训练所述t2a-net还包括计算所述t2a-net的损失函数l
t2a
，其计算过程包括
[0016]
p＝softmax(w
t2a
f
txt
)，l
t2a
＝-log(p(b))；其中，w
t2a
表示文本通道的参数，softmax为分类函数，p表示输出是各个属性的概率，p(b)表示所述t2a-net正确预测文本属性的概率。
[0017]
进一步地，所述s3还包括计算所述判别器d的交叉熵损失函数l
advd
，其计算过程包括
[0018]
l
advd
＝-e
fimg～fimg
[logd(v2a(f
img
))]-e
ftxt～ftxt
[log(1-d(t2a(f
txt
)))]；其中，v2a(f
img
)表示所述v2a-net输出的图像特征，t2a(f
txt
)表示所述t2a-net输出的文本特征，d(v2a(f
img
))表示所述判别器d输出的图像模态的概率，d(t2a(f
txt
))表示所述判别器d输出的文本模态的概率，
[0019]
e
fimg～fimg
[logd(v2a(f
img
))]表示训练图像样本的期望，
[0020]
e
ftxt～ftxt
[log(1-d(t2a(f
txt
)))]表示训练文本样本的期望。
[0021]
进一步地，所述s3还包括计算图像通道和文本通道的交叉熵损失函数l
advm
，其计算过程包括
[0022]
l
advm
＝-e
fimg～fimg
[log(1-d(v2a(f
img
)))]-e
ftxt～ftxt
[logd(t2a(f
txt
))]；
[0023]
其中，e
fimg～fimg
[log(1-d(v2a(f
img
)))]表示训练图像样本的期望，e
ftxt～ftxt
[logd(t2a(f
txt
))]表示训练文本样本的期望，l
dvd
和l
advm
分别是用来更新判别器参数和图像文本通道生成器参数的对抗cross-entropy交叉熵损失函数。
[0024]
进一步地，所述s4还包括计算图像哈希码和文本哈希码之间的距离约束l
h
，其中，s
i,j
表示所述图像和所述文本之间的相似度矩阵，当所述图像和所述文本的标签相同时所述s
i,j
为1，当所述图像和所述文本的标签不相同时所述s
i,j
为0，并且，用p
img
＝a2h(f
v2a
，w
a2h
)表示所述图像的哈希码，q
txt
＝a2h(f
t2a
，w
a2h
)表示所述文本的哈希码，其中，w
a2h
表示所述a2h-net的网络参数，所述θ
i,j
表示图像哈希码和文本哈希码之间的汉明距离，θ
i,j
＝p
img
*q
txt
。
[0025]
进一步地，所述s1中的输入图像之前还包括将所述resnet-101模型在imagenet上进行预训练。
[0026]
进一步地，所述s1中的输入所述resnet-101模型的所述图像均被裁剪成统一尺寸。
[0027]
本发明的有益效果在于：1)本发明通过设计两路对抗网络，并在训练时引入跨域共享属性信息来引导图像数据和标签文本产生更具判别性的哈希码，从而获得了一种更高
效的零样本图像检索方法；2)本发明以属性作为监督并引入不同模态间的对抗，使不同模态的特征具有模态内判别性以及模态间的相似性，通过监督与对抗学习的结合以及搭配哈希码网络，设计了一种新的零样本检索算法，能够显著提高零样本条件下以标签检索图像的准确率，并极大地提高了检索效率，从而实现了图像的快速检索；3)同时，在零样本学习适用在数据标签不足时，新类别数据特征与已有数据相似的情况下，跨模态检索能够实现用一个模态的数据(比如图像)检索另一模态的样本(比如文本)，使得本检索方法在搜索引擎方面具有很好的实用性。
附图说明
[0028]
图1为本发明的流程图。
[0029]
图2为本发明中的视觉模态和文本模态的对抗训练的示意图。
[0030]
图3为本发明的生成哈希码的网络结构的示意图。
具体实施方式
[0031]
如在说明书及权利要求当中使用了某些词汇来指称特定组件，本领域技术人员应可理解，制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接受的误差范围内，本领域技术人员能够在一定误差范围内解决技术问题，基本达到技术效果。
[0032]
在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0033]
在发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0034]
以下结合附图1～3和具体实施例对本发明作进一步详细说明，但不作为对本发明的限定。
[0035]
一种基于属性引导对抗哈希网络的零样本图像检索方法，先通过属性监督图像和文本的特征学习为两路特征提取网络的参数赋予初始化，并在图像和文本间引入一个判别器，对抗训练来微调两个网络的参数，使相同类别的图像和文本的特征在高维空间更接近，然后把学习到的图像文本两路特征输入到一个哈希码产生网络，再经过汉明距离的约束损失函数来训练此网络的参数，最后得到文本和图像的哈希码，从而实现快速检索，包括以下步骤：
[0036]
s1、将训练集图像裁剪成统一尺寸输入到预训练好的resnet-101，从而实现向resnet-101模型输入图像，将类别标签文本输入到预训练好的word2vec模型，从而向
word2vec模型输入图像的类别标签的文本，并提取图像的高维特征向量f
img
和文本的高维特征向量f
txt
。
[0037]
s2、如图2所示，将f
img
输入到一个三层全连接神经网络v2a-net，将f
txt
输入到一个三层全连接神经网络t2a-net，以二值化属性向量作为监督训练v2a-net和t2a-net的网络参数，同时，计算v2a-net的损失函数l
v2a
，其计算过程包括
[0038]
p＝softmax(w
v2a
f
img
)，l
v2a
＝-log(p(a))；其中，w
v2a
表示图像通道的参数，softmax为分类函数，p表示输出是各个属性的概率，p(a)表示v2a-net正确预测图像属性的概率；
[0039]
计算t2a-net的损失函数l
t2a
，其计算过程包括
[0040]
p＝softmax(w
t2a
f
txt
)，l
t2a
＝-log(p(b))；其中，w
t2a
表示文本通道的参数，softmax为分类函数，p表示输出是各个属性的概率，p(b)表示t2a-net正确预测文本属性的概率。
[0041]
s3、把v2a-net和t2a-net看作两个生成器，引入一个两层全连接神经网络作为判别器d，把v2a-net输出的图像特征f
v2a
和t2a-net输出的文本特征f
t2a
共同输入到一个由两层神经网络构成的判别器d，以输入的图像特征的标签为1，以输入的文本特征的标签为0，cross-entropy交叉熵作为判别器d的损失函数，用梯度下降的方法更新v2a-net和t2a-net的参数最小化判别器d的损失函数，更新判别器d的参数最大化损失函数，以此对抗微调两个生成器模型参数，从而对抗训练并调节v2a-net和t2a-net的网络参数；
[0042]
并且，计算判别器d的交叉熵损失函数l
advd
，其计算过程包括
[0043]
l
advd
＝-e
fimg～fimg
[logd(v2a(f
img
))]-e
ftxt～ftxt
[log(1-d(t2a(f
txt
)))]；
[0044]
其中，v2a(f
img
)表示v2a-net输出的图像特征，t2a(f
txt
)表示t2a-net输出的文本特征，d(v2a(f
img
))表示判别器d输出的图像模态的概率，d(t2a(f
txt
))表示判别器d输出的文本模态的概率，
[0045]
e
fimg～fimg
[logd(v2a(f
img
))]表示训练图像样本的期望，
[0046]
e
ftxt～ftxt
[log(1-d(t2a(f
txt
)))]表示训练文本样本的期望。
[0047]
计算图像通道和文本通道的交叉熵损失函数l
advm
，其计算过程包括
[0048]
l
advm
＝-e
fimg～fimg
[log(1-d(v2a(f
img
)))]-e
ftxt～ftxt
[logd(t2a(f
txt
))]；
[0049]
其中，e
fimg～fimg
[log(1-d(v2a(f
img
)))]表示训练图像样本的期望，e
ftxt～ftxt
[logd(t2a(f
txt
))]表示训练文本样本的期望，l
dvd
和l
advm
分别是用来更新判别器参数和图像文本通道生成器参数的对抗cross-entropy交叉熵损失函数。
[0050]
s4、经过属性的监督学习与不同模态间的对抗学习后，图像和文本被映射到一个相同维度的高维特征空间，接下来，把这些高维特征输入到设计的一个三层全连接哈希码生成网络并产生图像和文本对应的哈希码，从而提高了零样本检索的有效性和高效性，如图3所示，把v2a-net输出的图像特征f
v2a
和t2a-net输出的文本特征f
t2a
输入到一个三层全连接哈希码生成网络a2h-net从而产生图像对应的哈希码和文本对应的哈希码，同时，计算图像哈希码和文本哈希码之间的距离约束l
h
，其中，s
i,j
表示图像和文本之间的相似度矩阵，当图像和文本的标签相同时s
i,j
为1，当图像和文本的标签不相同时s
i,j
为0，并且，用p
img
＝a2h(f
v2a
，w
a2h
)表示图像的哈希码，q
txt
＝a2h(f
t2a
，w
a2h
)表示文本的哈希码，其中，w
a2h
表示a2h-net的网络参数，θ
i,j
表示图像哈希码和文本哈希码之间的汉明距离，θ
i,j
＝p
img
*q
txt
，此外，还可以用梯度下降的方法最小化l
h
从而可以使
相同类别的图像文本的码间距离更小，不同类别的图像文本的码间距离更大。
[0051]
显然，本发明设计了两步训练生成零样本图像和类别标签哈希码的网络模型，并且，通过在awa、cub、sun数据集上的实验结果，发现了本算法能够显著提高零样本条件下以标签检索图像的准确率，并极大地提高了测试效率，其哈希编码学习兼具高效性和有效性，在跨模态检索领域，能够使不同模态的数据(文本、图像等)经过嵌入网络被映射到相同维度的哈希空间，再通过计算汉明距离从而实现跨模态的检索，并且，本发明的对抗学习的思想也可以应用到深度模型的各个领域，在对抗学习中，对抗网络可包含一个或多个生成器g和一个或多个判别器d，并使损失函数为判别器d的cross-entropy loss，g和d的参数分开训练，通过梯度下降使g的参数最大化loss，d的参数最小化loss，从而通过对抗训练的方法并设计哈希码产生网络来生成图像和文本的哈希码。
[0052]
根据上述说明书的揭示和教导，本发明所属领域的技术人员还能够对上述实施方式进行变更和修改。因此，本发明并不局限于上述的具体实施方式，凡是本领域技术人员在本发明的基础上所作出的任何显而易见的改进、替换或变型均属于本发明的保护范围。此外，尽管本说明书中使用了一些特定的术语，但这些术语只是为了方便说明，并不对本发明构成任何限制。