技术特征：
1.一种基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于包括如下步骤：s1. 通过预设的网络结构构造对抗生成网络中的对抗性生成器，并初始化参数，利用目标网络的结构和参数初始化对抗解码器；s2. 将请求跨模态数据输入至对抗生成器中，生成重构跨模态数据，获得重构损失函数；s3. 将重构跨模态数据输入至对抗解码器中，获得重构跨模态数据的特征向量，对重构跨模态数据的特征向量进行二值化，获得重构跨模态数据的哈希码并获得量化损失函数；s4. 通过点乘获取每一个检索数据库哈希码和请求跨模态数据哈希码的汉明距离，选取汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码；s5. 将重构跨模态数据哈希码、汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码构造训练三元组，并构造对抗性三元组损失函数；获取请求跨模态数据哈希码，将请求跨模态数据哈希码与汉明距离最小的跨模态数据哈希码和汉明距离最大的跨模态数据哈希码构造相对三元组，并构造基于相对的对抗性三元组损失函数；s6. 构建对抗生成网络的训练函数，通过adam优化器对生成器的网络参数进行优化，同时固定对抗解码器的网络参数；s7. 对给定的请求跨模态数据集合，通过训练好的对抗生成器获得对抗性跨模态数据集合。2.根据权利要求1所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤s1，包括，定义目标网络与目标网络的参数，其中，δ为参数表示；*为图像或文本检索网络表示，具体的，，代表目标图像检索网络，代表目标文本检索网络；利用目标网络与目标网络的参数，初始化对抗性解码器与对抗性解码器的参数，构造对抗性生成器并初始化对抗性生成器的参数；当上传图像用于搜索相关文本时，设请求跨模态数据为请求图像数据，r表示实数域；q表示请求数据标志；i表示图像；g表示请求图像的宽度；b表示请求图像的高度；o表示请求图像的通道数；当上传文本用于搜索相关图像时，设请求跨模态数据为请求文本数据，t表示文本；l表示查询文本的特征向量维度。3.根据权利要求2所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤s2，包括，将请求跨模态数据输入至对抗性生成器，获得重构跨模态数据，，其中，*为图像或文本检索网络表示；当请求跨模态数据为图像数据时，对抗型生成器为对抗性图像生成器，当请求跨模态数据为文本数据时，对抗型生成器为对抗性文本生成器；已知请求跨模态数据与重构跨模态数据，获得重构损失函数，
其中，表示l2范数。4.根据权利要求3所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤s3，包括如下步骤：a1. 将重构跨模态数据输入至对抗性解码器，获得重构跨模态数据特征向量，，其中，*为图像或文本检索网络表示；，r表示实数域；n表示重构跨模态数据特征的长度；当重构跨模态数据为图像数据时，对抗性解码器为图像对抗性解码器；当重构跨模态数据为文本数据时，对抗性解码器为文本对抗性解码器；a2. 利用sign函数将重构跨模态数据特征向量进行二值化，获得重构跨模态数据二元哈希码：其中，sign函数具体为；，k表示二元哈希码序列的长度，为长度为k的二元哈希码序列；a3. 基于重构跨模态数据二元哈希码和重构跨模态数据特征向量，获得量化损失函数，其中，表示l2范数。5.根据权利要求4所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤s4，包括，计算重构跨模态数据二元哈希码和数据库中所有的跨模态数据哈希码集之间的汉明距离函数ham：其中，*为图像或文本检索网络表示；表示点积运算函数，e为检索数据库的跨模态哈希码总数；i表示检索数据库的跨模态哈希码的计数变量；表示数据库中所有的跨模态数据哈希码集合；当重构跨模态数据二元哈希码为重构图像数据哈希码时，跨模态数据哈希码集为文本数据哈希码集；当重构跨模态数据二元哈希码为
重构文本数据哈希码时，跨模态数据哈希码集为图像数据哈希码集；将重构跨模态数据二元哈希码汉明距离最小的若干个跨模态数据哈希码称为积极跨模态数据哈希码，将与重构跨模态数据二元哈希码汉明距离最大的若干个跨模态数据哈希码为消极跨模态数据哈希码。6.根据权利要求5所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤s5，包括如下步骤：b1. 将重构跨模态数据二元哈希码，积极跨模态数据哈希码和消极跨模态数据哈希码构造三元组，*为图像或文本检索网络表示；b2. 基于步骤b1构造的三元组q，获得对抗性三元组函数，其中，表示汉明距离函数；m表示跨模态数据哈希码的数量，m表示跨模态数据哈希码的计数变量；表示第s个消极跨模态数据哈希码；表示第k个积极跨模态数据哈希码；跨模态数据哈希码包括消极跨模态数据哈希码和积极跨模态数据哈希码；b3. 将请求跨模态数据输入至对抗解码器中获得请求跨模态数据特征向量，接着经过sign函数获得请求跨模态数据哈希码，获得基于相对的对抗性三元组函数，。7.根据权利要求6所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤s6，包括，构造训练损失函数lx，其中，表示对抗性生成器的参数；表示使模型最小化的对抗性生成器的参数；表示第一平衡常数；j1为重构损失函数；表示第二平衡常数；j2表示量化损失函数；表示第三平衡常数；j3表示对抗性三元组函数；j4表示基于相对的对抗性三元组函数；通过adam优化方法对构造训练损失函数进行优化，求出最佳的对抗生成器参数，使得达到如下目标：目标一包括，使重构跨模态数据和请求跨模态数据之间在视觉上不可区分；目标二包括，使重构跨模态数据特征向量和重构跨模态数据二元哈希码之间的差异最小化；目标三包括，最小化重构跨模态数据二元哈希码和消极跨模态数据哈希码之
间的汉明距离，最大化重构跨模态数据二元哈希码和积极跨模态数据哈希码之间的汉明距离；目标四包括，最小化请求跨模态数据哈希码和消极跨模态数据哈希码之间的汉明距离，最大化请求跨模态数据哈希码和积极跨模态数据哈希码之间的汉明距离。8.根据权利要求7所述的基于生成式网络的跨模态数据哈希检索攻击方法，其特征在于所述的步骤s7，包括，已知一个训练好的对抗性生成器和对抗性生成器的参数，输入请求跨模态数据集合，表示请求跨模态数据，获得对抗性跨模态数据集和，，*为图像或文本检索网络表示；；z表示请求跨模态数据集合的计数变量，z表示请求跨模态数据集合的总数。
技术总结
本发明公开了一种基于生成式网络的跨模态数据哈希检索攻击方法，包括利用重构跨模态数据与请求跨模态数据构造重构函数，然后基于重构跨模态数据的特征向量与sign函数构造量化函数。通过对比重构跨模态数据的哈希码与跨模态检索数据库中哈希码之间的汉明距离，获得积极跨模态数据和消极跨模态数据用于构造对抗性三元组函数，并通过请求跨模态数据哈希码构造基于相对的对抗性三元组函数。最后通过构造训练函数并通过ADAM优化器获得对抗性生成器的最佳参数，接着获得可快速生成对抗性样本的对抗性生成器，降低了传统的基于迭代式攻击获取对抗性样本时会消耗大量算力的缺点，节省算力且精度高。算力且精度高。算力且精度高。
技术研发人员：湛誉 黄亮 胡超 施鹤远
受保护的技术使用者：中南大学
技术研发日：2022.07.27
技术公布日：2022/9/20