技术特征：
1.一种基于带权哈希码的多媒体数据跨模态检索方法，其特征是，包括：获取不同模态的多媒体数据，构建训练样本集；对训练样本进行特征提取，获取不同模态的训练样本的特征，训练哈希检索模型；所述哈希检索模型包括哈希码和哈希函数，基于训练样本的特征和语义标签，学习训练集样本数据的哈希码和位权矩阵；基于训练样本的特征和哈希码，学习不同模态的哈希函数；将待检索数据输入训练完成的哈希检索模型，根据提取的待检索数据的特征，结合该待检索数据相应模态的哈希函数，获得待检索数据的哈希码，根据该待检索数据哈希码与数据库中样本数据哈希码的带权海明距离，输出检索结果。2.如权利要求1所述的基于带权哈希码的多媒体数据跨模态检索方法，其特征是，所述哈希检索模型的训练过程具体包括：利用聚类算法将训练集中的训练数据划分为多组，构造每组的局部类别关联矩阵，根据局部类别关联矩阵和语义标签，获得每组的局部标签分布矩阵，组合得到训练样本的全局标签分布矩阵；利用生成的标签分布矩阵构造相似度矩阵，通过将带权哈希码内积近似该相似度矩阵构建目标函数，求解获得哈希码矩阵和位权矩阵。3.如权利要求2所述的基于带权哈希码的多媒体数据跨模态检索方法，其特征是，所述求解过程为：初始化位权矩阵为单位矩阵，引入中间变量以及平衡和不相关约束，求解得到哈希码矩阵；通过对目标函数求导并使导数为0，结合计算得到的哈希码矩阵和相似度矩阵，求解得到位权矩阵。4.如权利要求2所述的基于带权哈希码的多媒体数据跨模态检索方法，其特征是，还包括：对获取的不同模态训练数据的特征进行核化，得到核化后的特征矩阵，基于学习得到的哈希码矩阵，通过核逻辑回归模型学习得到不同模态的哈希函数。5.如权利要求1所述的基于带权哈希码的多媒体数据跨模态检索方法，其特征是，所述带权海明距离的计算过程，包括：获取训练集样本数据哈希码与待检索数据哈希码，对哈希码进行分段，在每个分段上执行异或运算，得到每个分段的字节类型值；使用学习得到的位权矩阵构造各分段的查找表；根据各个分段的字节类型值访问相应的查找表，计算每一分段的浮点值，通过对所有分段的浮点值求和得到待检索数据和训练集样本数据之间的带权海明距离。6.如权利要求1所述的基于带权哈希码的多媒体数据跨模态检索方法，其特征是，根据带权海明距离输出检索结果，包括：计算待检索数据哈希码与训练集中所有样本数据哈希码的带权海明距离后，根据带权海明距离对数据库中样本从小到大排序，选择前k个样本作为检索结果输出，其中，k为不小于1的整数。7.一种基于带权哈希码的多媒体数据跨模态检索系统，其特征是，包括：训练样本集构建模块，用于获取不同模态的多媒体数据，构建训练样本集；
哈希检索模型训练模块，用于对训练样本进行特征提取，获取不同模态的训练样本的特征，训练哈希检索模型；所述哈希检索模型包括哈希码和哈希函数，基于训练样本的特征和语义标签，学习训练集样本数据的哈希码和位权矩阵；基于训练样本的特征和哈希码，学习不同模态的哈希函数；检索模块，用于将待检索数据输入训练完成的哈希检索模型，根据提取的待检索数据的特征，结合该待检索数据相应模态的哈希函数，获得待检索数据的哈希码，根据该待检索数据哈希码与数据库中样本数据哈希码的带权海明距离，输出检索结果。8.如权利要求7所述的一种基于带权哈希码的多媒体数据跨模态检索系统，其特征是，所述哈希检索模型的训练过程具体包括：利用聚类算法将训练集中的训练数据划分为多组，构造每组的局部类别关联矩阵，根据局部类别关联矩阵和语义标签，获得每组的局部标签分布矩阵，组合得到训练样本的全局标签分布矩阵；利用生成的标签分布矩阵构造相似度矩阵，通过将带权哈希码内积近似该相似度矩阵构建目标函数，求解获得哈希码矩阵和位权矩阵。9.一种电子设备，其特征是：包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成如权利要求1-6中任一项所述的一种基于带权哈希码的多媒体数据跨模态检索方法的步骤。10.一种计算机可读存储介质，其特征是：用于存储计算机指令，所述计算机指令被处理器执行时，完成如权利要求1-6中任一项所述的一种基于带权哈希码的多媒体数据跨模态检索方法的步骤。
技术总结
本发明公开了一种基于带权哈希码的多媒体数据跨模态检索方法及系统，该方法包括构建训练样本集；对训练样本进行特征提取，获取不同模态的训练样本的特征，训练哈希检索模型；该哈希检索模型包括哈希码和哈希函数，基于训练样本的特征和语义标签，学习训练集样本数据的哈希码和位权矩阵，以及学习不同模态的哈希函数；将待检索数据输入训练完成的哈希检索模型，根据提取的待检索数据的特征，结合该待检索数据相应模态的哈希函数，获得待检索数据的哈希码，根据该待检索数据哈希码与数据库中样本数据哈希码的带权海明距离，输出检索结果。本发明通过学习各位哈希码的权重，强调不同码的独特贡献，有效提高跨模态的检索能力。有效提高跨模态的检索能力。有效提高跨模态的检索能力。
技术研发人员：王永欣 董峰 宿鹏浩
受保护的技术使用者：山东建筑大学
技术研发日：2022.11.04
技术公布日：2023/3/14