基于联合学习的图像检索方法及装置、存储介质、电子设备与流程

文档序号:30384283发布日期:2022-06-11 06:14阅读:来源:国知局

技术特征:
1.一种基于联合学习的图像检索方法,其特征在于,包括:提取目标图像的局部图像和全局图像,其中,所述目标图像包括所述局部图像和所述全局图像;分别获取所述局部图像的局部特征和所述全局图像的全局特征;采用所述局部特征和所述全局特征生成所述目标图像的融合特征向量;根据所述融合特征向量进行图像检索。2.根据权利要求1所述的方法,其特征在于,根据所述融合特征向量进行图像检索包括:将所述目标图像拆分为多个图像块;基于所述多个图像块生成所述目标图像的自注意力特征向量;采用所述自注意力特征向量和所述融合特征向量进行图像检索。3.根据权利要求2所述的方法,其特征在于,基于所述多个图像块生成所述目标图像的自注意力特征向量包括:将所述多个图像块按序并列输入自注意力模型;从所述自注意力模型的编码器输出自注意力特征向量,其中,所述自注意力模型包括编码器和解码器,所述自注意力模型采用多个样本对训练得到,每个所述样本对包括样本图像和已分类的向量分隔符。4.根据权利要求2或3所述的方法,其特征在于,采用所述自注意力特征向量和所述融合特征向量进行图像检索包括:将所述自注意力特征向量和所述融合特征向量进行向量相加,得到混合特征向量;计算所述混合特征向量与数据集中所有图像向量的相似度,其中,所述数据集包括多张候选图像,每张候选图像对应一个图像向量;将相似度最大的若干张候选图像输出为所述目标图像的检索结果。5.根据权利要求1-3任意一项所述的方法,其特征在于,分别获取所述局部图像的局部特征和所述全局图像的全局特征包括:将所述全局图像的缺失区域采用空白像素进行填充,得到填充图像;将所述局部图像和所述填充图像分别输入第一卷积神经网络和第二卷积神经网络,从所述第一卷积神经网络输出所述局部特征,从所述第二卷积神经网络输出全局特征,其中,所述第一卷积神经网络配置第一网络权重系数,所述第二卷积神经网络配置第二网络权重系数。6.根据权利要求1-3任意一项所述的方法,其特征在于,提取目标图像的局部图像和全局图像包括:采用检测器对所述目标图像进行目标检测,将所述检测器输出得分最高的候选区域确定为目标区域;将所述目标区域识别为所述目标图像的前景图像,将所述目标图像除所述目标区域之外的其他图像识别为背景图像;将所述前景图像确定为局部图像,所述背景图像确定为全局图像。7.根据权利要求6所述的方法,其特征在于,采用检测器对所述目标图像进行目标检测包括:
将所述目标图像输入卷积层,从所述卷积层输出特征图,其中,所述检测器包括所述卷积层和目标检测网络,其中,所述目标检测网络采用带标注的样本数据和损失曲线预先训练得到;将所述特征图输入所述目标检测网络,生成若干个不同分数的候选框。8.一种基于联合学习的图像检索装置,其特征在于,包括:提取模块,用于提取目标图像的局部图像和全局图像,其中,所述目标图像包括所述局部图像和所述全局图像;获取模块,用于分别获取所述局部图像的局部特征和所述全局图像的全局特征;生成模块,用于采用所述局部特征和所述全局特征生成所述目标图像的融合特征向量;检索模块,用于根据所述融合特征向量进行图像检索。9.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,所述程序运行时执行上述权利要求1至7中任一项所述的方法的步骤。10.一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;其中:存储器,用于存放计算机程序;处理器,用于通过运行存储器上所存放的程序来执行权利要求1至7中任一项所述的方法的步骤。

技术总结
本发明公开了一种基于联合学习的图像检索方法及装置、存储介质、电子设备,属于人工智能领域。其中,该方法包括:提取目标图像的局部图像和全局图像,其中,所述目标图像包括所述局部图像和所述全局图像;分别获取所述局部图像的局部特征和所述全局图像的全局特征;采用所述局部特征和所述全局特征生成所述目标图像的融合特征向量;根据所述融合特征向量进行图像检索。通过本发明,兼顾整体和细节,提升了融合特征向量的图像特征的表征能力,解决了相关技术中图像检索精度低的技术问题,提升了目标图像的检索精度。标图像的检索精度。标图像的检索精度。


技术研发人员:赵波 胡郡郡 唐大闰
受保护的技术使用者:北京明略昭辉科技有限公司
技术研发日:2022.03.14
技术公布日:2022/6/10
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1