一种多粒度注意力网络的组合式查询图像检索方法与流程

文档序号:33727866发布日期:2023-04-06 01:30阅读:来源:国知局

技术特征:

1.一种多粒度注意力网络的组合式查询图像检索方法,其特征在于,该方法采用基于带有互斥限制的多粒度注意力网络的组合式查询图像检索模型实现,所述模型包括图像特征提取模块,文本特征提取模块,跨层交互模块,用于保留的自对比学习模块,该方法包括以下步骤:

2.根据权利要求1所述的一种多粒度注意力网络的组合式查询图像检索方法,其特征在于,所述步骤s2具体包括:

3.根据权利要求1所述的一种多粒度注意力网络的组合式查询图像检索方法,其特征在于,所述步骤s4具体包括:

4.根据权利要求1所述的一种多粒度注意力网络的组合式查询图像检索方法,其特征在于,所述步骤s5具体包括:

5.根据权利要求4所述的一种多粒度注意力网络的组合式查询图像检索方法,其特征在于,所述步骤s52中获取图像区域特征时,可通过第二损失函数latt进行优化;

6.根据权利要求1所述的一种多粒度注意力网络的组合式查询图像检索方法,其特征在于,所述步骤s6中,通过以下公式定义第一损失函数lbbc,

7.根据权利要求1所述的一种多粒度注意力网络的组合式查询图像检索方法,其特征在于,所述步骤s8具体包括:使用经过训练的基于带有互斥限制的多粒度注意力网络的组合式查询图像检索模型进行图像检索,然后选取步骤s6中得到的相似度得分矩阵中得分最高的图像作为输出结果。


技术总结
本发明公开了一种多粒度注意力网络的组合式查询图像检索方法,涉及计算机视觉中的跨模态检索领域,解决现有模型学习到的目标图像中需要保留和修改的图像部分存在交叠、没有充分利用多粒度的图像和文本的语义信息等技术问题;本发明先使用图像特征提取器提取不同语义层级的图像特征,和通过文本特征提取器提取文本特征,并进一步通过跨层交互模块融合不同语义层级的图像特征,然后通过自对比学习获得相对准确的目标图像中的保留和修改区域,最后通过计算余弦相似度并从高到低排序完成组合式查询图像检索。同时,使用基于跨模态注意力保留的组合式查询图像检索方法完成图像检索,更加充分的利用了不同层级的语义信息。

技术研发人员:徐行,李申珅,沈复民,申恒涛
受保护的技术使用者:成都考拉悠然科技有限公司
技术研发日:
技术公布日:2024/1/12
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1