一种图像检索方法、装置、设备及存储介质与流程

本发明实施例涉及计算机辅助图像处理技术，尤其涉及一种图像检索方法、装置、设备及存储介质。

背景技术：

1、随着信息化的快速发展，用于承载信息的载体逐渐由文本转向图像。图像通常能够承载更多的信息，并且更形象、直观。这一趋势驱动着图像检索的发展。

2、传统的图像检索采用基于文本的检索方法，即先对图像进行文本描述(建立文本和图像的对应关系)，检索时输入关键词查询并返回排序结果。但是，文本通常难以准确、完整地描述图像的内容，因此，这种“以字找图”的方法，存在文本描述和图像内容本身不一致的语义差异，影响检索效果。

3、随着计算机视觉技术的发展，基于内容的影像检索(content-based imageretrieval,cbir)方法开始得到发展。这种“以图找图”的方法依据图像本身的颜色、形状、纹理等特征进行检索，避免文本描述和影像内容的语义差异。

4、但是，对于在一些领域中(例如，医疗影像技术领域)，图像中感兴趣区域的视觉特征具有高度敏感性，即感兴趣区域的大部分信息是一致，只有细微的区分。针对单张图像中感兴趣区域的特征比较容易识别，但两张图像的感兴趣区域一起比较相似性却很有挑战性，从而导致图像检索效率和准确度不高。

技术实现思路

1、本发明提供一种图像检索方法、装置、设备及存储介质，以提高图像检索效率和准确度。

2、第一方面，本发明实施例提供了一种图像检索方法，包括：

3、从待检索的图像中提取出图像特征；

4、基于通道注意力机制提取所述图像特征中跨通道的依赖关系，得到通道注意力特征；

5、基于空间注意力机制提取所述图像特征中跨空间的依赖关系，得到空间注意力特征；

6、融合所述通道注意力特征和所述空间注意力特征，得到融合特征；

7、基于所述融合特征从预先建立的历史图像的历史融合特征库中检索与所述待检索的图像匹配的历史图像。

8、第二方面，本发明实施例还提供了一种图像检索装置，包括：

9、特征提取模块，用于从待检索的图像中提取出图像特征；

10、通道注意力模块，用于基于通道注意力机制提取所述图像特征中跨通道的依赖关系，得到通道注意力特征；

11、空间注意力模块，用于基于空间注意力机制提取所述图像特征中跨空间的依赖关系，得到空间注意力特征；

12、特征融合模块，用于融合所述通道注意力特征和所述空间注意力特征，得到融合特征；

13、匹配模块，用于基于所述融合特征从预先建立的历史图像的历史融合特征库中检索与所述待检索的图像匹配的历史图像。

14、第三方面，本发明实施例还提供了一种计算机设备，包括：

15、一个或多个处理器；

16、存储装置，用于存储一个或多个程序；

17、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明第一方面提供的图像检索方法。

18、第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明第一方面提供的图像检索方法。

19、本发明实施例提供的图像检索方法，从待检索的图像中提取出图像特征，基于通道注意力机制提取图像特征中跨通道的依赖关系，得到通道注意力特征，基于空间注意力机制提取图像特征中跨空间的依赖关系，得到空间注意力特征，融合通道注意力特征和空间注意力特征，得到融合特征，基于融合特征从预先建立的历史图像的历史融合特征库中检索与待检索的图像匹配的历史图像。通过通道注意力机制增强具有重要信息的通道的注意力得分，通过空间注意力机制增强具有重要信息的区域的注意力得分，能够有效地提取图像中具有区分性的视觉信息，准确区分具有高敏感性的两张图像，提高了图像检索效率和准确度。

技术特征：

1.一种图像检索方法，其特征在于，包括：

2.根据权利要求1所述的图像检索方法，其特征在于，从待检索的图像中提取出图像特征，包括：

3.根据权利要求2所述的图像检索方法，其特征在于，所述特征提取网络包括第一卷积块、第二卷积块、第三卷积块和第四卷积块，采用特征提取网络对所述待检索的图像进行通道扩展，提取多个不同维度的特征作为图像特征，包括：

4.根据权利要求1-3任一所述的图像检索方法，其特征在于，基于通道注意力机制提取所述图像特征中跨通道的依赖关系，得到通道注意力特征，包括：

5.根据权利要求4所述的图像检索方法，其特征在于，采用局部卷积捕捉相邻的k个通道之间局部依赖关系，得到各通道的权重，包括：

6.根据权利要求1-3任一所述的图像检索方法，其特征在于，基于通道注意力机制提取所述图像特征中跨通道的依赖关系，得到通道注意力特征，包括：

7.根据权利要求6所述的图像检索方法，其特征在于，采用全局卷积捕捉所有通道之间全局依赖关系，得到各通道的权重，包括：

8.根据权利要求1-3、5、7任一所述的图像检索方法，其特征在于，基于空间注意力机制提取所述图像特征中跨空间的依赖关系，得到空间注意力特征，包括：

9.根据权利要求8所述的图像检索方法，其特征在于，计算所述图像特征中每一元素与其他所有元素的空间相关性，得到相关性矩阵，包括：

10.根据权利要求1-3、5、7、9任一所述的图像检索方法，其特征在于，基于所述融合特征从预先建立的历史图像的历史融合特征库中检索与所述待检索的图像匹配的历史图像，包括：

11.一种图像检索装置，其特征在于，包括：

12.一种计算机设备，其特征在于，包括：

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-10中任一所述的图像检索方法。

技术总结
本发明公开了一种图像检索方法、装置、设备及存储介质。从待检索的图像中提取出图像特征，基于通道注意力机制提取图像特征中跨通道的依赖关系，得到通道注意力特征，基于空间注意力机制提取图像特征中跨空间的依赖关系，得到空间注意力特征，融合通道注意力特征和空间注意力特征，得到融合特征，基于融合特征从预先建立的历史图像的历史融合特征库中检索与待检索的图像匹配的历史图像。通过通道注意力机制增强具有重要信息的通道的注意力得分，通过空间注意力机制增强具有重要信息的区域的注意力得分，能够有效地提取图像中具有区分性的视觉信息，准确区分具有高敏感性的两张图像，提高了图像检索效率和准确度。

技术研发人员：方建生
受保护的技术使用者：广州视源电子科技股份有限公司
技术研发日：
技术公布日：2024/1/11