一种农作物病虫害图像检索方法及装置

本发明涉及图像检索方法，具体涉及一种农作物病虫害图像检索方法。

背景技术：

1、随着数字化的兴起，农作物病虫害图像的数量呈爆炸性增长，这给农业领域专家带来了大量的数据处理工作。因此，快速有效的农作物病虫害图像处理引起了农业领域的广泛关注。特别是由于农民或农业领域专家，根据经验产生的判断会有所不同，进一步地会导致农作物病虫害的预防和治理工作出现问题。为了缓解这一现象的影响，农作物病虫害图像检索开始逐步发展，农作物病虫害图像检索能够展示与检索图像相同的其他病虫害图像，从而辅助病虫害预防和治理。

2、农作物病虫害图像检索任务的目的是从大规模农作物病虫害图像中尽可能准确地检索与给定图像相同情况的图像。随着数据集规模的增大，它们是否具有效率和准确性是检索方法的关键。为了达到这一目标，基于深度哈希的方法以其高效的空间利用率和将高维特征映射至低维二进制哈希码的能力，在检索任务中表现出高效的优势。

3、但是现有的应用于农作物病虫害图像检索的哈希方法仍存在着一些问题，例如，在执行图像检索任务的时候，现存的许多哈希方法只关注利用卷积进行特征提取和注意力机制关注显著区域，忽略了农作物病虫害图像的多尺度特征、类间差异小的问题，以及全局信息包含大量冗余信息的问题，最终导致检索精度较低。

技术实现思路

1、有鉴于此，有必要提供一种农作物病虫害图像检索方法，用以解决现有技术中存在的忽略了农作物病虫害图像的多尺度特征、类间差异小的问题，以及全局信息包含大量冗余信息的问题，最终导致检索精度低的技术问题。

2、为了解决上述问题，一方面，本发明提供了一种农作物病虫害图像检索方法，包括：

3、获取待检索图像；

4、获取训练完备的多层次特征融合网络，基于所述训练完备的多层次特征融合网络对所述待检索图像的局部特征和全局特征进行多层次特征融合，得到待检索图像的融合特征，并确定所述待检索图像的融合特征的哈希码；

5、基于所述待检索图像的融合特征的哈希码，计算所述待检索图像与检索库图像的汉明距离，将汉明距离小于预设值的检索库图像作为检索出的图像。

6、在一些可能的实现方式中，所述训练完备的多层次特征融合网络包括特征提取模块、多尺度特征融合模块、注意力模块、多层级特征融合模块和哈希模块；

7、基于所述训练完备的多层次特征融合网络对所述待检索图像的局部特征和全局特征进行多层次特征融合，得到待检索图像的融合特征，并确定所述待检索图像的融合特征的哈希码，包括：

8、基于特征提取模块对所述待检索图像进行特征提取，确定所述待检索图像的全局特征和局部特征；

9、基于多尺度特征融合模块对所述局部特征进行池化拼接，确定含有多尺度信息的第一融合特征；

10、基于注意力模块对所述第一融合特征进行交互感知操作，确定含有多尺度信息和细粒度信息的第二融合特征；

11、基于多层级特征融合模块对所述全局特征和所述第二融合特征进行特征融合，确定含有多尺度信息、细粒度信息和全局上下文信息的融合特征；

12、基于哈希模块计算所述融合特征的哈希码。

13、在一些可能的实现方式中，基于特征提取模块对所述待检索图像进行特征提取，确定所述待检索图像的全局特征和局部特征，包括：

14、将resnet-18网络的平均池化层移除并改变最后一层线性层对所述待检索图像进行全局特征的提取，确定全局特征；

15、将resnet-18的layer4网络作为提取局部特征的子网络对所述待检索图像进行局部特征的提取，确定局部特征。

16、在一些可能的实现方式中，基于多尺度特征融合模块对所述局部特征进行池化拼接，确定含有多尺度信息的第一融合特征，包括：

17、基于四个平行的平均池化层，对所述局部特征进行卷积池化，得到四个尺度不同的特征；

18、将所述四个尺度不同的特征进行卷积降维，得到降维后四个尺度不同的特征；

19、将所述降维后四个尺度不同的特征与所述局部特征进行拼接，得到含有多尺度信息的第一融合特征。

20、在一些可能的实现方式中，基于注意力模块对所述第一融合特征进行交互感知操作，确定含有多尺度信息和细粒度信息的第二融合特征，包括：

21、对所述第一融合特征进行卷积处理，确定第一指导特征图；

22、对所述第一指导特征图进行交互感知操作，确定第一交互感知注意图；

23、基于所述第一指导特征图、所述第一交互感知注意图和预设的逐元素算法，确定第二指导特征图，对所述第二指导特征图进行交互感知操作，得到第二交互感知注意图，再基于所述第二指导特征图、所述第二交互感知注意图和预设的逐元素算法，确定第三指导特征图，对所述第三指导特征图进行交互感知操作，得到第三交互感知注意图，再基于所述第三指导特征图、所述第三交互感知注意图和预设的逐元素算法，确定第四指导特征图，对所述第四指导特征图进行交互感知操作，得到第四交互感知注意图；

24、将所述第一交互感知注意图、第二交互感知注意图、第三交互感知注意图和第四交互感知注意图进行拼接，得到含有多尺度信息和细粒度信息的第二融合特征。

25、在一些可能的实现方式中，所述预设的逐元素算法公式为：

26、

27、式中，表示第i个中间量，i∈{2,3,4}，表示第i-1个交互感知注意图，表示矩阵相乘，表示第i-1个中间量，表示第i个指导特征图，φ2表示relu激活函数，bn表示batchnorm层，conv表示1×1的卷积，表示该操作处网络的参数，其中，当i＝2时，

28、在一些可能的实现方式中，基于多层级特征融合模块对所述全局特征和所述第二融合特征进行特征融合，确定含有多尺度信息、细粒度信息和全局上下文信息的融合特征包括：

29、基于交叉注意力机制对所述全局特征和所述第二融合特征进行相似度融合，得到含有多尺度信息、细粒度信息全局和全局上下文信息的第三融合特征；

30、基于注意力机制对所述第三融合特征进行显著区域的提取，得到含有多尺度特征、细粒度特征信息和全局上下文信息的融合特征。

31、在一些可能的实现方式中，所述全局特征与所述第二融合特征的相似度求取公式为：

32、

33、式中，δfa表示和之间的相似度，和分别表示全局特征和第二融合特征的线性投影，θ和ρ分别是比例因子、softmax函数和dropout操作。

34、在一些可能的实现方式中，获取训练完备的多层次特征融合网络包括：以预设的损失函数为优化目标，对多层次特征融合网络模型进行迭代训练，直至达到训练终止条件，得到训练完备的多层次特征融合网络模型；

35、预设的损失函数公式为：

36、

37、式中，从检索库图像中选取一对图像，yi和yj为一对图像对应的实际标签，hi和hj为一对图像对应的类哈希码，yi′和yj′为一对图像对应的预测标签，s为一对图像之间的相似性，γ和η分别表示平衡参数和权重参数，dist(hi,hj)表示hi和hj之间的欧几里德距离，ι表示单位向量，表示二范数。

38、另一方面，本发明还提供了一种，包括农作物病虫害图像检索装置，包括：

39、图像获取单元，用于获取待检索图像；

40、多层次特征融合单元，用于对所述待检索图像的局部特征和全局特征进行多层次特征融合，得到待检索图像的融合特征，并确定所述待检索图像的融合特征的哈希码；

41、计算输出单元，用于计算待检索图像与检索库图像哈希码的汉明距离，汉明距离小于预设值的检索库图像作为检索出的图像。

42、采用上述实施例的有益效果是：本发明提供的农作物病虫害图像检索方法，首先获取待检索图像，然后将待检索图像放入训练完备的多层次特征融合网络中，得到融合特征，并将融合特征转换为哈希码，最后计算待检索图像和检索库图像哈希码的汉明距离，将汉明距离小于预设值的检索库图像作为检索出的图像进行输出，实现了同时利用全局特征的上下文信息和局部特征的高级语义信息对图像进行处理，提高了图像检索精度。