一种引入相对距离的大规模植物生长图像异常检测方法

本发明涉及对海量植物图像异常检测，具体涉及一种引入相对距离的大规模植物生长图像异常检测方法。

背景技术：

1、异常检测在各学科中引起了广泛关注，并在质量不佳的情况下进行图像异常检测具有重要意义。质量不佳的图像包括曝光不当、虚焦、被异物遮挡等情况。通过分析和比较给定图像与正常图像或训练数据之间的差异，可以识别出图像中存在的异常或异常区域。这样的异常检测方法可以自动地检测出与正常情况不符的图像，并及时剔除这些质量不佳的图像数据，从而保证最终的数据集质量以及训练数据集的质量。相比于人工手动筛选大量图像，基于计算机视觉的异常检测方法可以节省人力，并且提供与人工筛选结果相媲美的准确性。

2、目前基于有监督学习的异常检测研究大多需要大量标注数据，并且当异常图像占比较小时，检测结果的准确率不高。此外，有监督学习方法假设训练数据和测试数据的样本分布相同，而在真实应用场景中，数据分布可能会随时间变化或受到外部条件的影响而发生变化，从而影响训练模型在新数据上的表现。因此，研究者们开始倾向于使用半监督或无监督学习方法来检测和筛选质量不佳的图像。然而，现有方法往往无法正确处理时序图像中变化较小的数据，容易出现过拟合的情况。为了克服这些局限性，有必要开发适用于复杂背景下的植物表型关键特征提取方法，以发现数据中变化较小的区域并剔除异常数据，同时更好地捕捉序列的依赖关系。此外，制定有效的异常图像处理策略也至关重要，以确保数据质量和模型训练的准确性。通过这些改进，不仅可以节省人力，还可以提高异常检测的准确性。农业领域的异常检测研究多集中在植物疾病、病害等方面，对图像质量本身的异常很少关注。

技术实现思路

1、本发明的目的在于，提出一种引入相对距离的大规模植物生长图像异常检测方法(lcg-ad,large-scale cherry growth image anomaly detection method withembedded prior distance)，可以检测到海量图像中存在的质量不佳等异常情况，这一创新方法不仅可以简化工作流程，节省人力和时间，还适用于对植物完整生长周期中的时序图像进行检测，能够克服现有基于视觉方法在适用性、使用成本等方面存在的问题。

2、为实现上述目的，一种引入相对距离的大规模植物生长图像异常检测方法，包括：

3、获取植物生长的多张时序图像；

4、根据多张时序图像构建物候期图像对；

5、采用lcg-ad网络对物候期图像对进行初步特征提取，并获得训练后的lcg-ad网络；

6、通过训练后的lcg-ad网络进行异常图像序列的判断。

7、进一步地，构建物候期图像对方式为：

8、获取目标植物的n个图像序列，在选取的序列中，以出芽为基准时间day0，并通过人工判读图像序列获得不同物候期的开始时间和持续时间；各个时间节点的平均值代表n个图像序列的物候期，同时具有相对固定的年生长周期；

9、提取所需的图像需要从划分好物候期的图像中进行；尽管随机选取图像的平均物候期可以近似于整体的物候期，但不同时序图像的物候期交界准确时间并不相同。此外，由于物候期变化是一个渐进的过程，在一个物候期末尾与下一个物候期开头，其对应图像可能包含相近的语义信息。因此，为了实现自动且准确地提取不同物候期的图像，并尽可能最大化不同物候期间图像的语义差异，舍弃临近物候期交界处的图像，仅选取时间距离临界点较远的图像，这种方法可有效降低人工选择图像的难度和工作量，并提高图像的语义差异性；

10、对舍弃后剩余图像序列进行两两配对，即进行笛卡尔积运算；对于每个图像对，根据两个图像序列和物候期信息，分别将其记录为同序列同时期([1,0,0,0])、同序列不同时期([0,1,0,0])、不同序列同时期([0,0,1,0])和不同序列不同时期([0,0,0,1])，并用one-hot编码进行标记保存。

11、进一步地，采用lcg-ad网络对物候期图像对进行初步特征提取，具体为：

12、将图像对中的图像x和图像y输入至lcg-ad网络特征提取部分进行预训练，然后进行图像增强处理得到图像v1和图像v2，将图像v1和图像v2送入编码器encoder中提取特征，得到特征向量h1和特征向量h2；然后将特征向量h1和特征向量h2送入包含两层relu和两层bn层的小型神经网络投影头projection head内，得到特征向量z1和特征向量z2。

13、进一步地，所述图像增强处理方式为：对图像进行随机剪裁与翻转、随机亮度、随机对比度、随机饱和度、随机色调、随机黑白的数据增强。

14、进一步地，利用分类距离获取对比损失：将不同图像对的分类距离映射到一个全连接层上，利用分类距离来融合不同种类图像对的相对距离和特征向量实际距离，得到对比损失；具体实现方式为：将特征向量z1和特征向量z2相减得到的欧氏距离e直接输入到全连接层，然后得到o，即：

15、

16、t＝ew

17、o＝softmax(t)

18、式中，w是全连接层的权重矩阵，t与o是与label维度相同的特征向量。

19、进一步地，通过交叉熵获取特征向量o中的类别信息与图像对label种类中相对距离信息之间的误差，对于任意图像对有：

20、

21、式中，aj代表标签；i、j＝1、2、3、4；

22、多次训练lcg-ad网络，不断对损失进行反向传播，更新参数。

23、进一步地，通过lcg-ad网络进行异常图像序列的判断，具体为：

24、将图像序列输入至训练后的lcg-ad网络中，通过编码器encoder进行特征提取得到一维特征向量，接着将该一维特征向量输入至网络的异常判断模块；在异常判断模块中，首先会经过一个输入层，将一维特征向量传递给下一层得到向量m，所述向量m通过一个编码器encoder生成低维向量，该编码器包括2层relu激活函数；所述编码器encoder逐步将图像数据映射到潜在空间latent space后，捕捉图像的重要特征，在较低维度的空间中表达原始图像的本质特征，得到隐变量g；使用两个独立的全连接层，分别输出潜在空间中的均值向量μ和方差向量σ。

25、进一步地，为了保证方差向量σ为正数，将编码器输出的原始值进行取指变换，并且这两个向量的维度与潜在空间的维度相同，公式如下所示：

26、μ＝encoder(a)

27、log(μ2)＝encoder(a)

28、g～n(μ,σ2)

29、其中，n(μ,σ2)满足正态分布；

30、从编码器输出的均值和方差所表示的正态分布中采样一个潜在变量向量：这个采样过程使用重参数化，将采样过程转化为可导操作，即通过从正态分布中采样一个随机噪声向量(通常是服从均值为0、方差为1的正态分布)，然后通过线性变换和偏置加法将其转化为具有正确均值和方差的潜在变量。

31、进一步地，将得到的潜在变量输入至解码器，所述解码器decoder将其逆向转换为原始输入图像的重构向量m’；该解码器decoder同样包括2层relu激活函数，从低维解压到高维；再经过一个输出层得到重构后的一维特征向量；异常判断模块通过损失反向传播，进行训练，检测出异常的图像，做上标记。

32、进一步地，获取总损失；总损失包括重构损失(均方误差，mse)和kl散度，公式如下：

33、

34、

35、ltotal＝lrecon+lkl

36、其中，n是图像数量，d是输入图像的维度，mij是输入第i个图像的第j个维度，m'ioj是重构后输出图像的对应值，μj和σj是编码器输出的均值和方差，j是潜在空间的维度，∈是一个小的常数，用于数值稳定性。

37、encoder输入和decoder输出向量长度不发生变化。当m≈m’时，即解码器输出能近似的复原输入，证明此自编码器状态较好。输出和输入的差值用于衡量由于压缩而损失掉的图像信息，计算输入输出的差异，设定损失函数，训练网络，调整参数，减少总损失。

38、本发明采用的以上技术方案，与现有技术相比，具有的优点是：本发明提出一种引入相对距离的植物大规模生长图像异常检测方法，主要针对常常被忽视或不常见的异常检测，如曝光或被异物遮挡等质量不佳的图像，减少了异常检测过程中对人工筛选的依赖，适用于需要处理大量图像的应用领域。本发明探索了基于计算机视觉的植物表型研究方法和应用，为智慧农业提供技术支持，在植物异常检测领域具有重要的意义。