异常检测方法、装置、计算机设备和存储介质与流程

本技术涉及计算机，具体涉及一种异常检测方法、装置、计算机设备和存储介质。

背景技术：

1、对图像进行异常检测，可以用于确定图像是否指示存在异常缺陷，例如，可以通过对工业产品的产品图像进行异常检测，以实现工业缺陷检测与定位。

2、在对相关技术的研究和实践过程中，本技术的发明人发现，当基于迁移学习中的“教师-学生”框架来对待检测图像进行异常检测时，目前存在漏检、异常定位精度较低等问题，使得当前针对待检测图像的异常检测方法中，异常检测的准确率还有待提高。

技术实现思路

1、本技术实施例提出了一种异常检测方法、装置、计算机设备和存储介质，提高基于迁移学习对图像进行异常检测的准确率。

2、本技术实施例提供一种异常检测方法，包括：

3、获取待检测图像，并确定对所述待检测图像进行检测所需的教师网络与学生网络，其中，所述学生网络存储有正常样本图像的特征记忆信息；

4、通过所述教师网络对所述待检测图像进行第一特征提取处理，得到所述待检测图像在至少一个特征尺度的第一图像特征；

5、通过所述学生网络基于所述特征记忆信息，对所述待检测图像进行第二特征提取处理，得到所述待检测图像在所述至少一个特征尺度的第二图像特征；

6、对相同特征尺度的所述第一图像特征与所述第二图像特征进行特征比对处理，得到特征比对结果；

7、基于所述特征比对结果，对所述待检测图像进行异常检测。

8、相应的，本技术实施例还提供一种网络训练方法，包括：

9、确定正常样本图像、训练后的教师网络、以及待训练的学生网络，其中，所述学生网络存储有所述正常样本图像的初始特征记忆信息；

10、通过所述教师网络对所述正常样本图像进行第一特征提取处理，得到所述正常样本图像在至少一个特征尺度的第一图像特征；

11、基于所述第一图像特征，对所述初始特征记忆信息进行更新，得到更新后的特征记忆信息；

12、通过所述学生网络基于所述更新后的特征记忆信息，对所述正常样本图像进行第二特征提取处理，得到正常样本图像在所述至少一个特征尺度的第二图像特征；

13、对相同特征尺度的所述第一图像特征与所述第二图像特征进行特征比对处理，得到特征比对结果；

14、基于所述特征比对结果，对所述学生网络进行训练，以确定训练后的学生网络，其中，所述训练后的学生网络存储有所述正常样本图像的更新后的特征记忆信息。

15、相应的，本技术实施例还提供一种异常检测装置，包括：

16、获取单元，用于获取待检测图像，并确定对所述待检测图像进行检测所需的教师网络与学生网络，其中，所述学生网络存储有正常样本图像的特征记忆信息；

17、第一提取单元，用于通过所述教师网络对所述待检测图像进行第一特征提取处理，得到所述待检测图像在至少一个特征尺度的第一图像特征；

18、第二提取单元，用于通过所述学生网络基于所述特征记忆信息，对所述待检测图像进行第二特征提取处理，得到所述待检测图像在所述至少一个特征尺度的第二图像特征；

19、第一比对单元，用于对相同特征尺度的所述第一图像特征与所述第二图像特征进行特征比对处理，得到特征比对结果；

20、检测单元，用于基于所述特征比对结果，对所述待检测图像进行异常检测。

21、在一实施例中，所述学生网络包括至少一个特征尺度的特征提取模块，每个所述特征尺度的特征提取模块存储有所述正常样本图像在对应特征尺度的特征记忆信息；所述第二提取单元，包括：

22、特征提取子单元，用于通过各个特征尺度的特征提取模块基于对应特征尺度的特征记忆信息，对所述待检测图像进行第二特征提取处理，得到所述待检测图像在所述至少一个特征尺度的第二图像特征。

23、在一实施例中，所述学生网络包括第一特征尺度的第一特征提取模块，所述第一特征提取模块存储有所述正常样本图像在所述第一特征尺度的特征记忆信息；所述特征提取子单元，具体用于：

24、获取所述待检测图像在所述第一特征尺度的记忆查询信息；基于所述记忆查询信息，在所述第一特征尺度的特征记忆信息进行信息查询，得到查询结果信息；通过所述第一特征提取模块基于所述查询结果信息进行第二特征提取，得到所述待检测图像在所述第一特征尺度的第二图像特征。

25、在一实施例中，所述第一特征尺度的特征记忆信息包括键特征记忆信息、以及与所述键特征记忆信息关联的值特征记忆信息；所述特征提取子单元，具体用于：

26、确定所述记忆查询信息与所述键特征记忆信息之间的相似度；根据所述相似度，确定所述记忆查询信息的查询权重；基于所述查询权重，对所述值特征记忆信息进行信息聚合处理，得到聚合后的查询结果信息。

27、在一实施例中，所述特征提取子单元，具体用于：

28、对所述第一图像特征进行特征尺寸调节处理，得到调节后图像特征，其中，所述调节后图像特征具有至少一个特征维度；在目标特征维度上对所述调节后图像特征进行特征拼接处理，得到拼接后图像特征；通过所述第一特征提取模块基于所述拼接后图像特征，生成所述待检测图像在所述第一特征尺度的记忆查询信息。

29、在一实施例中，所述学生网络包括第二特征尺度的第二特征提取模块，所述第二特征提取模块存储有所述正常样本图像在所述第二特征尺度的特征记忆信息；所述特征提取子单元，具体用于：

30、通过所述第二特征提取模块，生成所述待检测图像在所述第二特征尺度的初始图像特征；基于所述特征记忆信息，生成所述初始图像特征在所述第二特征尺度的自适应记忆信息；根据所述初始图像特征，对所述自适应记忆信息进行信息聚合处理，以生成所述待检测图像在所述第二特征尺度的第二图像特征。

31、在一实施例中，所述自适应记忆信息包括至少一个自适应特征记忆项；所述特征提取子单元，具体用于：

32、确定所述初始图像特征与所述自适应特征记忆项之间的相似度；根据所述相似度，确定所述自适应特征记忆项的聚合权重；根据所述聚合权重，对所述自适应特征记忆项进行信息聚合处理。

33、在一实施例中，所述第二特征尺度的特征记忆信息包括特征维度调节所需的调节参数信息；所述特征提取子单元，具体用于：

34、基于所述调节参数信息，对所述初始图像特征进行特征维度调节处理，得到调节后图像特征，其中，所述调节后图像特征具有至少一个特征维度；基于所述调节后图像特征在目标特征维度上的特征分布，计算聚合权重；根据所述聚合权重，针对所述初始图像特征进行特征聚合处理，以生成所述初始图像特征在所述第二特征尺度的自适应记忆信息。

35、相应的，本技术实施例还提供一种网络训练装置，包括：

36、确定单元，用于确定正常样本图像、训练后的教师网络、以及待训练的学生网络，其中，所述学生网络存储有所述正常样本图像的初始特征记忆信息；

37、第三提取单元，用于通过所述教师网络对所述正常样本图像进行第一特征提取处理，得到所述正常样本图像在至少一个特征尺度的第一图像特征；

38、更新单元，用于基于所述第一图像特征，对所述初始特征记忆信息进行更新，得到更新后的特征记忆信息；

39、第四提取单元，用于通过所述学生网络基于所述更新后的特征记忆信息，对所述正常样本图像进行第二特征提取处理，得到正常样本图像在所述至少一个特征尺度的第二图像特征；

40、第二比对单元，用于对相同特征尺度的所述第一图像特征与所述第二图像特征进行特征比对处理，得到特征比对结果；

41、训练单元，用于基于所述特征比对结果，对所述学生网络进行训练，以确定训练后的学生网络，其中，所述训练后的学生网络存储有所述正常样本图像的更新后的特征记忆信息。

42、在一实施例中，所述学生网络包括第一特征尺度的第一特征提取模块，所述第一特征提取模块存储有所述正常样本图像在所述第一特征尺度的初始特征记忆信息；所述更新单元，包括：

43、信息获取子单元，用于获取所述正常样本图像在所述第一特征尺度的记忆参考信息；

44、信息聚合子单元，用于基于所述记忆参考信息，对所述初始特征记忆信息进行信息聚合处理，得到聚合结果信息；

45、信息更新子单元，用于基于所述记忆参考信息与所述聚合结果信息之间的信息差异，对所述初始特征记忆信息进行更新。

46、在一实施例中，所述信息获取子单元，用于：

47、确定所述第一特征尺度的关联特征尺度；基于所述正常样本图像在所述关联特征尺度的第一图像特征，确定所述正常样本图像在所述第一特征尺度的记忆参考信息。

48、相应的，本技术实施例还提供的一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本技术实施例提供的任一种异常检测方法或网络训练方法。

49、相应的，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行本技术实施例提供的任一种异常检测方法或网络训练方法。

50、相应的，本技术实施例还提供一种计算机程序产品，包括计算机程序/指令，其中，所述计算机程序/指令被处理器执行时实现如本技术实施例所示的异常检测方法或网络训练方法的步骤。

51、本技术实施例可以获取待检测图像，并确定对所述待检测图像进行检测所需的教师网络与学生网络，其中，所述学生网络存储有正常样本图像的特征记忆信息；通过所述教师网络对所述待检测图像进行第一特征提取处理，得到所述待检测图像在至少一个特征尺度的第一图像特征；通过所述学生网络基于所述特征记忆信息，对所述待检测图像进行第二特征提取处理，得到所述待检测图像在所述至少一个特征尺度的第二图像特征；对相同特征尺度的所述第一图像特征与所述第二图像特征进行特征比对处理，得到特征比对结果；基于所述特征比对结果，对所述待检测图像进行异常检测。

52、该方案在通过“教师-学生”网络架构来对待检测图像进行异常检测时，由于学生网络中存储有正常样本图像的特征记忆信息，使得学生网络除了能够基于待检测图像的图像数据本身来进行特征提取以外，还能在至少一个特征尺度上，进一步地利用记录的正常样本特征信息来重构待检测图像的图像特征，从而生成待检测图像在至少一个特征尺度的第二图像特征。可知，在对待检测图像进行特征提取的过程中，学生网络能够参考其存储的特征记忆信息，增强其对该待检测图像中正常性特征的捕捉能力与刻画能力，从而强化正常性特征在该待检测图像的第二图像特征中的呈现，并削弱异常性特征在该待检测图像的第二图像特征中的表达。

53、此外，由于该方案不仅葆有了教师网络对于待检测图像的异常检测能力，而且还在此基础上，结合了显式地对正常性特征进行强化的学生网络，使得当对教师网络在至少一个特征尺度所提取的第一图像特征，与学生网络在至少一个特征尺度所提取的第二图像特征进行比对时，该方案不仅能够保持教师网络与学生网络在至少一个特征尺度上对正常图像进行特征呈现时的一致性，还能够增加教师网络与学生网络在至少一个特征尺度上对异常图像进行特征表达时的差异性，这样的话，在基于特征比对结果对待检测图像进行异常检测时，即可有效地提升待检测图像的异常检测精度与异常定位准确性，进而提高基于迁移学习对待检测图像进行异常检测的准确率。