图像特征分解方法、装置、设备及存储介质与流程

本申请涉及人工智能，尤其涉及一种图像特征分解方法、装置、设备及存储介质。

背景技术：

1、因果分析是目前神经网络可解释性工作的一个主流方向，它的主要思想是通过分析图片的不同特征，从而推断特征与神经网络输出结果之间的因果关系，进而对神经网络这个黑匣子做更好的解释。而grad-cam是一种比较成熟的用于做特征可视化的方法，在一定程度上可以对神经网络所学习到的结果做一定的解释。把grad-cam的方法用在因果分析上是一个值得挖掘的技术，但grad-cam本身还存在着很大的不足，比如可视化范围较广，无法区分图像不同特征，无法给出不同特征之间重要性等。例如，无法区分医疗影像中不同图像特征，无法给不不同特征之间的重要性。又例如，图1中虽然给出了神经网络学习到的鸟的重要性区域，但是并没有区分开鸟的不同特征，比如鸟的头部和鸟的身体这两个特征没有很好地解耦，也没有给出两者的相对重要性。这对于后续的因果分析来说存在很大的阻碍。

技术实现思路

1、针对上述技术问题，本申请的目的在于提供一种图像特征分解方法、装置、设备及存储介质，旨在区分图像不同特征且能够显示不同特征之间的相对重要性。

2、第一方面，本发明实施例提供一种图像特征分解方法，包括：

3、获取神经网络输出的特征图集；

4、对所述特征图集中的特征图进行聚类，得到不同类别的特征图子集；

5、分别对不同类别的所述特征图子集中的特征图进行归一化处理，得到归一化后各类别的特征图子集；

6、分别对归一化后各类别的所述特征图子集中的特征图进行加权求和，得到各类别最终的特征图。

7、进一步的，所述对所述特征图集中的特征图进行聚类，得到不同类别的特征图，包括：

8、按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类，得到不同类别的特征图。

9、进一步的，对所述特征图子集中的特征图进行归一化处理的步骤包括：

10、将所述特征图中的每一像素点除以所述特征图集中的最大像素值。

11、进一步的，对归一化后的所述特征图子集中的特征图进行加权求和的步骤，包括：

12、获取归一化后的所述特征图子集中各特征图对应的梯度图；

13、根据各特征图对应的梯度图计算各特征图的权重；

14、根据各特征图的权重对归一化后的所述特征图子集中的特征图进行加权求和。

15、进一步的，所述根据各特征图对应的梯度图计算各特征图的权重，包括：

16、分别对各特征图对应的梯度图进行全局平均处理，得到各特征图的权重。

17、第二方面，本发明实施例提供一种图像特征分解装置，包括：

18、获取模块，用于获取神经网络输出的特征图集；

19、聚类模块，用于对所述特征图集中的特征图进行聚类，得到不同类别的特征图子集；

20、归一化处理模块，用于分别对不同类别的所述特征图子集中的特征图进行归一化处理，得到归一化后各类别的特征图子集；

21、加权求和模块，用于分别对归一化后各类别的所述特征图子集中的特征图进行加权求和，得到各类别最终的特征图。

22、进一步的，所述聚类模块具体用于：

23、按照特征图最大像素值所在像素点不同对所述特征图集中的特征图进行聚类，得到不同类别的特征图。

24、进一步的，所述加权求和模块具体用于：

25、获取归一化后的所述特征图子集中各特征图对应的梯度图；

26、根据各特征图对应的梯度图计算各特征图的权重；

27、根据各特征图的权重对归一化后的所述特征图子集中的特征图进行加权求和。

28、第三方面，本申请实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

29、第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的方法的步骤。

30、本发明实施例通过获取神经网络输出的特征图集；对所述特征图集中的特征图进行聚类，得到不同类别的特征图子集；分别对不同类别的所述特征图子集中的特征图进行归一化处理，得到归一化后各类别的特征图子集；分别对归一化后各类别的所述特征图子集中的特征图进行加权求和，得到各类别最终的特征图，这样，有效地将不同特征进行分解，并且能够显示出不同特征之间相对重要性。

技术特征：

1.一种图像特征分解方法，其特征在于，包括：

2.根据权利要求1所述的图像特征分解方法，其特征在于，所述对所述特征图集中的特征图进行聚类，得到不同类别的特征图，包括：

3.根据权利要求1所述的图像特征分解方法，其特征在于，对所述特征图子集中的特征图进行归一化处理的步骤包括：

4.根据权利要求1所述的图像特征分解方法，其特征在于，对归一化后的所述特征图子集中的特征图进行加权求和的步骤，包括：

5.根据权利要求4所述的图像特征分解方法，其特征在于，所述根据各特征图对应的梯度图计算各特征图的权重，包括：

6.一种图像特征分解装置，其特征在于，包括：

7.根据权利要求6所述的图像特征分解装置，其特征在于，所述聚类模块具体用于：

8.根据权利要求6所述的图像特征分解装置，其特征在于，所述加权求和模块具体用于：

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

技术总结
本申请涉及人工智能技术领域，提供一种图像特征分解方法，装置、设备及存储介质，其可具体可应用于医疗领域、金融领域的图像特征分解，方法包括：获取神经网络输出的特征图集；对所述特征图集中的特征图进行聚类，得到不同类别的特征图子集；分别对不同类别的所述特征图子集中的特征图进行归一化处理，得到归一化后各类别的特征图子集；分别对归一化后各类别的所述特征图子集中的特征图进行加权求和，得到各类别最终的特征图。本发明实施例能够有效地将不同特征进行分解，并且能够显示出不同特征之间相对重要性，从而可以很好地研究不同任务，例如医疗、金融任务中网络关注的不同特征之间以及不同特征与网络输出之间的关系，方便后续的因果分析。

技术研发人员：郑喜民,先健铭,舒畅,陈又新
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：
技术公布日：2024/1/15