一种模型注意力可视化方法及相关装置与流程

本申请涉及人工智能和计算机视觉，尤其是涉及一种模型注意力可视化方法及相关装置。

背景技术：

1、随着人工智能视觉领域技术的发展，自监督学习、微调、计算机视觉技术日益成熟，并得到广泛应用。自监督学习在大规模未标注数据集上展现出优势，其不仅大幅降低了数据标注需求，且鲁棒性比监督学习更好。微调技术作为模型性能提升的关键，在各类模型优化场景中扮演着核心角色。计算机视觉技术的发展，则让神经网络的决策过程变得更为透明，通过特征图的可视化，研究者可以直观的理解模型的注意力分配逻辑。

2、然而，自监督学习用于训练backbone，需要根据各种策略查看生成的结果以反推模型性能，模型优劣带有一定随机性，难以直接量化模型质量。微调虽能针对性地调整或增补模型参数以优化特定任务表现，但当模型性能不达标时，诊断具体原因依旧复杂，需依靠反复试验来探索解决方案。针对特征可视化，尽管基于分类任务的模型已能较好地利用backward梯度和forward特征生成注意力图，但面对transformer架构及复杂的检测模型时，现有的可视化框架往往难以应对，通常要求研究者采取繁琐的手动操作提取特征图。

3、因此，如何实现模型训练效果的可视化成为了亟待解决的技术问题。

技术实现思路

1、为了实现模型训练效果的可视化，本申请提供一种模型注意力可视化方法及相关装置。

2、第一方面，本申请提供的一种模型注意力可视化方法采用如下的技术方案：

3、一种模型注意力可视化方法，包括：

4、获取自监督模型，并获取所述自监督模型关注的类别部位数据信息；

5、对所述类别部位数据进行裁剪以建立分类数据集；

6、分析所述自监督模型的backbone并根据分析结果冻结所述backbone对应的阶段部分参数；

7、根据冻结后的所述backbone结合所述分类数据集对所述自监督模型进行分类训练；

8、通过可视化查看所述自监督模型对应的热度图注意力并生成分析结果。

9、可选的，所述自监督模型采用mmselfsup中的simmim自监督学习框架，所述自监督模型中的backbone部分为4层stage，dim输出为1536，所述自监督模型为swintransformer-large模型。

10、可选的，所述对所述类别部位数据进行裁剪以建立分类数据集的步骤，包括：

11、对所述类别部位数据进行部位剪裁以缩放为统一大小；

12、对剪裁后的所述类别部位数据按照数据类别进行归类以建立分类数据集。

13、可选的，所述分析所述自监督模型的backbone并根据分析结果冻结所述backbone对应的阶段部分参数的步骤，包括：

14、分析所述自监督模型的backbone的种类信息，以及所述backbone使用的神经网络模型stage结构以生成分析结果；

15、根据所述分析结果确定需要冻结的stage数量；

16、根据所述需要冻结的stage数量对所述backbone对应的阶段部分参数进行冻结。

17、可选的，所述根据所述分析结果确定需要冻结的stage数量的步骤之后，还包括：

18、构建分类网络；

19、根据所述backbone的种类信息分析对应的输出矩阵维度；

20、根据所述输出矩阵维度确定分类head输入；

21、根据所述分类head输入与所述backbone更新所述分类网络。

22、可选的，所述根据冻结后的所述backbone结合所述分类数据集对所述自监督模型进行分类训练的步骤，包括：

23、获取mmpretrain训练框架，在所述mmpretrain训练框架上配置所述分类数据集；

24、在冻结后的所述backbone的情况下，对所述自监督模型中的所述分类网络进行分类训练。

25、可选的，所述通过可视化查看所述自监督模型对应的热度图注意力并生成分析结果的步骤，包括：

26、采用pytorch-grad-cam可视化框架为查看所述自监督模型对应的热度图注意力以生成查看结果；

27、

28、其中，a代表特征层，k代表特征层a钟第k个通道，c代表类别c，ak特征层a钟通道k的数据，代表针对ak的权重；

29、通过所述查看结果生成分析结果。

30、第二方面，一种模型注意力可视化系统，所述模型注意力可视化包括：

31、信息获取模块，用于获取自监督模型，并获取所述自监督模型关注的类别部位数据信息；

32、分类数据集模块，用于对所述类别部位数据进行裁剪以建立分类数据集；

33、冻结模块，用于分析所述自监督模型的backbone并根据分析结果冻结所述backbone对应的阶段部分参数；

34、分类训练模块，用于根据冻结后的所述backbone结合所述分类数据集对所述自监督模型进行分类训练；

35、分析结果模块，用于通过可视化查看所述自监督模型对应的热度图注意力并生成分析结果。

36、第三方面，本申请提供一种模型注意力可视化设备，所述设备包括：存储器、处理器，所述处理器在运行所述存储器存储的模型注意力可视化程序时，执行如上文所述的方法。

37、第四方面，本申请提供一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上文所述的方法。

38、综上描述，本申请包括以下有益技术效果：

39、本申请通过获取自监督模型，并获取自监督模型关注的类别部位数据信息；对类别部位数据进行裁剪以建立分类数据集；分析自监督模型的backbone并根据分析结果冻结backbone对应的阶段部分参数；根据冻结后的backbone结合分类数据集对所述自监督模型进行分类训练；通过可视化查看自监督模型对应的热度图注意力并生成分析结果。基于自监督预训练模型、结合视觉分类模型、模型微调、模型热度图可视化，实现模型训练效果的可视化的技术效果。

技术特征：

1.一种模型注意力可视化方法，其特征在于，包括：

2.根据权利要求1所述的模型注意力可视化方法，其特征在于，所述自监督模型采用mmselfsup中的simmim自监督学习框架，所述自监督模型中的backbone部分为4层stage，dim输出为1536，所述自监督模型为swintransformer-large模型。

3.根据权利要求1所述的模型注意力可视化方法，其特征在于，所述对所述类别部位数据进行裁剪以建立分类数据集的步骤，包括：

4.根据权利要求1所述的模型注意力可视化方法，其特征在于，所述分析所述自监督模型的backbone并根据分析结果冻结所述backbone对应的阶段部分参数的步骤，包括：

5.根据权利要求4所述的模型注意力可视化方法，其特征在于，所述根据所述分析结果确定需要冻结的stage数量的步骤之后，还包括：

6.根据权利要求5所述的模型注意力可视化方法，其特征在于，所述根据冻结后的所述backbone结合所述分类数据集对所述自监督模型进行分类训练的步骤，包括：

7.根据权利要求1所述的模型注意力可视化方法，其特征在于，所述通过可视化查看所述自监督模型对应的热度图注意力并生成分析结果的步骤，包括：

8.一种模型注意力可视化系统，其特征在于，所述模型注意力可视化包括：

9.一种模型注意力可视化设备，其特征在于，所述设备包括：存储器、处理器，所述处理器在运行所述存储器存储的模型注意力可视化程序时，执行如权利要求1至7中任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任一项所述的方法。

技术总结
本发明提供了一种模型注意力可视化方法及相关装置，涉及人工智能和计算机视觉技术领域。通过获取自监督模型，并获取自监督模型关注的类别部位数据信息；对类别部位数据进行裁剪以建立分类数据集；分析自监督模型的backbone并根据分析结果冻结backbone对应的阶段部分参数；根据冻结后的backbone结合分类数据集对所述自监督模型进行分类训练；通过可视化查看自监督模型对应的热度图注意力并生成分析结果。基于自监督预训练模型、结合视觉分类模型、模型微调、模型热度图可视化，实现模型训练效果的可视化的技术效果。

技术研发人员：甘湘砚,陈卓,蔡宇翔,程浩军,高成德,孙云龙,黄志鸿,吴晟,肖剑,乔宏,刘帅,徐先勇,张可人
受保护的技术使用者：国网湖南省电力有限公司电力科学研究院
技术研发日：
技术公布日：2024/11/18