一种图像分类方法、装置、设备及其存储介质与流程

本技术涉及人工智能，应用于图像分类场景中，尤其涉及一种图像分类方法、装置、设备及其存储介质。

背景技术：

1、近年来，深度学习在医学领域的应用比比皆是，例如在病理学图像分类中，通过深度学习算法诊断肿瘤类型和评估组织样本的质量。通过训练神经网络识别图像中的不同细胞类型和结构，可以帮助病理学家更快速地进行诊断和治疗规划。通过对大量的医学影像进行训练，图像分类模型可以学习如何区分正常和异常的组织、器官和病变。

2、虽然，深度学习已广泛的应用到了医学领域，但是，在图像分类上或者辅助医生进行病例分析上，还存在一大部分群体存在怀疑态度，认为机器/深度学习方式辅助医生进行病例分析上还具有一定的误差性。现有情况下，在对医学图像分类结果的解释上，还缺乏一种令人能够信服且解释原理简单的可解释性方法，导致了医学图像分类结果信任度不高。

技术实现思路

1、本技术实施例的目的在于提出一种图像分类方法、装置、设备及其存储介质，以解决现有技术在对医学图像分类结果的解释上，还缺乏一种令人能够信服且解释原理简单的可解释性方法，导致了医学图像分类结果信任度不高的问题。

2、为了解决上述技术问题，本技术实施例提供图像分类方法，采用了如下所述的技术方案：

3、一种图像分类方法，包括下述步骤：

4、获取批量待分类图像，构建目标图像集；

5、将所述目标图像集输入预设的第一处理组件，获得经所述第一处理组件处理后的图像，其中，所述第一处理组件中包括预设可解释模型的输入层、卷积层和输出层；

6、将所述目标图像集输入到预设的第二处理组件，获得经所述第二处理组件处理后的图像，其中，所述第二处理组件包括预训练完成的图像分类模型和所述可解释模型的解释表征层；

7、根据预设的图像重构机制，对所述经所述第一处理组件处理后的图像和所述经所述第二处理组件处理后的图像进行图像重构，获得重构图集；

8、将所述重构图集输入到所述图像分类模型，获得所述批量待分类图像的分类结果。

9、进一步的，在执行所述将所述目标图像集输入预设的第一处理组件，获得经所述第一处理组件处理后的图像的步骤之前，所述方法还包括：

10、获取已标注分类结果的训练图像集作为目标图像集；

11、将所述目标图像集输入待训练的第一处理组件，获得经所述第一处理组件处理后的图像；

12、将所述目标图像集输入到预设的第二处理组件，获得经所述第二处理组件处理后的图像；

13、根据预设的图像重构机制，对所述经所述第一处理组件处理后的图像和所述经所述第二处理组件处理后的图像进行图像重构，获得重构图集；

14、将所述重构图集输入到所述图像分类模型，获得所述训练图像集的实际分类结果；

15、根据所述训练图像集的实际分类结果和所述已标注分类结果，获得所述图像分类模型的最后一层softmax层的输出值；

16、根据所述输出值和预设的输出阈值，对所述第一处理组件进行调优训练，直到所述输出值满足所述输出阈值，则所述第一处理组件调优训练完成，将训练完成的第一处理组件作为所述预设的第一处理组件。

17、进一步的，所述将所述目标图像集输入待训练的第一处理组件，获得经所述第一处理组件处理后的图像的步骤，具体包括：

18、将所述已标注分类结果的训练图像集经所述输入层输入到所述卷积层；

19、通过所述卷积层对所述训练图像集中所有图像进行卷积模糊化处理，获得所述训练图像集中所有图像对应的模糊图，其中，所述卷积层由单层卷积神经网络构成；

20、通过所述输出层输出所述训练图像集中所有图像对应的模糊图。

21、进一步的，所述将所述目标图像集输入预设的第一处理组件，获得经所述第一处理组件处理后的图像的步骤，具体包括：

22、将所述批量待分类图像经所述输入层输入到所述卷积层；

23、通过所述卷积层对所述批量待分类图像进行卷积模糊化处理，获得所有待分类图像对应的模糊图；

24、通过所述输出层输出所述所有待分类图像对应的模糊图。

25、进一步的，所述将所述目标图像集输入到预设的第二处理组件，获得经所述第二处理组件处理后的图像的步骤，具体包括：

26、通过所述图像分类模型对所述目标图像集中所有图像分别进行特征提取，获得所有图像分别对应的特征提取结果，其中，所述特征提取包括图像边缘特征提取和/或图像纹理特征提取；

27、根据所有图像分别对应的特征提取结果以及预设的不同特征因子分别对应的区域关注程度，经所述解释表征层生成所述目标图像集中所有图像分别对应的热力图，其中，所述热力图指以不同颜色与色彩强度表征不同特征因子分别对应的区域关注程度。

28、进一步的，所述根据预设的图像重构机制，对所述经所述第一处理组件处理后的图像和所述经所述第二处理组件处理后的图像进行图像重构，获得重构图集的步骤，具体包括：

29、对所述热力图进行图像二值化处理，得到相应的黑白图；

30、从所述热力图对应的原始图像中，提取出所述黑白图的白色区域所对应的原始图像区域，以及

31、从所述原始图像对应的模糊图中，提取出所述黑白图的黑色区域所对应的模糊图像区域；

32、通过叠合所述白色区域所对应的原始图像区域和所述黑色区域所对应的模糊图像区域，生成所述原始图像对应的重构图像，其中，所述原始图像指当前目标图像集中任一图像；

33、生成当前目标图像集中所有图像分别对应的重构图像，获得所述重构图集。

34、进一步的，所述根据所述训练图像集的实际分类结果和所述已标注分类结果，获得所述图像分类模型的最后一层softmax层的输出值的步骤，具体包括：

35、比较所述训练图像集的实际分类结果和所述已标注分类结果，并采用交叉熵损失函数，计算本次对所述第一处理组件进行训练后的损失值；

36、根据预设的差值运算方法：

37、o＝1-l，

38、计算所述输出值，其中，o表示所述输出值，l表示所述损失值,l的取值范围在区间0至1之间。

39、进一步的，所述根据所述输出值和预设的输出阈值，对所述第一处理组件进行调优训练，直到所述输出值满足所述输出阈值，则所述第一处理组件调优训练完成，将训练完成的第一处理组件作为所述预设的第一处理组件的步骤，具体包括：

40、步骤501，判断所述输出值是否超过了所述输出阈值；

41、步骤502，若所述输出值未超过所述输出阈值，则对所述第一处理组件的卷积层进行参数调优处理，并在参数调优处理完成后，再次对所述第一处理组件执行训练步骤，获得所述图像分类模型的最后一层softmax层的输出值，重复执行步骤501；

42、步骤503，直到所述输出值超过了所述输出阈值，则所述第一处理组件调优训练完成，将训练完成的第一处理组件作为所述预设的第一处理组件。

43、为了解决上述技术问题，本技术实施例还提供图像分类装置，采用了如下所述的技术方案：

44、一种图像分类装置，包括：

45、待分类图像获取模块，用于获取批量待分类图像，构建目标图像集；

46、第一处理组件处理模块，用于将所述目标图像集输入预设的第一处理组件，获得经所述第一处理组件处理后的图像，其中，所述第一处理组件中包括预设可解释模型的输入层、卷积层和输出层；

47、第二处理组件处理模块，用于将所述目标图像集输入到预设的第二处理组件，获得经所述第二处理组件处理后的图像，其中，所述第二处理组件包括预训练完成的图像分类模型和所述可解释模型的解释表征层；

48、图像重构模块，用于根据预设的图像重构机制，对所述经所述第一处理组件处理后的图像和所述经所述第二处理组件处理后的图像进行图像重构，获得重构图集；

49、重构图像分类模块，用于将所述重构图集输入到所述图像分类模型，获得所述批量待分类图像的分类结果。

50、为了解决上述技术问题，本技术实施例还提供一种计算机设备，采用了如下所述的技术方案：

51、一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现上述所述的图像分类方法的步骤。

52、为了解决上述技术问题，本技术实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：

53、一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述所述的图像分类方法的步骤。

54、与现有技术相比，本技术实施例主要有以下有益效果：

55、本技术实施例所述图像分类方法，通过获取待分类图像输入预设的第一处理组件，获得经第一处理组件处理后的图像；将待分类图像输入到预设的第二处理组件，获得经第二处理组件处理后的图像；对经第一处理组件和第二处理组件处理后的图像进行重构，获得重构图像；将重构图像输入到图像分类模型，获得图像分类结果。通过在第一处理组件和第二处理组件中引入可解释性模型，提高了图像分类结果的可解释性和置信度。尤其是，将所述可解释模型引入到医学影像分类场景中，既能辅助医生准确快速的识别出产生了异常或者病变的组织或器官，也能使得患者在解释表征的基础上快速理解医生的诊断结果。