图像分类模型的训练方法、图像分类方法及装置与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像分类模型的训练方法、图像分类方法及装置。


背景技术：

2.深度神经网络技术是基于待预测图像的分布符合原有样本图像集的分布这一假设，通过在样本图像集上进行模型训练，然后在模型部署时对现场采集的图像进行预测。
3.然而，在实际应用中，由于受到天气、光线变化、对抗噪声以及相机抖动造成的图像模糊等因素的影响，待预测图像的分布时常会偏离于样本图像的分布，导致深度网络模型的性能在应用时出现大幅度下降。


技术实现要素：

4.本技术实施例的目的是提供一种图像分类模型的训练方法、图像分类方法及装置，用于提高图像分类模型的识别性能和鲁棒性，以对原始样本图像和出现分布偏移的预测图像均具有较好的识别效果。
5.为了实现上述目的，本技术实施例采用下述技术方案：
6.第一方面，本技术实施例提供一种图像分类模型的训练方法，包括：
7.基于预设风格对原始样本图像进行风格迁移处理，得到具有所述预设风格的第一生成图像；
8.对所述第一生成图像进行变换处理，得到第一变换图像；
9.将图像样本输入初始图像分类模型，得到所述图像样本中的各图像对应的分类结果，其中，所述图像样本包括所述原始样本图像和所述第一变换图像，所述初始图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述原始样本图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第一变换图像进行分类识别以得到对应的分类结果；
10.对所述图像样本中的各图像对应的分类结果进行融合处理，得到所述原始样本图像对应的目标分类结果；
11.基于所述原始样本图像对应的目标分类结果及类别标签，调整所述第一子模型和所述第二子模型各自的模型参数，得到图像分类模型。
12.可以看出，本技术实施例中，利用风格迁移技术，将预设风格图像的图像风格迁移到原始样本图像上，使得得到的第一生成图像能够在保留原始样本图像的图像内容的基础上，具有与预设风格图像相同的图像风格，进而能够模拟实际应用中采集的待处理图像的分布特点；利用变换处理能够提升相较于原始样本图像出现分布偏移的图像的识别鲁棒性这一规律，对第一生成图像进行变换处理以得到第一变换图像；进一步，采用包括第一子模型和第二子模型的图像分类模型，由第一子模型学习原始样本图像的图像特征，由第二子模型学习存在分布偏移的第一变换图像的图像特征，而后融合两种子模型各自经过学习得
到的分类结果以及原始样本图像对应的类别标签，调整第一子模型和第二子模型各自的模型参数，得到图像分类模型，这样，可以使初始图像分类模型以端到端的方式同步学习分布不同的图像的图像特征，充分利用分布不同的图像之间的关联性，从而提高最终所得的图像分类模型的识别性能和鲁棒性，使最终所得的图像分类模型对原始样本图像和出现分布偏移的预测图像均具有较好的识别效果。
13.第二方面，本技术实施例提供一种图像分类方法，包括：
14.基于训练图像分类模型所使用的原始样本图像的图像风格，对待处理图像进行风格迁移处理，得到第二生成图像，所述第二生成图像与所述原始样本图像具有相同的图像风格；
15.对所述待处理图像进行变换处理，得到第二变换图像；
16.将预测图像集输入所述图像分类模型，得到所述预测图像集中的各图像对应的分类结果，其中，所述预测图像集包括所述第二变换图像和所述第二生成图像，所述图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述第二生成图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第二变换图像进行分类识别以得到对应的分类结果，所述图像分类模型是基于第一方面所述的训练方法训练得到的；
17.对所述预测图像集中的各图像对应的分类结果进行融合处理，得到所述待处理图像对应的目标分类结果；
18.基于所述待处理图像对应的目标分类结果，确定所述待处理图像所属的类别。
19.可以看出，本技术实施例中，由于待处理图像相较于训练图像分类模型所使用的原始样本图像可能发生分布偏移，利用风格迁移技术，将原始样本图像的图像风格迁移到待处理图像上，使得得到的第二生成图像能够在保留待处理图像的图像内容的基础上，具有与原始样本图像相同的图像风格，进而能够模拟原始样本图像的分布特点；利用变换处理能够提升相较于原始样本图像出现分布偏移的图像的识别鲁棒性这一规律，对第二生成图像进行变换处理以得到第二变换图像；进一步，采用包括第一子模型和第二子模型的图像分类模型，由第一子模型提取未发生分布偏移的第二生成图像的图像特征进行分类识别，由第二子模型提取发生分布偏移的第二变换图像的图像特征以进行分类识别，可以使图像分类模型同步学习两种分布图像的图像特征，而后，融合两种子模型各自得到的分类结果，确定待处理图像所属的类别，可以充分利用两种分布图像之间的关联性，从而提高对待处理图像的识别准确性。
20.第三方面，本技术实施例提供一种图像分类模型的训练装置，包括：
21.第一风格迁移模块，用于基于预设风格对原始样本图像进行风格迁移处理，得到具有所述预设风格的第一生成图像；
22.第一变换模块，用于对所述第一生成图像进行变换处理，得到第一变换图像；
23.第一分类模块，用于将图像样本输入初始图像分类模型，得到所述图像样本中的各图像对应的分类结果，其中，所述图像样本包括所述原始样本图像和所述第一变换图像，所述初始图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述原始样本图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第一变换图像进行分类识别以得到对应的分类结果；
24.第一融合模块，用于对所述图像样本中的各图像对应的分类结果进行融合处理，
得到所述原始样本图像对应的目标分类结果；
25.调整模块，用于基于所述原始样本图像对应的目标分类结果及类别标签，调整所述第一子模型和所述第二子模型各自的模型参数。
26.第四方面，本技术实施例提供一种图像分类装置，包括：
27.第二风格迁移模块，用于基于训练图像分类模型所使用的原始样本图像的图像风格，对待处理图像进行风格迁移处理，得到第二生成图像，所述第二生成图像与所述原始样本图像具有相同的图像风格；
28.第二变换模块，用于对所述待处理图像进行变换处理，得到第二变换图像；
29.第二分类模块，用于将预测图像集输入所述图像分类模型，得到所述预测图像集中的各图像对应的分类结果，其中，所述预测图像集包括所述第二变换图像和所述第二生成图像，所述图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述第二生成图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第二变换图像进行分类识别以得到对应的分类结果，所述图像分类模型是基于第一方面所述的训练方法训练得到的；
30.第二融合模块，用于对所述预测图像集中的各图像对应的分类结果进行融合处理，得到所述待处理图像对应的目标分类结果；
31.类别确定模块，用于基于所述待处理图像对应的目标分类结果，确定所述待处理图像所属的类别。
32.第五方面，本技术实施例提供一种电子设备，包括：
33.处理器；
34.用于存储所述处理器可执行指令的存储器；
35.其中，所述处理器被配置为执行所述指令，以实现如第一方面或第二方面所述的方法。
36.第六方面，本技术实施例提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如第一方面或第二方面所述的方法。
附图说明
37.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
38.图1为本技术的一个实施例提供的一种图像分类模型的训练方法的流程示意图；
39.图2为本技术的另一个实施例提供的一种图像分类模型的训练方法的流程示意图；
40.图3为本技术的一个实施例提供的一种图像分类方法的流程示意图；
41.图4为本技术的另一个实施例提供的一种图像分类方法的流程示意图；
42.图5为本技术的一个实施例提供的一种图像分类模型的训练装置的结构示意图；
43.图6为本技术的一个实施例提供的一种图像分类装置的结构示意图；
44.图7为本技术的一个实施例提供的一种电子设备的结构示意图。
具体实施方式
45.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
46.本说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应理解，这样使用的数据在适当情况下可以互换，以便本技术实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，本说明书和权利要求书中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
47.在常规技术中，图像分类模型是基于待预测图像的分布符合原有样本图像集的分布这一假设，利用原始的样本图像对初始图像分类模型进行训练后，直接用于对待预测图像进行预测。然而，在实际应用中，由于受到天气、光线变化、对抗噪声以及相机抖动造成的图像模糊等因素的影响，待预测图像的分布相较于原始的样本图像的分布，会出现一定的偏移，导致图像分类模型对于待预测图像的识别性能和鲁棒性大幅度下降。
48.为了提高图像分类模型的识别性能和鲁棒性，以对原始样本图像和出现分布偏移的预测图像均具有较好的识别效果，本技术实施例旨在提出一种图像分类模型的训练方法，利用风格迁移技术，将预设风格图像的图像风格迁移到原始样本图像上，使得得到的第一生成图像能够在保留原始样本图像的图像内容的基础上，具有与预设风格图像相同的图像风格，进而能够模拟实际应用中采集的待处理图像的分布特点；利用变换处理能够提升相较于原始样本图像出现分布偏移的图像的识别鲁棒性这一规律，对第一生成图像进行变换处理以得到第一变换图像；进一步，采用包括第一子模型和第二子模型的图像分类模型，由第一子模型学习原始样本图像的图像特征，由第二子模型学习存在分布偏移的第一变换图像的图像特征，而后融合两种子模型各自经过学习得到的分类结果以及原始样本图像对应的类别标签，调整第一子模型和第二子模型各自的模型参数，得到图像分类模型，这样，可以使初始图像分类模型以端到端的方式同步学习分布不同的图像的图像特征，充分利用分布不同的图像之间的关联性，从而提高最终所得的图像分类模型的识别性能和鲁棒性，使最终所得的图像分类模型对原始样本图像和出现分布偏移的预测图像均具有较好的识别效果。
49.本技术实施例还提出了一种图像分类方法，由于待处理图像相较于训练图像分类模型所使用的原始样本图像可能发生分布偏移，利用风格迁移技术，将原始样本图像的图像风格迁移到待处理图像上，使得得到的第二生成图像能够在保留待处理图像的图像内容的基础上，具有与原始样本图像相同的图像风格，进而能够模拟原始样本图像的分布特点；利用变换处理能够提升相较于原始样本图像出现分布偏移的图像的识别鲁棒性这一规律，对第二生成图像进行变换处理以得到第二变换图像；进一步，采用包括第一子模型和第二子模型的图像分类模型，由第一子模型提取未发生分布偏移的第二生成图像的图像特征进行分类识别，由第二子模型提取发生分布偏移的第二变换图像的图像特征以进行分类识别，可以使图像分类模型同步学习两种分布图像的图像特征，而后，融合两种子模型各自得到的分类结果，确定待处理图像所属的类别，可以充分利用两种分布图像之间的关联性，从
而提高对待处理图像的识别准确性。
50.应理解，本技术实施例提供的图像分类模型的训练方法和图像分类方法，均可以由电子设备或安装在电子设备中的软件执行，具体可以由终端设备或服务端设备执行。
51.以下结合附图，详细说明本技术各实施例提供的技术方案。
52.请参考图1，为本技术的一个实施例提供的一种图像分类模型的训练方法的流程示意图，该方法包括如下步骤：
53.s102，基于预设风格对原始样本图像进行风格迁移处理，得到具有预设风格的第一生成图像。
54.其中，预设风格可以根据实际需要进行选择，本技术实施例对此不作限定。例如，原始样本图像为天气较好时(比如天晴时)采集的图像，则预设风格可以为天气较差时(比如雨天、阴天或大雾天时)采集的图像的图像风格；又如，原始样本图像为清晰的图像，则预设风格图像可以为模糊的图像的图像风格；再如，原始样本图像为未增加对抗噪声的图像，则预设风格图像可以为增加了对抗噪声的图像的图像风格，等等。
55.基于预设风格对原始样本图像进行风格迁移处理，可以在保留原始样本图像的图像内容的基础上，将预设风格迁移到原始样本图像上，得到第一生成图像，也即该第一生成图像具有预设风格，且该第一生成图像与原始样本图像具有相同的图像内容，进而该第一生成图像可以模拟实际应用中发生了分布偏移的图像。
56.本技术实施例中，上述s102可通过本领域的各种风格迁移(style transfer)技术实现，具体可根据实际需要进行确定，本技术实施例对此不作限定。
57.在一种可选的实现方式中，可以预先设置预设风格的风格特征参数，进而基于预设风格的风格特征参数对原始样本图像进行风格迁移处理。
58.在一种可选的实现方式中，为使第一生成图像能够完整地保留原始样本图像的图像内容且能够尽可能与预设风格保持一致，上述s102具体可实现为：将原始样本图像和具有预设风格的目标风格图像输入预设风格迁移模型，得到第一生成图像，其中，预设风格迁移模型是以样本风格图像和样本内容图像作为输入、以样本生成图像作为输出进行训练得到的，样本生成图像与样本内容图像具有相同的图像内容，且样本生成图像与样本风格图像具有相同的图像风格。需要说明的是，样本风格图像是预先采集的、能够明确清晰地反映出图像风格的图像，样本内容图像是预先采集的、能够明确清晰地反映出图像内容的图像。
59.示例地，预设风格迁移模型可以采用卷积神经网络，它可以分别对输入的样本风格图像和样本内容图像进行特征提取，得到样本风格图像的图像风格相关特征和样本内容图像各自的图像内容相关特征，而后基于样本风格图像的图像风格相关特征和样本内容图像的图像内容相关特征，生成相应的样本生成图像；进一步地，基于样本风格图像的图像风格相关特征和样本生成图像的图像风格相关特征，可确定预设风格迁移模型的风格损失，并基于样本内容图像的图像内容相关特征和样本生成图像的图像内容相关特征，可确定预设风格迁移图像的内容损失，以及对预设风格迁移图像的风格损失和内容损失进行加权求和，得到预设风格迁移模型的总损失，而后基于总损失调整预设风格迁移模型的模型参数。
60.其中，预设风格迁移模型的风格损失用于表示预设风格迁移模型得到的样本生成图像与样本风格图像之间在图像风格上的差异，预设风格迁移模型的内容损失用于表示预设风格迁移模型得到的样本生成图像与样本内容图像之间在图像内容上的差异。预设风格
迁移模型的模型参数可以例如包括但不限于预设风格迁移模型中的节点数量、不同网络层中的节点之间的连接关系及连接边权重、各网络层中的节点对应的偏置等。
61.值得说明的是，上述过程仅为对预设风格迁移模型的模型参数的一次调整过程。实际应用中，可能需要进行对预设风格迁移模型的模型参数进行多次调整，直到满足第一预设训练停止条件，由此得到最终的预设风格迁移模型。其中，第一预设训练停止条件可以包括预设风格迁移模型的总损失小于第一预设损失阈值或者调整次数达到第一预设次数等，本技术实施例对此不作限定。
62.s104，对第一生成图像进行变换处理，得到第一变换图像。
63.为了使图像分类模型能够同时学习分布不同的图像的图像特征，以提高图像分类模型的识别性能和鲁棒性，可联合原始样本图像和第一生成图像来训练图像分类模型。然而，考虑到图像发生分布偏移后无法被图像分类模型准确识别，为提高图像分布模型对发生分布偏移的第一生成图像的识别效果，可通过对第一生成图像进行变换处理，再利用变换处理得到的第一变换图像和原始样本图像来训练图像分类模型。
64.本技术实施例中，对第一生成图像进行的变换处理可以包括如下处理中的至少一种：边缘特征提取、灰度图像转换、低通滤波处理、锐化处理以及小波变换处理等。
65.具体而言，通过提取第一生成图像的边缘特征，可以获取第一生成图像的纹理特征和形状特征等进行图像分类识别所依赖的重要特征，有利于提高第二子模型对第一生成图像的识别效果。
66.通过将第一生成图像转换为灰度图像，可以增强第一生成图像的暗色区域的细节，有利于提高第二子模型对第一生成图像的识别效果。
67.通过对第一生成图像进行低通滤波处理，可以过滤掉第一生成图像的噪声，减少噪声对第一生成图像的识别准确率的影响。例如，第一生成图像为雨天采集的图像，那么通过对第一生成图像进行低通滤波，可以过滤掉第一生成图像中的雨点，从而有利于提高第二子模型对第一生成图像的识别效果。
68.通过对第一生成图像进行锐化处理，可以补偿第一生成图像的轮廓，增强第一生成图像的边缘及灰度跳变的部分，使第一生成图像变得清晰。例如，第一生成图像为模糊图像，通过对第一生成图像进行锐化处理，可以使第一生成图像变得清晰，从而有利于提高第二子模型对第一生成图像的识别效果。
69.通过对第一生成图像进行小波变换处理，可以使第一生成图像的低频长时特性和高频短时特性同时得到处理，具有良好的局部化性质，能够有效地克服傅里叶变换在处理非平稳复杂信号时存在的局限性，具有极强的自适应性。例如，第一生成图像为雨天采集的图像，那么通过对第一生成图像进行低通滤波，可以过滤掉第一生成图像中的雨点，从而有利于提高第二子模型对第一生成图像的识别效果。
70.考虑到针对同一图像而言，不同的变换处理对于提高识别效果所做出的贡献大小不同，比如对于雨天或阴天等天气条件较差时采集的图像，低通滤波和小波变换对于提高识别效果所起的作用更大，为了有效融合不同变换处理所起的作用，以进一步提高图像分类模型对于存在分布偏移的图像的识别效果，在一种可选的实现方式中，上述s104具体可实现为：根据多种预设变换处理方式，对第一生成图像进行变换处理，得到多种预设变换处理方式对应的多个第一变换图像。其中，多种预设变换处理方式可以包括如下处理中的至
少两种：边缘特征提取、灰度图像转换、低通滤波处理、锐化处理以及小波变换处理等。
71.需要说明的是，对第一生成图像进行的上述变换处理，可采用本领域常用的各种技术手段实现，本技术实施例对此不作限定。
72.本技术实施例在此示出了上述s104的一种具体实现方式。当然，应理解，上述s104也可以通过其他方式实现，本技术实施例对此不作限定。
73.s106，将图像样本输入初始图像分类模型，得到图像样本中的各图像对应的分类结果。
74.其中，图像样本包括原始样本图像和第一变换图。由此，图像样本包含了图像内容相同、但分布特点不同的多个图像，利用图像样本训练图像分类模型，可以提高图像分类模型的识别效果和鲁棒性。
75.本技术实施例中，初始图像分类模型是指具有图像分类功能的数学模型，其可以采用任意适当的结构，具体可根据实际需要进行选择。为了使初始图像分类模型能够在训练过程中同步学习分布不同的图像的图像特征，以充分利用分布不同的图像之间的关联性，从而提高最终所得的图像分类模型的识别性能和鲁棒性，使最终所得的图像分类模型对原始样本图像和出现分布偏移的预测图像均具有较好的识别效果，本技术实施例中，如图2所示，初始图像分类模型可以包括第一子模型和第二子模型，由第一子模型学习原始样本图像的图像特征，由第二子模型学习存在分布偏移的第一变换图像的图像特征。
76.具体而言，第一子模型用于对原始样本图像进行分类识别，得到原始样本图像对应的分类结果。第二子模型用于对第一变换图像进行分类识别，得到第一变换图像对应的分类结果。
77.更为具体地，考虑到针对同一图像而言，不同的变换处理对于提高识别效果所做出的贡献大小不同，比如对于雨天图像或阴天图像，低通滤波和小波变换对于提高识别效果所做出的贡献更大，为了有效融合不同变换处理所做出的贡献，以进一步提高最终所得的图像分类模型对于存在分布偏移的图像的识别效果，在一种可选的实现方式中，第二子模型的数量可以为多个，且多个第二子模型与多种预设变换处理方式一一对应，也即第二子模型用于对经过所对应的预设变换处理方式得到的第一变换图像进行分类识别以得到对应的分类结果。
78.示例地，如图2所示，上述s104中，对第一生成图像进行的多种预设变换处理方式包括t1～tk共k种预设变换处理方式，初始图像分类模型包括第一子模型m0和k个第二子模型(即m1～mk)，其中，第一子模型m0用于对原始样本图像x1进行分类识别，以得到原始样本图像x1对应的分类结果m0(x1)；第二子模型mi用于对第一生成图像x1'经过所对应的预设变换处理方式ti得到的第一变换图像ti(x1')进行分类识别，以得到对应的分类结果mi(ti(x1'))，i＝1,2,...,k。
79.s108，对图像样本中的各图像对应的分类结果进行融合处理，得到原始样本图像对应的目标分类结果。
80.由于第一子模型学习的是原始样本图像的图像特征，而第二子模型学习的是存在分布偏移的第一变换图像的图像特征，为了充分利用分布不同的图像之间的关联性，以提高最终所得的图像分类模型的识别性能和鲁棒性，使最终所得的图像分类模型对原始样本图像和出现分布偏移的图像均具有较好的识别效果，可通过对图像样本中的各图像对应的
分类结果进行融合处理，得到原始样本图像对应的目标分类结果。
81.在一种可选的实现方式中，为更充分地利用原始样本图像和相对于原始样本图像存在分布偏移的第一变换图像之间的关联性，上述s108具体可实现为：对图像样本中的各图像对应的分类结果进行加权求和，得到原始样本图像对应的目标分类结果。其中，各图像对应的识别权重可以根据实际需要进行设置，本技术实施例对此不作限定。
82.具体而言，在通过上述s104对第一生成图像进行多种变换处理得到多个第一变换图像以及初始图像分类模型包括多个第二子模型的情况下，对图像样本中的各图像对应的分类结果进行加权求和，可以包括：基于多种预设变换处理方式各自对应的识别权重，对多个第一变换图像各自对应的分类结果进行加权求和，得到第一候选分类结果；进一步，基于预设分布比例，对第一候选分类结果和原始样本图像对应的分类结果进行加权求和，得到原始样本图像对应的目标分类结果。
83.示例地，仍以图2所示的初始图像分类模型为例，原始样本图像对应的目标分类结果可通过如下公式(1)确定：
[0084][0085]
其中，f(x1,x1',θj,wi,m)表示原始样本图像对应的目标分类结果；x1表示原始样本图像；x1'表示第一生成图像；m0表示第一子模型；m0(x1)表示原始样本图像对应的分类结果；m表示预设分布比例；ti表示第i种预设变换处理方式，i＝1,2,...,k；k表示第二子模型的数量；mi表示第i种预设变换处理方式对应的第二子模型；ti(x1')表示经i种预设变换处理方式得到的第一变换图像；mi(ti(x1'))表示经i种预设变换处理方式得到的第一变换图像对应的分类结果；wi表示第i种预设变换处理方式对应的识别权重；θj表示初始图像分类模型中的各子模型的模型参数，j＝0,1,...,k；表示第一候选分类结果。
[0086]
进一步地，由于针对同一风格的图像，不同的变换处理对于提高图像的识别效果所做出的贡献大小不同，为使初始图像分类模型能够侧重学习对更有利于提高识别效果的预设变换处理方式所得的第一变换图像的图像特征，从而有利于最终所得的提高图像分类模型的识别效果和鲁棒性，可基于预设风格，确定上述多种预设变换处理方式分别对第一候选分类结果的关联程度；基于各种预设变换处理方式对第一候选分类结果的关联程度，确定各种预设变换处理方式对应的识别权重。
[0087]
其中，每种预设变换处理方式对第一候选分类结果的关联程度用于反映每种预设变换处理方式对第一候选分类结果的准确率的影响大小。实际应用中，每种预设变换处理方式分别对第一候选分类结果的关联程度可根据图像风格、预设变换处理方式以及关联程度之间的映射关系确定，进一步，每种预设变换处理方式对应的识别权重可基于关联程度与识别权重之间的映射关系确定。
[0088]
示例地，下述表1示出了图像风格与预设变换处理方式之间的映射关系的一种示例，表2示出了关联程度与识别权重之间的映射关系的一种示例。若预设风格为雨天，则可确定低通滤波处理对第一候选分类结果的关联程度高，进而可确定低通滤波处理对应的识别权重为0.6，还可确定小波变换处理对第一候选分类结果的关联程度适中，进而可确定小波变换处理对应的识别权重为0.3，等等。
[0089]
表1
[0090][0091]
表2
[0092]
关联程度识别权重高0.6中0.3低0.1
[0093]
可以理解的是，考虑到针对同一图像而言，不同的变换处理对于提高识别效果所做出的贡献大小不同，比如对于雨天图像或阴天图像，低通滤波和小波变换对于提高识别效果所做出的贡献更大，通过基于多种预设变换处理方式各自对应的识别权重，对多个第一变换图像各自对应的分类结果进行加权求和，可以有效融合不同变换处理所做出的贡献，使得所得的第一候选分类结果能够更准确地反映初始图像分类模型对相较于原始样本图像存在分布偏移的第一变换图像的分类结果；进一步，基于预设分布比例，对第一候选分类结果和原始样本图像对应的分类结果进行加权求和，可以有效融合图像分类模型分别针对原始样本图像和存在分布偏移的第一变换图像得到的分类结果，也即有效融合了原始样本图像的图像内容在不同图像风格下的分类结果，使得所得的原始样本图像对应的目标分类结果能够更准确地反映初始图像分类模型对原始样本图像的图像内容的识别效果。
[0094]
本技术实施例在此示出了上述s108的一种具体实现方式。当然，应理解，上述s108也可以通过其他方式实现，本技术实施例对此不作限定。
[0095]
s110，基于原始样本图像对应的目标分类结果及类别标签，调整第一子模型和第二子模型各自的模型参数，得到图像分类模型。
[0096]
其中，初始图像分类模型的模型参数至少包括第一子模型和第二子模型各自的模型参数。具体而言，对于各个子模型而言，子模型的模型参数可以例如包括但不限于子模型中的节点数量、不同网络层中的节点之间的连接关系及连接边权重、各网络层中的节点对应的偏置等。
[0097]
原始样本图像对应的类别标签用于表示原始样本图像所属的真实类别，具体可以表示原始样本图像呈现的图像内容所属的真实类别。例如，原始样本图像对应的类别标签可以是人物、动物、风景等类别；又如，原始样本图像对应的类别标签可以是某个大类下细分出的子类别，比如对于人物这个大类而言，原始样本图像对应的类别标签可以是情绪低落、高兴、愤怒等。
[0098]
由于原始样本图像对应的目标分类结果有效融合了原始样本图像的图像内容在不同图像风格下的分类结果，使得所得的原始样本图像对应的目标分类结果能够更准确地反映初始图像分类模型对原始样本图像的图像内容的识别效果，而原始样本图像对应的类别标签能够反映原始样本图像呈现的图像内容所属的真实类别，因而基于原始样本图像对应的目标分类结果及类别标签，可以确定初始图像分类模型的学习效果，进一步基于初始图像分类模型的训练效果调整初始图像分类模型的模型参数，可以提高最终所得的图像分
类模型的识别效果和鲁棒性。
[0099]
在一种可选的实现方式中，上述s110具体可实现为：基于预设损失函数、原始样本图像对应的目标分类结果及类别标签，确定初始图像分类模型的总识别损失；进一步，基于梯度下降算法和初始图像分类模型的总识别损失，调整第一子模型和第二子模型各自的模型参数。
[0100]
其中，初始图像分类模型的总识别损失用于表示原始样本图像对应的目标分类结果与原始样本图像的类别标签之间的差异，进而可以反映初始图像分类模型的学习效果。
[0101]
实际应用中，预设损失函数可以采用任意适当的损失函数，具体可根据实际需要进行选择，本技术实施例对此不作限定。示例地，预设损失函数可以采用交叉熵损失函数，相应地，初始图像分类模型的总识别损失可通过如下公式(2)确定：
[0102]
l＝cross-entropy(f(x1,x1',θj,wi,m),y)
ꢀꢀꢀ
(2)
[0103]
其中，l表示初始图像分类模型的总识别损失；cross-entropy表示交叉熵损失函数；f(x1,x1',θj,wi,m)表示原始样本图像对应的目标分类结果；x1表示原始样本图像；x1'表示第一生成图像；θj表示初始图像分类模型中的各子模型的模型参数，j＝0,1,...,k；wi表示第i种预设变换处理方式对应的识别权重；m表示预设分布比例；y表示原始样本图像对应的类别标签。
[0104]
在得到初始图像分类模型的总识别损失之后，可利用梯度下降算法计算总识别损失对于模型参数的梯度，而后以使总识别损失对于模型参数的梯度下降为目标，通过不断调整初始图像分类模型的模型参数，直到满足第二预设训练停止条件，由此最终用于图像分类的图像分类模型。其中，第二预设训练停止条件可以包括初始图像分类模型的总识别损失小于第二预设损失阈值或者调整次数达到第二预设次数等，本技术实施例对此不作限定。示例地，为了加速总识别损失对于模型参数的梯度下降，进而加速初始图像分类模型的学习过程，梯度下降算法具体可以包括随机梯度下降(stochastic gradient descent，sgd)算法等。
[0105]
进一步地，在本技术的另一个实施例中，在通过上述s104对第一生成图像进行多种变换处理得到多个第一变换图像以及初始图像分类模型包括多个第二子模型的情况下，初始图像分类模型的模型参数还可以包括预设分布比例和多种预设变换处理方式各自对应的识别权重。相应地，在上述s110之后，本技术实施例提供的训练方法还可以包括：基于原始样本图像对应的目标分类结果及类别标签，调整预设分布比例和上述多种预设变换处理方式各自对应的识别权重。
[0106]
需要说明的是，对预设分布比例和上述多种预设变换处理方式各自对应的识别权重的调整方式，与上述s110中对第一子模型和第二子模型各自的模型参数的调整方式类似，在此不再详细展开。当然，预设分布比例、上述多种预设变换处理方式各自对应的识别权重、第一子模型和第二子模型各自的模型参数可以同时作为初始图像分类模型的超参，基于初始图像分类模型的总识别损失和梯度下降算法，对这些超参进行调整。
[0107]
可以理解的是，由于针对同一图像而言，不同的变换处理对于提高识别效果所做出的贡献大小不同，比如对于雨天图像或阴天图像，低通滤波和小波变换对于提高识别效果所做出的贡献更大，基于原始样本图像对应的目标分类结果及类别标签，调整多种预设变换处理方式各自对应的识别权重，可以使初始图像分类模型能够侧重学习对更有利于提
高识别效果的预设变换处理方式所得的第一变换图像的图像特征，从而有利于提高最终所得的图像分类模型的识别效果和鲁棒性；此外，实际应用中获取的图像也可能与训练图像分类模型所使用的原始样本图像分布一致，比如实际应用中获取的图像与原始样本图像均为晴天，基于原始样本图像对应的目标分类结果及类别标签，调整预设分布比例，可以合理调整初始图像分类模型针对分布不同的图像合理分配学习精力，充分利用分布不同的图像之间的关联性，从而有利于提高最终所得的图像分类模型的识别效果和鲁棒性。
[0108]
本技术实施例在此示出了上述s110的一种具体实现方式。当然，应理解，上述s110也可以通过其他方式实现，本技术实施例对此不作限定。
[0109]
本技术实施例提供的图像分类模型的训练方法，利用风格迁移技术，将预设风格图像的图像风格迁移到原始样本图像上，使得得到的第一生成图像能够在保留原始样本图像的图像内容的基础上，具有与预设风格图像相同的图像风格，进而能够模拟实际应用中采集的待处理图像的分布特点；利用变换处理能够提升相较于原始样本图像出现分布偏移的图像的识别鲁棒性这一规律，对第一生成图像进行变换处理以得到第一变换图像；进一步，采用包括第一子模型和第二子模型的图像分类模型，由第一子模型学习原始样本图像的图像特征，由第二子模型学习存在分布偏移的第一变换图像的图像特征，而后融合两种子模型各自经过学习得到的分类结果以及原始样本图像对应的类别标签，调整第一子模型和第二子模型各自的模型参数，得到图像分类模型，这样，可以使初始图像分类模型以端到端的方式同步学习分布不同的图像的图像特征，充分利用分布不同的图像之间的关联性，从而提高最终所得的图像分类模型的识别性能和鲁棒性，使最终所得的图像分类模型对原始样本图像和出现分布偏移的预测图像均具有较好的识别效果。
[0110]
上述实施例介绍了图像分类模型的训练方法，通过上述训练方法可训练针对不同应用场景的图像分类模型。针对不同的应用场景，训练图像分类模型所采用的原始样本图像及其对应的类别标签以及预设风格图像，可根据应用场景进行选择。本技术实施例提供的上述训练方法所适用的应用场景可以理解例如包括但不限于：人脸识别、表情分类、自然界动物分类、手写数字识别等场景。
[0111]
下面结合人脸识别这一应用场景为例，对本技术实施例提供的图像分类模型的训练方法进行详细说明。
[0112]
在该场景下，原始样本图像为在天气良好时(比如晴天)采集的样本人脸图像，原始样本图像对应的类别标签用于表示样本人脸图像呈现的人脸对应的用户身份标识。如果仅利用样本人脸图像及其对应类别标签进行模型训练，那么训练出的图像分类模型仅对天气条件良好时采集的待处理人脸图像具有较好的识别效果，但对于雨天或雾天等天气较差时采集的待处理人脸图像而言，由于这类待处理人脸图像与样本人脸图像具有不同的图像风格，相较于样本人脸图像会出现分布偏移，进而导致图像分类模型对这类待处理人脸图像的识别准确率大幅下降。
[0113]
有鉴于此，利用风格迁移技术，将天气条件较差时采集的人脸图像作为预设风格图像，将预设风格图像的图像风格迁移到样本人脸图像上，使得得到的第一生成图像能够在保留样本人脸图像呈现的人脸的基础上，具有与预设风格图像相同的图像风格，进而能够模拟在天气条件较差时针对同一人脸采集的人脸图像；接着，对第一生成图像进行变换处理，得到的第一变换图像相较于第一生成图像，能够被图像分类模型更好地识别；进一
步，将包含样本人脸图像和第一生成图像的图像样本输入初始图像分类模型，由第一子模型学习样本人脸图像的人脸特征并得到对应的分类结果，由第二子模型学习存在分布偏移的第一生成图像的图像特征并得到对应的分类结果，而后融合两种子模型各自经过学习得到的分类结果以及样本人脸图像对应的类别标签，调整初始图像分类模型的模型参数，这样，可以使初始图像分类模型以端到端的方式同步学习分布不同的图像的特征，充分利用分布不同的图像之间的关联性，从而提高最终所得的图像分类模型的识别性能和鲁棒性，使最终所得的图像分类模型对天气良好时采集的人脸图像和天气较差时采集的人脸图像均具有较好的识别效果。
[0114]
基于本技术实施例所揭示的图像分类模型的训练方法得到的图像分类模型，可应用于任意需要对图像进行分类识别的场景。下面对基于图像分类模型的应用过程进行详细说明。
[0115]
本技术实施例还提供一种图像分类方法，能够基于图1或图2所示方法训练出的图像分类模型，对待处理图像进行分类识别。请参考图3，为本技术的一个实施例提供的一种图像分类方法的流程示意图，该方法包括如下步骤：
[0116]
s302，基于样本图像分类模型所使用的原始样本图像的图像风格，对待处理图像进行风格迁移处理，得到第二生成图像。
[0117]
由于待处理图像与原始样本图像可能具有不同的图像风格，进而待处理图像相较于原始样本图像可能出现分布偏移。例如，待处理图像为天气较差时(比如雨天、阴天或大雾天时)采集的图像，而原始样本图像为天气较好时(比如天晴时)采集的图像；又如，待处理图像为模糊的图像，而原始样本图像为清晰的图像；再如，待处理图像为具有对抗噪声的图像，而原始样本图像为未增加对抗噪声的图像，则预设风格图像可以为等等。
[0118]
基于原始样本图像的图像风格对待处理图像进行风格迁移处理，可以在保留待处理图像的图像内容的基础上，将原始样本图像的图像风格迁移到待处理图像，得到第二生成图像，也即该第二生成图像与待处理图像具有相同的图像风格，且该第二生成图像与待处理图像具有相同的图像内容，进而该第二生成图像可以模拟原始样本图像的分布特点。
[0119]
需要说明的是，上述s302的具体实现方式与上述图1所示实施例中s102的具体实现方式相似，具体实现过程请参见前文对s102的描述，在此不再赘述。
[0120]
s304，对待处理图像进行变换处理，得到第二变换图像。
[0121]
考虑到待处理图像相较于原始样本图像发生分布偏移后，无法被图像分类模型准确识别，为提高图像分布模型对待处理图像的识别效果，可通过对待处理图像进行变换处理，得到第二变换图像，再由图像分类模型对第二变换图像进行分类识别。
[0122]
考虑到针对同一图像而言，不同的变换处理对于提高识别效果所做出的贡献大小不同，比如对于雨天图像或阴天图像，低通滤波和小波变换对于提高识别效果所做出的贡献更大，为了有效融合不同变换处理所做出的贡献，以进一步提高图像分类模型对于可能存在分布偏移的待处理图像的识别效果，在一种可选的实现方式中，上述s304具体可实现为：根据多种预设变换处理方式，对待处理图像进行变换处理，得到多种预设变换处理方式对应的多个第二变换处理。其中，多种预设变换处理方式可以包括如下处理中的至少两种：边缘特征提取、灰度图像转换、低通滤波处理、锐化处理以及小波变换处理等。
[0123]
需要说明的是，上述s304的具体实现方式与上述图1所示实施例中的s104的具体
实现方式相似，具体实现过程请参见前文对s104的描述，在此不再赘述。
[0124]
s306，将预测图像集输入图像分类模型，得到预测图像集中的各图像对应的分类结果。
[0125]
其中，预测图像集包括第二变换图像和第二生成图像。由此，预测图像集包含了图像内容相同、但分布特点不同的多个图像，综合图像分类模型对预测图像集中各图像的分类结果识别待处理图像所属的类别，可以提高对待处理图像的识别效果，也即提高对待处理图像的识别准确率。
[0126]
本技术实施例中，图像分类模型是指预先训练好的、具有图像分类功能的数学模型，其可以采用任意适当的结构，具体可根据实际需要进行选择。为了使图像分类模型能够同步学习分布不同的图像的特征，以充分利用分布不同的图像之间的关联性，从而提高图像分类模型对待处理图像的识别效果，本技术实施例中，如图3所示，图像分类模型可以包括第一子模型和第二子模型，由第一子模型学习未发生分布偏移的第二生成图像的图像特征，由第二子模型学习相较于原始样本图像可能存在分布偏移的第二变换图像的图像特征。
[0127]
具体而言，第一子模型用于对第二生成图像进行分类识别，得到第二生成图像对应的分类结果。第二子模型用于对第二变换图像进行分类识别，得到第二变换图像对应的分类结果。
[0128]
更为具体地，考虑到针对同一图像而言，不同的变换处理对于提高识别效果所做出的贡献大小不同，比如对于雨天图像或阴天图像，低通滤波和小波变换对于提高识别效果所做出的贡献更大，为了有效融合不同变换处理所做出的贡献，以进一步提高图像分类模型对于可能存在分布偏移的待处理图像的识别效果，在一种可选的实现方式中，第二子模型的数量可以为多个，且多个第二子模型与多种预设变换处理方式一一对应，也即第二子模型用于对经过所对应的预设变换处理方式得到的第二变换图像进行分类识别以得到对应的分类结果。
[0129]
示例地，如图3所示，上述s304中，对第二生成图像进行的多种预设变换处理方式包括t1～tk共k种预设变换处理方式，图像分类模型包括第一子模型m0和k个第二子模型(即m1～mk)，其中，第一子模型m0用于对第二生成图像x2进行分类识别，以得到第二生成图像x2对应的分类结果m0(x2)；第二子模型mi用于对将待处理图像x2'经过所对应的预设变换处理方式ti得到的第二变换图像ti(x2')进行分类识别，以得到对应的分类结果mi(ti(x2'))，i＝1,2,...,k。
[0130]
s308，对预测图像集中的各图像对应的分类结果进行融合处理，得到待处理图像对应的目标分类结果。
[0131]
由于第一子模型识别的是未发生分布偏移的第二生成图像，而第二子模型识别的是可能存在分布偏移的第二变换图像的图像特征，为了充分利用分布不同的图像之间的关联性，以提高图像分类模型针对待处理图像的识别效果，可通过对预测图像集中的各图像对应的分类结果进行融合处理，得到待处理图像对应的目标分类结果。
[0132]
在一种可选的实现方式中，为更充分地利用可能发生分布偏移的待处理图像和未发生分布偏移的第二变换图像之间的关联性，上述s308具体可实现为：对预测图像集中的各图像对应的分类结果进行加权求和，得到待处理图像对应的目标分类结果。
[0133]
具体而言，在通过上述s304对待处理图像进行多种变换处理得到多个第二变换图像以及图像分类模型包括多个第二子模型的情况下，对预测图像集中的各图像对应的分类结果进行加权求和，可以包括：基于多种预设变换处理方式各自对应的识别权重，对多个第二变换图像各自对应的分类结果进行加权求和，得到第二候选分类结果；进一步，基于预设分布比例，对第二候选分类结果和第二生成图像对应的分类结果进行加权求和，得到待处理图像对应的目标分类结果。
[0134]
需要说明的是，上述s308的具体实现方式与上述图1所示实施例中的s108的具体实现方式相似，具体实现过程请参见前文对s108的描述，在此不再赘述。
[0135]
可以理解的是，考虑到针对同一图像而言，不同的变换处理对于提高识别效果所做出的贡献大小不同，比如对于雨天图像或阴天图像，低通滤波和小波变换对于提高识别效果所做出的贡献更大，通过基于多种预设变换处理方式各自对应的识别权重，对多个第二变换图像各自对应的分类结果进行加权求和，可以有效融合不同变换处理所做出的贡献，使得所得的第二候选分类结果能够更准确地反映图像分类模型对可能存在分布偏移的待处理图像的分类结果；进一步，基于预设分布比例，对第二候选分类结果和第二生成图像对应的分类结果进行加权求和，可以有效融合图像分类模型分别针对发生分布偏移的待处理图像和未发生分布偏移的第二生成图像得到的分类结果，也即有效融合了待处理图像的图像内容在不同图像风格下的分类结果，使得所得的待处理图像对应的目标分类结果能够更准确地反映图像分类模型对待处理图像的图像内容的识别效果。
[0136]
s310，基于待处理图像对应的目标分类结果，确定待处理图像所属的类别。
[0137]
具体而言，可基于待处理图像对应的目标分类结果指示的类别，确定待处理图像所属的类别。
[0138]
实际应用中，待处理图像对应的目标分类结果可以为任意适当的形式，例如独热编码(one-hot)形式或者类别概率形式等，本技术实施例对此不作限定。在待处理图像对应的目标分类结果为独热编码形式时，可以将待处理图像对应的目标分类结果指示的类别，确定为待处理图像所属的类别；在待处理图像对应的目标分类结果为分布概率形式时，可以将待处理图像对应的目标分类结果指示的最大类别概率对应的类别，确定为待处理图像所属的类别。
[0139]
本技术实施例提供的图像分类方法，由于待处理图像相较于训练图像分类模型所使用的原始样本图像可能发生分布偏移，利用风格迁移技术，将原始样本图像的图像风格迁移到待处理图像上，使得得到的第二生成图像能够在保留待处理图像的图像内容的基础上，具有与原始样本图像相同的图像风格，进而能够模拟原始样本图像的分布特点；利用变换处理能够提升相较于原始样本图像出现分布偏移的图像的识别鲁棒性这一规律，对第二生成图像进行变换处理以得到第二变换图像；进一步，采用包括第一子模型和第二子模型的图像分类模型，由第一子模型提取未发生分布偏移的第二生成图像的图像特征进行分类识别，由第二子模型提取发生分布偏移的第二变换图像的图像特征以进行分类识别，可以使图像分类模型同步学习两种分布图像的图像特征，而后，融合两种子模型各自得到的分类结果，确定待处理图像所属的类别，可以充分利用两种分布图像之间的关联性，从而提高对待处理图像的识别准确性。
[0140]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围
内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0141]
此外，与上述图1所示的图像分类模型的训练方法相对应地，本技术实施例还提供一种图像分类模型的训练装置。请参考图5，为本技术的一个实施例提供的一种图像分类模型的训练装置500的结构示意图，该装置包括：
[0142]
第一风格迁移模块510，用于基于预设风格对原始样本图像进行风格迁移处理，得到具有所述预设风格的第一生成图像；
[0143]
第一变换模块520，用于对所述第一生成图像进行变换处理，得到第一变换图像；
[0144]
第一分类模块530，用于将图像样本输入初始图像分类模型，得到所述图像样本中的各图像对应的分类结果，其中，所述图像样本包括所述原始样本图像和所述第一变换图像，所述初始图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述原始样本图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第一变换图像进行分类识别以得到对应的分类结果；
[0145]
第一融合模块540，用于对所述图像样本中的各图像对应的分类结果进行融合处理，得到所述原始样本图像对应的目标分类结果；
[0146]
调整模块550，用于基于所述原始样本图像对应的目标分类结果及类别标签，调整所述第一子模型和所述第二子模型各自的模型参数。
[0147]
本技术实施例提供的图像分类模型的训练装置，利用风格迁移技术，将预设风格图像的图像风格迁移到原始样本图像上，使得得到的第一生成图像能够在保留原始样本图像的图像内容的基础上，具有与预设风格图像相同的图像风格，进而能够模拟实际应用中采集的待处理图像的分布特点；利用变换处理能够提升相较于原始样本图像出现分布偏移的图像的识别鲁棒性这一规律，对第一生成图像进行变换处理以得到第一变换图像；进一步，采用包括第一子模型和第二子模型的图像分类模型，由第一子模型学习原始样本图像的图像特征，由第二子模型学习存在分布偏移的第一变换图像的图像特征，而后融合两种子模型各自经过学习得到的分类结果以及原始样本图像对应的类别标签，调整第一子模型和第二子模型各自的模型参数，得到图像分类模型，这样，可以使初始图像分类模型以端到端的方式同步学习分布不同的图像的图像特征，充分利用分布不同的图像之间的关联性，从而提高最终所得的图像分类模型的识别性能和鲁棒性，使最终所得的图像分类模型对原始样本图像和出现分布偏移的预测图像均具有较好的识别效果。
[0148]
可选地，所述第一融合模块包括：
[0149]
第一融合子模块，用于对所述图像样本中的各图像对应的分类结果进行加权求和，得到所述原始样本图像对应的目标分类结果。
[0150]
可选地，所述第二子模型的数量为多个，多个第二子模型与多种预设变换处理方式一一对应，所述第二子模型用于对经过所对应的预设变换处理方式得到的变换图像进行分类识别以得到对应的分类结果；
[0151]
所述第一变换模块包括：
[0152]
第一变换子模块，用于根据所述多种预设变换处理方式，对所述第一生成图像进
行变换处理，得到所述多种预设变换处理方式对应的多个第一变换图像；
[0153]
所述第一融合子模块对所述图像样本中的各图像对应的分类结果进行加权求和，得到所述原始样本图像对应的目标分类结果，包括：
[0154]
基于所述多种预设变换处理方式各自对应的识别权重，对所述多个第一变换图像各自对应的分类结果进行加权求和，得到第一候选分类结果；
[0155]
基于预设分布比例，对所述第一候选分类结果和所述原始样本图像对应的分类结果进行加权求和，得到所述原始样本图像对应的目标分类结果。
[0156]
可选地，所述装置还包括：
[0157]
关联程度确定模块，用于在所述基于所述多种预设变换处理方式各自对应的识别权重，对所述多个第一变换图像各自对应的分类结果进行加权求和，得到第一候选分类结果之前，基于所述预设风格，确定所述多种预设变换处理方式分别对所述第一候选分类结果的关联程度；
[0158]
权重确定模块，用于基于各种预设变换处理方式对所述第一候选分类结果的关联程度，确定各种预设变换处理方式对应的识别权重。
[0159]
可选地，所述调整模块还用于，基于所述原始样本图像对应的目标分类结果及类别标签，调整所述预设分布比例和所述多种预设变换处理方式各自对应的识别权重。
[0160]
可选地，所述多种预设变换处理方式包括如下处理方式中的至少两种：边缘特征提取、灰度图像转换、低通滤波处理、锐化处理以及小波变换处理。
[0161]
可选地，所述调整模块包括：
[0162]
损失确定子模块，用于基于预设损失函数、所述原始样本图像对应的目标分类结果及类别标签，确定所述初始图像分类模型的总识别损失；
[0163]
调整子模块，用于基于梯度下降算法和所述总识别损失，调整所述第一子模型和所述第二子模型各自的模型参数。
[0164]
可选地，所述第一风格迁移模块包括：
[0165]
第一风格迁移子模块，用于将所述原始样本图像和具有所述预设风格的目标风格图像输入预设风格迁移模型，得到所述第一生成图像，其中，所述预设风格迁移模型是以样本风格图像和样本内容图像作为输入、以样本生成图像作为输出进行训练得到的，所述样本生成图像与所述样本内容图像具有相同的图像内容，且所述样本生成图像与所述样本风格图像具有相同的图像风格。
[0166]
显然，本技术实施例提供的图像分类模型的训练装置可以作为上述图1所示的图像分类模型的训练方法的执行主体，因此能够实现图像分类模型的训练方法在图1所实现的功能。由于原理相同，在此不再重复说明。
[0167]
此外，与上述图3所示的图像分类方法相对应地，本技术实施例还提供一种图像分类装置。请参考图6，为本技术的一个实施例提供的一种图像分类装置600的结构示意图，该装置包括：
[0168]
第二风格迁移模块610，用于基于训练图像分类模型所使用的原始样本图像的图像风格，对待处理图像进行风格迁移处理，得到第二生成图像，所述第二生成图像与所述原始样本图像具有相同的图像风格；
[0169]
第二变换模块620，用于对所述待处理图像进行变换处理，得到第二变换图像；
[0170]
第二分类模块630，用于将预测图像集输入所述图像分类模型，得到所述预测图像集中的各图像对应的分类结果，其中，所述预测图像集包括所述第二变换图像和所述第二生成图像，所述图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述第二生成图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第二变换图像进行分类识别以得到对应的分类结果，所述图像分类模型是基于本技术实施例所述的训练方法训练得到的；
[0171]
第二融合模块640，用于对所述预测图像集中的各图像对应的分类结果进行融合处理，得到所述待处理图像对应的目标分类结果；
[0172]
类别确定模块650，用于基于所述待处理图像对应的目标分类结果，确定所述待处理图像所属的类别。
[0173]
本技术实施例提供的图像分类装置，由于待处理图像相较于训练图像分类模型所使用的原始样本图像可能发生分布偏移，利用风格迁移技术，将原始样本图像的图像风格迁移到待处理图像上，使得得到的第二生成图像能够在保留待处理图像的图像内容的基础上，具有与原始样本图像相同的图像风格，进而能够模拟原始样本图像的分布特点；利用变换处理能够提升相较于原始样本图像出现分布偏移的图像的识别鲁棒性这一规律，对第二生成图像进行变换处理以得到第二变换图像；进一步，采用包括第一子模型和第二子模型的图像分类模型，由第一子模型提取未发生分布偏移的第二生成图像的图像特征进行分类识别，由第二子模型提取发生分布偏移的第二变换图像的图像特征以进行分类识别，可以使图像分类模型同步学习两种分布图像的图像特征，而后，融合两种子模型各自得到的分类结果，确定待处理图像所属的类别，可以充分利用两种分布图像之间的关联性，从而提高对待处理图像的识别准确性。
[0174]
显然，本技术实施例提供的图像分类装置可以作为上述图3所示的图像分类方法的执行主体，因此能够实现图像分类方法在图3所实现的功能。由于原理相同，在此不再重复说明。
[0175]
图7是本技术的一个实施例电子设备的结构示意图。请参考图7，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
[0176]
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
[0177]
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
[0178]
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像分类模型的训练装置。处理器，执行存储器所存放的程序，并具体用于执行以
下操作：
[0179]
基于预设风格对原始样本图像进行风格迁移处理，得到具有所述预设风格的第一生成图像；
[0180]
对所述第一生成图像进行变换处理，得到第一变换图像；
[0181]
将图像样本输入初始图像分类模型，得到所述图像样本中的各图像对应的分类结果，其中，所述图像样本包括所述原始样本图像和所述第一变换图像，所述初始图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述原始样本图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第一变换图像进行分类识别以得到对应的分类结果；
[0182]
对所述图像样本中的各图像对应的分类结果进行融合处理，得到所述原始样本图像对应的目标分类结果；
[0183]
基于所述原始样本图像对应的目标分类结果及类别标签，调整所述第一子模型和所述第二子模型各自的模型参数。
[0184]
处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成图像分类装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
[0185]
基于训练图像分类模型所使用的原始样本图像的图像风格，对待处理图像进行风格迁移处理，得到第二生成图像，所述第二生成图像与所述原始样本图像具有相同的图像风格；
[0186]
对所述待处理图像进行变换处理，得到第二变换图像；
[0187]
将预测图像集输入所述图像分类模型，得到所述预测图像集中的各图像对应的分类结果，其中，所述预测图像集包括所述第二变换图像和所述第二生成图像，所述图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述第二生成图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第二变换图像进行分类识别以得到对应的分类结果；
[0188]
对所述预测图像集中的各图像对应的分类结果进行融合处理，得到所述待处理图像对应的目标分类结果；
[0189]
基于所述待处理图像对应的目标分类结果，确定所述待处理图像所属的类别。
[0190]
上述如本技术图1所示实施例揭示的图像分类模型的训练装置执行的方法或者上述如本技术图3所示实施例揭示的图像分类装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储
器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
[0191]
该电子设备还可执行图1的方法，并实现图像分类模型的训练装置在图1、图2所示实施例的功能，或者，该电子设备还可执行图3的方法，并实现图像分类装置在图3、图4所示实施例的功能，本技术实施例在此不再赘述。
[0192]
当然，除了软件实现方式之外，本技术的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
[0193]
本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下操作：
[0194]
基于预设风格对原始样本图像进行风格迁移处理，得到具有所述预设风格的第一生成图像；
[0195]
对所述第一生成图像进行变换处理，得到第一变换图像；
[0196]
将图像样本输入初始图像分类模型，得到所述图像样本中的各图像对应的分类结果，其中，所述图像样本包括所述原始样本图像和所述第一变换图像，所述初始图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述原始样本图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第一变换图像进行分类识别以得到对应的分类结果；
[0197]
对所述图像样本中的各图像对应的分类结果进行融合处理，得到所述原始样本图像对应的目标分类结果；
[0198]
基于所述原始样本图像对应的目标分类结果及类别标签，调整所述第一子模型和所述第二子模型各自的模型参数。
[0199]
或者，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图3所示实施例的方法，并具体用于执行以下操作：
[0200]
基于训练图像分类模型所使用的原始样本图像的图像风格，对待处理图像进行风格迁移处理，得到第二生成图像，所述第二生成图像与所述原始样本图像具有相同的图像风格；
[0201]
对所述待处理图像进行变换处理，得到第二变换图像；
[0202]
将预测图像集输入所述图像分类模型，得到所述预测图像集中的各图像对应的分类结果，其中，所述预测图像集包括所述第二变换图像和所述第二生成图像，所述图像分类模型包括第一子模型和第二子模型，所述第一子模型用于对所述第二生成图像进行分类识别以得到对应的分类结果，所述第二子模型用于对所述第二变换图像进行分类识别以得到对应的分类结果；
[0203]
对所述预测图像集中的各图像对应的分类结果进行融合处理，得到所述待处理图像对应的目标分类结果；
[0204]
基于所述待处理图像对应的目标分类结果，确定所述待处理图像所属的类别。
[0205]
总之，以上所述仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。
凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。
[0206]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0207]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0208]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0209]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。