图像处理模型的训练方法和装置及预测方法和装置与流程

1.本公开涉及计算机技术领域，更具体地说，涉及一种图像处理模型的训练方法和装置及预测方法和装置。


背景技术：

2.随着计算机技术的高速发展，在进行业务采集数据处理的时候，常常涉及到不同的数据域。不同的数据域之间是存在差异的，数据域的差异体现在其中的采集到的数据的差异。例如两个相机分别采集到的两批图像上的数据，就属于两个不同的数据域，这两批数据之间就存在差异。如果将在第一数据域上训练的神经网络模型应用到第二数据域上，就会带来神经网络模型的性能下降。


技术实现要素：

3.本公开提供一种图像处理模型的训练方法和装置及预测方法和装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。
4.根据本公开实施例的第一方面，提供一种图像处理模型的训练方法，包括：使用训练数据集对所述图像处理模型执行多次训练周期的训练，其中，针对每次训练周期，执行以下操作：获取当前训练周期的训练数据集，其中，所述当前训练周期的训练数据集包括源数据域图像数据和目标数据域图像数据中的至少一个，其中，源数据域图像数据和目标数据域图像数据的图像数据特征信息不完全相同；将所述当前训练周期的训练数据集输入所述图像处理模型，得到当前训练周期的预测结果；基于所述当前训练周期的预测结果，确定当前训练周期的第一损失函数和当前训练周期的第二损失函数，并基于当前训练周期的第一动态权重和当前训练周期的第二动态权重分别对所述当前训练周期的第一损失函数和所述当前训练周期的第二损失函数加权，并基于加权后的当前训练周期的第一损失函数和当前训练周期的第二损失函数确定所述当前训练周期的图像处理模型的损失函数，其中，所述第一损失函数为基于所述源数据域图像数据得到的损失函数，所述第二损失函数为基于所述目标数据域图像数据得到的损失函数；通过根据所述当前训练周期的图像处理模型的损失函数调整所述当前训练周期的图像处理模型的参数。
5.可选地，在所述多次训练周期中，第一动态权重按训练周期的增序从1递减至0，第二动态权重按训练周期的增序从0递增至1，且在每次训练周期中第一动态权重和第二动态权重的总和为1。
6.可选地，第一动态权重根据阶梯函数按训练周期的增序从1递减至0，第二动态权重根据阶梯函数按训练周期的增序从0递增至1。
7.可选地，所述多次训练周期按时序划分为多个区间，每个区间包括至少一次训练周期，为每个区间分配一个第一动态权重和一个第二动态权重，作为执行该区间中的至少一次训练周期的训练所使用的第一动态权重和第二动态权重。
8.可选地，所述训练数据集包括源数据域图像数据的标签信息和目标数据域图像数
据的伪标签信息，所述标签信息的准确程度高于伪标签信息的准确程度；当前训练周期的第一损失函数是根据源数据域图像数据的标签信息和当前训练周期的预测结果获得的；当前训练周期的第二损失函数是根据目标数据域图像数据的伪标签信息和当前训练周期的预测结果获得的。
9.可选地，所述目标数据域图像数据的伪标签信息是通过对所述目标数据域图像数据进行聚类获得的。
10.可选地，在所述训练方法执行前，所述图像处理模型是预训练的应用于分类的神经网络模型。
11.可选地，所述当前训练周期的图像处理模型的损失函数，被表示为：
[0012][0013]
其中，为当前训练周期的图像处理模型的损失函数，θ为当前训练周期的图像处理模型的损失函数的参数，λ
s
(e)为当前训练周期的第一动态权重，s代表源数据域，e代表当前训练周期，为当前训练周期的第一损失函数，λ
t
(e)为当前训练周期的第二动态权重，t代表目标数据域，为当前训练周期的第二损失函数。
[0014]
可选地，所述当前训练周期的第一损失函数和所述当前训练周期的第二损失函数均为交叉熵损失函数。
[0015]
根据本公开实施例的第二方面，提供一种预测方法，包括：获取待处理图像数据；将所述待处理图像数据输入经由本公开的训练方法训练好的图像处理模型中，得到预测结果。
[0016]
根据本公开实施例的第三方面，提供一种图像处理模型的训练装置，包括：数据获取单元、模型估计单元、函数计算单元和参数调节单元，其中，数据获取单元、模型估计单元、函数计算单元和参数调节单元使用训练数据集对所述图像处理模型执行多次训练周期的训练，其中，针对每次训练周期：数据获取单元被配置为：获取当前训练周期的训练数据集，其中，所述当前训练周期的训练数据集包括源数据域图像数据和目标数据域图像数据中的至少一个，其中，源数据域图像数据和目标数据域图像数据的图像数据特征信息不完全相同；模型估计单元被配置为：将所述当前训练周期的训练数据集输入所述图像处理模型，得到当前训练周期的预测结果；函数计算单元被配置为：基于所述当前训练周期的预测结果，确定当前训练周期的第一损失函数和当前训练周期的第二损失函数，并基于当前训练周期的第一动态权重和当前训练周期的第二动态权重分别对所述当前训练周期的第一损失函数和所述当前训练周期的第二损失函数加权，并基于加权后的当前训练周期的第一损失函数和当前训练周期的第二损失函数确定所述当前训练周期的图像处理模型的损失函数，其中，所述第一损失函数为基于所述源数据域图像数据得到的损失函数，所述第二损失函数为基于所述目标数据域图像数据得到的损失函数；参数调节单元被配置为：通过根据所述当前训练周期的图像处理模型的损失函数调整所述当前训练周期的图像处理模型的参数。
[0017]
可选地，在所述多次训练周期中，第一动态权重按训练周期的增序从1递减至0，第二动态权重按训练周期的增序从0递增至1，且在每次训练周期中第一动态权重和第二动态权重的总和为1。
[0018]
可选地，第一动态权重根据阶梯函数按训练周期的增序从1递减至0，第二动态权重根据阶梯函数按训练周期的增序从0递增至1。
[0019]
可选地，所述多次训练周期按时序划分为多个区间，每个区间包括至少一次训练周期，为每个区间分配一个第一动态权重和一个第二动态权重，作为执行该区间中的至少一次训练周期的训练所使用的第一动态权重和第二动态权重。
[0020]
可选地，所述训练数据集包括源数据域图像数据的标签信息和目标数据域图像数据的伪标签信息，所述标签信息的准确程度高于伪标签信息的准确程度；当前训练周期的第一损失函数是根据源数据域图像数据的标签信息和当前训练周期的预测结果获得的；当前训练周期的第二损失函数是根据目标数据域图像数据的伪标签信息和当前训练周期的预测结果获得的。
[0021]
可选地，所述目标数据域图像数据的伪标签信息是通过对所述目标数据域图像数据进行聚类获得的。
[0022]
可选地，所述图像处理模型是应用于分类的神经网络模型。
[0023]
可选地，所述当前训练周期的图像处理模型的损失函数，被表示为：
[0024][0025]
其中，为当前训练周期的图像处理模型的损失函数，θ为当前训练周期的图像处理模型的损失函数的参数，λ
s
(e)为当前训练周期的第一动态权重，s代表源数据域，e代表当前训练周期，为当前训练周期的第一损失函数，λ
t
(e)为当前训练周期的第二动态权重，t代表目标数据域，为当前训练周期的第二损失函数。
[0026]
可选地，所述当前训练周期的第一损失函数和所述当前训练周期的第二损失函数均为交叉熵损失函数。
[0027]
根据本公开实施例的第四方面，提供一种预测装置，包括：数据获取单元，被配置为：获取待处理图像数据；模型预测单元，被配置为：将所述待处理图像数据输入经由本公开的训练方法训练好的图像处理模型中，得到预测结果。
[0028]
根据本公开实施例的第五方面，提供一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理模型的训练方法或预测方法。
[0029]
根据本公开实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行根据本公开的图像处理模型的训练方法或预测方法。
[0030]
根据本公开实施例的第七方面，提供一种计算机程序产品，包括计算机指令，所述计算机指令被至少一个处理器执行时实现根据本公开的图像处理模型的训练方法或预测方法。
[0031]
本公开的实施例提供的技术方案至少带来以下有益效果：
[0032]
根据本公开的图像处理模型的训练方法和装置及预测方法和装置，通过在多次训练周期epoch中设置按epoch增序逐渐减小的第一动态权重和按epoch增序逐渐增大的第二动态权重分别对源数据域相关的损失函数和目标数据域相关的损失函数进行加权调整，使
得源数据域的知识能渐进式地迁移至目标数据域，充分地利用了带有标签的源数据域的图像数据，动态调整的过程也缓解了目标数据域的伪标签噪声，对于处理目标数据域的图像数据具有更好的性能。并且，目标数据域可不携带标签，降低了标注的成本。
[0033]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0034]
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
[0035]
图1是示出根据相关技术中的阶段式跨域学习神经网络模型的框架图。
[0036]
图2是示出根据本公开的示例性实施例的图像处理模型的训练方法的流程图。
[0037]
图3是示出根据本公开的示例性实施例的第一动态权重随epoch的增序而变化的示意图。
[0038]
图4是示出根据本公开的示例性实施例的第二动态权重随epoch的增序而变化的示意图。
[0039]
图5是示出根据本公开的示例性实施例的预测方法的流程图。
[0040]
图6是示出根据本公开的示例性实施例的应用于分类的预测方法的性能的对比示意图。
[0041]
图7是示出根据本公开的示例性实施例的应用于聚类的预测方法的性能的对比示意图。
[0042]
图8是示出根据本公开的示例性实施例的图像处理模型的训练装置的框图。
[0043]
图9是示出根据本公开的示例性实施例的预测装置的框图。
[0044]
图10是根据本公开的示例性实施例的电子设备1000的框图。
具体实施方式
[0045]
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
[0046]
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0047]
在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
[0048]
大数据处理的时代，常常要面临不同数据域的数据处理，而对于处理一数据域学
习另一数据域的知识，例如目标数据域学习源数据域的知识，已提出了一些解决办法。在本公开实施例中，第一数据域学习第二数据域的知识，即为第一数据域学习第二数据域对数据进行的能力。
[0049]
图1是示出根据相关技术中的阶段式跨域学习神经网络模型的框架图。在相关技术中，提出了一种阶段式的跨域学习神经网络模型的训练方法，来实现目标数据域学习源数据域的知识。该方法采用源数据域和目标数据域分开训练的方式。首先，基于带有标签的源数据域的数据构建第一跨域学习神经网络模型对源数据域的数据进行训练，获取基于训练好的第一跨域学习神经网络模型获得的源数据域的知识。然后，对目标数据域的图像数据提取特征并进行聚类，获取目标数据域的图像数据的伪标签，基于带有伪标签的目标数据域的图像数据构建第二跨域学习神经网络模型对目标数据域的数据进行训练。最后将源数据域的知识作为第二跨域学习神经网络模型的初始化获得训练好的第二跨域学习神经网络模型。
[0050]
请参照图1，先用聚类算法(k
‑
means算法，dbscan算法等)对无标签的目标数据域的图像数据特征进行聚类，从而生成伪标签，再用该伪标签监督网络在目标数据域上的学习。以上两步循环直至收敛。
[0051]
这种阶段式的跨域学习神经网络模型的训练方法，可被建模为公式(1)：
[0052][0053]
其中，λ
s
(e)为当前训练周期epoch的源数据域图像数据权重，s代表源数据域，e代表当前epoch，e1和e2均为epoch的次数且e2＞e1，λ
t
(e)为当前epoch的目标数据域图像数据权重，t代表目标数据域。需要说明的是，在本公开的上述示例中，(0,e1]区间内的epoch做的是构建第一跨域学习神经网络模型对源数据域的图像数据进行训练，(e1,e2]区间内的epoch做的是构建第二跨域学习神经网络模型对目标数据域的图像数据进行训练。
[0054]
但是这种阶段式的跨域学习神经网络模型的训练方法会带来问题，该方法将源数据域的知识一次性地利用了，在对目标数据域的图像数据进行训练的时候会遗忘源数据域的知识，使得最终的学习结果不准确。同时，因为源数据域和目标数据域存在差异，所以在源数据域的知识一次性地利用到对于目标数据域的图像数据的训练中，会在目标数据域的图像数据聚类的时候，由于标注的结果不准确在伪标签中引入噪声。
[0055]
在另一相关技术中，为实现目标数据域学习源数据域的知识，将源数据域的图像数据和目标数据域的图像数据同时训练。该方法构建知识学习神经网络模型，在训练带有标签的源数据域的图像数据的同时添加目标数据域的图像数据，最终获得训练好的知识学习神经网络模型。该方法可以较为充分地利用带有标签的源数据域的图像数据，也可降低目标数据域的图像数据中的伪标签的噪声。
[0056]
但是由于源数据域和目标数据域之间的图像数据存在差异，知识学习神经网络模型在拟合数据时会产生分歧，使得知识学习神经网络模型在训练好后可能会由于源数据域的图像数据的强影响对知识的获取偏向于源数据域的知识，降低了目标数据域的图像数据在神经网络模型中的性能。
[0057]
为了解决上述相关技术中存在的问题，本公开提出一种图像处理模型的训练方法和装置及预测方法和装置，该训练方法设置了源数据域相关的动态权重和目标数据域相关
的动态权重，在多次训练周期epoch中设置源数据域相关的动态权重按epoch增序逐渐减小，设置目标数据域相关的动态权重按epoch增序逐渐增大，基于源数据域相关的动态权重和目标数据域相关的动态权重获取图像处理模型的损失函数，来对图像处理模型进行训练，以达到源数据域的知识渐进式地迁移至目标数据域的目的，对于处理目标数据域的图像数据具有更好的性能。
[0058]
下面，将参照图2至图10来详细描述根据本公开的图像处理模型的训练方法和装置及预测方法和装置。
[0059]
图2是示出根据本公开的示例性实施例的图像处理模型的训练方法的流程图。在训练方法执行前，本公开的示例性实施例中的图像处理模型是预训练的应用于分类的神经网络模型，该神经网络模型可以是以下神经网络模型之一：resnet神经网络模型、densenet神经网络模型等。
[0060]
在本公开的示例性实施例中，使用训练数据集对图像处理模型执行多次训练周期epoch的训练，其中，针对每次epoch，执行如图2所示的各步骤操作：
[0061]
需要说明的是，在本公开的示例性实施例中，训练周期即为epoch。
[0062]
请参照图2，在步骤201，可获取当前epoch的训练数据集，其中，当前epoch的训练数据集包括源数据域图像数据和目标数据域图像数据中的至少一个，其中，源数据域图像数据和目标数据域图像数据的图像数据特征信息不完全相同。
[0063]
本公开的示例性实施例也可以为：当前epoch的训练数据集包括源数据域图像数据和目标数据域图像数据。
[0064]
根据本公开的示例性实施例，对于源数据域图像数据和目标数据域图像数据，这里图像数据可以是单个图像数据，也可以是视频数据中的视频帧数据等。
[0065]
根据本公开的示例性实施例，当图像处理模型应用于图像分类任务时，得到的预测结果可为图像分类结果。又例如，当图像处理模型应用于图像识别任务时，得到的预测结果可为图像识别结果。又例如，当图像处理模型应用于视频图像分割任务时，得到的预测结果可为视频图像分割结果。又例如，当图像处理模型应用于行人重识别任务时，得到的预测结果可为行人重识别结果。
[0066]
训练数据集包括源数据域图像数据的标签信息和目标数据域图像数据的伪标签信息，标签信息的准确程度高于伪标签信息的准确程度；当前训练周期的第一损失函数是根据源数据域图像数据的标签信息和当前训练周期的预测结果获得的；当前训练周期的第二损失函数是根据目标数据域图像数据的伪标签信息和当前训练周期的预测结果获得的。源数据域图像数据的标签信息是对于源数据域图像数据进行人工标注或机器标注获得的。目标数据域图像数据的伪标签信息是通过对所述目标数据域图像数据进行聚类获得的。需要说明的是，本公开的示例性实施例也可以保护目标数据域图像数据包含标签的方式。
[0067]
在步骤202，可将当前epoch的训练数据集输入图像处理模型，得到当前epoch的预测结果。
[0068]
当前epoch的预测结果包括针对源数据域图像数据的预测结果和针对目标数据域图像数据的预测结果。具体为：将源数据域图像数据输入图像处理模型会输出针对源数据域图像数据的预测结果，将目标数据域图像数据输入图像处理模型会输出针对目标数据域图像数据的预测结果。
[0069]
在步骤203，可基于所述当前epoch的预测结果，确定当前epoch的第一损失函数和当前epoch的第二损失函数，并基于当前epoch的第一动态权重和当前epoch的第二动态权重分别对当前epoch的第一损失函数和当前epoch的第二损失函数加权，并基于加权后的当前epoch的第一损失函数和当前epoch的第二损失函数确定当前epoch的图像处理模型的损失函数，其中，第一损失函数为基于所述源数据域图像数据得到的损失函数，第二损失函数为基于所述目标数据域图像数据得到的损失函数。
[0070]
加权后的当前epoch的第一损失函数和当前epoch的第二损失函数是指：赋予了当前epoch的第一动态权重的第一损失函数和赋予了当前epoch的第二动态权重的第二损失函数。
[0071]
步骤203是获取当前epoch的图像处理模型的损失函数的过程，具体来说，当前epoch的图像处理模型的损失函数的获取，至少是基于以下几个因子：当前epoch的第一损失函数、当前epoch的第二损失函数、当前epoch的第一动态权重和当前epoch的第二动态权重。
[0072]
当前epoch的第一损失函数和当前epoch的第二损失函数均为交叉熵损失函数。交叉熵损失函数是应用于分类的神经网络模型的损失函数，交叉熵损失函数可通过预测结果进行获取，具体来说，即为通过针对源数据域图像数据域的预测结果获取当前epoch的第一损失函数，通过针对目标数据域图像数据域的预测结果获取当前epoch的第二损失函数。
[0073]
在本公开的示例性实施例中，为当前epoch的第一损失函数赋予当前epoch的第一动态权重，为当前epoch的第二损失函数赋予当前epoch的第二动态权重。在多次epoch中，第一动态权重和的第二动态权重是变化的，反应为：在多次epoch中，第一动态权重按epoch的增序从1递减至0，第二动态权重按epoch的增序从0递增至1，且在每次epoch中第一动态权重和第二动态权重的总和为1。
[0074]
图3是示出根据本公开的示例性实施例的第一动态权重随epoch的增序而变化的示意图；图4是示出根据本公开的示例性实施例的第二动态权重随epoch的增序而变化的示意图。在图3中，横坐标代表epoch的次序，纵坐标代表第一动态权重，在图4中，横坐标代表epoch的次序，纵坐标代表第二动态权重。在图3和图4中，e1、e2和e3均为epoch的次序且e3＞e2＞e1。
[0075]
请参照图3和图4，第一动态权重和第二动态权重均呈阶梯函数变化。第一动态权重根据阶梯函数按epoch的增序从1递减至0，第二动态权重根据阶梯函数按epoch的增序从0递增至1。具体为：多次epoch按时序划分为多个区间，每个区间包括至少一次epoch，为每个区间分配一个第一动态权重和一个第二动态权重，作为执行该区间中的至少一次epoch的训练所使用的第一动态权重和第二动态权重。
[0076]
可表示为公式(2)：
[0077][0078]
其中，λ
s
(e)为当前epoch的第一动态权重，s代表源数据域，e代表当前epoch，λ
t
(e)为当前epoch的第二动态权重，t代表目标数据域，e1、e2和e3均为epoch的次序且e3＞e2＞e1。其中，ω(e)为当前epoch的第一动态权重的阶梯函数表示，1ω(e)为当前epoch的第二动态
权重的阶梯函数表示。
[0079]
基于加权后的当前epoch的第一损失函数和当前epoch的第二损失函数确定当前epoch的图像处理模型的损失函数，可获得当前epoch的图像处理模型的损失函数。当前epoch的图像处理模型的损失函数，被表示为公式(3)：
[0080][0081]
其中，为当前epoch的图像处理模型的损失函数，θ为当前epoch的图像处理模型的损失函数的参数，λ
s
(e)为当前epoch的第一动态权重，s代表源数据域，e代表当前epoch，为当前epoch的第一损失函数，λ
t
(e)为当前epoch的第二动态权重，t代表目标数据域，为当前epoch的第二损失函数。
[0082]
在步骤204，可通过根据当前epoch的图像处理模型的损失函数调整当前epoch的图像处理模型的参数。
[0083]
图5是示出根据本公开的示例性实施例的预测方法的流程图。
[0084]
请参照图5，在步骤501，可获取待处理图像数据。
[0085]
在步骤502，可将待处理图像数据输入本公开的示例性实施例中的图像处理模型的训练方法训练好的图像处理模型中，得到预测结果。
[0086]
根据本公开的示例性实施例，待处理图像数据可包括，但不仅限于，单个图像数据、视频数据中的视频帧数据等。
[0087]
根据本公开的示例性实施例，当图像处理模型应用于图像分类任务时，得到的预测结果可为图像分类结果。又例如，当图像处理模型应用于图像识别任务时，得到的预测结果可为图像识别结果。又例如，当图像处理模型应用于视频图像分割任务时，待处理图像数据可为视频数据中的视频帧数据，得到的预测结果可为视频图像分割结果。又例如，当图像处理模型应用于行人重识别任务时，待处理图像数据可为图像数据或视频数据中的视频帧数据，得到的预测结果可为行人重识别结果。
[0088]
图6是示出根据本公开的示例性实施例的应用于分类的预测方法的性能的对比示意图；图7是示出根据本公开的示例性实施例的应用于聚类的预测方法的性能的对比示意图。
[0089]
在图6中，横坐标number of epochs代表epoch的次序，纵坐标person re
‑
id performance的数值代表进行行人重识别分类的预测能力，数值越高能力越强。b为baseline，c为交叉熵损失函数crossentropy loss，p为本公开的示例性实施例的图像处理模型，rank
‑
1和map为评价指标，market和duke均为大数据域。
[0090]
在图7中，横坐标number of epochs代表epoch的次序，纵坐标clustering performance的数值代表进行聚类的预测能力，数值越高能力越强。b为baseline，c为交叉熵损失函数crossentropy loss，p为本公开的示例性实施例的图像处理模型，nmi和f
‑
measure为评价指标，market和duke均为大数据域。
[0091]
请参照图6和图7，b+c代表阶段式跨域学习神经网络模型，b+c+p代表本公开的示例性实施例中的图像处理模型。本公开的示例性实施例中的图像处理模型在图6和图7中均在性能上优于相关技术中的阶段式跨域学习神经网络模型。另外，需要说明的是，在20～50epochs区间，本公开的示例性实施例中的图像处理模型在性能上明显优于相关技术中的
阶段式跨域学习神经网络模型，本公开的示例性实施例中的图像处理模型具有更好的性能，更加有效，基于该区间数据，可以节约本公开的示例性实施例中的图像处理模型的训练成本。
[0092]
图8是示出根据本公开的示例性实施例的图像处理模型的训练装置的框图。本公开的示例性实施例中的图像处理模型是应用于分类的神经网络模型，该神经网络模型可以是以下神经网络模型之一：resnet神经网络模型、densenet神经网络模型等。请参照图8，根据本公开的示例性实施例的图像处理模型的训练装置800可包括数据获取单元801、模型估计单元802、函数计算单元803和参数调节单元804。
[0093]
数据获取单元801、模型估计单元802、函数计算单元803和参数调节单元804可使用训练数据集对图像处理模型执行多次训练周期epoch的训练。下面详细介绍，数据获取单元801、模型估计单元802、函数计算单元803和参数调节单元804针对每次epoch的具体操作。
[0094]
数据获取单元801可获取当前epoch的训练数据集，其中，当前epoch的训练数据集包括源数据域图像数据和目标数据域图像数据中的至少一个，其中，源数据域图像数据和目标数据域图像数据的图像数据特征信息不完全相同。
[0095]
本公开的示例性实施例也可以为：当前epoch的训练数据集包括源数据域图像数据和目标数据域图像数据。
[0096]
根据本公开的示例性实施例，对于源数据域图像数据和目标数据域图像数据，这里图像数据可以是单个图像数据，也可以是视频数据中的视频帧数据等。
[0097]
根据本公开的示例性实施例，当图像处理模型应用于图像分类任务时，得到的预测结果可为图像分类结果。又例如，当图像处理模型应用于图像识别任务时，得到的预测结果可为图像识别结果。又例如，当图像处理模型应用于视频图像分割任务时，得到的预测结果可为视频图像分割结果。又例如，当图像处理模型应用于行人重识别任务时，得到的预测结果可为行人重识别结果。
[0098]
训练数据集包括源数据域图像数据的标签信息和目标数据域图像数据的伪标签信息，标签信息的准确程度高于伪标签信息的准确程度；当前训练周期的第一损失函数是根据源数据域图像数据的标签信息和当前训练周期的预测结果获得的；当前训练周期的第二损失函数是根据目标数据域图像数据的伪标签信息和当前训练周期的预测结果获得的。源数据域图像数据的标签信息是对于源数据域图像数据进行人工标注或机器标注获得的。目标数据域图像数据的伪标签信息是通过对所述目标数据域图像数据进行聚类获得的。需要说明的是，本公开的示例性实施例也可以保护目标数据域图像数据包含标签的方式。
[0099]
模型估计单元802可将当前epoch的训练数据集输入图像处理模型，得到当前epoch的预测结果。
[0100]
当前epoch的预测结果包括针对源数据域图像数据的预测结果和针对目标数据域图像数据的预测结果。具体为：将源数据域图像数据输入图像处理模型会输出针对源数据域图像数据的预测结果，将目标数据域图像数据输入图像处理模型会输出针对目标数据域图像数据的预测结果。
[0101]
函数计算单元803可基于当前epoch的预测结果，确定当前epoch的第一损失函数和当前epoch的第二损失函数，并基于当前epoch的第一动态权重和当前epoch的第二动态
权重分别对当前epoch的第一损失函数和当前epoch的第二损失函数加权，并基于加权后的当前epoch的第一损失函数和当前epoch的第二损失函数确定当前epoch的图像处理模型的损失函数，其中，第一损失函数为基于源数据域图像数据得到的损失函数，第二损失函数为基于目标数据域图像数据得到的损失函数。
[0102]
加权后的当前epoch的第一损失函数和当前epoch的第二损失函数是指：赋予了当前epoch的第一动态权重的第一损失函数和赋予了当前epoch的第二动态权重的第二损失函数。
[0103]
函数计算单元803是获取当前epoch的图像处理模型的损失函数的单元，具体来说，当前epoch的图像处理模型的损失函数的获取，至少是基于以下几个因子：当前epoch的第一损失函数、当前epoch的第二损失函数、当前epoch的第一动态权重和当前epoch的第二动态权重。
[0104]
当前epoch的第一损失函数和当前epoch的第二损失函数均为交叉熵损失函数。交叉熵损失函数是应用于分类的神经网络模型的损失函数，交叉熵损失函数可通过预测结果进行获取，具体来说，即为通过针对源数据域图像数据域的预测结果获取当前epoch的第一损失函数，通过针对目标数据域图像数据域的预测结果获取当前epoch的第二损失函数。
[0105]
在本公开的示例性实施例中，为当前epoch的第一损失函数赋予当前epoch的第一动态权重，为当前epoch的第二损失函数赋予当前epoch的第二动态权重。在多次epoch中，第一动态权重和的第二动态权重是变化的，反应为：在多次epoch中，第一动态权重按epoch的增序从1递减至0，第二动态权重按epoch的增序从0递增至1，且在每次epoch中第一动态权重和第二动态权重的总和为1。
[0106]
第一动态权重和第二动态权重均呈阶梯函数变化。第一动态权重根据阶梯函数按epoch的增序从1递减至0，第二动态权重根据阶梯函数按epoch的增序从0递增至1。具体为：多次epoch按时序划分为多个区间，每个区间包括至少一次epoch，为每个区间分配一个第一动态权重和一个第二动态权重，作为执行该区间中的至少一次epoch的训练所使用的第一动态权重和第二动态权重。
[0107]
基于加权后的当前epoch的第一损失函数和当前epoch的第二损失函数确定当前epoch的图像处理模型的损失函数，可获得当前epoch的图像处理模型的损失函数。当前epoch的图像处理模型的损失函数，通过公式(3)获取。
[0108]
参数调节单元804可通过根据当前epoch的图像处理模型的损失函数调整当前epoch的图像处理模型的参数。
[0109]
图9是示出根据本公开的示例性实施例的预测装置的框图。
[0110]
请参照图9，根据本公开的示例性实施例的预测装置900可包括数据获取单元901和模型预测单元902。
[0111]
数据获取单元901可获取待处理图像数据。
[0112]
模型预测单元902可将待处理图像数据输入本公开的示例性实施例中的图像处理模型的训练方法训练好的图像处理模型中，得到预测结果。
[0113]
根据本公开的示例性实施例，待处理图像数据可包括，但不仅限于，单个图像数据、视频数据中的视频帧数据等。
[0114]
根据本公开的示例性实施例，当图像处理模型应用于图像分类任务时，得到的预
测结果可为图像分类结果。又例如，当图像处理模型应用于图像识别任务时，得到的预测结果可为图像识别结果。又例如，当图像处理模型应用于视频图像分割任务时，待处理图像数据可为视频数据中的视频帧数据，得到的预测结果可为视频图像分割结果。又例如，当图像处理模型应用于行人重识别任务时，待处理图像数据可为图像数据或视频数据中的视频帧数据，得到的预测结果可为行人重识别结果。
[0115]
图10是根据本公开的示例性实施例的电子设备1000的框图。
[0116]
参照图10，电子设备1000包括至少一个存储器1001和至少一个处理器1002，所述至少一个存储器1001中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器1002执行时，执行根据本公开的示例性实施例的图像处理模型的训练方法或预测方法。
[0117]
作为示例，电子设备1000可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备1000并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备1000还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0118]
在电子设备1000中，处理器1002可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0119]
处理器1002可运行存储在存储器1001中的指令或代码，其中，存储器1001还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
[0120]
存储器1001可与处理器1002集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器1001可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器1001和处理器1002可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器1002能够读取存储在存储器中的文件。
[0121]
此外，电子设备1000还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备1000的所有组件可经由总线和/或网络而彼此连接。
[0122]
根据本公开的示例性实施例，还可提供一种存储指令的计算机可读存储介质，其中，当指令被至少一个处理器运行时，促使至少一个处理器执行根据本公开的图像处理模型的训练方法或预测方法。这里的计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd
‑
rom、cd
‑
r、cd+r、cd
‑
rw、cd+rw、dvd
‑
rom、dvd
‑
r、dvd+r、dvd
‑
rw、dvd+rw、dvd
‑
ram、bd
‑
rom、bd
‑
r、bd
‑
r lth、bd
‑
re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计
算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0123]
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品中的指令可由计算机设备的处理器执行以完成根据本公开的示例性实施例的图像处理模型的训练方法或预测方法。
[0124]
根据本公开的图像处理模型的训练方法和装置及预测方法和装置，通过在多次训练周期epoch中设置按epoch增序逐渐减小的第一动态权重和按epoch增序逐渐增大的第二动态权重分别对源数据域相关的损失函数和目标数据域相关的损失函数进行加权调整，使得源数据域的知识能渐进式地迁移至目标数据域，充分地利用了带有标签的源数据域的图像数据，动态调整的过程也缓解了目标数据域的伪标签噪声，对于处理目标数据域的图像数据具有更好的性能。并且，目标数据域可不携带标签，降低了标注的成本。
[0125]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0126]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。