目标模型的获取方法及装置、电子设备和存储介质与流程

文档序号:23223238发布日期:2020-12-08 15:06阅读:122来源:国知局
目标模型的获取方法及装置、电子设备和存储介质与流程

本申请涉及信息技术领域,特别是涉及一种目标模型的获取方法及装置、电子设备和存储介质。



背景技术:

迁移学习旨在将用于执行某个任务的原始模型经过相关处理,得到目标模型以应用到目标任务上。随着深度学习、计算机视觉等技术的快速发展,迁移学习已经在诸多场景得到了应用。故此,如何提高目标模型的性能成为极具研究价值的课题。



技术实现要素:

本申请提供一种目标模型的获取方法及装置、电子设备和存储介质。

本申请第一方面提供了一种目标模型的获取方法,包括:利用第一训练样本预训练原始模型,以调整原始模型的网络参数;其中,原始模型包括用于特征提取的第一子网络;利用第二子网络和经预训练的第一子网络的至少部分结构,得到目标模型;其中,第二子网络用于基于第一子网络提取的特征执行目标任务;利用与目标任务对应的第二训练样本训练目标模型,以调整目标模型的网络参数。

因此,利用第一训练样本预训练原始模型,调整原始模型的网络参数,且原始模型包括用于特征提取的第一子网络,从而利用第二子网络和经训练的第一子网络的至少部分结构,得到目标模型,且第二子网络用于基于第一子网络提取的特征执行目标任务,并利用与目标任务对应的第二训练样本训练目标模型,以调整模板模型的网络参数,故此,不仅能够在“网络参数维度”利用与目标任务对应的第二训练样本进行调整,还能够在“网络结构维度”对原始模型进行调整,能够大大提高网络调整的自由度,得以从“网络参数维度”和“网络结构维度”充分挖掘预训练的原始模型的潜力,有利于提高目标模型的性能。

其中,利用第二子网络和经预训练的第一子网络的至少部分结构,得到目标模型,包括:利用第一子网络的不同部分结构得到至少一个候选子网络,并选取满足预设条件的候选子网络作为最优子网络;利用最优子网络和第二子网络,得到目标模型。

因此,通过利用第一子网络的不同部分结构,得到至少一个候选子网,并选取满足预设条件的候选子网络作为最优子网络,从而利用最优子网络和第二子网络,得到目标模型,能够有利于扩展“网络结构维度”的调整空间,进而能够有利于提高目标模型的性能。

其中,预设条件包括以下至少一者:候选子网络中的特征提取单元数量达到预设数量,利用候选子网络与第二子网络得到的候选模型满足预设性能条件。

因此,将预设条件设置为包括以下至少一者:候选子网络中的特征提取单元数量达到预设数量,利用候选子网络与第二子网络得到的候选模型满足预设性能条件,由于特征提取单元数量在一定程度上能够反映目标模型的复杂度,而预设性能条件在一定程度上能够反映目标模型的性能,故能够从“模型复杂度”、“模型性能”层面约束目标模型。

其中,第一子网络包括至少一路分支网络,且每路分支网络包括顺序连接的多个网络区段,每一网络区段包括顺序连接的至少一个特征提取单元;候选子网络包括同一分支网络中每个网络区段中的至少一个特征提取单元,且不同候选子网络中的特征提取单元至少部分不同。

因此,通过将第一子网络设置为包括至少一路分支网络,且每路分支网络包括顺序连接的多个网络区段,且每一网络区段包括顺序连接的至少一个特征提取单元,而候选子网络包括同一分支网络中每个网络区段中的至少一个特征提取单元,且不同候选子网络中的特征提取单元至少部分不同,故能够将第一子网络设置为“单链式”的单分支网络,或者设置为“多链式”的多分支网络,从而既能够在多分支网络中获取到目标模型,也能够在单分支网络中获取目标模型,进而能够有利于扩展使用范围。

其中,第一子网络包括一路分支网络,利用第一子网络的不同部分结构得到至少一个候选子网络,并选取满足预设条件的候选子网络作为最优子网络,包括:利用每个网络区段中的至少一个特征提取单元,得到初始的至少一个候选子网络;从至少一个候选子网络中,选择与第二子网络组成的候选模型满足预设性能条件的候选子网络,作为选中子网络;在选中子网络中的特征提取单元数量小于预设数量的情况下,利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络,并重复执行选择与第二子网络组成的候选模型满足预设性能条件的候选子网络及其后续步骤;在选中子网络中的特征提取单元数量等于预设数量的情况下,将选中子网络作为最优子网络。

因此,通过利用每个网络区段中至少一个特征提取单元,得到初始的至少一个候选子网络,并从至少一个候选子网络中,选择与第二子网络组成的候选模型满足预设性能条件的候选子网络,作为选中子网络,从而在选中子网络中的特征提取单元数量小于预设数量的情况下,利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络,并重复执行选择与第二子网络组成的候选模型是否满足预设性能条件的候选子网络及其后续步骤,而在选中子网络中的特征提取单元数量等于预设数量的情况下,将选中子网络作为最优子网络,故此能够在特征提取单元数量逐渐逼近预设数量的过程中,选取满足预设性能条件的候选子网络,作为选中子网络,从而不仅能够在“模型复杂度”、“模型性能”层面约束目标模型,还能提高获取目标模型的效率。

其中,利用每个网络区段中的至少一个特征提取单元,得到初始的至少一个候选子网络,包括:分别将每个网络区段作为目标区段,并利用每个目标区段中前两个特征提取单元和其余网络区段中首个特征提取单元,得到对应目标区段的初始的候选子网络;利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络,包括:在选中子网络中,分别确定位于各个网络区段中最末位的特征提取单元,作为对应网络区段的目标单元;分别利用选中子网络与不同网络区段中位于目标单元之后首个特征提取单元,得到新的不同候选子网络。

因此,通过分别将每个网络区段作为目标区域,并利用每个目标区段中前两个特征提取单元和其余网络区段中首个特征提取单元,得到对应目标区段的初始的候选子网络,故能够有利于从第一子网络每个网络区段的头部开始网络结构调整,而在选中子网络中,分别确定位于各个网络区段中最末位的特征提取单元,作为对应网络区段的目标单元,并分别利用选中子网络与不同网络区段中位于目标单元之后首个特征提取单元,得到新的不同候选子网络,故能够在后续调整过程中,逐个调整不同网络区段的特征提取单元,能够有利于提高网络调整的精确度。

其中,在预设条件包括利用候选子网络与第二子网络得到的候选模型满足预设性能条件的情况下;选取满足预设条件的候选子网络作为最优子网络,包括:利用与目标任务对应的验证样本,对利用候选子网络与第二子网络得到的候选模型进行验证,得到候选模型执行目标任务的性能评分;基于性能评分确定候选模型是否满足预设性能条件;和/或,在预设条件包括候选子网络中的特征提取单元数量达到预设数量的情况下;第一子网络包含第一数量个特征提取单元,第一子网络包含第二数量个网络区段,预设数量小于第一数量,且大于或等于第二数量。

因此,在预设条件包括利用候选子网络与第二子网络得到的候选模型满足预设性能条件的情况下,利用与目标任务对应的验证样本,对利用候选子网络与第二子网络得到的候选模型进行验证,得到候选模型执行目标任务的性能评分,并基于性评分确定候选模型是否满足预设性能条件,故能够提高选择最优子网络的准确性;此外,在预设条件包括候选子网络中的特征提取单元数量达到预设数量的情况下,第一子网络包含第一数量个特征提取单元,且第一子网络包含第二数量个网络区段,且预设数量小于第一数量,大于或等于第二数量,能够有利于降低目标模型的复杂度。

其中,第一子网络包括至少一路分支网络,每路分支网络包括顺序连接的多个网络区段,每一网络区段包括顺序连接的至少一个特征提取单元;利用第一训练样本预训练原始模型,以调整原始模型的网络参数,包括:每次训练前利用预设选择策略,选择一路分支网络,并在选择的分支网络的每一网络区段中选择一特征提取单元;利用第一训练样本,对每一网络区段中位于选择的特征提取单元之前的部分进行训练,以调整每一网络区段中位于选择的特征提取单元之前的部分的网络参数。

因此,将第一子网络设置为包括至少一路分支网络,且每路分支网络包括顺序连接的多个网络区段,且每一网络区段包括顺序连接的至少一个特征提取单元,从而在每次训练前利用预设选择策略,选择一路分支网络,并在选择的分支网络的每一网络区段中选择一特征提取单元,并利用第一训练样本,对每一网络区段中位于选择的特征提取单元之前的部分进行训练,以调整每一网络区段中位于选择的特征提取单元之前的部分的网络参数,有利于经过多次训练后对第一子网络的各个部分充分训练,并提高预训练效率。

其中,特征提取单元包括顺序连接的卷积层、激活层和批处理层;和/或,第一子网络还包括位于相邻网络区段之间的下采样层。

因此,将特征提取单元设置为包括顺序连接的卷积层、激活层和批处理层,能够有利于提高特征提取单元在训练过程中的学习效果;而在第一子网络设置位于相邻网络区段之间的下采样层,能够有利于实现特征降维,压缩数据和参数的数量,减小过拟合,同时提高容错性。

其中,在利用第一训练样本预训练原始模型,以调整原始模型的网络参数之后,以及在利用第二子网络和经预训练的第一子网络的至少部分结构,得到目标模型之前,方法还包括:利用第二训练样本训练原始模型,以调整原始模型的网络参数。

因此,在预训练之后,先利用与目标任务对应的第二训练样本训练原始模型,以调整原始模型的网络参数,能够有利于提高后续网络结构维度调整的准确性。

其中,在利用第二子网络和经预训练的第一子网络的至少部分结构,得到目标模型之后,以及在利用与目标任务对应的第二训练样本训练目标模型,以调整目标模型的网络参数之前,方法还包括:利用第一训练样本训练目标模型,以调整目标模型的网络参数。

因此,在完成网络结构维度调整之后,先利用第一训练样本训练目标模型,再利用与目标任务对应的第二训练样本再次训练目标模型,能够有利于提高目标模型的性能。

其中,原始模型还包括第三子网络,第三子网络用于基于提取到的特征执行预设任务,其中,预设任务与目标任务相同或不同。

因此,通过将原始模型设置为包括第三子网络,且第三子网络用于基于提取到的特征执行预设任务,且预设任务与目标任务相同或不同,能够有利于进一步扩展适用于获取目标模型的范围。

其中,第一训练样本的数量大于第二训练样本的数量。

因此,通过将第一训练样本的数量设置为大于第二训练样本的数量,能够有利于减少在目标任务上样本标注的工作量。

本申请第二方面提供了一种目标模型的获取装置,包括:第一训练模块、模型获取模块和第二训练模块,第一训练模块用于利用第一训练样本预训练原始模型,以调整原始模型的网络参数;其中,原始模型包括用于特征提取的第一子网络;模型获取模块用于利用第二子网络和经预训练的第一子网络的至少部分结构,得到目标模型;其中,第二子网络用于基于第一子网络提取的特征执行目标任务;第二训练模块用于利用与目标任务对应的第二训练样本训练目标模型,以调整目标模型的网络参数。

本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的目标模型的获取方法。

本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的目标模型的获取方法。

上述方案,利用第一训练样本预训练原始模型,调整原始模型的网络参数,且原始模型包括用于特征提取的第一子网络,从而利用第二子网络和经训练的第一子网络的至少部分结构,得到目标模型,且第二子网络用于基于第一子网络提取的特征执行目标任务,并利用与目标任务对应的第二训练样本训练目标模型,以调整模板模型的网络参数,故此,不仅能够在“网络参数维度”利用与目标任务对应的第二训练样本进行调整,还能够在“网络结构维度”对原始模型进行调整,能够大大提高网络调整的自由度,得以从“网络参数维度”和“网络结构维度”充分挖掘预训练的原始模型的潜力,有利于提高目标模型的性能。

附图说明

图1是本申请目标模型的获取方法一实施例的流程示意图;

图2是第一子网络一实施例的框架示意图;

图3是第一子网络另一实施例的框架示意图;

图4是图1中步骤s12一实施例的框架示意图;

图5是选中子网络一实施例的框架示意图;

图6是本申请目标模型的获取方法另一实施例的流程示意图;

图7是本申请目标模型的获取装置一实施例的框架示意图。

图8是本申请电子设备一实施例的框架示意图;

图9是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图,对本申请实施例的方案进行详细说明。

以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。

本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。

请参阅图1,图1是本申请目标模型的获取方法一实施例的流程示意图。具体而言,可以包括如下步骤:

步骤s11:利用第一训练样本预训练原始模型,以调整原始模型的网络参数;其中,原始模型包括用于特征提取的第一子网络。

在一个实施场景中,第一子网络具体可以包括多个网络区段,且每一网络区段可以包括顺序连接的至少一个特征提取单元。具体地,特征提取单元用于进行特征提取,具体可以包括顺序连接的卷积层、激活层和批处理层(batchnormalization,bn),卷积层具体可以包括若干卷积核,可用于提取特征,激活层具体可以是sigmoid、tanh、relu等,可用于引入非线性因素,而批处理层可以用于归一化操作,通过顺序连接的卷积层、激活层和批处理层,能够有利于提高特征提取单元在训练过程中的学习效果。此外,在特征提取单元中,卷积层之后还可以连接有池化层,用于对卷积层提取到的特征进行下采样。此外,第一子网络还包括位于相邻网络区段之间的下采样层,能够有利于实现特征降维,压缩数据和参数的数量,减小过拟合,同时提高容错性。此外,每一网络区段所包含的特征提取单元的数量可以相同,如每一网络区段均包含3个、或4个、或5个特征提取单元;或者,每一网络区段所包含的特征提取单元的数量也可以完全不同,如第一个网络区段包含3个特征提取单元,第二个网络区段包含4个特征提取,第三个网络区段包含5个特征提取单元;或者,每一网络区段所包含的特征提取单元的数量还可以不完全相同,如第一个网络区段包含3个特征提取单元,第二个网络区段也包含3个特征提取单元,第三个网络区段包含5个特征提取单元,具体可以根据实际应用需要进行设置,在此不做限定。

在一个具体的实施场景中,上述多个网络区段中的若干网络区段可以具有相同的输入节点,在此情况下,第一子网络可以有多路分支网络,每路分支网络具体可以包括多个顺序连接的网络区段。请结合参阅图2,图2是第一子网络一实施例的框架示意图,如图2所示,虚线矩形表示网络区段,每一网络区段包含4个特征提取单元,第一子网络包含三个分支网络,第一路分支网络为第一行网络区段(为简化示意图,第一个分支网络仅示意性地描绘了一个网络区段),第二路分支网络为第二行网络区段,第三路分支网络为第三行网络区段(为简化示意图,第三个分支网络仅示意性地描绘了一个网络区段),三个分支网络具有相同的输入节点。在其他场景,也可以根据实际应用需要设置包含其他数量分支网络的第一子网络,例如,可以将第一子网络设置为包括2路分支网络、4路分支网络等等,具体可以以此类推,在此不做限定。

在另一个具体的实施场景中,上述多个网络区段也可以顺序连接,在此情况下,第一子网络可以仅有一路分支网络,且该路分支网络包括顺序连接的多个网络区段。请结合参阅图3,图3是第一子网络另一实施例的框架示意图,如图3所示,虚线矩形表示网络区段,每一网络区段包含4个特征提取单元,第一子网络包括两个顺序连接的网络区段,在此情况下,第一子网络仅包含一路分支网络。

在又一个具体的实施场景中,原始模型除第一子网络之外,还可以包括另一子网络,另一子网络用于基于提取到的特征执行预设任务。预设任务具体可以是目标检测任务、图像分类任务、场景分割任务等等,在此不做限定。目标检测任务表示在图像中检测出目标对象,例如,在图像中检测出车辆、行人等;图像分类任务表示将图像归类至某一类别,例如,将图像归类至猫、狗、乌龟等;场景分割任务表示检测出图像中的像素点所属的类别,例如,检测出图像中分别属于车道、车、绿化带、天空的像素点,上述预设任务的举例仅仅表示在实际应用中可能存在的一种使用情况,并不因此而限定其使用范围。另一子网络的具体结构可以根据实际应用需要进行设置,在此不做限定。例如,在预设任务为目标检测任务或图像分类任务的情况下,另一子网络具体可以包括若干个(如,2个、3个等)顺序连接的全连接层、softamx层等等,在此不做限定;或者,在预设任务为场景分割的情况下,另一子网络具体可以包括全连接层、softmax层,在此不做限定。

在一个实施场景中,为了提高预训练的准确性,第一训练样本具体可以为大规模数据集,即第一训练样本的数量大于预设数值(如,1000、5000、10000等等)。因此,可以利用第一训练样本充分地对原始模型进行预训练,有利于提高后续获取的目标模型的准确性。在一个实施场景中,为了提高预训练的效率,第一子网络可以仅包括一路分支网络,且该路分支网络具体可以包括多个顺序连接的网络区段。在此情况下,可以在每次训练前利用预设选择策略,在每一网络区段中选择一特征提取单元,从而可以利用第一训练样本,对每一网络区段中位于选择的特征提取单元之前的部分进行训练,以调整每一网络区段中位于选择的特征提取单元之前的部分的网络参数。上述方式,能够有利于提高预训练的效率。具体地,上述预设选择策略可以包括:在每一网络区段内随机选择一特征提取单元。

在一个具体的实施场景中,预设选择策略具体可以包括:在与各个网络区段对应的预设数值范围内进行随机采样,且预设数值范围的上限值为对应网络区段所包含的特征提取单元的数量,为了便于描述,可以记为ni,表示第i个网络区段包含的特征提取单元的数量,预设数值范围的下限值可以为1,则可以在1至ni的预设数值范围内随机采样,得到一整数数值,为了便于描述,可以将随机采样得到的整数数值记为si,表示第i个网络区段随机采样得到的整数数值,则可以利用第一训练样本,对每一网络区段位于前si(即第1至第si)个特征提取单元进行训练,以调整每一网络区段中位于前si(即第1至第si)个特征提取单元的网络参数。

在另一个具体的实施场景中,如图3中虚线箭头所示,在利用第一训练样本,对每一网络区段中位于选择的特征提取单元之前的部分进行训练的情况下,可以将每一网络区段内选择的特征提取单元的输出结果,作为下一网络区段的输入数据。请结合参阅图3,如图所示,当第一个网络区段中选择的特征提取单元为第2个特征提取单元时,可以将第2个特征提取单元的输出结果,作为下一网络区段的输入数据;或者,当第一个网络区段中选择的特征提取单元为3个特征提取单元时,可以将第3个特征提取单元的输出结果,作为下一网络区段的输入结果,其他情况可以以此类推,在此不再一一举例。

在一个实施场景中,在第一子网络包括多路分支网络的情况下,每次训练前可以利用预设选择策略,在第一子网络中选择一路分支网络,并在选择的分支网络所包含的每一网络区段中选择一特征提取单元,从而可以利用第一训练样本,对选择的分支网络包含的每一网络区段中位于选择的特征提取单元之前的部分进行训练,以调整选择的分支网络包含的每一网络区段中位于选择的特征提取单元之前的部分的网络参数。在网络区段中选择特征提取单元的具体方式可以参阅前述相关描述,在此不再赘述。

在一个具体的实施场景中,在第一子网络中选择分支网络的方式,具体可以参阅在网络区段中选择特征提取单元的方式。具体地,可以在预设数值范围内进行随机采样,且预设数值范围的上限值为对应第一子网络所包含的分支网络的数量,为了便于描述,可以记为n,表示第一子网络共包含n路分支网络,预设数值范围的下限值可以为1,则可以在1至n的预设数值范围内随机采样,得到一整数数值,为了便于描述,可以将随机采样得到的整数数值记为s,表示在第一子网络中选择第s路分支网络。请结合参阅图2,图2所示的第一子网络共包含3路分支网络,则可以在1至3中进行随机采样,得到一整数数值,例如2,则可以将第2路分支网络,作为选择的分支网络,再在第2路分支网络所包含的每一网络区段中选择一特征提取单元,具体可以参阅前述描述,在此不再赘述。

在一个实施场景中,当满足预设结束条件时,可以结束对原始模型的预训练。具体地,预设结束条件可以包括:每个第一训练样本参与训练的次数已达到预设次数阈值,预设次数阈值可以根据实际应用需要进行设置,例如,可以设置为100、120、150等等,在此不做限定。

步骤s12:利用第二子网络和经预训练的第一子网络的至少部分结构,得到目标模型。

本公开实施例中,第二子网络用于基于第一子网络提取的特征执行目标任务。在一个实施场景中,目标任务具体可以包括以下任一者:目标检测任务、图像分类任务、场景分割任务,关于目标检测任务、图像分类任务和场景分割任务的具体含义,可以参考前述描述,在此不再赘述。此外,如前描述,原始模型还可以包括第三子网络,第三子网络用于基于提取到的特征执行预设任务,预设任务可以与目标任务相同,也可以不同。例如,预设任务和目标任务可以均为图像分类任务,或者均为目标检测任务;或者,预设任务为目标检测任务,而目标任务为图像分类任务,在此不做限定。此外,第三子网络可以和第二子网络相同,也可以不相同。例如,第三子网络可以包括一个全连接层和一个softmax层,第二子网络可以包含两个顺序连接的全连接层和连接于这两个全连接层之后的softmax层,或者,第二子网络也可以与第三子网络一样,也包括一个全连接层和一个softmax层,在此不做限定。此外,本公开实施例中,第一子网络的至少部分结构包含经训练的网络参数,即在迁移学习过程中,网络参数和网络结构均进行了调整。

在一个实施场景中,可以利用第一子网络的不同部分结构,得到至少一个候选子网络,并选取满足预设条件的候选子网络,作为最优子网络,从而可以利用最优子网络和第二子网络,得到目标模型。

在一个具体的实施场景中,候选子网络包括同一分支网络中每个网络区段中的至少一个特征提取单元,且不同候选子网络中的特征提取单元至少部分不同,则每次选择第一子网络的部分结构时,可以选择一路分支网络,并在选择的分支网络的每一网络区段中选择一特征提取单元,从而可以将每一网络区段中位于选择的特征提取单元之前的部分的组合,作为第一子网络的部分结构,从而可以得到第一子网络的不同部分结构。以第一子网络仅包括一路分支网络为例,请结合参阅图3,第一次选择第一子网络的部分结构时,可以在第一个网络区段随机选择第三个特征提取单元,在第二个网络区段随机选择第二个特征提取单元,则可以将第一个网络区段中位于第三个特征提取单元之前的部分和第二网络区段中位于第二个特征提取单元之前的部分的组合,作为第一子网络的部分结构;第二次选择第一子网络的部分结构时,可以在第一个网络区段随机选择第二个特征提取单元,在第二个网络区段随机选择第三个特征提取单元,则可以将第一个网络区段中位于第二个特征提取单元之前的部分和第二网络区段中位于第三个特征提取单元之前的部分的组合,作为第一子网络的部分结构,以此类推,在此不再一一举例。具体地,选择的次数可以根据实际应用需要进行设置,例如,可以根据计算复杂度,将10,或15、或20等作为选择的次数,在此不做限定。

在另一个具体的实施场景中,预设条件具体可以包括:利用候选子网络与第二子网络得到的候选模型满足预设性能条件。具体地,可以利用与目标任务对应的验证样本,对利用候选子网络与第二子网络得到的候选模型进行验证,得到候选模型执行目标任务的性能评分,从而基于性能评分,确定候选模型是否满足预设性能条件。例如,当性能评分位于所有候选模型的性能评分的最高值时,可以认为对应的候选模型满足预设性能条件。

在又一个具体的实施场景中,预设条件具体还可以包括:候选子网络中的特征提取单元的数量不大于预设数量。预设数量可以根据实际应用需要进行设置,例如,可以设置为4、5、6等等,在此不做限定。上述方式,可以约束目标模型的复杂度。

在又一个具体的实施场景中,预设条件具体可以包括:用候选子网络与第二子网络得到的候选模型满足预设性能条件,且候选子网络中的特征提取单元的数量不大于预设数量。具体可以参阅前述描述,在此不再赘述。

在又一个具体的实施场景中,可以将最优子网络和第二子网络顺序连接,得到目标模型。

在另一个实施场景中,候选子网络包括同一网络分支的每个网络区段中的至少一个特征提取单元,且不同候选子网络中的特征提取单元至少部分不同,为了能够得到全局最优解,可以穷举第一子网络中所有的不同部分结构,并将每一种部分结构,作为对应的候选子网络,并选取满足预设条件的候选子网络,作为最优子网络,从而可以利用最优子网络和第二子网络,得到目标模型。具体地,预设条件的设置方式,可以参阅前述描述,在此不再赘述。

在一个具体的实施场景中,以第一子网络仅包括一路网络分支为例,在穷举第一子网络中所有的不同部分结构时,为了避免重复选取,可以为第一子网络中每个网络区段赋予一计数值counti,表示第i个网络区段的计数值,用于在每次选取部分结构时,将位于每个网络区段中位于计数值counti之前的特征提取单元,其中,第一子网络中包含的网络区段的数量可以记为ns,计数值counti的初始值可以设置为1,并每次选取得到部分结构之后,进行加1计数,直至穷举完第一子网络中所有的不同部分结构为止。以第一子网络包含4个网络区段,且每个网络区段也包含4个特征提取单元为例,则第一次选取部分结构时,4个网络区段的计数值可以记为1111,此时可以将各个网络区段中的首个特征提取单元的组合,作为本次选取的部分结构;第二次选取部分结构时,4个网络区段的计数值可以记为1112,此时可以将前3个网络区段的首个特征提取单元和最后一个网络区段的前2个特征提取单元的组合,作为本次选取的部分结构;第三次选取部分结构时,4个网络区段的计数值可以记为1113,此时可以将前3个网络区段的首个特征提取单元和最后一个网络区段的前3个特征提取单元的组合,作为本次选取的部分结构;第四次选取部分结构时,4个网络区段的计数值可以记为1114,此时可以将前3个网络区段的首个特征提取单元和最后一个网络区段的全部特征提取单元,作为本次选取的部分结构;第五次选取部分结构时,4个网络区段的计数值可以记为1121,此时可以将前2个网络区段的首个特征提取单元、第三个网络区段的前2个特征提取单元以及最后一个网络区段的首个特征提取单元的组合,作为本次选取的部分结构;第六次选取部分结构时,4个网络区段的计数值可以记为1122,此时可以将前2个网络区段的首个特征提取单元以及后2个网络区段的前2个特征提取单元的组合,作为本次选取的部分结构,以此类推,在此不再赘述。

在一个实施场景中,为了提高网络结构维度调整的准确性,还可以在利用第二子网络和经预训练的第一子网络的至少部分结构,得到目标模型之前,利用第二训练样本训练原始模型,以调整原始模型的网络参数,从而可以使得原始模型能够先基于目标任务进行网络参数调整,进而能够有利于提高网络结构维度调整的准确性。在此情况下,第一子网络的至少部分结构包含经第二训练样本训练后,调整后的网络参数,即在迁移学习过程中,网络参数和网络结构均进行了调整。

在一个具体的实施场景中,第一训练样本的数量可以大于第二训练样本的数量,则通过本申请所公开的实施例,能够在大规模数据样本(即第一训练样本)和与目标任务对应的小规模数据样本(即第二训练样本)的基础上,得到适用于目标任务的目标模型,从而能够有利于降低搜集小规模数据样本的难度,以及标注第二训练样本的工作量,进而能够有利于进一步提高获取目标模型的效率。具体地,第一训练样本的数量可以是5000、10000、15000等等,对应地,第二训练样本的数量可以是100、200、300等等,具体可以根据实际使用情况进行设置,在此不做限定。

步骤s13:利用与目标任务对应的第二训练样本训练目标模型,以调整目标模型的网络参数。

在一个实施场景中,可以仅利用与目标任务对应的第二训练样本训练目标模型,以调整目标模型的网络参数。具体地,第二训练样本的数量不大于第一训练样本的数量,例如,第二训练样本为小规模数据样本,而第一训练样本为大规模数据样本,具体可以参阅前述描述,在此不再赘述。

在另一个实施场景中,为了提高目标模型的准确性,还可以先利用第一训练样本训练目标模型,以调整目标模型的网络参数,再利用与目标任务对应的第二训练样本训练目标模型,以再次调整目标模型的网络参数。

上述方案,利用第一训练样本预训练原始模型,调整原始模型的网络参数,且原始模型包括用于特征提取的第一子网络,从而利用第二子网络和经训练的第一子网络的至少部分结构,得到目标模型,且第二子网络用于基于第一子网络提取的特征执行目标任务,并利用与目标任务对应的第二训练样本训练目标模型,以调整模板模型的网络参数,故此,不仅能够在“网络参数维度”利用与目标任务对应的第二训练样本进行调整,还能够在“网络结构维度”对原始模型进行调整,能够大大提高网络调整的自由度,得以从“网络参数维度”和“网络结构维度”充分挖掘预训练的原始模型的潜力,有利于提高目标模型的性能。

请参阅图4,图4是图1中步骤s12一实施例的流程示意图。具体地,本公开实施例中,原始模型为单分支网络结构,即本公开实施例中,第一子网络包括一路分支网络,且该路分支网络包括顺序连接的多个网络区段,每一网络区段包括顺序连接的至少一个特征提取单元,且候选子网络包括每个网络区段中的至少一个特征提取单元,且不同候选子网络中的特征提取单元至少部分不同。具体可以包括如下步骤:

步骤s41:利用每个网络区段中的至少一个特征提取单元,得到初始的至少一个候选子网络。

具体地,可以分别将每个网络区段作为目标区段,并利用每个目标区段中前两个特征提取单元和其余网络区段中首个特征提取单元,得到对应目标区域的初始的候选子网络。请结合参阅图2,可以分别将第一个网络区段、第二网络区段作为目标区域,并利用第一个目标区段中前两个特征提取单元和第二个网络区段中首个特征提取单元,得到第一个目标区段的初始的候选子网络,具体地,如图3中虚线箭头所示,可以将利用第一个目标区段中第二个特征提取单元的输出结果,作为第二网络区段的输入数据,并且利用第二个目标区段中前两个特征提取单元和第一网络区段中首个提取单元,得到第二个目标区段的初始的候选子网络,具体地,如图3中虚线箭头所示,可以将第一个网络区段中第一个特征提取单元的输出结果,作为第二个目标区段的输入数据。请继续结合参阅图2,为了便于描述,可以将第一个目标区段对应的初始的候选子网络记为[2,1],表示第一个目标区段对应的初始的候选子网络是由第一个网络区段前两个特征提取单元和第二个网络区段首个特征提取单元组成的,并将第二个目标区段对应的初始的候选子网络记为[1,2],表示第二个目标区段对应的初始的候选子网络是由第一个网络区段首个特征提取单元和第二网络区段前两个特征提取单元组成的,其他情况可以以此类推,在此不再一一举例。

步骤s42:从至少一个候选子网络中,选择与第二子网络组成的候选模型满足预设性能条件的候选子网络,作为选中子网络。

具体地,可以利用与目标任务对应的验证样本,对利用候选子网络与第二子网络得到的候选模型进行验证,得到候选模型执行目标任务的性能评分,并基于性能评分确定候选模型是否满足预设性能条件。具体可以参阅前述公开实施例中的相关描述,在此不再赘述。例如,经过验证样本的验证,可以将候选子网络[2,1]作为选中子网络。在其他情况,也可以根据实际情况,将其他候选子网络作为选中子网络,在此不做限定。

步骤s43:判断选中子网络中的特征提取单元数量是否小于预设数量,若是,则执行步骤s44,否则执行步骤s46。

本公开实施例中,预设数量可以根据实际应用需要进行预先设置。具体地,可以根据目标模型的期望复杂度进行设置。例如,可以设置为4、5、6等等,在此不做限定。例如,当预设数量为4时,由于选中子网络[2,1]中特征提取单元数量为3,故小于预设数量,则可以执行步骤s44;或者,当预设数量为3时,由于选中子网络[2,1]中特征提取单元数量为3,故不小于预设数量,则可以执行步骤s46,即直接将选中子网络[2,1],作为最优子网络。其他情况可以以此类推,在此不再一一举例。

在一个实施场景中,第一子网络具体可以包括第一数量个特征提取单元,第一子网络具体可以包括第二数量个网络区段,则预设数量可以设置为小于第一数量,且大于或等于第二数量。

步骤s44:利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络。

本公开实施例中,至少一个特征提取单元可以是一个特征提取单元、两个特征提取单元等等,在此不做限定。例如,在网络结构调整的精度要求相对较低的情况下,至少一个特征提取单元可以是两个、三个等多个特征提取单元;而在网络结构调整的精度要求较高的情况下,可以为一个特征提取单元,具体可以根据实际应用需要进行设置,在此不做限定。

在一个实施场景中,为了提高网络结构调整的精度,可以在选中子网络中,可以分别确定位于各个网络区段中最末位的特征提取单元,作为对应网络区段的目标单元,从而分别利用选中子网络与不同网络区段中位于目标单元之后首个特征提取单元,得到新的不同候选子网络。

在一个实施场景中,可以分别将每一网络区段中位于目标单元之后首个特征提取单元添加至对应网络区段的目标单元之后,得到新的不同候选子网络。请继续结合参阅图3,以选中子网络[2,1]为例,可以将第一个网络区段中位于目标单元(即第二个特征提取单元)之后的首个特征提取单元,添加至选中子网络对应网络区段的目标单元(即第二个特征提取单元)之后,得到新的候选子网络,为了便于描述,可以表示为[3,1],即新的候选子网络是由第一个网络区段中前三个特征提取单元和第二网络区段首个特征提取单元组成的;并且可以将第二个网络区段中位于目标单元(即第一个特征提取单元)之后的首个特征提取单元,添加至选中子网络对应的网络区段的目标单元(即第一个特征提取单元)之后,得到新的候选子网络,为了便于描述,可以表示为[2,2]。其他情况可以以此类推,在此不再一一举例。

步骤s45:重新执行步骤s42以及后续步骤。

具体地,在选中子网络中的特征提取单元数量小于预设数量的情况下,可以重新执行上述步骤s42,从中选出满足预设性能条件的候选子网络,作为选中子网络,并进一步判断选中子网络中的特征提取单元数量是否小于预设数量。请结合参阅图5,图5是选中子网络一实施例的框架示意图,如图5所示,实线矩形框的特征提取单元表示选择的特征提取单元,虚线矩形框的特征提取单元表示未选择的特征提取单元,图5所示的选中子网络为[2,2],以选中子网络是[2,2],预设数量是4为例,由于选中子网络中的特征提取单元的数量等于4,则可以执行下述步骤s46,即可以将选中子网络[2,2]作为最优子网络。

步骤s46:将选中子网络作为最优子网络。

具体地,在选中子网络中的特征提取单元数量不小于预设数量的情况下,可以将选中子网络作为最优子网络。则通过上述方式,可以在预设数量所约束的模型复杂度下,得到在性能层面的最优子网络。

步骤s47:利用最优子网络和第二子网络,得到目标模型。

具体地,可以将最优子网络和第二子网络顺序连接,得到目标模型。

区别于前述实施例,通过利用每个网络区段中至少一个特征提取单元,得到初始的至少一个候选子网络,并从至少一个候选子网络中,选择与第二子网络组成的候选模型满足预设性能条件的候选子网络,作为选中子网络,从而在选中子网络中的特征提取单元数量小于预设数量的情况下,利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络,并重复执行选择与第二子网络组成的候选模型满足预设性能条件的候选子网络及其后续步骤,而在选中子网络中的特征提取单元数量等于预设数量的情况下,将选中子网络作为最优子网络,故此能够在特征提取单元数量逐渐逼近预设数量的过程中,选取满足预设性能条件的候选子网络,作为选中子网络,从而不仅能够在“模型复杂度”、“模型性能”层面约束目标模型,还能提高获取目标模型的效率。

请参阅图6,图6是本申请目标模型的获取方法另一实施例的流程示意图。具体地,本公开实施例中,原始模型包括用于特征提取的第一子网络,第一子网络包括一路分支网络,且该路分支网络包括顺序连接的多个网络区段,每一网络区段包括顺序连接的至少一个特征提取单元。具体可以包括如下步骤:

步骤s601:每次训练原始模型前利用预设选择策略,在每一网络区段中选择一特征提取单元。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s602:利用第一训练样本,对每一网络区段中位于选择的特征提取单元之前的部分进行训练,以调整每一网络区段中位于选择的特征提取单元之前的部分的网络参数。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s603:利用与目标任务对应的第二训练样本训练原始模型,以调整原始模型的网络参数。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s604:利用每个网络区段中的至少一个特征提取单元,得到初始的至少一个候选子网络。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s605:从至少一个候选子网络中,选择与第二子网络组成的候选模型满足预设性能条件的候选子网络,作为选中子网络。

本公开实施例中,第二子网络用于基于第一子网络提取的特征执行目标任务。具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s606:判断选中子网络的特征提取单元数量是否小于预设数量,若是,则执行步骤s607,否则执行步骤s609。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s607:利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s608:重新执行步骤s605以及后续步骤。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s609:将选中子网络作为最优子网络。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s610:利用最优子网络和第二子网络,得到目标模型。

请结合参阅图5,选中子网络为图5所示的子网络[2,2],且预设数量为4时,可以将选中子网络[2,2]作为最优子网络,并利用最优子网络和第二子网络,得到目标模型。具体地,可以将最优子网络和第二子网络顺序连接,得到目标模型。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s611:利用第一训练样本训练目标模型,以调整目标模型的网络参数。

请继续结合参阅图5,当最优子网络为图5所示的选中子网络[2,2]时,可以利用第一训练样本对由选中子网络[2,2]和第二子网络构成的目标模型进行训练,以调整目标模型的网络参数。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

步骤s612:利用与目标任务对应的第二训练样本训练目标模型,以调整目标模型的网络参数。

请继续结合参阅图5,当最优子网络为图5所示的选中子网络[2,2]时,可以进一步利用第二训练样本对由选中子网络[2,2]和第二子网络构成的目标模型进行训练,以调整目标模型的网络参数。

具体可以参阅前述公开实施例中的相关描述,在此不再赘述。

区别于前述实施例,通过将原始模型中用于特征提取的第一子网络设置为包括顺序连接的多个网络区段,且每一网络区段包括顺序连接的至少一个特征提取单元,并在每次训练前利用预设选择策略,在每一网络区段中选择一特征提取单元,以及利用第一训练样本,对每一网络区段中位于选择的特征提取单元之前的部分进行训练,以调整每一网络区段中位于选择的特征提取单元之前的部分的网络参数,从而能够有利于在“网络参数调整”层面提高预训练原始模型的效率,进一步地,通过利用每个网络区段中的至少一个特征提取单元,得到初始的至少一个候选子网络,并从至少一个候选子网络中,选择与第二子网络组成的候选模型满足预设性能条件的候选子网络,作为选中子网络,从而在选中子网络中的特征提取单元数量小于预设数量的情况下,利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络,并重复执行选择与第二子网络组成的候选模型满足预设性能条件的候选子网络及其后续步骤,而在选中子网络中的特征提取单元数量等于预设数量的情况下,将选中子网络作为最优子网络,能够有利于在“网络机构调整”层面提高获取最优子网络的效率,由于在“网络参数调整”层面和“网络机构调整”层面共同对原始模型进行调整,能够大大提高网络调整的自由度,得以从“网络参数维度”和“网络结构维度”充分挖掘预训练的原始模型的潜力,有利于提高目标模型的性能。

请参阅图7,图7是本申请目标模型的获取装置70一实施例的框架示意图。目标模型的获取装置70包括:第一训练模块71、模型获取模块72和第二训练模块73,第一训练模块71用于利用第一训练样本预训练原始模型,以调整原始模型的网络参数;其中,原始模型包括用于特征提取的第一子网络;模型获取模块72用于利用第二子网络和经预训练的第一子网络的至少部分结构,得到目标模型;其中,第二子网络用于基于第一子网络提取的特征执行目标任务;第二训练模块73用于利用与目标任务对应的第二训练样本训练目标模型,以调整目标模型的网络参数。

上述方案,利用第一训练样本预训练原始模型,调整原始模型的网络参数,且原始模型包括用于特征提取的第一子网络,从而利用第二子网络和经训练的第一子网络的至少部分结构,得到目标模型,且第二子网络用于基于第一子网络提取的特征执行目标任务,并利用与目标任务对应的第二训练样本训练目标模型,以调整模板模型的网络参数,故此,不仅能够在“网络参数维度”利用与目标任务对应的第二训练样本进行调整,还能够在“网络结构维度”对原始模型进行调整,能够大大提高网络调整的自由度,得以从“网络参数维度”和“网络结构维度”充分挖掘预训练的原始模型的潜力,有利于提高目标模型的性能。

在一些公开实施例中,模型获取模块72包括结构搜索子模块,用于利用第一子网络的不同部分结构得到至少一个候选子网络,并选取满足预设条件的候选子网络作为最优子网络,模型获取模块72包括模型构建模块,用于利用最优子网络和第二子网络,得到目标模型。

区别于前述实施例,通过利用第一子网络的不同部分结构,得到至少一个候选子网,并选取满足预设条件的候选子网络作为最优子网络,从而利用最优子网络和第二子网络,得到目标模型,能够有利于扩展“网络结构维度”的调整空间,进而能够有利于提高目标模型的性能。

在一些公开实施例中,预设条件包括以下至少一者:候选子网络中的特征提取单元数量达到预设数量,利用候选子网络与第二子网络得到的候选模型满足预设性能条件。

区别于前述实施例,将预设条件设置为包括以下至少一者:候选子网络中的特征提取单元数量达到预设数量,利用候选子网络与第二子网络得到的候选模型满足预设性能条件,由于特征提取单元数量在一定程度上能够反映目标模型的复杂度,而预设性能条件在一定程度上能够反映目标模型的性能,故能够从“模型复杂度”、“模型性能”层面约束目标模型。

在一些公开实施例中,第一子网络包括至少一路分支网络,每路分支网络包括顺序连接的多个网络区段,每一网络区段包括顺序连接的至少一个特征提取单元;候选子网络包括同一分支网络中每个网络区段中的至少一个特征提取单元,且不同候选子网络中的特征提取单元至少部分不同。

区别于前述实施例,通过将第一子网络设置为包括至少一路分支网络,且每路分支网络包括顺序连接的多个网络区段,且每一网络区段包括顺序连接的至少一个特征提取单元,而候选子网络包括同一分支网络中每个网络区段中的至少一个特征提取单元,且不同候选子网络中的特征提取单元至少部分不同,故能够将第一子网络设置为“单链式”的单分支网络,或者设置为“多链式”的多分支网络,从而既能够在多分支网络中获取到目标模型,也能后在单分支网络中获取目标模型,进而能够有利于扩展使用范围。

在一些公开实施例中,结构搜索子模块包括初始化单元,用于利用每个网络区段中的至少一个特征提取单元,得到初始的至少一个候选子网络,结构搜索子模块包括性能评价单元,用于从至少一个候选子网络中,选择与第二子网络组成的候选模型满足预设性能条件的候选子网络,作为选中子网络,结构搜索子模块包括重复搜索单元,用于在选中子网络中的特征提取单元数量小于预设数量的情况下,利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络,并结合性能评价单元重复执行选择与第二子网络组成的候选模型满足预设性能条件的候选子网络及其后续步骤,结构搜索子模块包括最优获取单元,用于在选中子网络中的特征提取单元数量等于预设数量的情况下,将选中子网络作为最优子网络。

区别于前述实施例,通过利用每个网络区段中至少一个特征提取单元,得到初始的至少一个候选子网络,并从至少一个候选子网络中,选择与第二子网络组成的候选模型满足预设性能条件的候选子网络,作为选中子网络,从而在选中子网络中的特征提取单元数量小于预设数量的情况下,利用选中子网络和未在选中子网络中的至少一个特征提取单元,得到新的候选子网络,并重复执行选择与第二子网络组成的候选模型是否满足预设性能条件的候选子网络及其后续步骤,而在选中子网络中的特征提取单元数量等于预设数量的情况下,将选中子网络作为最优子网络,故此能够在特征提取单元数量逐渐逼近预设数量的过程中,选取满足预设性能条件的候选子网络,作为选中子网络,从而不仅能够在“模型复杂度”、“模型性能”层面约束目标模型,还能提高获取目标模型的效率。

在一些公开实施例中,初始化单元具体用于分别将每个网络区段作为目标区段,并利用每个目标区段中前两个特征提取单元和其余网络区段中首个特征提取单元,得到对应目标区段的初始的候选子网络,重复搜索单元具体用于在选中子网络中,分别确定位于各个网络区段中最末位的特征提取单元,作为对应网络区段的目标单元,并分别利用选中子网络与不同网络区段中位于目标单元之后首个特征提取单元,得到新的不同候选子网络。

区别于前述实施例,通过分别将每个网络区段作为目标区域,并利用每个目标区段中前两个特征提取单元和其余网络区段中首个特征提取单元,得到对应目标区段的初始的候选子网络,故能够有利于从第一子网络每个网络区段的头部开始网络结构调整,而在选中子网络中,分别确定位于各个网络区段中最末位的特征提取单元,作为对应网络区段的目标单元,并分别利用选中子网络与不同网络区段中位于目标单元之后首个特征提取单元,得到新的不同候选子网络,故能够在后续调整过程中,逐个调整不同网络区段的特征提取单元,能够有利于提高网络调整的精确度。

在一些公开实施例中,在预设条件包括利用候选子网络与第二子网络得到的候选模型满足预设性能条件的情况下;性能评价单元具体用于利用与目标任务对应的验证样本,对利用候选子网络与第二子网络得到的候选模型进行验证,得到候选模型执行目标任务的性能评分;在预设条件包括候选子网络中的特征提取单元数量达到预设数量的情况下;第一子网络包含第一数量个特征提取单元,第一子网络包含第二数量个网络区段,预设数量小于第一数量,且大于或等于第二数量。

区别于前述实施例,在预设条件包括利用候选子网络与第二子网络得到的候选模型满足预设性能条件的情况下,利用与目标任务对应的验证样本,对利用候选子网络与第二子网络得到的候选模型进行验证,得到候选模型执行目标任务的性能评分,并基于性评分确定候选模型是否满足预设性能条件,故能够提高选择最优子网络的准确性;此外,在预设条件包括候选子网络中的特征提取单元数量达到预设数量的情况下,第一子网络包含第一数量个特征提取单元,且第一子网络包含第二数量个网络区段,且预设数量小于第一数量,大于或等于第二数量,能够有利于降低目标模型的复杂度。

在一些公开实施例中,第一子网络包括至少一路分支网络,每路分支网络包括顺序连接的多个网络区段,每一网络区段包括顺序连接的至少一个特征提取单元,第一训练模块71包括单元选取子模块,用于每次训练前利用预设选择策略,选择一路分支网络,并在选择的分支网络的每一网络区段中选择一特征提取单元,第一训练模块71包括样本训练子模块,用于利用第一训练样本,对每一网络区段中位于选择的特征提取单元之前的部分进行训练,以调整每一网络区段中位于选择的特征提取单元之前的部分的网络参数。

区别于前述实施例,将第一子网络设置为包括至少一路分支网络,且每路分支网络包括顺序连接的多个网络区段,且每一网络区段包括顺序连接的至少一个特征提取单元,从而在每次训练前利用预设选择策略,选择一路分支网络,并在选择的分支网络的每一网络区段中选择一特征提取单元,并利用第一训练样本,对每一网络区段中位于选择的特征提取单元之前的部分进行训练,以调整每一网络区段中位于选择的特征提取单元之前的部分的网络参数,有利于经过多次训练后对第一子网络的各个部分充分训练,并提高预训练效率。

在一些公开实施例中,特征提取单元包括顺序连接的卷积层、激活层和批处理层;和/或,第一子网络还包括位于相邻网络区段之间的下采样层。

区别于前述实施例,将特征提取单元设置为包括顺序连接的卷积层、激活层和批处理层,能够有利于提高特征提取单元在训练过程中的学习效果;而在第一子网络设置位于相邻网络区段之间的下采样层,能够有利于实现特征降维,压缩数据和参数的数量,减小过拟合,同时提高容错性。

在一些公开实施例中,目标模型的获取装置70还包括第三训练模块,用于利用第二训练样本训练原始模型,以调整原始模型的网络参数。

区别于前述实施例,在预训练之后,先利用与目标任务对应的第二训练样本训练原始模型,以调整原始模型的网络参数,能够有利于提高后续网络结构维度调整的准确性。

在一些公开实施例中,目标模型的获取装置70还包括第四训练模块,用于利用第一训练样本训练目标模型,以调整目标模型的网络参数。

区别于前述实施例,在完成网络结构维度调整之后,先利用第一训练样本训练目标模型,再利用与目标任务对应的第二训练样本再次训练目标模型,能够有利于提高目标模型的性能。

在一些公开实施例中,原始模型还包括第三子网络,第三子网络用于基于提取到的特征执行预设任务,其中,预设任务与目标任务相同或不同。

区别于前述实施例,通过将原始模型设置为包括第三子网络,且第三子网络用于基于提取到的特征执行预设任务,且预设任务与目标任务相同或不同,能够有利于进一步扩展适用于获取目标模型的范围。

在一些公开实施例中,第一训练样本的数量大于第二训练样本的数量。

区别于前述实施例,通过将第一训练样本的数量设置为大于第二训练样本的数量,能够有利于减少在目标任务上样本标注的工作量。

请参阅图8,图8是本申请电子设备80一实施例的框架示意图。电子设备80包括相互耦接的存储器81和处理器82,处理器82用于执行存储器81中存储的程序指令,以实现上述任一目标模型的获取方法实施例的步骤。在一个具体的实施场景中,电子设备80可以包括但不限于:微型计算机、服务器,此外,电子设备80还可以包括笔记本电脑、平板电脑等移动设备,在此不做限定。

具体而言,处理器82用于控制其自身以及存储器81以实现上述任一目标模型的获取方法实施例的步骤。处理器82还可以称为cpu(centralprocessingunit,中央处理单元)。处理器82可能是一种集成电路芯片,具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器82可以由集成电路芯片共同实现。

上述方案,不仅能够在“网络参数维度”利用与目标任务对应的第二训练样本进行调整,还能够在“网络结构维度”对原始模型进行调整,能够大大提高网络调整的自由度,得以从“网络参数维度”和“网络结构维度”充分挖掘预训练的原始模型的潜力,有利于提高目标模型的性能。

请参阅图9,图9为本申请计算机可读存储介质90一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901,程序指令901用于实现上述任一目标模型的获取方法实施例的步骤。

上述方案,不仅能够在“网络参数维度”利用与目标任务对应的第二训练样本进行调整,还能够在“网络结构维度”对原始模型进行调整,能够大大提高网络调整的自由度,得以从“网络参数维度”和“网络结构维度”充分挖掘预训练的原始模型的潜力,有利于提高目标模型的性能。

在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1