深度学习模型训练方法、装置及电子设备与流程

文档序号:24485508发布日期:2021-03-30 21:09阅读:120来源:国知局
深度学习模型训练方法、装置及电子设备与流程

本申请涉及计算机视觉技术领域,特别是涉及深度学习模型训练方法、装置及电子设备。



背景技术:

随着人工智能技术的发展,特别是神经网络的出现,计算机视觉技术得到了快速发展。在计算机视觉技术中,目标检测期望是指在图像中找到目标的位置并识别出它的类别,现有中通常利用深度学习模型进行目标检测。

相关技术中,深度学习模型的训练过程一般均遵循统一的范式,就是使用在大型图像分类数据集(例如imagenet)上训练好的分类模型的参数来初始化新的深度学习模型的后端结构,而前端的定位和分类等结构的参数是随机初始化的,初始化完毕再在此基础上进行训练。

但是采用上述方法,前端的网络结构存在大量随机初始化的参数,训练时会引入大量的随机因素导致收敛较慢,针对样本数据较少的训练场景,会因过拟合等因素影响深度学习模型目标检测的准确率。



技术实现要素:

本申请实施例的目的在于提供一种深度学习模型训练方法、装置及电子设备,以实现增加深度学习模型目标检测的准确性。具体技术方案如下:

第一方面,本申请实施例提供了一种深度学习模型训练方法,所述方法包括:

获取已训练的目标检测模型,其中,所述目标检测模型用于对图像进行目标检测,所述目标检测模型包括前景及背景识别结构;

利用所述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,所述初始深度学习模型包括前景及背景识别结构;

利用预设样本图片对所述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。

可选的,在所述利用所述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型之前,所述方法还包括:

判断待训练的初始深度学习模型是否包括前景及背景识别结构;

在所述初始深度学习模型不包括前景及背景识别结构时,在所述初始深度学习模型的输出层增加前景及背景识别结构,其中,所述初始深度学习模型的输出层中原分类结构用于前景目标的分类。

可选的,所述利用预设样本图片对所述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型,包括:

将预设样本图片输入到所述初始化后的初始深度学习模型中进行训练,并调整所述初始化后的初始深度学习模型的学习参数,其中,所述学习参数包括所述背景识别参数;

当满足预设结束条件时,结束对所述初始化后的初始深度学习模型的训练,得到训练后的目标深度学习模型。

可选的,所述预设样本图片包括标注有人脸框的人脸图片,或标注有人体框的人体图片,或标注有车辆框的车辆图片。

可选的,所述利用所述目标检测模型的背景识别参数,对所述初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,包括:

将所述目标检测模型的输出层之前的各网络层参数的参数值,赋予所述初始深度学习模型中各相应的参数;

将所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予所述初始深度学习模型中各相应的参数;

初始化所述初始深度学习模型中尚未赋值的其他参数,得到初始化后的初始深度学习模型。

可选的,所述将所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予所述初始深度学习模型中各相应的参数,包括:

获取所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,得到各背景相关通道的参数值;

按照所述各背景相关通道的参数值,对所述初始深度学习模型中各相应通道参数的权重和偏执量的张量,沿着表征类别和坐标的维度进行参数覆盖。

可选的,所述方法还包括:

将待检测图像输入所述目标深度学习模型,得到所述待检测图像的目标检测结果。

可选的,所述将待检测图像输入所述目标深度学习模型,得到所述待检测图像的目标检测结果,包括:

清理指定图像处理器中原有的算法模型,并利用所述指定图像处理器加载所述目标深度学习模型;

通过所述指定图像处理器,利用所述目标深度学习模型对待检测图像进行分析,得到所述待检测图像的目标检测结果。

第二方面,本申请实施例提供了一种深度学习模型训练装置,所述装置包括:

模型获取模块,用于获取已训练的目标检测模型,其中,所述目标检测模型用于对图像进行目标检测,所述目标检测模型包括前景及背景识别结构;

模型初始化模块,用于利用所述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,所述初始深度学习模型包括前景及背景识别结构;

样本训练模块,用于利用预设样本图片对所述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。

可选的,所述装置还包括:

识别结构判断模块,用于判断待训练的初始深度学习模型是否包括前景及背景识别结构;

识别结构添加模块,用于在所述初始深度学习模型不包括前景及背景识别结构时,在所述初始深度学习模型的输出层增加前景及背景识别结构,其中,所述初始深度学习模型的输出层中原分类结构用于前景目标的分类。

可选的,所述样本训练模块,具体用于:

将预设样本图片输入到所述初始化后的初始深度学习模型中进行训练,并调整所述初始化后的初始深度学习模型的学习参数,其中,所述学习参数包括所述背景识别参数;

当满足预设结束条件时,结束对所述初始化后的初始深度学习模型的训练,得到训练后的目标深度学习模型。

可选的,所述预设样本图片包括标注有人脸框的人脸图片,或标注有人体框的人体图片,或标注有车辆框的车辆图片。

可选的,所述模型初始化模块,包括:

前端参数赋值子模块,用于将所述目标检测模型的输出层之前的各网络层参数的参数值,赋予所述初始深度学习模型中各相应的参数;

后端参数赋值子模块,用于将所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予所述初始深度学习模型中各相应的参数;

其他参数赋值子模块,用于初始化所述初始深度学习模型中尚未赋值的其他参数,得到初始化后的初始深度学习模型。

可选的,所述后端参数赋值子模块,具体用于:

获取所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,得到各背景相关通道的参数值;

按照所述各背景相关通道的参数值,对所述初始深度学习模型中各相应通道参数的权重和偏执量的张量,沿着表征类别和坐标的维度进行参数覆盖。

可选的,所述装置还包括:

图像识别模块,用于将待检测图像输入所述训练后的目标深度学习模型,得到所述待检测图像的目标检测结果。

可选的,所述图像识别模块,具体用于:

清理指定图像处理器中原有的算法模型,并利用所述指定图像处理器加载所述目标深度学习模型;

通过所述指定图像处理器,利用所述目标深度学习模型对待检测图像进行分析,得到所述待检测图像的目标检测结果。

第三方面,本申请实施例提供了一种电子设备,包括处理器及存储器;

所述存储器,用于存放计算机程序;

所述处理器,用于执行所述存储器上所存放的程序时,实现如下方法步骤:

获取已训练的目标检测模型,其中,所述目标检测模型用于对图像进行目标检测,所述目标检测模型包括前景及背景识别结构;

利用所述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,所述初始深度学习模型包括前景及背景识别结构;

利用预设样本图片对所述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。

可选的,所述处理器还用于:

判断待训练的初始深度学习模型是否包括前景及背景识别结构;

在所述初始深度学习模型不包括前景及背景识别结构时,在所述初始深度学习模型的输出层增加前景及背景识别结构,其中,所述初始深度学习模型的输出层中原分类结构用于前景目标的分类。

可选的,所述利用预设样本图片对所述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型,包括:

将预设样本图片输入到所述初始化后的初始深度学习模型中进行训练,并调整所述初始化后的初始深度学习模型的学习参数,其中,所述学习参数包括所述背景识别参数;

当满足预设结束条件时,结束对所述初始化后的初始深度学习模型的训练,得到训练后的目标深度学习模型。

可选的,所述预设样本图片包括标注有人脸框的人脸图片,或标注有人体框的人体图片,或标注有车辆框的车辆图片。

可选的,所述利用所述目标检测模型的背景识别参数,对所述初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,包括:

将所述目标检测模型的输出层之前的各网络层参数的参数值,赋予所述初始深度学习模型中各相应的参数;

将所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予所述初始深度学习模型中各相应的参数;

初始化所述初始深度学习模型中尚未赋值的其他参数,得到初始化后的初始深度学习模型。

可选的,所述将所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予所述初始深度学习模型中各相应的参数,包括:

获取所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,得到各背景相关通道的参数值;

按照所述各背景相关通道的参数值,对所述初始深度学习模型中各相应通道参数的权重和偏执量的张量,沿着表征类别和坐标的维度进行参数覆盖。

可选的,所述处理器还用于:将待检测图像输入所述目标深度学习模型,得到所述待检测图像的目标检测结果。

可选的,所述将待检测图像输入所述目标深度学习模型,得到所述待检测图像的目标检测结果,包括:

清理指定图像处理器中原有的算法模型,并利用所述指定图像处理器加载所述目标深度学习模型;

通过所述指定图像处理器,利用所述目标深度学习模型对待检测图像进行分析,得到所述待检测图像的目标检测结果。

第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现如下方法步骤:

获取已训练的目标检测模型,其中,所述目标检测模型用于对图像进行目标检测,所述目标检测模型包括前景及背景识别结构;

利用所述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,所述初始深度学习模型包括前景及背景识别结构;

利用预设样本图片对所述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。

可选的,所述计算机程序被处理器执行时还用于实现如下方法步骤:

判断待训练的初始深度学习模型是否包括前景及背景识别结构;

在所述初始深度学习模型不包括前景及背景识别结构时,在所述初始深度学习模型的输出层增加前景及背景识别结构,其中,所述初始深度学习模型的输出层中原分类结构用于前景目标的分类。

可选的,所述利用预设样本图片对所述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型,包括:

将预设样本图片输入到所述初始化后的初始深度学习模型中进行训练,并调整所述初始化后的初始深度学习模型的学习参数,其中,所述学习参数包括所述背景识别参数;

当满足预设结束条件时,结束对所述初始化后的初始深度学习模型的训练,得到训练后的目标深度学习模型。

可选的,所述预设样本图片包括标注有人脸框的人脸图片,或标注有人体框的人体图片,或标注有车辆框的车辆图片。

可选的,所述利用所述目标检测模型的背景识别参数,对所述初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,包括:

将所述目标检测模型的输出层之前的各网络层参数的参数值,赋予所述初始深度学习模型中各相应的参数;

将所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予所述初始深度学习模型中各相应的参数;

初始化所述初始深度学习模型中尚未赋值的其他参数,得到初始化后的初始深度学习模型。

可选的,所述将所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予所述初始深度学习模型中各相应的参数,包括:

获取所述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,得到各背景相关通道的参数值;

按照所述各背景相关通道的参数值,对所述初始深度学习模型中各相应通道参数的权重和偏执量的张量,沿着表征类别和坐标的维度进行参数覆盖。

可选的,所述计算机程序被处理器执行时还用于实现如下方法步骤:

将待检测图像输入所述目标深度学习模型,得到所述待检测图像的目标检测结果。

可选的,所述将待检测图像输入所述目标深度学习模型,得到所述待检测图像的目标检测结果,包括:

清理指定图像处理器中原有的算法模型,并利用所述指定图像处理器加载所述目标深度学习模型;

通过所述指定图像处理器,利用所述目标深度学习模型对待检测图像进行分析,得到所述待检测图像的目标检测结果。

本申请实施例提供的深度学习模型训练方法、装置及电子设备,获取已训练的目标检测模型,其中,目标检测模型用于对图像进行目标检测,目标检测模型包括前景及背景识别结构;利用目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,初始深度学习模型包括前景及背景识别结构;利用预设样本图片对初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。利用已训练的目标检测模型的背景识别参数对初始深度学习模型进行初始化,尽管目标检测模型的样本图片与初始深度学习模型的样本图片中目标的类别和形态可能存在较大差异,但是鉴于背景的丰富程度远大于目标本身,因此背景的识别具有更强的泛化能力和迁移能力,可以利用目标检测模型背景识别参数起到更好的迁移训练效果。初始化后的初始深度学习模型已经具有了较强的背景识别能力,并含有鲁棒的目标特征提取能力,容易训练至收敛,增加深度学习模型目标检测的准确性。同时还能够增加深度学习模型训练的收敛速度,特别是针对样本图片较少的训练场景,能够降低过拟合的情况,增加训练的稳定性,提高目标检测的准确性。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例的深度学习模型训练方法的第一种示意图;

图2a为本申请实施例的深度学习模型训练方法的第二种示意图;

图2b为本申请实施例的深度学习模型训练方法的第二种示意图;

图3a为本申请实施例的分类器输出层参数张量的一种示意图;

图3b为本申请实施例的参数初始化的一种示意图;

图4为本申请实施例的深度学习模型训练装置的一种示意图;

图5为本申请实施例的电子设备的一种示意图。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

首先,对本申请实施例中的专业术语进行解释:

迁移训练:指深度学习算法中,在一个已经训练好的模型的基础上对新的目标数据训练的过程,旨在提高新目标数据训练的精度和稳定性。

相关技术中,基于迁移训练的深度学习模型的训练过程,一般均遵循统一的范式,即使用在大型图像分类数据集上训练好的分类模型的参数来初始化新的深度学习模型的后端结构,而前端的定位和分类等结构的参数是随机初始化的,初始化完毕再在此基础上进行训练。

但是针对个人用户或一些小样本训练场景,例如面向个人用户提供目标检测服务的云平台等,因为用于训练深度学习模型的样本数据较少,采用上述方法进行训练时,由于前端的网络结构存在大量随机初始化的参数,训练时会引入大量的随机因素导致收敛较慢,因此会出现过拟合等问题,从而影响深度学习模型目标检测的准确率。

有鉴于此,本申请实施例提供了一种深度学习模型训练方法,参见图1,该方法包括:

s101,获取已训练的目标检测模型,其中,上述目标检测模型用于对图像进行目标检测,上述目标检测模型包括前景及背景识别结构。

本申请实施例的深度学习模型训练方法可以通过服务器等电子设备实现,具体的,可以为云平台中的服务器。

目标检测模型用于识别图像中的指定目标,即用于执行图像中的目标检测功能。目标检测模型为包含前景及背景识别结构的模型,例如,faster(更快的)-rcnn(regions-convolutionalneuralnetworks,区域卷积神经网络)或yolo(youonlylookonce,你只看一次)等。针对不包含前景及背景识别结构的深度学习模型,例如ssd(singleshotmultiboxdetector,单点多核探测器)或retinanet等,可以在该类深度学习模型的输出层中加入前景及背景识别结构,输出层中的原分类结构用于处理前景目标的分类。其中,前景及背景识别结构可以为前景及背景识别任务的二分类结构,例如,可以为rpn(regionproposalnetworks,区域提议网络)等。

目标检测模型为已经训练好的用于进行目标检测的深度学习模型。具体的,目标检测模型可以为利用大型的目标检测数据集训练得到的,尽管数据集中目标的类别和形态可能存在较大差异,但背景的丰富程度远大于目标本身,因此学到背景的识别具有更强的泛化能力和迁移能力,可以在目标数据集上起到更好的迁移训练效果。

s102,利用上述目标检测模型的背景识别参数,对上述初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,上述初始深度学习模型包括前景及背景识别结构。

背景识别参数为与背景识别相关的参数,例如可以包括模型的输出层之前的各网络层的参数、输出层中定位坐标的回归器通道的参数及分类器中背景类别识别通道的参数等。将目标检测模型中的背景识别参数的参数值,分别赋予初始深度学习模型中相应的背景识别参数,具体可以使用目标检测模型中的背景识别参数,直接覆盖初始深度学习模型中相应的背景识别参数。对于初始深度学习模型中除背景识别参数外的其他参数可以采取随机赋值的方法。

s103,利用预设样本图片对上述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。

在初始深度学习模型初始化完成后,便可以利用预设样本图片对初始化后的初始深度学习模型进行训练。本申请实施例中可以采用任意相关的利用样本图片训练深度学习模型的方法,对初始化后的初始深度学习模型进行训练,此处不再赘述。

在本申请实施例中,利用已训练的目标检测模型的背景识别参数对初始深度学习模型进行初始化,尽管目标检测模型的样本图片与初始深度学习模型的样本图片中目标的类别和形态可能存在较大差异,但是鉴于背景的丰富程度远大于目标本身,因此背景的识别具有更强的泛化能力和迁移能力,可以利用目标检测模型背景识别参数起到更好的迁移训练效果。初始化后的初始深度学习模型已经具有了较强的背景识别能力,并含有鲁棒的目标特征提取能力,容易训练至收敛,增加深度学习模型目标检测的准确性。同时还能够增加深度学习模型训练的收敛速度,特别是针对样本图片较少的训练场景,能够降低过拟合的情况,增加训练的稳定性,提高目标检测的准确性。

为了保证背景识别参数的顺利移植,初始深度学习模型中需要包括前景及背景识别结构,在一种可能的实施方式中,参见图2a,在上述利用上述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型之前,上述方法还包括:

s201,判断待训练的初始深度学习模型是否包括前景及背景识别结构。

在待训练的初始深度学习模型不包括前景及背景识别结构时,执行s202;在待训练的初始深度学习模型包括前景及背景识别结构时,执行s102。

s202,在上述初始深度学习模型不包括前景及背景识别结构时,在上述初始深度学习模型的输出层增加前景及背景识别结构,其中,上述初始深度学习模型的输出层中原分类结构用于前景目标的分类。

在初始深度学习模型为不包含前景及背景识别结构的深度学习模型,例如在初始深度学习模型为ssd或retinanet等单阶段模型时,可以在初始深度学习模型的输出层增加前景及背景识别结构,具体可以为前景及背景识别任务的二分类结构。而初始深度学习模型的输出层中原分类结构用于处理前景目标的分类,从而分解成两个层次化的任务。相应的,后续在利用样本数据训练初始深度学习模型时,需要在分类损失函数中加入对前景及背景识别的训练,训练中可以适当调节训练中超参数,以保证训练效果。

在本申请实施例中,当初始深度学习模型不包括前景及背景识别结构时,通过在初始深度学习模型的输出层增加前景及背景识别结构,从而保证目标检测模型的背景识别参数的顺利移植,增加本申请深度学习模型训练方法实用的模型范围。

在一种可能的实施方式中,参见图2b,上述利用上述目标检测模型的背景识别参数,对上述初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,包括:

s1021,将上述目标检测模型的输出层之前的各网络层参数的参数值,赋予上述初始深度学习模型中各相应的参数。

具体的,可以将目标检测模型的输出层之前所有网络层的参数,分别覆盖到初始深度学习模型的对应参数中。

s1022,将上述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予上述初始深度学习模型中各相应的参数。

具体的,可以将目标检测模型的输出层中的背景识别参数,包括定位坐标的回归器通道及分类器中背景类别识别通道的各参数,分别覆盖到初始深度学习模型输出层的对应参数中。

可选的,上述将上述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予上述初始深度学习模型中各相应的参数,包括:

步骤一,获取上述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,得到各背景相关通道的参数值。

步骤二,按照上述各背景相关通道的参数值,对上述初始深度学习模型中各相应通道参数的权重和偏执量的张量,沿着表征类别和坐标的维度进行参数覆盖。

对于输出层,由于目标检测模型和初始深度学习模型的类别数可能不一致,因此无法直接进行参数的覆盖,但定位坐标的回归器(4通道)以及目标分类器中的背景类识别通道(1通道)是目标检测模型和初始深度学习模型都具备的结构,因此可以保留这5个通道的参数。具体可以按照目标检测模型中这5个通道的参数,在初始深度学习模型的输出层中,针对权重和偏置量的张量沿着表征类别和坐标的维度分别对这5个通道的参数进行相应覆盖,其中,分类器输出层参数(包括权重及偏置)的示意图可以如图3a所示。

s1023,初始化上述初始深度学习模型中尚未赋值的其他参数,得到初始化后的初始深度学习模型。

采用任意相关的初始化方法初始化该初始深度学习模型中尚未赋值的其他参数,例如对初始深度学习模型中尚未赋值的其他参数进行随机赋值的初始化操作等。

具体参见图3b,输出层之前包括图像输入网络、后端网络、区域提议网络及头部网络,在输出层中针对定位坐标的回归器的四个通道及分类器中背景类识别的一个通道,利用目标检测模型中这五个通道的参数对初始深度学习模型中这五个通道的相应参数进行覆盖。而针对分类器中其他通道的参数,可以采用随机赋值的方式进行初始化。

在本申请实施例中,利用已训练的目标检测模型的背景识别参数对初始深度学习模型进行初始化,尽管目标检测模型的样本图片与初始深度学习模型的样本图片中目标的类别和形态可能存在较大差异,但是鉴于背景的丰富程度远大于目标本身,因此背景的识别具有更强的泛化能力和迁移能力,可以利用目标检测模型背景识别参数起到更好的迁移训练效果。初始化后的初始深度学习模型已经具有了较强的背景识别能力,并含有鲁棒的目标特征提取能力,容易训练至收敛,增加深度学习模型目标检测的准确性。同时还能够增加深度学习模型训练的收敛速度,特别是针对样本图片较少的训练场景,能够降低过拟合的情况,增加训练的稳定性,提高目标检测的准确性。

初始化后的初始深度学习模型的训练方法可以参见相关技术中深度学习模型的训练方法。在一种可能的实施方式中,上述利用预设样本图片对上述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型,包括:

步骤一,将预设样本图片输入到上述初始化后的初始深度学习模型中进行训练,并调整上述初始化后的初始深度学习模型的学习参数,其中,上述学习参数包括上述背景识别参数。

在预先准备的包括标记信息的各预设样本图像中,选取预设样本图像分阶段输入到初始化后的初始深度学习模型进行训练,在每阶段训练完成后,按照训练效果,例如,根据损失函数值或局部损失等,调整初始化后的初始深度学习模型的学习参数。学习参数包括背景识别参数,还可以包括学习率及分类参数等。

步骤二,当满足预设结束条件时,结束对上述初始化后的初始深度学习模型的训练,得到训练后的目标深度学习模型。

预设结束条件可以按照实际情况进行设定,例如,在损失函数收敛时,判定满足预设结束条件;或在训练次数达到预设的次数阈值时,判定满足预设结束条件;或在训练效果开始下降时,判定满足预设结束条件等。在满足预设结束条件时,结束对初始化后的初始深度学习模型的训练,得到训练后的目标深度学习模型。

预设样本图片的类型可以按照实际的目标检测需求进行设定,在一种可能的实施方式中,上述预设样本图片包括标注有人脸框的人脸图片,或标注有人体框的人体图片,或标注有车辆框的车辆图片。

预设样本图片可以包括正样本图片及负样本图片。例如,当需要针对人体进行目标检测时,正样本图片可以为标注有人体框的人体图片,负样本可以为不包含人体的图片;例如,当需要针对车辆进行目标检测时,正样本图片可以为标注有车辆框的车辆图片,负样本可以为不包含车辆的图片。

在一种可能的实施方式中,上述方法还包括:

将待检测图像输入所述目标深度学习模型,得到所述待检测图像的目标检测结果。

利用训练后的目标深度学习模型,对待检测图像进行目标检测。

在一种可能的实施方式中,上述将待检测图像输入上述目标深度学习模型,得到上述待检测图像的目标检测结果,包括:

步骤一,清理指定图像处理器中原有的算法模型,并利用上述指定图像处理器加载上述目标深度学习模型。

指定图像处理器为个人电脑、智能手机、智能相机或服务器等设备中的图像处理器,具体的,指定图像处理器可以为gpu(graphicsprocessingunit,图形处理器),一些情况下也可以为cpu或fpga(field-programmablegatearray,现场可编程门阵列)等具有计算功能的器件。可以通过向指定图像处理器发送指令,以使指定图像处理器清理原有的算法模型,并加载目标深度学习模型。

步骤二,通过上述指定图像处理器,利用上述目标深度学习模型对待检测图像进行分析,得到上述待检测图像的目标检测结果。

当指定图像处理器加载完目标深度学习模型后,便可以通过指定图像处理器运行目标深度学习模型,从而对待检测图像进行目标检测,得到待检测图像的目标检测结果。

本申请实施例的深度学习模型训练方法,可以应用在云平台等场景中,针对云平台服务的个人用户或企业用户,由于个人用户或企业用户能够提供的训练样本的数量较少,可以通过本申请实施例的深度学习模型训练方法,使待训练的模型快速达到收敛,降低过拟合的情况,增加训练的稳定性。利用本申请实施例的深度学习模型训练方法得到的模型进行目标检测,能够提高目标检测的准确性。

本申请实施例还提供了一种深度学习模型训练装置,参见图4,该装置包括:

模型获取模块401,用于获取已训练的目标检测模型,其中,上述目标检测模型用于对图像进行目标检测,上述目标检测模型包括前景及背景识别结构;

模型初始化模块402,用于利用上述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,上述初始深度学习模型包括前景及背景识别结构;

样本训练模块403,用于利用预设样本图片对上述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。

可选的,上述装置还包括:

识别结构判断模块,用于判断待训练的初始深度学习模型是否包括前景及背景识别结构;

识别结构添加模块,用于在上述初始深度学习模型不包括前景及背景识别结构时,在上述初始深度学习模型的输出层增加前景及背景识别结构,其中,上述初始深度学习模型的输出层中原分类结构用于前景目标的分类。

可选的,所述样本训练模块403,具体用于:将预设样本图片输入到所述初始化后的初始深度学习模型中进行训练,并调整所述初始化后的初始深度学习模型的学习参数,其中,所述学习参数包括所述背景识别参数;当满足预设结束条件时,结束对所述初始化后的初始深度学习模型的训练,得到训练后的目标深度学习模型。

可选的,所述预设样本图片包括标注有人脸框的人脸图片,或标注有人体框的人体图片,或标注有车辆框的车辆图片。

可选的,上述模型初始化模块402,包括:

前端参数赋值子模块,用于将上述目标检测模型的输出层之前的各网络层参数的参数值,赋予上述初始深度学习模型中各相应的参数;

后端参数赋值子模块,用于将上述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予上述初始深度学习模型中各相应的参数;

其他参数赋值子模块,用于初始化上述初始深度学习模型中尚未赋值的其他参数,得到初始化后的初始深度学习模型。

可选的,上述后端参数赋值子模块,具体用于:

获取上述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,得到各背景相关通道的参数值;

按照上述各背景相关通道的参数值,对上述初始深度学习模型中各相应通道参数的权重和偏执量的张量,沿着表征类别和坐标的维度进行参数覆盖。

可选的,上述装置还包括:图像识别模块,用于将待检测图像输入上述目标深度学习模型,得到上述待检测图像的目标检测结果。

可选的,上述图像识别模块,具体用于:清理指定图像处理器中原有的算法模型,并利用上述指定图像处理器加载上述目标深度学习模型;通过上述指定图像处理器,利用上述目标深度学习模型对待检测图像进行分析,得到上述待检测图像的目标检测结果。

在本申请实施例中,利用已训练的目标检测模型的背景识别参数对初始深度学习模型进行初始化,尽管目标检测模型的样本图片与初始深度学习模型的样本图片中目标的类别和形态可能存在较大差异,但是鉴于背景的丰富程度远大于目标本身,因此背景的识别具有更强的泛化能力和迁移能力,可以利用目标检测模型背景识别参数起到更好的迁移训练效果。初始化后的初始深度学习模型已经具有了较强的背景识别能力,并含有鲁棒的目标特征提取能力,容易训练至收敛,增加深度学习模型目标检测的准确性。同时还能够增加深度学习模型训练的收敛速度,特别是针对样本图片较少的训练场景,能够降低过拟合的情况,增加训练的稳定性,提高目标检测的准确性。

本申请实施例还提供了一种电子设备,包括:处理器及存储器;

上述存储器,用于存放计算机程序;

上述处理器用于执行上述存储器存放的计算机程序时,实现如下步骤:

获取已训练的目标检测模型,其中,上述目标检测模型用于对图像进行目标检测,上述目标检测模型包括前景及背景识别结构;

利用上述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,上述初始深度学习模型包括前景及背景识别结构;

利用预设样本图片对上述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。

可选的,上述处理器还用于:

判断待训练的初始深度学习模型是否包括前景及背景识别结构;

在上述初始深度学习模型不包括前景及背景识别结构时,在上述初始深度学习模型的输出层增加前景及背景识别结构,其中,上述初始深度学习模型的输出层中原分类结构用于前景目标的分类。

可选的,上述利用预设样本图片对上述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型,包括:

将预设样本图片输入到上述初始化后的初始深度学习模型中进行训练,并调整上述初始化后的初始深度学习模型的学习参数,其中,上述学习参数包括上述背景识别参数;

当满足预设结束条件时,结束对上述初始化后的初始深度学习模型的训练,得到训练后的目标深度学习模型。

可选的,上述预设样本图片包括标注有人脸框的人脸图片,或标注有人体框的人体图片,或标注有车辆框的车辆图片。

可选的,上述利用上述目标检测模型的背景识别参数,对上述初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,包括:

将上述目标检测模型的输出层之前的各网络层参数的参数值,赋予上述初始深度学习模型中各相应的参数;

将上述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予上述初始深度学习模型中各相应的参数;

初始化上述初始深度学习模型中尚未赋值的其他参数,得到初始化后的初始深度学习模型。

可选的,上述将上述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,赋予上述初始深度学习模型中各相应的参数,包括:

获取上述目标检测模型的输出层中定位坐标的回归器通道及分类器中背景类别识别通道的参数值,得到各背景相关通道的参数值;

按照上述各背景相关通道的参数值,对上述初始深度学习模型中各相应通道参数的权重和偏执量的张量,沿着表征类别和坐标的维度进行参数覆盖。

可选的,上述处理器还用于:将待检测图像输入上述目标深度学习模型,得到上述待检测图像的目标检测结果。

可选的,上述将待检测图像输入上述目标深度学习模型,得到上述待检测图像的目标检测结果,包括:

清理指定图像处理器中原有的算法模型,并利用上述指定图像处理器加载上述目标深度学习模型;

通过上述指定图像处理器,利用上述目标深度学习模型对待检测图像进行分析,得到上述待检测图像的目标检测结果。

可选的,上述处理器用于执行上述存储器存放的计算机程序时,还能够实现上述任一深度学习模型训练方法。

可选的,参见图5,本申请实施例的电子设备还包括通信接口502和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信。

上述电子设备提到的通信总线可以是pci(peripheralcomponentinterconnect,外设部件互连标准)总线或eisa(extendedindustrystandardarchitecture,扩展工业标准结构)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括ram(randomaccessmemory,随机存取存储器),也可以包括nvm(non-volatilememory,非易失性存储器),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括cpu(centralprocessingunit,中央处理器)、np(networkprocessor,网络处理器)等;还可以是dsp(digitalsignalprocessing,数字信号处理器)、asic(applicationspecificintegratedcircuit,专用集成电路)、fpga(field-programmablegatearray,现场可编程门阵列)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

本申请实施例还提供了一种计算机可读存储介质,上述计算机可读存储介质内存储有计算机程序,上述计算机程序被处理器执行时实现如下步骤:

获取已训练的目标检测模型,其中,上述目标检测模型用于对图像进行目标检测,上述目标检测模型包括前景及背景识别结构;

利用上述目标检测模型的背景识别参数,对待训练的初始深度学习模型进行初始化,得到初始化后的初始深度学习模型,其中,上述初始深度学习模型包括前景及背景识别结构;

利用预设样本图片对上述初始化后的初始深度学习模型进行训练,得到训练后的目标深度学习模型。

可选的,上述计算机程序被处理器执行时,还能够实现上述任一深度学习模型训练方法。

需要说明的是,在本文中,各个可选方案中的技术特征只要不矛盾均可组合来形成方案,这些方案均在本申请公开的范围内。诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、电子设备及存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1