本发明涉及图像处理技术领域,尤其涉及一种基于多重特征的目标物分割方法、装置、电子设备及计算机可读存储介质。
背景技术:
随着图像处理技术的发展,人们越来越多的对图像进行分析以获取图像中所包含的信息。例如,医生对医疗图像进行观测、分析,进而从医疗图像中检测出病灶的信息,极大的帮助了医生对病人病情的了解与分析。
目前对于图像中目标物的分割,如,医疗图像中病灶的分割,大多数情况下还是依靠医生人工进行。该方法过于依赖医生的经验,且很多病灶边界模糊,且与多种病灶相似,导致病灶分割会时的精确度较低;且人工检测效率低下,也无法获取病灶的边界及类型信息,不利于后续对病情进行分析。
技术实现要素:
本发明提供一种基于多重特征的目标物分割方法、装置及计算机可读存储介质,其主要目的在于解决图像中目标物分割的精确度较低的问题。
为实现上述目的,本发明提供的一种基于多重特征的目标物分割方法,包括:
获取目标物图像集,对所述目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集;
对所述标准图像集进行图像标注,得到所述标准图像集中各标准图像的真实标签;
利用预构建的初始分割网络对所述标准图像集中各标准图像进行多重特征提取,得到各标准图像对应的多重图像特征;
分别对所述多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果;
计算所述预测分割结果与所述真实标签的损失值,并根据所述损失值对所述初始分割模型进行参数调整,得到目标物分割模型;
获取待分割图像,利用所述目标物分割模型对所述待分割图像进行目标物分割,得到目标物分割结果。
可选地,所述对所述目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集,包括:
统计所述目标物图像集中每一张目标物图像的尺寸,得到多个图像尺寸;
根据所述多个图像尺寸计算所述目标物图像集中所有目标物图像的尺寸的公倍数;
将所述目标物图像集中每一张目标物图像按照所述公倍数进行放大,得到相同尺寸的标准图像集。
可选地,所述利用预构建的初始分割网络对所述标准图像集中各标准图像进行多重特征提取,得到各标准图像对应的多重图像特征,包括:
利用所述初始分割网络对所述标准图像集中每一张标准图像进行卷积、池化处理,得到池化图像;
对所述池化图像进行全连接处理,得到全连接特征图;
对所述全连接特征图进行多尺度的特征提取,得到多重图像特征。
可选地,所述对所述池化图像进行全连接处理,得到全连接特征图,包括:
利用第一全连接层对所述池化图像进行全连接处理,得到中间图像;
利用第二全连接层对所述中间图像进行全连接处理,得到全连接特征图。
可选地,所述分别对所述多重图像特征进行图像分割,得到所述多重图像特征对应的预测分割结果,包括:
对所述多重图像特征进行类型识别,得到目标物类型;
对所述多重图像特征进行边界划分,得到目标物边界。
可选地,所述对所述多重图像特征进行类型识别,得到目标物类型,包括:
获取预设的特征表,所述特征表中包含多个标准特征及所述标准特征对应的标准类型;
分别计算所述多重图像特征与所述标准特征的相似度;
确定所述相似度大于预设相似阈值的标准特征对应的标准类型为所述多重图像特征的目标物类型。
可选地,所述对所述多重图像特征进行边界划分,得到目标物边界,包括:
分别遍历所述多重图像特征中每一个像素的像素值;
按照预设的像素阈值对每一个像素进行划分,得到所述多重特征中的目标物边界。
为了解决上述问题,本发明还提供一种基于多重特征的目标物分割装置,所述装置包括:
尺寸缩放模块,用于获取目标物图像集,对所述目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集;
图像标注模块,用于对所述标准图像集进行图像标注,得到所述标准图像集中各标准图像的真实标签;
多重特征提取模块,用于利用预构建的初始分割网络对所述标准图像集中各标准图像进行多重特征提取,得到各标准图像对应的多重图像特征;
图像分割模块,用于分别对所述多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果;
损失值计算模块,用于计算所述预测分割结果与所述真实标签的损失值,并根据所述损失值对所述初始分割模型进行参数调整,得到目标物分割模型;
图像分割模块,用于获取待分割图像,利用所述目标物分割模型对所述待分割图像进行目标物分割,得到目标物分割结果。
为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:
存储器,存储至少一个指令;及
处理器,执行所述存储器中存储的指令以实现上述所述的基于多重特征的目标物分割方法。
为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一个指令,所述至少一个指令被电子设备中的处理器执行以实现上述所述的基于多重特征的目标物分割方法。
本发明实施例通过对目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集,有利于后续对目标物图像集中的目标物图像进行统一处理,提高图像处理效率;利用初始分割模型对标准图像集中各标准图像进行多重特征提取,可实现获取多种尺度的图像特征,有利于提高后续对目标物分割的精确度;对多重图像特征进行图像分割,并利用损失函数计算损失值对初始分割模型进行参数调整,获取目标物分割模型对图像进行目标物分割,提高了目标物分割的效率与精确度。因此,本发明实施例提出的基于多重特征的目标物分割方法,可以解决图像中目标物分割的精确度较低的问题。
附图说明
图1为本发明一实施例提供的基于多重特征的目标物分割方法的流程示意图;
图2为本发明一实施例提供的多重特征提取的流程示意图;
图3为本发明一实施例提供的基于多重特征的目标物分割装置的功能模块图;
图4为本发明一实施例提供的实现所述基于多重特征的目标物分割方法的电子设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本申请实施例提供一种基于多重特征的目标物分割方法。所述基于多重特征的目标物分割方法的执行主体包括但不限于服务端、终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。换言之,所述基于多重特征的目标物分割方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。
参照图1所示,为本发明一实施例提供的基于多重特征的目标物分割方法的流程示意图。在本实施例中,所述基于多重特征的目标物分割方法包括:
s1、获取目标物图像集,对所述目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集。
本发明实施例中,所述目标物图像集包含多张含有目标物的目标物图像,例如,含有特定病灶的病灶图像、含有特定图案的图像等;所述目标物图像集可由用户预先存储于区块链节点中,利用区块链对数据的高吞吐性,可提高获取所述目标物图像集的效率。
本发明实施例中,可利用统计方法对目标物图像集中每一张目标物图像的尺寸进行统计,并找出尺寸的公倍数或公因数,将每一张目标物图像按照所述公倍数或公因数缩放为相同的尺寸,得到含有相同尺寸的目标物图像的标准图像集,以便于后续对目标物图像集中的目标物图像进行统一处理。
本发明另一实施例中,还可通过统计出该目标物图像集中所有目标物图像的尺寸,从而确定该目标物图像集中尺寸最小的目标物图像的图像尺寸,并将该目标物图像集中每一张目标物图像按照所述尺寸最小的目标物图像的图像尺寸进行裁剪,以实现对目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集。
本发明其中一实施例中,所述对所述目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集,包括:
统计所述目标物图像集中每一张目标物图像的尺寸,得到多个图像尺寸;
根据所述多个图像尺寸计算所述目标物图像集中所有目标物图像的尺寸的公倍数;
将所述目标物图像集中每一张目标物图像按照所述公倍数进行放大,得到相同尺寸的标准图像集。
实际应用中,按照公倍数将目标物图像放大为相同尺寸,可以放大目标物图像的细节,有利于提高后续对目标物图像进行分析的精确度。
s2、对所述标准图像集进行图像标注,得到所述标准图像集中各标准图像的真实标签。
本发明实施例中,可采用具有预设的图像标注工具对所述标准图像集进行图像标注,所述图像标注工具包括但不限于:labelme工具、labelmg工具和labelhub工具。
将所述标准图像集中的每一张标准图像均采用图像标注工具进行标注,即利用图像标注工具对所述标准图像集中每一张标准图像内的目标物进行轮廓勾勒,并同时标注目标物的类别、名称等信息,并将勾勒的轮廓和标注的信息作为标准图像的真实标签,其中,所述真实标签包括所述目标物的真实边界与真实类别。
s3、利用预构建的初始分割网络对所述标准图像集中各标准图像进行多重特征提取,得到各标准图像对应的多重图像特征。
本发明实施例中,所述初始分割网络可采用具有特征提取功能的卷积神经网络,例如segnet网络、e-net网络、v-net网络和resnet50网络等。
本发明其中一实施例中,所述初始分割网络采用resnet50网络作,并在所述初始分割网络中添加了fpn特征金字塔结构,以实现对标准图像集中各标准图像的多重特征提取,得到各标准图像对应的多重图像特征。
本发明其中一实施例中,利用该初始分割网络对标准图像进行卷积、池化、全连接等处理,得到该标准图像对应的全连接特征图,再利用所述初始分割网络中的fpn特征金字塔结构对该全连接特征图进行不同尺度的特征输出,得到多重尺度下的多重图像特征。
通过对标准图像集中各标准图像进行多重特征提取,可实现获取多种尺度的图像特征,有利于提高后续对目标物分割的精确度。
本发明另一实施例中,参图3所示,所述利用预构建的初始分割网络对所述标准图像集中各标准图像进行多重特征提取,得到各标准图像对应的多重图像特征,包括:
s31、利用所述初始分割网络对所述标准图像集中每一张标准图像进行卷积、池化处理,得到池化图像;
s32、对所述池化图像进行全连接处理,得到全连接特征图;
s33、对所述全连接特征图进行多尺度的特征提取,得到多重图像特征。
例如,存在标准图像a,利用初始分割网络对所述标准图像a进行卷积、池化及全连接处理,得到该标准图像a对应的全连接特征图,再利用初始分割网络中的包含5层输出的fpn特征金字塔结构对该全连接特征图进行多重特征提取,可得到该标准图像a对应的5种不同尺寸的多重图像特征。
本发明又一实施例中,所述对所述池化图像进行全连接处理,得到全连接特征图,包括:
利用第一全连接层对所述池化图像进行全连接处理,得到中间图像;
利用第二全连接层对所述中间图像进行全连接处理,得到全连接特征图。
详细地,对所述池化图像进行两次全连接处理可对所述标准图像中的特征进行更精细的保留,有利于提高后续目标物分割的精确度。
s4、分别对所述多重图像特征进行图像分割,得到所述多重图像特征对应的预测分割结果。
本发明实施例中,可利用预设的初始分割模型中的图像分割算法对分别对多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果。
详细地,所述预测分割结果包括目标物边界和目标物类型,例如,所述目标物为某一疾病的病灶,则所述预测结果包括该病灶的边界及改病灶对应的疾病类型。
实际应用中,在进行图像分割时,可采用的图像分割算法包括但不限于:
本发明实施例中,所述分别对所述多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果,包括:基于阈值的图像分割算法、基于边缘分割的图像分割算法。
本发明另一实施例中,所述分别对所述多重图像特征进行图像分割,得到所述多重图像特征对应的预测分割结果,包括:
对所述多重图像特征进行类型识别,得到目标物类型;
对所述多重图像特征进行边界划分,得到目标物边界。
详细地,所述对所述多重图像特征进行类型识别,得到目标物类型,包括:
获取预设的特征表,所述特征表中包含多个标准特征及所述标准特征对应的标准类型;
分别计算所述多重图像特征与所述标准特征的相似度;
确定所述相似度大于预设相似阈值的标准特征对应的标准类型为所述多重图像特征的目标物类型。
详细地,可利用余弦算法或欧氏距离算法等算法分别计算所述多重图像特征与所述标准特征的相似度,进而确定目标物类型。
例如,所述多重图像特征中存在图像特征1、图像特征2、和图像特征3,存在特征表中包含苹果及苹果特征、和西瓜及西瓜特征的标准;计算得出图像特征1与苹果特征的相似度为50,图像特征1与西瓜特征的相似度为80,则确定所述图像特征1为西瓜特征,图像特征1对应的目标物类型为西瓜;同理,计算得出图像特征2为西瓜特征,图像特征2对应的目标物类型为西瓜;计算得出图像特征3为苹果特征,图像特征3对应的目标物类型为苹果。由于多重图像特征中,更多的图像特征为西瓜特征,因此,确定所述多重图像特征对应的标准图像中目标物的类别为西瓜。
具体地,所述对所述多重图像特征进行边界划分,得到目标物边界,包括:
分别遍历所述多重图像特征中每一个像素的像素值;
按照预设的像素阈值对每一个像素进行划分,得到所述多重特征中的目标物边界。
具体地,在进行目标物边界划分时,可通过将多重图像特征中每一重图像特征中的像素按照预设的像素阈值进行划分,例如,预设的像素阈值为100,则将每一重图像特征中像素值大于100的像素点划分为一类,将每一重图像特征中像素值小于或等于100的像素点划分为另一类,两类的边界即为所述目标物边界。
s5、计算所述预测分割结果与所述真实标签的损失值,并根据所述损失值对所述初始分割模型进行参数调整,得到目标物分割模型。
本发明实施例中,可利用预设的损失函数计算所述预测分割结果与所述真实标签的损失值,所述损失函数包括但不限于边界损失函数和类别损失函数,其中,所述边界损失函数用于计算所述预测分割结果中目标物边界与所述真实边界之间的损失值,所述类别损失函数用于计算所述预测分割结果中目标物类别与所述真实类别的损失值。
进一步地,可根据计算得到的损失值利用批量梯度下降算法、随机梯度下降算法或小批量梯度下降算法等具有模型参数优化功能的算法对所述初始分割模型进行参数调整,以实现对初始分割模型的优化,得到目标物分割模型。
本发明其中一实施例中,所述计算所述预测分割结果与所述真实标签的损失值,并根据所述损失值对所述初始分割模型进行参数调整,得到目标物分割模型,包括:
利用预设的第一损失函数计算所述预测分割结果中目标物边界与所述真实边界之间的边界损失值;
利用预设的第二损失函数计算所述预测分割结果中目标物类别与所述真实类别的类别损失值;
根据所述边界损失值与所述类别损失值计算所述初始分割模型的关系参数,并利用所述更新参数对所述初始分割模型进行参数更新,得到目标物分割模型。
本发明实施例中,利用不同的损失函数计算预测分割结果与真实标签的损失值,并利用损失值对初始分割模型进行参数调整,有利于提高利用得到的目标物分割模型对图像进行分割的精确度。
s6、获取待分割图像,利用所述目标物分割模型对所述待分割图像进行目标物分割,得到目标物分割结果。
本发明实施例中,所述待分割图像可以为包含目标物的图像,将所述待分割图像输入至所述目标物分割模型,以实现利用所述目标物分割模型对该待分割图像进行目标物分割,得到包含该目标物的边界与类型的目标物分割结果。
本发明实施例通过对目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集,有利于后续对目标物图像集中的目标物图像进行统一处理,提高图像处理效率;利用初始分割模型对标准图像集中各标准图像进行多重特征提取,可实现获取多种尺度的图像特征,有利于提高后续对目标物分割的精确度;对多重图像特征进行图像分割,并利用损失函数计算损失值对初始分割模型进行参数调整,获取目标物分割模型对图像进行目标物分割,提高了目标物分割的效率与精确度。因此,本发明实施例提出的基于多重特征的目标物分割方法,可以解决图像中目标物分割的精确度较低的问题。
如图3所示,是本发明一实施例提供的基于多重特征的目标物分割装置的功能模块图。
本发明所述基于多重特征的目标物分割装置100可以安装于电子设备中。根据实现的功能,所述基于多重特征的目标物分割装置100可以包括尺寸缩放模块101、图像标注模块102、多重特征提取模块103、图像分割模块104、损失值计算模块105和图像分割模块106。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
在本实施例中,关于各模块/单元的功能如下:
所述尺寸缩放模块101,用于获取目标物图像集,对所述目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集;
本发明实施例中,所述目标物图像集包含多张含有目标物的目标物图像,例如,含有特定病灶的病灶图像、含有特定图案的图像等;所述目标物图像集可由用户预先存储于区块链节点中,利用区块链对数据的高吞吐性,可提高获取所述目标物图像集的效率。
本发明实施例中,可利用统计方法对目标物图像集中每一张目标物图像的尺寸进行统计,并找出尺寸的公倍数或公因数,将每一张目标物图像按照所述公倍数或公因数缩放为相同的尺寸,得到含有相同尺寸的目标物图像的标准图像集,以便于后续对目标物图像集中的目标物图像进行统一处理。
本发明另一实施例中,还可通过统计出该目标物图像集中所有目标物图像的尺寸,从而确定该目标物图像集中尺寸最小的目标物图像的图像尺寸,并将该目标物图像集中每一张目标物图像按照所述尺寸最小的目标物图像的图像尺寸进行裁剪,以实现对目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集。
本发明其中一实施例中,所述尺寸缩放模块101具体用于:
统计所述目标物图像集中每一张目标物图像的尺寸,得到多个图像尺寸;
根据所述多个图像尺寸计算所述目标物图像集中所有目标物图像的尺寸的公倍数;
将所述目标物图像集中每一张目标物图像按照所述公倍数进行放大,得到相同尺寸的标准图像集。
实际应用中,按照公倍数将目标物图像放大为相同尺寸,可以放大目标物图像的细节,有利于提高后续对目标物图像进行分析的精确度。
所述图像标注模块102,用于对所述标准图像集进行图像标注,得到所述标准图像集中各标准图像的真实标签;
本发明实施例中,可采用具有预设的图像标注工具对所述标准图像集进行图像标注,所述图像标注工具包括但不限于:labelme工具、labelmg工具和labelhub工具。
将所述标准图像集中的每一张标准图像均采用图像标注工具进行标注,即利用图像标注工具对所述标准图像集中每一张标准图像内的目标物进行轮廓勾勒,并同时标注目标物的类别、名称等信息,并将勾勒的轮廓和标注的信息作为标准图像的真实标签,其中,所述真实标签包括所述目标物的真实边界与真实类别。
所述多重特征提取模块103,用于利用预构建的初始分割网络对所述标准图像集中各标准图像进行多重特征提取,得到各标准图像对应的多重图像特征;
本发明实施例中,所述初始分割网络可采用具有特征提取功能的卷积神经网络,例如segnet网络、e-net网络、v-net网络和resnet50网络等。
本发明其中一实施例中,所述初始分割网络采用resnet50网络作,并在所述初始分割网络中添加了fpn特征金字塔结构,以实现对标准图像集中各标准图像的多重特征提取,得到各标准图像对应的多重图像特征。
本发明其中一实施例中,利用该初始分割网络对标准图像进行卷积、池化、全连接等处理,得到该标准图像对应的全连接特征图,再利用所述初始分割网络中的fpn特征金字塔结构对该全连接特征图进行不同尺度的特征输出,得到多重尺度下的多重图像特征。
通过对标准图像集中各标准图像进行多重特征提取,可实现获取多种尺度的图像特征,有利于提高后续对目标物分割的精确度。
本发明另一实施例中,所述多重特征提取模块103具体用于:
利用所述初始分割网络对所述标准图像集中每一张标准图像进行卷积、池化处理,得到池化图像;
对所述池化图像进行全连接处理,得到全连接特征图;
对所述全连接特征图进行多尺度的特征提取,得到多重图像特征。
例如,存在标准图像a,利用初始分割网络对所述标准图像a进行卷积、池化及全连接处理,得到该标准图像a对应的全连接特征图,再利用初始分割网络中的包含5层输出的fpn特征金字塔结构对该全连接特征图进行多重特征提取,可得到该标准图像a对应的5种不同尺寸的多重图像特征。
本发明又一实施例中,所述对所述池化图像进行全连接处理,得到全连接特征图,包括:
利用第一全连接层对所述池化图像进行全连接处理,得到中间图像;
利用第二全连接层对所述中间图像进行全连接处理,得到全连接特征图。
详细地,对所述池化图像进行两次全连接处理可对所述标准图像中的特征进行更精细的保留,有利于提高后续目标物分割的精确度。
所述图像分割模块104,用于分别对所述多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果;
本发明实施例中,可利用预设的初始分割模型中的图像分割算法对分别对多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果。
详细地,所述预测分割结果包括目标物边界和目标物类型,例如,所述目标物为某一疾病的病灶,则所述预测结果包括该病灶的边界及改病灶对应的疾病类型。
实际应用中,在进行图像分割时,可采用的图像分割算法包括但不限于:
本发明实施例中,所述分别对所述多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果,包括:基于阈值的图像分割算法、基于边缘分割的图像分割算法。
本发明另一实施例中,所述图像分割模块104具体用于:
对所述多重图像特征进行类型识别,得到目标物类型;
对所述多重图像特征进行边界划分,得到目标物边界。
详细地,所述对所述多重图像特征进行类型识别,得到目标物类型,包括:
获取预设的特征表,所述特征表中包含多个标准特征及所述标准特征对应的标准类型;
分别计算所述多重图像特征与所述标准特征的相似度;
确定所述相似度大于预设相似阈值的标准特征对应的标准类型为所述多重图像特征的目标物类型。
详细地,可利用余弦算法或欧氏距离算法等算法分别计算所述多重图像特征与所述标准特征的相似度,进而确定目标物类型。
例如,所述多重图像特征中存在图像特征1、图像特征2、和图像特征3,存在特征表中包含苹果及苹果特征、和西瓜及西瓜特征的标准;计算得出图像特征1与苹果特征的相似度为50,图像特征1与西瓜特征的相似度为80,则确定所述图像特征1为西瓜特征,图像特征1对应的目标物类型为西瓜;同理,计算得出图像特征2为西瓜特征,图像特征2对应的目标物类型为西瓜;计算得出图像特征3为苹果特征,图像特征3对应的目标物类型为苹果。由于多重图像特征中,更多的图像特征为西瓜特征,因此,确定所述多重图像特征对应的标准图像中目标物的类别为西瓜。
具体地,所述对所述多重图像特征进行边界划分,得到目标物边界,包括:
分别遍历所述多重图像特征中每一个像素的像素值;
按照预设的像素阈值对每一个像素进行划分,得到所述多重特征中的目标物边界。
具体地,在进行目标物边界划分时,可通过将多重图像特征中每一重图像特征中的像素按照预设的像素阈值进行划分,例如,预设的像素阈值为100,则将每一重图像特征中像素值大于100的像素点划分为一类,将每一重图像特征中像素值小于或等于100的像素点划分为另一类,两类的边界即为所述目标物边界。
所述损失值计算模块105,用于计算所述预测分割结果与所述真实标签的损失值,并根据所述损失值对所述初始分割模型进行参数调整,得到目标物分割模型;
本发明实施例中,可利用预设的损失函数计算所述预测分割结果与所述真实标签的损失值,所述损失函数包括但不限于边界损失函数和类别损失函数,其中,所述边界损失函数用于计算所述预测分割结果中目标物边界与所述真实边界之间的损失值,所述类别损失函数用于计算所述预测分割结果中目标物类别与所述真实类别的损失值。
进一步地,可根据计算得到的损失值利用批量梯度下降算法、随机梯度下降算法或小批量梯度下降算法等具有模型参数优化功能的算法对所述初始分割模型进行参数调整,以实现对初始分割模型的优化,得到目标物分割模型。
本发明其中一实施例中,所述损失值计算模块105具体用于:
利用预设的第一损失函数计算所述预测分割结果中目标物边界与所述真实边界之间的边界损失值;
利用预设的第二损失函数计算所述预测分割结果中目标物类别与所述真实类别的类别损失值;
根据所述边界损失值与所述类别损失值计算所述初始分割模型的关系参数,并利用所述更新参数对所述初始分割模型进行参数更新,得到目标物分割模型。
本发明实施例中,利用不同的损失函数计算预测分割结果与真实标签的损失值,并利用损失值对初始分割模型进行参数调整,有利于提高利用得到的目标物分割模型对图像进行分割的精确度。
所述图像分割模块106,用于获取待分割图像,利用所述目标物分割模型对所述待分割图像进行目标物分割,得到目标物分割结果。
本发明实施例中,所述待分割图像可以为包含目标物的图像,将所述待分割图像输入至所述目标物分割模型,以实现利用所述目标物分割模型对该待分割图像进行目标物分割,得到包含该目标物的边界与类型的目标物分割结果。
本发明实施例通过对目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集,有利于后续对目标物图像集中的目标物图像进行统一处理,提高图像处理效率;利用初始分割模型对标准图像集中各标准图像进行多重特征提取,可实现获取多种尺度的图像特征,有利于提高后续对目标物分割的精确度;对多重图像特征进行图像分割,并利用损失函数计算损失值对初始分割模型进行参数调整,获取目标物分割模型对图像进行目标物分割,提高了目标物分割的效率与精确度。因此,本发明实施例提出的基于多重特征的目标物分割方法,可以解决图像中目标物分割的精确度较低的问题。
如图4所示,是本发明一实施例提供的实现基于多重特征的目标物分割方法的电子设备的结构示意图。
所述电子设备1可以包括处理器10、存储器11和总线,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如基于多重特征的目标物分割程序12。
其中,所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备1的内部存储单元,例如该电子设备1的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式移动硬盘、智能存储卡(smartmediacard,smc)、安全数字(securedigital,sd)卡、闪存卡(flashcard)等。进一步地,所述存储器11还可以既包括电子设备1的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备1的应用软件及各类数据,例如基于多重特征的目标物分割程序12的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(centralprocessingunit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(controlunit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如基于多重特征的目标物分割程序等),以及调用存储在所述存储器11内的数据,以执行电子设备1的各种功能和处理数据。
所述总线可以是外设部件互连标准(peripheralcomponentinterconnect,简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
图4仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图4示出的结构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
例如,尽管未示出,所述电子设备1还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备1还可以包括多种传感器、蓝牙模块、wi-fi模块等,在此不再赘述。
进一步地,所述电子设备1还可以包括网络接口,可选地,所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等),通常用于在该电子设备1与其他电子设备之间建立通信连接。
可选地,该电子设备1还可以包括用户接口,用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organiclight-emittingdiode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
所述电子设备1中的所述存储器11存储的基于多重特征的目标物分割程序12是多个指令的组合,在所述处理器10中运行时,可以实现:
获取目标物图像集,对所述目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集;
对所述标准图像集进行图像标注,得到所述标准图像集中各标准图像的真实标签;
利用预构建的初始分割网络对所述标准图像集中各标准图像进行多重特征提取,得到各标准图像对应的多重图像特征;
分别对所述多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果;
计算所述预测分割结果与所述真实标签的损失值,并根据所述损失值对所述初始分割模型进行参数调整,得到目标物分割模型;
获取待分割图像,利用所述目标物分割模型对所述待分割图像进行目标物分割,得到目标物分割结果。
具体地,所述处理器10对上述指令的具体实现方法可参考图1至4对应实施例中相关步骤的描述,在此不赘述。
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)。
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:
获取目标物图像集,对所述目标物图像集进行尺寸缩放,得到相同尺寸的标准图像集;
对所述标准图像集进行图像标注,得到所述标准图像集中各标准图像的真实标签;
利用预构建的初始分割网络对所述标准图像集中各标准图像进行多重特征提取,得到各标准图像对应的多重图像特征;
分别对所述多重图像特征进行图像分割,得到每重图像特征对应的预测分割结果;
计算所述预测分割结果与所述真实标签的损失值,并根据所述损失值对所述初始分割模型进行参数调整,得到目标物分割模型;
获取待分割图像,利用所述目标物分割模型对所述待分割图像进行目标物分割,得到目标物分割结果。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。