1.本发明涉及机器学习
技术领域：
：，尤其涉及一种图像处理方法、电子装置及芯片。
背景技术：
：：2.目前，通常采用mask-rcnn和sparseinst等方法来处理图像。3.然而，这类应用于图像处理的网络，在处理大型数据集时，仍然存在类别不平衡的问题，同时，在处理大小不同的目标时，在边界质量上的表现较差，从而影响图像处理的精度和效果。技术实现要素：4.本技术实施例提供了一种图像处理方法、电子装置及芯片，能够提升图像处理的精度和效果。5.本技术实施例的技术方案是这样实现的：6.第一方面，本技术实施例提供了一种图像处理方法，所述方法包括：7.构建初始神经网络模型；8.基于polyloss和boundaryiou损失函数对所述初始神经网络模型进行训练，获得图像处理模型；9.利用所述图像处理模型对待处理图像进行图像处理。10.第二方面，本技术实施例提供了一种电子装置，所述电子装置包括：构建单元、训练单元以及处理单元，11.所述构建单元，用于构建初始神经网络模型；12.所述训练单元，用于基于polyloss和boundaryiou损失函数对所述初始神经网络模型进行训练，获得图像处理模型；13.所述处理单元，用于利用所述图像处理模型对待处理图像进行图像处理。14.第三方面，本技术实施例提供了一种电子装置，所述电子装置包括处理器、存储有所述处理器可执行指令的存储器，当所述指令被所述处理器执行时，实现如上所述的图像处理方法。15.第四方面，本技术实施例提供了一种芯片，所述芯片包括可编程逻辑电路和/或程序指令，当所述芯片运行时，实现如上所述的图像处理方法。16.本技术实施例提供了一种图像处理方法、电子装置及芯片，电子装置构建初始神经网络模型；基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型；利用图像处理模型对待处理图像进行图像处理。由此可见，在本技术的实施例中，通过引入polyloss和boundaryiou损失函数来对初始神经网络模型进行训练，并利用获得的图像处理模型来对待处理图像进行图像处理；其中，利用polyloss进行训练，能够有效提升模型在图像处理时的精度和速度，而boundaryiou损失函数则可以提升模型在进行图像处理时的边界质量，令具有更优的性质，从而提升图像处理的精度和效果。maps，iam)的方法，用iam突出每个前景对象的信息区域，然后，根据突出显示的区域进行特征聚集，得到实例级特征进行识别和分割。此外，基于二部图匹配，实例激活映射能够以一对一的方式预测对象，从而避免了后处理中的非最大抑制。sparseinst具有较快的推理速度，在coco数据集上达到了40fps。其训练使用的损失函数可以表示为以下公式：33.l＝λclcls+lmask+λslsꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ(2)34.其中，lcls为针对目标检测的focalloss，lmask是掩码损失函数(maskloss)，ls为针对感知对象(iou-awareobjectness)的二值交叉熵损失函数(binarycrossentropyloss)。35.然而，上述网络模型仍然存在一些待改善的方面。一方面，现有技术中例如困难样本挖掘(hardexamplemining)，focalloss均能一定程度上缓解类别不平衡问题，但在对于大型数据集上的类别不平衡问题采用focalloss依然是次优的。另一方面，maskrcnn与sparseinst均没有对于边缘iou质量的监督。且现有的常用iouloss中，maskiou在处理大小不同的目标时在边界质量上表现不平衡。而像trimapiou可以对iou边界进行处理，但由于该度量是非对称的(即交换真值与预测的mask会改变iou值)，使得预测的mask倾向于比真值大36.由此可见，目前的应用于图像处理的网络模型，在处理大型数据集时，仍然存在类别不平衡的问题，同时，在处理大小不同的目标时，在边界质量上的表现较差，从而影响实例分割的精度。37.为了解决上述问题，在本技术的实施例中，电子装置获取待处理图像；利用图像处理模型对待处理图像进行图像处理，获得待处理图像的图像处理结果；其中，图像处理模型是基于polyloss和boundaryiou损失函数进行训练获得的；polyloss和boundaryiou损失函数包括polyloss和boundaryiou损失函数。由此可见，在本技术的实施例中，通过引入polyloss和boundaryiou损失函数来进行训练，并利用获得的图像处理模型来对待处理图像进行图像处理；其中，利用polyloss进行训练，能够有效提升模型在图像处理时的精度和速度，而boundaryiou损失函数则可以提升模型在进行图像处理时的边界质量，令具有更优的性质，从而提升实例分割的精度和效果。38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。39.本技术一实施例提供了一种图像处理方法，图1为图像处理方法的实现流程示意图，如图1所示，在本技术的实施例中，电子装置实现图像处理的方法可以包括以下步骤：40.步骤101、构建初始神经网络模型。41.在本技术的实施例中，电子装置可以先构建初始神经网络模型。42.需要说明的是，在本技术的实施例中，初始神经网络模型包括骨架网络、特征融合网络和分割网络。43.进一步地，在本技术的实施例中，骨架网络可以包括至少一个下采样模块(downsampling)、至少一个瓶颈模块(bottleneck)以及至少一个卷积模块。44.进一步地，在本技术的实施例中，骨架网络中的下采样模块和瓶颈模块可以均包括卷积层和数据增强层(mix-up)。45.示例性的，在本技术的实施例中，对于骨架网络，下采样模块中的卷积层，可以选择3×3conv，5×5conv，3×3dilatedconv(空洞卷积)等不同的卷积核进行卷积处理；对于瓶颈模块中的卷积层，也可以选择3×3conv，5×5conv，3×3dilatedconv等不同的卷积核进行卷积处理。46.示例性的，在本技术的实施例中，骨架网络中的至少一个卷积模块可以为3×3conv，5×5conv，7×7conv等不同的卷积核。47.需要说明的是，在本技术的实施例中，对于骨架网络中的下采样模块和瓶颈模块，第i个下采样模块的输出可以与第i个瓶颈模块的输入连接；其中，i为大于0的整数。48.可以理解的是，在本技术的实施例中，骨架网络可以用于进行特征提取处理。49.需要说明的是，在本技术的实施例中，特征融合网络可以包括至少一个卷积模块和一个连接模块。50.示例性的，在本技术的实施例中，特征融合网络中的连接模块可以为concat。51.示例性的，在本技术的实施例中，特征融合网络中的至少一个卷积模块可以选择3×3conv的卷积核；或者，至少一个卷积模块可以选择3×3conv、5×5conv、3×3dilatedconv等不同的卷积核。52.可以理解的是，在本技术的实施例中，对于特征融合网络中的卷积模块和连接模块，至少一个卷积模块的输出均与连接模块的输入连接。53.进一步地，在本技术的实施例中，骨架网络中的瓶颈模块的输出可以分别与特征融合网络中的卷积模块的输入一一连接。54.需要说明的是，在本技术的实施例中，骨架网络中的部分或者全部瓶颈模块分别与特征融合网络中的卷积模块进行对应连接。例如，特征融合网络中的卷积模块的数量为4，骨架网络中的瓶颈模块的数量为5，那么可以将骨架网络中的最后四个瓶颈模块的输出分别与特征融合网络中的卷积模块进的输入行对应连接。55.可以理解的是，在本技术的实施例中，特征融合网络可以用于进行多尺度特征融合处理。56.其中，在本技术的实施例中，对于特征融合网络，本技术还设计了特征融合网络中的特征融合拓扑结构，以实现更为高效的不同尺度信息间的连接方式。57.其中，特征融合网络可以将骨架网络输出的多个不同尺度的特征图通过上采样统一固定为相同的尺度(如1/8的特征图)，然后再通过concat的操作进行连接，从而实现模型对于多尺度的特征融合。可以理解的是，在本技术的实施例中，电子装置为任何具备通信和存储功能的电子装置设备，例如：平板电脑、手机、电子阅读器、遥控器、个人计算机(personalcomputer，pc)、笔记本电脑、车载设备、网络电视、可穿戴设备、个人数字助理(personaldigitalassistant，pda)、便捷式媒体播放器(portablemediaplayer，pmp)、导航装置等电子装置设备。58.步骤102、基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型。59.在本技术的实施例中，电子装置在构建初始神经网络模型之后，可以基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型。60.在本技术的一些实施例中，电子装置基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型时，可以先使用训练数据集对初始神经网络模型进行训练，获得polyloss和boundaryiou损失函数各自对应的损失函数值；进而根据损失函数值对初始神经网络模型进行反向传播更新处理，获得图像处理模型。61.需要说明的是，在本技术的实施例中，polyloss可以通过泰勒展开来逼近函数，将损失函数设计为多项式函数的线性组合。polyloss可以让多项式基的重要性很容易地根据目标任务和数据集进行调整，同时也可以cross-entropyloss和focalloss作为polyloss的特殊情况，并通过在损失函数中引入泰勒展开高次项的方法提升模型精度，polyloss可以表示为以下公式：[0062][0063]其中，pt为分段函数，当label为1时为p，否则为1-p；αj表示一种需要学习的参数，该参数在训练过程中将会被更新。[0064]进一步地，polyloss通过泰勒展开成poly-n的一个n阶的函数族，可以表示为以下公式：[0065][0066]需要说明的是，polyloss可以将传统的视觉任务中的损失函数(如交叉熵函数，focalloss)转换成泰勒展开多次项形式，并在实例分割任务损失函数中引入泰勒展开高阶项，在不影响推理阶段速度的情况下，提升了模型精度；其中，交叉熵函数可以表示为以下公式(5)，focalloss可以表示为以下公式(6)。[0067][0068][0069]根据上述公式可以看出，交叉熵和focalloss均为族中的单个特例函数，并且通过实验证明polyloss有效提升了模型在coco数据集上的精度(accuracy)。[0070]进一步地，在本技术的实施例中，为了提升实例分割细节效果，本方案引入了boundaryiou损失函数，能够对大物体边界误差更加敏感。由于仅考虑边缘部分，boundaryiou损失函数对于大物体的误差会比maskiou损失函数更敏感，同时对于小物体不会过度惩罚。直观上就是groundtruth和预测实例轮廓的交集除以并集，并且可以通过参数d调节敏感程度。boundaryiou损失函数是传统的maskiou损失函数的边界升级版本，去除了对象内部巨量像素对整体的影响，使其拥有更优秀的mask性质。[0071]可以理解的是，在本技术的实施例中，经过训练以后，初始神经网络模型中的骨架网络、特征融合网络和分割网络的模型参数经过了优化，从而构成了图像处理模型。[0072]需要说明的是，在本技术的实施例中，初始神经网络模型还包括分割网络，即初始神经网络模型实际上是由骨架网络、特征融合网络和分割网络构成的；其中，分割网络为基于实例激活图(instanceactivationmap，iam)的稀疏实例分割网络。[0073]需要说明的是，在本技术的实施例中，骨架网络的结构可以参考resnet系列的设计，选择采用多层的模块设计(例如至少一个瓶颈模块和至少一个卷积模块)，同时通过多次下采样(例如使用至少一个下采样模块)获取原始图像的不同尺度的特征图。[0074]示例性的，在本技术的实施例中，图2为骨架网络的结构示意图，如图2所示，骨架网络的结构可以采用五层的cell级联设计方式，包括c1-c5；其中，可以包括一个卷积模块c1，四个瓶颈模块c2-c5，以及四个下采样模块。原始的特征图输入c1，会通过四次1/2倍率的下采样之后获取原始的特征图1/32分辨率的特征图。[0075]示例性的，图3为iam的示意图，如图3所示，iam中包含一个fiam模型，其中，fiam模型可以由卷积层和sigmoid激活函数构成，输入的特征图经过fiam模型的处理之后，可以得到矩阵a，例如，a＝f(x)，其中，f即表示fiam模型的处理，x表示输入的特征图，矩阵a可以为一个n×h×w的矩阵，进而a矩阵与输入的特征图进行相乘处理，可以获得一个矩阵z，例如，z可以为一个n×d的矩阵。[0076]其中，sigmoid激活函数是深度神经网络最先使用的激活函数，主要用于逻辑回归(logisticregression)，实现二分类功能；sigmoid函数可以表示为以下公式：[0077][0078]可见，sigmoid函数值的取值范围是(0，1)。[0079]进一步地，在本技术的实施例中，分割网络可以包含一个实例分支和一个掩码分支。[0080]示例性的，在本技术的实施例中，实例分支可以由一个具有256个通道的3×3卷积组成。其中，实例分支的目的是生成实例激活图和多个实例特征，可以用于识别实例感知内核。掩码分支也可以由一个具有256个通道的3×3卷积组成。其中，掩码分支设计用于编码实例感知的第一掩码特征。[0081]可以理解的是，在本技术的实施例中，图像处理模型包括训练后的骨架网络、训练后的特征融合网络和训练后的分割网络。[0082]步骤103、利用图像处理模型对待处理图像进行图像处理。[0083]在本技术的实施例中，电子装置在基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型之后，可以利用图像处理模型对待处理图像进行图像处理。[0084]需要说明的是，在本技术的实施例中，电子装置在利用图像处理模型对待处理图像进行图像处理之前，可以先获取待处理图像。[0085]可以理解的是，在本技术的实施例中，图像处理模型可以用于进行任意类型的图像处理，例如，图像处理模型可以应用于图像的实例分割，图像超分辨率，也可以应用于图像降噪，还可以应用于图像去雾，本技术不进行具体限定。[0086]示例性的，在本技术的实施例中，图像处理模型可以用于进行实例分割，其中，实例分割是在对象检测的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离。[0087]进一步地，在本技术的实施例中，电子装置在通过图像处理模型对待处理图像进行图像处理时，可以先将待处理图像输入至训练后的骨架网络，输出多个第四特征图；然后可以将多个第四特征图输入至训练后的特征融合网络，输出第五特征图；进而可以将第五特征图输入至训练后的分割网络中的实例分支的卷积层，确定第二实例激活图；同时将第五特征图输入至掩码分支的卷积层，确定第二掩码特征；最终便可以根据第二实例激活图和第二掩码特征确定图像处理结果。进一步地，在本技术的实施例中，电子装置基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型的方法，即步骤102提出的方法可以包括以下步骤：[0088]步骤102a、使用训练数据集对初始神经网络模型进行训练，获得polyloss和boundaryiou损失函数各自对应的损失函数值。[0089]在本技术的实施例中，电子装置基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型；在本技术的一些实施例中，电子装置可以先使用训练数据集对初始神经网络模型进行训练，获得polyloss和boundaryiou损失函数各自对应的损失函数值。[0090]可以理解的是，在本技术的实施例中，损失函数值包括polyloss对应的损失函数值和boundaryiou损失函数对应的损失函数值。[0091]需要说明的是，在本技术的实施例中，初始神经网络模型的结构可以采用sparseinst模型的结构，但本技术对sparseinst模型中的编码器(encoder)，即特征融合网络部分进行了设计，具体地，本技术设计了特征融合网络中的特征融合拓扑结构，特征融合拓扑结构包括多尺度特征融合拓扑结构。[0092]需要说明的是，在本技术的实施例中，将特征融合网络中的特征融合拓扑结构设计为多尺度特征融合拓扑结构，能够提高不同尺度信息间的利用率，从而提升图像处理模型的精度和效果。[0093]进一步地，在本技术的实施例中，图4为特征融合网络的结构示意图，如图4所示，特征融合网络包括特征融合拓扑结构、至少一个卷积模块和一个连接模块；其中，特征融合拓扑结构可以包括多个上采样模块和下采样模块，由此构成多尺度特征融合拓扑结构。[0094]示例性的，在本技术的实施例中，对于特征融合网络，其上采样模块和下采样模块中的卷积层可以选择1×1conv，3×3conv，5×5conv，3×3dilatedconv等不同的卷积核进行卷积处理。[0095]可以理解的是，在本技术的实施例中，电子装置在使用训练数据集对初始神经网络模型进行训练，获得polyloss和boundaryiou损失函数各自对应的损失函数值时，是将训练数据集输入初始神经网络模型，获得训练数据集对应的输出结果，进而利用输出结果和训练数据集计算polyloss和boundaryiou损失函数各自对应的损失函数值。[0096]在本技术的一些实施例中，电子装置可以使用骨架网络对训练数据集中的原始图像进行下采样处理，获得多个不同尺度的第一特征图；然后使用特征融合网络对多个不同尺度的第一特征图进行特征融合处理，获得第二特征图；进而将第二特征图输入分割网络，获得第三特征图，并根据第三特征图确定损失函数值。[0097]需要说明的是，在本技术的实施例中，对于骨架网络输出的原始图像对应的多个不同尺度的第一特征图，可以选择将其中的全部或者部分第一特征图输入至特征融合网络中进行多尺度特征融合处理，进而输出一个原始图像对应的第二特征图。[0098]可以理解的是，在本技术的实施例中，对于输入至分割网络的第二特征图，可以分别通过实例分支的卷积层和掩码分支的卷积层，最终输出原始图像对应的第三特征图，以及基于第三特征图所确定的损失函数值。进而可以使用损失函数值进行反向传播更新处理，确定图像处理模型。[0099]进一步地，在本技术的实施例中，电子装置在将第二特征图输入分割网络，获得第三特征图，并根据第三特征图确定损失函数值时，可以将第二特征图输入至实例分支的卷积层，确定第一实例激活图，并基于第一实例激活图确定矩阵掩码、实例类别以及类别置信度；将第二特征图输入至掩码分支的卷积层，确定第一掩码特征；根据矩阵掩码和第一掩码特征确定第三特征图；根据第三特征图、实例类别以及类别置信度确定损失函数值。[0100]需要说明的是，在本技术的实施例中，对于分割网络中的实例分支，可以用于生成实例激活图和多个实例特征，其中，可以分别采用不同的激活图来体现不同的实例，因此，实例特征是通过激活图获得的，即通过实例分支的卷积层所获得的实例激活图可以为包括有实例特征的激活图。[0101]示例性的，在本技术的实施例中，图5为分割网络的示意图，如图5所示，在确定第一实例激活图(iam)之后，可以基于第一实例激活图，通过三个线性层进一步确定出对应的矩阵掩码(kernel)、实例类别(class)以及类别置信度(score)。其中，矩阵掩码在后续处理中可以用于第三特征图的生成，而实例类别和类别置信度在后续处理中可以用于损失函数值的确定。[0102]需要说明的是，在本技术的实施例中，对于分割网络中的掩码分支，可以用于编码实例感知的第一掩码特征。即通过掩码分支的卷积层，可以确定第二特征图对应的第一掩码特征。[0103]可以理解的是，在本技术的实施例中，电子装置可以根据实例分支输出的矩阵掩码和掩码分支输出的第一掩码特征，进一步确定出原始图像对应的第三特征图。[0104]需要说明的是，在本技术的实施例中，如图5所示，电子装置可以根据第三特征图，实例分支输出的实例类别以及类别置信度，进一步确定损失函数值。其中，为了实现实例分割，可以采用二分图最大匹配的方式，将突出的实例与训练数据集中的真实标签进行匹配。例如，可以基于第三特征图、实例类别以及类别置信度进行二分图匹配(bipartitemctching)，确定损失函数值。[0105]步骤102b、根据损失函数值对初始神经网络模型进行反向传播更新处理，获得图像处理模型。[0106]在本技术的实施例中，电子装置在使用训练数据集对初始神经网络模型进行训练，获得polyloss和boundaryiou损失函数各自对应的损失函数值之后，可以根据损失函数值对初始神经网络模型进行反向传播更新处理，获得图像处理模型。[0107]可以理解的是，在本技术的实施例中，反向传播更新处理可以利用反向传播(backpropagation，bp)算法实现，具体地，可以在获得损失函数值以后，采用梯度下降法，通过链式求导法则计算出损失函数值对每个权重或偏置的偏导，最后进行参数更新。[0108]进一步地，在本技术的实施例中，还可以替换或增加骨架网络，以获得与具体任务更为匹配的模型，从而提升图像处理效果。[0109]进一步地，在本技术的实施例中，还可以在模型的实际训练过程中，增加或引入其他损失函数，从而能够在保证稳定训练的前提下，进一步提升模型的精度。[0110]综上所述，在本技术的实施例中，本技术中的图像处理模型是基于对sparseinst的改进，其中，主要设计了特征融合网络中的特征融合拓扑结构，特征融合拓扑结构包括多尺度特征融合拓扑结构，从而能够提高不同尺度信息间的利用率，以提升模型的精度表现。同时，本技术在模型训练的过程中，引入了polyloss，提升了图像处理模型在处理图像任务时的精度和速度；此外，损失函数中还引入了boundaryiou损失函数，使得处理后的图像在边缘细节上有所提升，具有更优的性质。[0111]本技术实施例提供了一种图像处理方法，电子装置构建初始神经网络模型；基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型；利用图像处理模型对待处理图像进行图像处理。由此可见，在本技术的实施例中，通过引入polyloss和boundaryiou损失函数来对初始神经网络模型进行训练，并利用获得的图像处理模型来对待处理图像进行图像处理；其中，利用polyloss进行训练，能够有效提升模型在图像处理时的精度和速度，而boundaryiou损失函数则可以提升模型在进行图像处理时的边界质量，令具有更优的性质，从而提升图像处理的精度和效果。[0112]基于上述实施例，本技术的又一实施例提出了一种图像处理方法，该图像处理方法能够实现实时的实例分割；该图像处理方法可以通过提出的图像处理模型来实现；示例性的，图6为图像处理模型的结构示意图，如图6所示，图像处理模型可以包括经过训练的骨架网络、特征融合网络以及分割网络；分割网络采用基于实例激活图的稀疏实例分割网络。[0113]需要说明的是，在本技术的实施例中，实例分割是在对象检测的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离。[0114]可以理解的是，在本技术的实施例中，电子装置可以先获取待分割图像(获取待处理图像)，然后利用图像处理模型对待分割图像进行实例分割处理(图像处理)，获得待处理图像的实例分割结果(图像处理结果)；其中，图像处理模型是基于polyloss和boundaryiou损失函数进行训练获得的。[0115]需要说明的是，在本技术的实施例中，polyloss可以通过泰勒展开来逼近函数，将损失函数设计为多项式函数的线性组合。polyloss可以让多项式基的重要性很容易地根据目标任务和数据集进行调整，同时也可以cross-entropyloss和focalloss作为polyloss的特殊情况，并通过在损失函数中引入泰勒展开高次项的方法提升模型精度，polyloss如前述公式(3)所示，其泰勒展开如前述公式(4)所示。[0116]需要说明的是，polyloss可以将传统的视觉任务中的损失函数(如交叉熵函数，focalloss)转换成泰勒展开多次项形式，并在实例分割任务损失函数中引入泰勒展开高阶项，在不影响推理阶段速度的情况下，提升了模型精度。[0117]进一步地，在本技术的实施例中，为了提升实例分割细节效果，本方案引入了boundaryiou损失函数，能够对大物体边界误差更加敏感。由于仅考虑边缘部分，boundaryiou损失函数对于大物体的误差会比maskiou损失函数更敏感，同时对于小物体不会过度惩罚。直观上就是groundtruth和预测实例轮廓的交集除以并集，并且可以通过参数d调节敏感程度。boundaryiou损失函数是传统的maskiou损失函数的边界升级版本，去除了对象内部巨量像素对整体的影响，使其拥有更优秀的mask性质。[0118]可以理解的是，在本技术的实施例中，通过对初始神经网络模型进行训练，初始神经网络模型中的骨架网络、特征融合网络和分割网络的模型参数经过了优化，从而构成了图像处理模型。[0119]进一步地，在本技术的实施例中，电子装置在通过图像处理模型对待处理图像进行图像处理时，可以先将待处理图像输入至骨架网络，输出多个第四特征图；然后可以将多个第四特征图输入至特征融合网络，输出第五特征图；进而可以将第五特征图输入至分割网络中的实例分支的卷积层，确定第二实例激活图；同时将第五特征图输入至掩码分支的卷积层，确定第二掩码特征；最终便可以根据第二实例激活图和第二掩码特征确定图像处理结果。[0120]进一步地，在本技术的实施例中，骨架网络可以包括至少一个下采样模块(downsampling)、至少一个瓶颈模块(bottleneck)以及至少一个卷积模块。[0121]进一步地，在本技术的实施例中，骨架网络中的下采样模块和瓶颈模块可以均包括卷积层和数据增强层(mix-up)。[0122]示例性的，在本技术的实施例中，对于骨架网络，下采样模块中的卷积层，可以选择3×3conv，5×5conv，3×3dilatedconv(空洞卷积)等不同的卷积核进行卷积处理；对于瓶颈模块中的卷积层，也可以选择3×3conv，5×5conv，3×3dilatedconv等不同的卷积核进行卷积处理。[0123]示例性的，在本技术的实施例中，骨架网络中的至少一个卷积模块可以为3×3conv，5×5conv，7×7conv等不同的卷积核。[0124]需要说明的是，在本技术的实施例中，对于骨架网络中的下采样模块和瓶颈模块，第i个下采样模块的输出可以与第i个瓶颈模块的输入连接；其中，i为大于0的整数。[0125]可以理解的是，在本技术的实施例中，骨架网络可以用于进行特征提取处理。[0126]需要说明的是，在本技术的实施例中，特征融合网络可以包括至少一个卷积模块和一个连接模块。[0127]示例性的，在本技术的实施例中，特征融合网络中的连接模块可以为concat。[0128]示例性的，在本技术的实施例中，特征融合网络中的至少一个卷积模块可以选择3×3conv，5×5conv，3×3dilatedconv等不同的卷积核。[0129]可以理解的是，在本技术的实施例中，对于特征融合网络中的卷积模块和连接模块，至少一个卷积模块的输出均与连接模块的输入连接。[0130]进一步地，在本技术的实施例中，骨架网络中的瓶颈模块的输出可以分别与特征融合网络中的卷积模块的输入一一连接。[0131]需要说明的是，在本技术的实施例中，骨架网络中的部分或者全部瓶颈模块分别与特征融合网络中的卷积模块进行对应连接。例如，特征融合网络中的卷积模块的数量为4，骨架网络中的瓶颈模块的数量为5，那么可以将骨架网络中的最后四个瓶颈模块的输出分别与特征融合网络中的卷积模块进的输入行对应连接。[0132]可以理解的是，在本技术的实施例中，特征融合网络可以用于进行多尺度特征融合处理。[0133]其中，在本技术的实施例中，对于特征融合网络，本技术还设计了特征融合网络中的特征融合拓扑结构，特征融合拓扑结构包括多尺度特征融合拓扑结构，以实现更为高效的不同尺度信息间的连接方式。[0134]其中，特征融合网络可以将骨架网络输出的多个不同尺度的特征图通过上采样统一固定为相同的尺度(如1/8的特征图)，然后再通过concat的操作进行连接，从而实现模型对于多尺度的特征融合。[0135]需要说明的是，在本技术的实施例中，图像处理模型还包括分割网络，即图像处理模型实际上是由骨架网络、特征融合网络和分割网络构成的；其中，分割网络为基于实例激活图(instanceactivationmap，iam)的稀疏实例分割网络。[0136]需要说明的是，在本技术的实施例中，骨架网络的结构可以参考resnet系列的设计，选择采用多层的模块设计(例如至少一个瓶颈模块和至少一个卷积模块)，同时通过多次下采样(例如使用至少一个下采样模块)获取原始图像的不同尺度的特征图。[0137]示例性的，在本技术的实施例中，如图2所示，骨架网络的结构可以采用五层的cell级联设计方式，包括c1-c5；其中，可以包括一个卷积模块c1，四个瓶颈模块c2-c5，以及四个下采样模块。原始的特征图输入c1，会通过四次1/2倍率的下采样之后获取原始的特征图1/32分辨率的特征图。[0138]示例性的，在本技术的实施例中，如图3所示，iam中包含一个fiam模型，其中，fiam模型可以由卷积层和sigmoid激活函数构成，输入的特征图经过fiam模型的处理之后，可以得到矩阵a，例如，a＝f(x)，其中，f即表示fiam模型的处理，x表示输入的特征图，矩阵a可以为一个n×h×w的矩阵，进而a矩阵与输入的特征图进行相乘处理，可以获得一个矩阵z，例如，z可以为一个n×d的矩阵。[0139]其中，sigmoid激活函数可以如前述公式(7)所示，sigmoid激活函数是深度神经网络最先使用的激活函数，主要用于逻辑回归，实现二分类功能；sigmoid函数值的取值范围是(0，1)。[0140]进一步地，在本技术的实施例中，分割网络可以包含一个实例分支和一个掩码分支。[0141]示例性的，在本技术的实施例中，实例分支可以由一个具有256个通道的3×3卷积组成。其中，实例分支的目的是生成实例激活图和多个实例特征，可以用于识别实例感知内核。掩码分支也可以由一个具有256个通道的3×3卷积组成。其中，掩码分支设计用于编码实例感知的第一掩码特征。[0142]进一步地，在本技术的一些实施例中，电子装置可以使用训练数据集对初始神经网络模型进行训练，获得polyloss和boundaryiou损失函数各自对应的损失函数值；进而根据损失函数值对初始神经网络模型进行反向传播更新处理，获得图像处理模型。[0143]需要说明的是，在本技术的实施例中，初始神经网络模型的结构可以采用sparseinst模型的结构，但本技术对sparseinst模型中的编码器(encoder)，即特征融合网络部分进行了设计，具体地，本技术设计了特征融合网络中的特征融合拓扑结构。[0144]需要说明的是，在本技术的实施例中，通过设计特征融合网络中的特征融合拓扑结构，能够提高不同尺度信息间的利用率，从而提升图像处理模型的精度和效果。[0145]示例性的，在本技术的实施例中，通过设计特征融合网络中的特征融合拓扑结构包括多尺度特征融合拓扑结构，可以使得特征融合网络可以将骨架网络输出的多个不同尺度的特征图通过上采样统一固定为相同的尺度(如1/8的特征图)，然后再通过concat的操作进行连接，从而实现模型对于多尺度的特征融合。[0146]如图4所示，特征融合网络可以包括特征融合拓扑结构、至少一个卷积模块和一个连接模块；其中，特征融合拓扑结构可以包括多个上采样模块和下采样模块；其中，上采样模块和下采样模块中的卷积层可以选择1×1conv，3×3conv，5×5conv，3×3dilatedconv等不同的卷积核进行卷积处理。[0147]可以理解的是，在本技术的实施例中，电子装置在使用训练数据集对初始神经网络模型进行训练，获得polyloss和boundaryiou损失函数各自对应的损失函数值时，是将训练数据集输入初始神经网络模型，获得训练数据集对应的输出结果，进而利用输出结果和训练数据集计算polyloss和boundaryiou损失函数各自对应的损失函数值。[0148]在本技术的一些实施例中，电子装置可以使用骨架网络对训练数据集中的原始图像进行下采样处理，获得多个不同尺度的第一特征图；然后使用特征融合网络对多个不同尺度的第一特征图进行特征融合处理，获得第二特征图；进而将第二特征图输入分割网络，获得第三特征图，并根据第三特征图确定损失函数。[0149]需要说明的是，在本技术的实施例中，对于骨架网络输出的原始图像对应的多个不同尺度的第一特征图，可以选择将其中的全部或者部分第一特征图输入至特征融合网络中进行多尺度特征融合处理，进而输出一个原始图像对应的第二特征图。[0150]可以理解的是，在本技术的实施例中，对于输入至分割网络的第二特征图，可以分别通过实例分支的卷积层和掩码分支的卷积层，最终输出原始图像对应的第三特征图，以及基于第三特征图所确定的损失函数。进而可以使用损失函数进行反向传播更新处理，确定图像处理模型。[0151]进一步地，在本技术的实施例中，电子装置在将第二特征图输入分割网络，获得第三特征图，并根据第三特征图确定损失函数时，可以将第二特征图输入至实例分支的卷积层，确定第一实例激活图，并基于第一实例激活图确定矩阵掩码、实例类别以及类别置信度；将第二特征图输入至掩码分支的卷积层，确定第一掩码特征；根据矩阵掩码和第一掩码特征确定第三特征图；根据第三特征图、实例类别以及类别置信度确定损失函数值。[0152]需要说明的是，在本技术的实施例中，对于分割网络中的实例分支，可以用于生成实例激活图和多个实例特征，其中，可以分别采用不同的激活图来体现不同的实例，因此，实例特征是通过激活图获得的，即通过实例分支的卷积层所获得的实例激活图可以为包括有实例特征的激活图。[0153]进一步地，如图5所示，在确定第一实例激活图(iam)之后，可以基于第一实例激活图，通过三个线性层进一步确定出对应的矩阵掩码(kernel)、实例类别(class)以及类别置信度(score)。其中，矩阵掩码在后续处理中可以用于第三特征图的生成，而实例类别和类别置信度在后续处理中可以用于损失函数的确定。[0154]需要说明的是，在本技术的实施例中，对于分割网络中的掩码分支，可以用于编码实例感知的第一掩码特征。即通过掩码分支的卷积层，可以确定第二特征图对应的第一掩码特征。[0155]可以理解的是，在本技术的实施例中，电子装置可以根据实例分支输出的矩阵掩码和掩码分支输出的第一掩码特征，进一步确定出原始图像对应的第三特征图。[0156]进一步地，如图5所示，电子装置可以根据第三特征图，实例分支输出的实例类别以及类别置信度，进一步确定损失函数。其中，为了实现实例分割，可以采用二分图最大匹配的方式，将突出的实例与训练数据集中的真实标签进行匹配。例如，可以基于第三特征图、实例类别以及类别置信度进行二分图匹配(bipartitemctching)，确定损失函数值。[0157]可以理解的是，在本技术的实施例中，反向传播更新处理可以利用反向传播(backpropagation，bp)算法实现，具体地，可以在获得损失函数值以后，采用梯度下降法，通过链式求导法则计算出损失函数值对每个权重或偏置的偏导，最后进行参数更新。[0158]进一步地，在本技术的实施例中，还可以替换或增加骨架网络，以获得与具体任务更为匹配的模型，从而提升图像处理效果。[0159]进一步地，在本技术的实施例中，还可以在模型的实际训练过程中，增加或引入其他损失函数，从而能够在保证稳定训练的前提下，进一步提升模型的精度。[0160]综上所述，在本技术的实施例中，综上所述，在本技术的实施例中，本技术中的初始神经网络模型是基于对sparseinst的改进，其中，主要设计了特征融合网络中的特征融合拓扑结构，从而能够提高不同尺度信息间的利用率，以提升模型的精度表现。同时，本技术在模型训练的过程中，引入了polyloss，提升了图像处理模型在处理图像任务时的精度和速度；此外，损失函数中还引入了boundaryiou损失函数，使得处理后的图像在边缘细节上有所提升，具有更优的性质；从而利用该图像处理模型在处理图像的实例分割任务时，能够提升实例分割的精度和效果。[0161]本技术实施例提供了一种图像处理方法，电子装置构建初始神经网络模型；基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型；利用图像处理模型对待处理图像进行图像处理。由此可见，在本技术的实施例中，通过引入polyloss和boundaryiou损失函数来对初始神经网络模型进行训练，并利用获得的图像处理模型来对待处理图像进行图像处理；其中，利用polyloss进行训练，能够有效提升模型在图像处理时的精度和速度，而boundaryiou损失函数则可以提升模型在进行图像处理时的边界质量，令具有更优的性质，从而提升图像处理的精度和效果。[0162]基于上述实施例，在本技术的另一实施例中，图7为电子装置的组成结构示意图一，如图7所示，本技术实施例提出的电子装置10可以包括：构建单元11、训练单元12以及处理单元13。[0163]所述构建单元11，用于构建初始神经网络模型。[0164]所述训练单元12，用于基于polyloss和boundaryiou损失函数对所述初始神经网络模型进行训练，获得图像处理模型。[0165]所述处理单元13，用于利用所述图像处理模型对待处理图像进行图像处理。[0166]进一步地，所述训练单元12，还用于使用训练数据集对所述初始神经网络模型进行训练，获得所述polyloss和boundaryiou损失函数各自对应的损失函数值；以及根据所述损失函数值对所述初始神经网络模型进行反向传播更新处理，获得所述图像处理模型。[0167]进一步地，所述初始神经网络模型包括骨架网络、特征融合网络和分割网络。[0168]进一步地，所述特征融合网络的特征融合拓扑结构包括多尺度特征融合拓扑结构。[0169]进一步地，所述骨架网络包括至少一个下采样模块、至少一个瓶颈模块以及至少一个卷积模块；其中，所述下采样模块和所述瓶颈模块均包括卷积层和数据增强层；所述特征融合网络包括至少一个卷积模块和一个连接模块；所述分割网络包括实例分支的卷积层和掩码分支的卷积层。[0170]进一步地，第i个下采样模块的输出与第i个瓶颈模块的输入连接；其中，i为大于0的整数；所述瓶颈模块的输出分别与所述特征融合网络中的所述卷积模块的输入一一连接；所述特征融合网络中的所述卷积模块的输出均与所述连接模块的输入连接。[0171]进一步地，所述获取单元11，还用于设计所述特征融合网络中的特征融合拓扑结构。[0172]进一步地，所述训练单元12，还用于使用所述骨架网络对训练数据集中的原始图像进行下采样处理，获得多个不同尺度的第一特征图；以及使用所述特征融合网络对所述多个不同尺度的第一特征图进行特征融合处理，获得第二特征图；以及将所述第二特征图输入所述分割网络，获得第三特征图，并根据所述第三特征图确定所述损失函数值。[0173]进一步地，所述训练单元12，还用于将所述第二特征图输入至所述实例分支的卷积层，确定第一实例激活图，并基于所述第一实例激活图确定矩阵掩码、实例类别以及类别置信度；将所述第二特征图输入至所述掩码分支的卷积层，确定第一掩码特征；以及根据所述矩阵掩码和所述第一掩码特征确定所述第三特征图；以及根据所述第三特征图、所述实例类别以及所述类别置信度确定所述损失函数值。[0174]进一步地，所述训练单元12，还用于基于所述第三特征图、所述实例类别以及所述类别置信度进行二分图匹配，确定所述损失函数值。[0175]在本技术的实施例中，进一步地，图8为电子装置的组成结构示意图二，如图8所示，本技术实施例提出的电子装置10还可以包括处理器14、存储有处理器14可执行指令的存储器15，进一步地，电子装置10还可以包括通信接口16，和用于连接处理器14、存储器15以及通信接口16的总线17。[0176]在本技术的实施例中，上述处理器14可以为特定用途集成电路(applicationspecificintegratedcircuit，asic)、数字信号处理器(digitalsignalprocessor，dsp)、数字信号处理装置(digitalsignalprocessingdevice，dspd)、可编程逻辑装置(programmablelogicdevice，pld)、现场可编程门阵列(fieldprogrammablegatearray，fpga)、中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本技术实施例不作具体限定。电子装置10还可以包括存储器15，该存储器15可以与处理器14连接，其中，存储器15用于存储可执行程序代码，该程序代码包括计算机操作指令，存储器15可能包含高速ram存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。[0177]在本技术的实施例中，总线17用于连接通信接口16、处理器14以及存储器15以及这些器件之间的相互通信。[0178]在本技术的实施例中，存储器15，用于存储指令和数据。[0179]进一步地，在本技术的实施例中，上述处理器14，用于构建初始神经网络模型；基于polyloss和boundaryiou损失函数对所述初始神经网络模型进行训练，获得图像处理模型；利用所述图像处理模型对待处理图像进行图像处理。[0180]在实际应用中，上述存储器15可以是易失性存储器(volatilememory)，例如随机存取存储器(random-accessmemory，ram)；或者非易失性存储器(non-volatilememory)，例如只读存储器(read-onlymemory，rom)，快闪存储器(flashmemory)，硬盘(harddiskdrive，hdd)或固态硬盘(solid-statedrive，ssd)；或者上述种类的存储器的组合，并向处理器14提供指令和数据。[0181]另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。[0182]集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(readonlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。[0183]本技术实施例提供了一种电子装置；电子装置构建初始神经网络模型；基于polyloss和boundaryiou损失函数对初始神经网络模型进行训练，获得图像处理模型；利用图像处理模型对待处理图像进行图像处理。由此可见，在本技术的实施例中，通过引入polyloss和boundaryiou损失函数来对初始神经网络模型进行训练，并利用获得的图像处理模型来对待处理图像进行图像处理；其中，利用polyloss进行训练，能够有效提升模型在图像处理时的精度和速度，而boundaryiou损失函数则可以提升模型在进行图像处理时的边界质量，令具有更优的性质，从而提升图像处理的精度和效果。[0184]本技术实施例提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上所述的图像处理方法。[0185]具体来讲，本实施例中的一种图像处理方法对应的程序指令可以被存储在光盘，硬盘，u盘等存储介质上，当存储介质中的与一种图像处理方法对应的程序指令被一电子设备读取或被执行时，包括如下步骤：[0186]构建初始神经网络模型；[0187]基于polyloss和boundaryiou损失函数对所述初始神经网络模型进行训练，获得图像处理模型；[0188]利用所述图像处理模型对待处理图像进行图像处理。[0189]本技术实施例提供一种芯片，芯片包括可编程逻辑电路和/或程序指令，当芯片运行时实现如上所述的图像处理方法，具体包括如下步骤：[0190]构建初始神经网络模型；[0191]基于polyloss和boundaryiou损失函数对所述初始神经网络模型进行训练，获得图像处理模型；[0192]利用所述图像处理模型对待处理图像进行图像处理。[0193]本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。[0194]本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。[0195]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。[0196]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。[0197]以上所述，仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。当前第1页12当前第1页12