训练方法及装置、图像处理方法、电子设备和存储介质与流程

本公开的实施例涉及一种图像处理网络的训练方法、图像处理方法、图像处理网络的训练装置、图像处理装置、电子设备和非瞬时性计算机可读存储介质。

背景技术

对于胃肠道疾病，例如大肠癌等疾病，最好的治疗方式是进行结肠息肉检测，以尽早发现并清除息肉，避免恶性病变。例如，可以采用结肠镜检查的方式检查结肠，使用视频内窥镜检查结肠表面和组织的明显区域。为了在此检查过程中为胃肠病医生提供支持，可以采用图像处理方法辅助检测肿瘤病变，例如使用各种分类模型的基于纹理和特征的方法等。随着人工智能的发展，不少研究表明，将人工智能应用于该场景下能够获得更优的精准度和更高的分析速度。

在图像处理方法中，已有弱监督分割相关论文“Weakly Supervised Instance Segmentation using Class Peak Response，20180623”。

技术实现要素：

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开至少一实施例提供一种图像处理网络的训练方法，其中，所述图像处理网络包括用于获得分割图像的分割网络，所述训练方法包括：获取第一训练图像，其中，所述第一训练图像包括待分割的目标区域；利用分类网络对所述第一训练图像进行处理，得到与所述第一训练图像对应的峰值响应图，其中，所述峰值响应图包括与所述目标区域对应的位置信息；将所述位置信息作为辅助信息，利用所述第一训练图像对所述分割网络进行区域分割训练。

本公开至少一实施例提供一种图像处理方法，包括：获取输入图像，其中，所述输入图像包括目标区域；使用图像处理网络对所述输入图像进行区域分割处理，以得到所述输入图像对应的分割图像，其中，所述分割图像具有对应于所述输入图像中的所述目标区域的分割区域，其中，所述图像处理网络至少部分是根据本公开任一实施例所述的训练方法训练得到。

本公开至少一实施例提供一种图像处理网络的训练装置，其中，所述图像处理网络包括用于获得分割图像的分割网络，所述训练装置包括：获取单元，配置为获取第一训练图像，其中，所述第一训练图像包括待分割的目标区域；处理单元，配置为利用所述分类网络对所述第一训练图像进行处理，得到所述第一训练图像对应的峰值响应图，其中，所述峰值响应图包括与所述目标区域对应的位置信息；训练单元，配置为将所述位置信息作为辅助信息，利用所述第一训练图像对所述分割网络进行区域分割训练。

本公开至少一实施例提供一种一种图像处理装置，包括：图像输入单元，配置为获取输入图像，其中，所述输入图像包括目标区域；分割处理单元，配置为使用图像处理网络对所述输入图像进行区域分割处理，以得到所述输入图像对应的分割图像，其中，所述分割图像具有对应于所述输入图像中的所述目标区域的分割区域，其中，所述图像处理网络至少部分是根据本公开任一实施例所述的训练方法训练得到。

本公开至少一实施例提供一种电子设备，包括：存储器，非瞬时性地存储有计算机可执行指令；处理器，配置为运行所述计算机可执行指令，其中，所述计算机可执行指令被所述处理器运行时实现根据本公开任一实施例所述的图像处理网络的训练方法或图像处理方法。

本公开至少一实施例提供一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据本公开任一实施例所述的图像处理网络的训练方法或图像处理方法。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。

图1为本公开至少一实施例提供的一种图像处理网络的训练方法的示意性流程图；

图2A和图2B为本公开至少一实施例提供的区域分割标签的示意图；

图3为本公开至少一实施例提供的步骤S20的示意性流程图；

图4示出了本公开至少一实施例提供的分割网络的结构示意图；

图5为本公开至少一实施例提供的训练网络的示意性结构图；

图6为本公开至少一实施例提供的一种图像处理方法的示意性流程图；

图7A为本公开至少一实施例提供的一种训练装置的示意性框图；

图7B为本公开至少一实施例提供的一种图像处理装置的示意性框图；

图7C为本公开至少一实施例提供的一种图像处理装置的处理过程示意图；

图8为本公开至少一实施例提供的一种电子设备的示意性框图；

图9为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图；

图10为本公开至少一实施例提供的另一种电子设备的结构示意图。

具体实施方式

为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。

一般说来，图像分割是将一幅图像分割为若干个部分的过程，这种图像处理过程可以得到图像中的目标或者纹理，常常被用于遥感影像或者病灶的检测应用中。

医学图像分割作为一种新兴的生物医学图像处理技术，为可持续医学护理做出了巨大贡献，是计算机视觉领域的重要研究方向之一。而基于深度学习的医疗图像分割目前更是目前的研究热点，并在近年来取得了巨大的成就。在医学图像分割网络的研究上，目前的研究主要致力于深度学习网络结构的修改或数据的预处理提升。

虽然深度学习网络拥有强大的检测能力，目前已经有很多方法可以对病灶（例如息肉等）进行检测，并且取得了较高的精度和分析效率，但是目前深度学习方法成功的本质还是依靠大量高质量且带有标注的数据集。然而，在医学检测领域，例如内窥镜等医学检查手段的实际使用过程中，数据收集困难且标注成本昂贵，很难短时间内拥有一个数量足够且经过精心标记的数据集来对模型进行训练。

零样本学习着力于通过借助辅助信息实现跨模态或种类的知识迁移，从而完成可见类到不可见类的信息推断的迁移学习过程。例如，零样本学习方法的定义是，基于可见数据集以及辅助信息，学习并预测不可见数据集结果，例如，可见数据集和不可见数据集的种类交集为空。也就是说，通过零样本学习可以基于较少的训练集数据（也即带有标注的可见数据集）以及辅助信息，实现对未训练过（因此不带标注）的不可见数据集进行分类、区域分割等处理。

目前，针对医学图像，例如内窥镜图像，对病灶区域进行分割的方法、产品等主要是单纯对分割网络本身进行改进，以提升分割精度，这种方法不考虑临床数据可能缺失，无法解决大量的训练数据集的问题。

虽然零样本学习在常规计算机视觉任务中已经取得了较好的效果，但是零样本学习还未应用到医疗图像领域，例如医学图像的病灶区域分割等场景下目前还没有相关的研究工作出现。

本公开至少一实施例提供一种图像处理网络的训练方法、图像处理网络的训练装置、图像处理方法、电子设备和非瞬时性计算机可读存储介质。

该图像处理方法包括：获取第一训练图像，其中，第一训练图像包括待分割的目标区域；利用分类网络对第一训练图像进行处理，得到与第一训练图像对应的峰值响应图，其中，峰值响应图包括与目标区域对应的位置信息；将位置信息作为辅助信息，利用第一训练图像对分割网络进行区域分割训练。

在至少一个实施例中，分割网络基于学习可见数据集的过程得到的学习特征，将分类网络输出的峰值响应图中的位置信息作为辅助信息，实现对未见过的图像的区域分割。该图像处理方法不需要通过新的区域分割标签就能够让分割网络对一种未见过的目标区域具有区域分割能力，有效解决标注数据不足（例如临床数据缺失）的问题，让模型的泛化性质和临床可使用性都大大提高。

在至少一个示例中，该图像处理方法实现了将零样本学习思想应用于医学图像分割，将具有位置指导信息的峰值响应图作为辅助信息，对输入的训练图像进行病灶区域分割，从而能够更好地利用现有的临床数据集，使得图像处理网络模型能够在没有完整的数据集和数据标注的情况下依然可以辨别和适应更多的病变种类，解决医学图像，例如内窥镜图像，数据缺失的问题，大大提高息肉等病灶区域的早期检测能力，提高模型的泛化性质以及临床可使用性。

本公开实施例提供的图像处理方法可应用于本公开实施例提供的图像处理装置，该图像处理装置可被配置于电子设备上。该电子设备可以是个人计算机、服务器、移动终端等，例如该移动终端可以是手机、平板电脑等硬件设备。

例如，本公开实施例中的图像处理网络可以为神经网络。

下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。

图1为本公开至少一实施例提供的一种图像处理网络的训练方法的示意性流程图。

如图1所示，本公开至少一实施例提供的图像处理网络的训练方法包括步骤S10至步骤S30。

在步骤S10，获取第一训练图像。

例如，第一训练图像包括待分割的目标区域，例如，对于医学图像，目标区域可以为病灶区域，也即医生需要进行医学判断的区域，通过对病灶区域的分析可以得到病人的诊断结果。

例如，当第一训练图像为内窥镜图像时，目标区域可以为息肉区域。

在步骤S20，利用分类网络对第一训练图像进行处理，得到与第一训练图像对应的峰值响应图。

例如，峰值响应图包括与目标区域对应的位置信息。

在步骤S30，将位置信息作为辅助信息，利用第一训练图像对分割网络进行区域分割训练。

例如，训练图像可以为医学图像。

例如，训练图像的成像方式可以是任意适用的医学成像方式。例如，训练图像的成像方式可以是NBI（Narrow Band Imaging，内镜窄带成像）、白光、CT(Computed Tomography，电子计算机断层扫描)、MRI（Magnetic Resonance Imaging，磁共振成像）等。

例如，训练图像可以为采用任意医学检测手段对任意检测区域进行医学检测所得到的图像，训练图像需要是病人的真实病理图像。例如，医学检测手段可以包括内窥镜检查、心血管造影、血管造影、超声检查等。例如，检测区域可以包括结肠、胃、肺部、心脏等人体部位。

例如，训练图像可以是从医学检测视频中截取的图像，例如，医学检测视频可以是内窥镜视频、心脏超声视频等，例如，内窥镜视频来自多位经匿名化处理的病人的真实病例情况。

例如，训练图像可以通过对医学检测图像通过图像采集装置进行扫描、拍摄等方式得到，例如，训练图像可以为图像采集装置直接采集到的图像，也可以是对采集得到的图像进行一定预处理之后获得的图像。

例如，可以对训练图像设定采集区域要求和质量要求。

例如，训练图像的清晰度应当满足要求，以确保获得准确的病灶区域，进而便于医生得到准确的诊断结果。

例如，训练图像可以来自预先采集的数据集，该数据集包含了3433张截取自内窥镜视频的图像，其中包含白光图像和NBI图像，该数据集的建立出自48位病人的真实病例情况。

例如，训练图像具有规范化的标注信息，标注信息可以包括分类标签、模态标签、区域分割标签等中的一种或多种。例如，模态标签表示该训练图像的成像方式，例如白光成像或者NBI成像等。例如，分类标签表征该训练图像中目标区域的类别，例如结肠息肉等。例如，区域分割标签表征训练图像中目标区域的位置信息。

图2A和图2B为本公开至少一实施例提供的区域分割标签的示意图。例如，图2A为训练图像的示意图，图2B为图2A所示训练图像对应的区域分割标签。

例如，在图2B中，白色部分表示目标区域，也即息肉区域，黑色部分表示背景区域，也即训练图像中除目标区域以外的部分。

例如，根据零样本学习的数据集定义，训练图像可以划分为可见数据集和不可见数据集。例如，当训练图像的标注信息包括区域分割标签以及分类标签时，该训练图像属于可见数据集，例如，当训练图像的标注信息不包括区域分割标签时，例如，训练图像的标注信息包括分类标签和模态标签时，该训练图像属于不可见数据集。

例如，对于医学图像来说，区域分割标签的获取成本高且数据收集困难，而分类标签的获取相对容易，因而可见数据集中训练图像的数量会远远小于不可见数据集中训练图像的数量。

例如，第一训练图像不具有对应于待分割的目标区域的区域分割标签，且再例如，在对分割网络进行区域分割训练前，分割网络未对待分割的目标区域进行过任何区域分割训练。也就是说，第一训练图像中的目标区域属于分割网络之前未见过的图像，第一训练图像对于分割网络属于不可见数据集。

例如，第一训练图像中的目标区域的类别属于分类网络已训练过的类别，但第一训练图像中的目标区域属于分割网络之前未见过的目标区域。

例如，可以预先利用可见数据集和不可见数据集对待训练的分类网络进行训练，以得到训练过的分类网络，该分类网络可以识别至少一种类别的目标区域。例如，由于可见数据集和不可见数据集的总数较大，可以利用大量的训练图像对分类网络进行训练，因而所得到的分类网络的准确度也较高。

例如，可以利用可见数据集对待训练的分割网络进行训练，以得到分割网络，该分割网络由于可见数据集的数量有限，直接执行区域分割的效果较差。

例如，分类网络经过训练可以识别3种类别的目标区域，而这3种类别的目标区域中仅有1种具有规范化的区域分割标签，利用这1种带有规范化的区域分割标签的训练图像对分割网络进行训练，其他两种目标区域对训练得到的分割网络而言属于“未见过”状态，分割网络无法直接对这两种目标区域执行区域分割。

例如，可以利用训练好的分类网络已经掌握的知识生成峰值响应图，对已在可见数据集上进行过训练的分割网络辅助执行零样本推理学习。例如，分割网络基于学习可见数据集的过程得到的学习特征，将分类网络输出的峰值响应图中的位置信息作为辅助信息，实现对未见过的图像的区域分割。这种方式不需要通过新的区域分割标签就能够让分割网络对一种未见过的目标区域具有区域分割能力，有效解决标注数据不足（例如临床数据缺失）的问题，让模型的泛化性质和临床可使用性都大大提高。

下面结合附图具体说明本公开至少一实施例提供的图像处理网络的训练方法的执行过程。

例如，分类网络包括分类模型和至少一个峰值刺激层，分类模型被配置为识别至少一个类别的目标区域。

例如，分类模型可以为全卷积网络（Fully Convolutional Networks，简称FCN），全卷积网络可以在前向传播过程中捕捉空间信息，并输出具有像素级预测的类别响应图，也即语义分割图像，因此适用于空间预测。

例如，相对于卷积神经网络（CNN），在全卷积网络(FCN)中，最后一个全连接层被替换为全卷积层。这一重大改进使得FCN具有密集的像素级预测能力。为了获得更好的定位性能，高分辨率的激活映射与上采样输出相结合，并传递到卷积层以装配更精确的输出。因此，这一改进使得FCN能够对全尺寸图像进行像素级预测，而不是进行分段预测，而且还能够在一次前向传递中对整个图像进行预测。

例如，分类模型可以采用全卷积网络，类别响应图即为全卷积网络输出的带有像素级预测的语义分割图像。

需要说明的是，在其他实施例中，分类模型也可以是其他能够执行分类、且能输出类别响应图的神经网络结构，本公开对此不作限制。

例如，分类网络可以预先训练过，并能识别至少一个类别的目标区域，也即分类网络可以预先通过训练识别多种需要的病灶区域。

例如，分类网络的训练方法可以包括：获取至少一个待训练图像和与至少一个待训练图像一一对应的至少一个类别标签；基于至少一个待训练图像和至少一个类别标签，对待训练的分类模型进行训练，得到分类模型。

例如，用于训练分类模型的待训练图像可以来自如前所述的可见数据集，也可以来自如前所述的不可见数据集。

例如，单独对分类模型进行训练，例如，训练分类模型的方式可以采用常规的全监督训练方法，分类模型可以被单独训练，损失函数采用标准的均方差损失函数，形式如公式（1）所示：

（公式1）

其中，MSE表示由损失函数计算的均方误差损失值，代表分类模型输出的预测结果，代表分类标签，n代表至少一个待训练图像的总数，表示求和公式。

需要说明的是，分类模型的损失函数仅是帮助分类模型学习类别的特征信息，分类模型的损失函数也可以采用其他可用的形式，本公开对此不作限制。

例如，为了使分类网络具备空间预测能力，可以为分类网络构造一个或多个峰值刺激层并插入到分类网络的顶层，刺激分类网络生成类别的峰值，以得到峰值响应图。例如，峰值响应图包括与目标区域对应的位置信息，峰值响应图中的位置信息可以辅助分割网络执行零样本学习。例如，峰值响应图的形式可以为像素级预测图像，例如类似于图2B所示的区域分割标签的形式。

图3为本公开至少一实施例提供的步骤S20的示意性流程图。如图3所示，步骤S20至少可以包括步骤S201-S203。

在步骤S201，利用分类模型对第一训练图像进行分类处理，以得到与至少一个类别一一对应的至少一个类别响应图。

例如，每个类别响应图具有针对每个类别响应图对应的类别的响应区域。

例如，不同类别的类别响应图中的响应区域不同，例如，响应区域用于指示在一个类别响应图中，属于该类别的目标区域所在的位置。例如，当目标区域为息肉区域时，对应类别A的类别响应图中的响应区域为属于类别A的息肉区域，对应类别B的类别响应图中的响应区域为属于类别B的息肉区域。

在步骤S202，利用至少一个峰值刺激层分别对至少一个类别响应图进行处理，以得到至少一个置信分数。

例如，在一个示例中，步骤S202可以包括：针对至少一个类别响应图中的每个类别响应图：确定类别响应图中的响应区域；计算响应区域中的所有元素的数值的平均值，将平均值作为类别响应图对应的置信分数。

例如，至少一个峰值刺激层为卷积层，计算响应区域中的所有元素的数值的平均值，可以包括：利用类别响应图对应的卷积核对类别响应图进行卷积处理，以得到平均值，例如，卷积核的公式如下所示：

（公式2）

其中，表示第c个类别响应图对应的卷积核，（,）表示第c个类别响应图的响应区域中的第k个元素的坐标值，表示第c个类别响应图的响应区域中的元素总数，表示狄克拉函数，表示加和处理。

例如，第c个类别对应的置信分数由第c个类别响应图和对应的卷积核执行卷积处理卷积得到，具体公式如下所示：

（公式3）

其中，表示第c个类别响应图的响应区域中的第k个元素，“*”表示卷积运算，其他参数的含义如公式2的参数说明所述，这里不再赘述。

由公式3可以看出，分类网络最终仅使用响应区域中的峰值来进行最终预测，所以在后续的概率反向传播过程中，梯度将由卷积核分摊到所有的峰值坐标。

从模型学习的角度来看，类别响应图主要通过密取样所有的感受野计算得到，由于类别响应图呈现的是全输入图像的语义分割信息，全输入图像中的大部分信息由于和病灶无关，这些信息并不是要关注的对象，因此类别响应图存在前景和背景不平衡的问题。

不同于传统方法无条件地从极端的前景和背景的不平衡中学习，峰值刺激层迫使分类网络过通过类别响应图估算的信息性感受野集合（也即响应区域）进行学习，根据类别响应图估计的峰值响应图中的峰值区域，迫使分割网络只对峰值区域进行学习，避免在训练过程中学习到负样本带来的负面影响。

在步骤S203，基于至少一个置信分数和至少一个类别响应图，对分类模型进行概率反向传播处理，以得到第一训练图像对应的峰值响应图。

在本公开中的概率反向传播是一种针对峰值的概率反向传播过程，以进一步生成精细且实例感知的表示形式，即峰值响应图。与以前的沿反向传播方向的注意力模型不同，本公开中的概率反向传播通过感受野寻找输出类别中最相关的神经元以生成类别响应图，并从不包含位置信息的分类标签中提取到决定该类别最关联的空间信息，这样可以在底层（分类模型中靠近输入端的称为底层）得到每个元素的沿反向传播方向（从输出端至输入端的方向）的相关性，从而通过概率反向传播得到峰值响应图。

本公开中的概率反向传播过程例如可以解释为步行者从顶层（分类模型中最靠近输出端的称为顶层）开始并随机步行到底层（分类模型中靠近输入端的称为底层）的过程，然后，将底层输入图像中每个元素的沿反向传播方向的相关性公式转换为步行者拜访该元素的概率。

例如，在一些实施例中，步骤S203可以包括：基于至少一个置信分数和至少一个类别响应图，对分类模型进行概率反向传播处理，确定与至少一个类别一一对应的至少一个中间峰值响应图；获取第一训练图像中的目标区域的类别；将第一训练图像中的目标区域的类别对应的中间峰值响应图作为第一训练图像对应的峰值响应图。

例如，基于至少一个置信分数和至少一个类别响应图，对分类模型进行概率反向传播处理，确定与至少一个类别一一对应的至少一个中间峰值响应图，可以包括：确定分类模型包括的N个处理层，其中，N个处理层沿前向传播方向依次为第1个处理层至第N个处理层，前向传播方向为沿分类模型的输入至输出的方向，N为大于1的正整数；针对至少一个类别中的每个被选择类别，基于被选择类别对应的置信分数和被选择类别对应的类别响应图，沿反向传播方向，依次获得每个处理层对应的针对被选择类别的概率图，将第1个处理层对应的针对被选择类别的的概率图作为被选择类别对应的中间峰值响应图，其中，反向传播方向与前向传播方向相反。

例如，处理层可以包括卷积层，例如，处理层还可以包括其他常用的中间层，例如池化层，例如平均池化层或最大池化层等，池化层被视为执行输入的仿射变换的相同类型的层，因此，可以以与卷积层相同方式执行相应的概率反向传播处理。

例如，可以沿反向传播方向依次为每个类别的峰值响应定位最相关的空间位置，以生成详细的实例感知视觉线索，也即该类别对应的峰值响应图。

例如，基于被选择类别对应的置信分数和被选择类别对应的类别响应图，沿反向传播方向，依次获得每个处理层对应的针对被选择类别的概率图，可以包括：针对N个处理层中的第i个处理层：获取第i个处理层对应的转接概率，其中，转接概率用于指示第i个处理层的输入特征图和输出特征图中每个元素的相关性；基于第i个处理层对应的转接概率和第i个处理层对应的概率参数，获得第i个处理层对应的概率图，其中，在i等于N时，第i个处理层对应的概率参数为被选择类别对应的类别响应图，且获取第i个处理层对应的转接概率，包括：基于被选择类别对应的置信分数，获取第N个处理层对应的转接概率，在i大于等于1且小于N时，第i个处理层对应的概率参数为第i+1个处理层对应的概率图，i为正整数。

例如，获取第i个处理层对应的转接概率，可以包括：在i等于N时，基于被选择类别对应的置信分数，确定第N个处理层对应的输入特征参数，在i大于等于1且小于N时，将第i个处理层的输入特征图作为第i个处理层的输入特征参数；基于输入特征参数和分类模型的损失函数，确定沿前向传播方向上的第i个处理层对应的梯度图；基于第i个处理层对应的梯度图，得到第i个处理层对应的转接概率。

例如，基于被选择类别对应的置信分数，确定第N个处理层对应的输入特征参数，可以包括：利用如下公式确定第N个处理层对应的输入特征参数：

（公式4）

其中，表示第N个处理层对应的针对被选择类别的输入特征参数，表示被选择类别对应的类别响应图的响应区域中的元素总数，L表示分类模型的损失函数，表示被选择类别对应的置信分数，表示被选择类别对应的峰值刺激层中的卷积核，c表示被选择类别。

例如，概率反向传播处理过程中，针对每个被选择类别，首先对第N个处理层按照公式4计算的第N个处理层对应的针对被选择类别的输入特征参数，从而在反向传播过程中，将梯度由卷积核分摊到所有的峰值坐标。

之后，基于第N个处理层对应的针对被选择类别的输入特征参数，依据如下所示的公式6得到第N个处理层对应的转移概率，将被选择类别对应的类别响应图作为概率参数，根据概率参数和转移概率根据如下所示的公式5计算得到第N个处理层对应的针对被选择类别的概率图。

之后，对第N-1个处理层，将第N-1个处理层的输入特征图作为输入特征参数，依据如下所示的公式6得到第N-1个处理层对应的转移概率，将第N个处理层对应的针对被选择类别的概率图作为概率参数，根据概率参数和转移概率根据如下所示的公式5计算得到第N个处理层对应的针对被选择类别的概率图。

之后，对第N-2个处理层，将第N-2个处理层的输入特征图作为输入特征参数，依据如下所示的公式6得到第N-2个处理层对应的转移概率，将第N-1个处理层对应的针对被选择类别的概率图作为概率参数，根据概率参数和转移概率根据如下所示的公式5计算得到第N-2个处理层对应的针对被选择类别的概率图。

按照上述过程依次类推，最后得到第1个处理层对应的概率图，将该概率图作为被选择类别对应的中间峰值响应图。

例如，针对第i个处理层，概率图计算公式如下所示：

（公式5）

其中，P()表示第i个处理层对应的针对被选择类别的概率图，表示第i个处理层对应的转接概率，P()表示第i个处理层对应的针对被选择类别的概率参数，表示第i个处理层对应的针对被选择类别的输入特征参数，i和j表示输入特征参数（例如输入特征图）中的各个元素的位置坐标，表示第i个处理层的输出特征图，p和q表示输出特征图中的各个元素的位置坐标，k表示第i个处理层的输入特征图和输出特征图的尺寸之比，H和W分别表示的高度尺寸和宽度尺寸。

例如，针对第i个处理层，转移概率计算公式如下所示：

（公式6）

其中，表示归一化因子，以保证，表示在前向传播过程中，损失函数对输入特征参数中位置坐标为（i,j）的元素的偏导数，也即输入特征参数中位置坐标为（i,j）的元素的梯度图，，用于丢弃概率反向传播过程中的负面联系。

例如，获取第一训练图像中的目标区域的类别，可以包括：基于至少一个类别响应图，确定第一训练图像中的目标区域的类别。

例如，针对每个要学习的类别分别计算类别分数，计算公式如下所示：

（公式7）

其中，Score表示第c个类别的类别分数，和表示类别不相关系数，表示第c个类别对应的类别响应图，表示根据形态学梯度计算的响应区域的轮廓线，S表示通过类别响应图与轮廓线的偏差得到的针对轮廓线的背景掩盖图像，Q表示通过类别响应图与响应区域的偏差得到的针对响应区域的背景掩盖图像，“*”表示卷积运算。

关于类别分数的相关内容可以参考如下论文：J. R. R. Uijlings, K. E. A. van de Sande, T. Gevers, and A. W. M. Smeulders. Selective search for object recognition. International Journal of Computer Vision (IJCV)；J. Pont-Tuset, P. Arbelaez, J. T. Barron, F. Marques, and ´ J. Malik. Multiscale combinatorial grouping for image segmentation and object proposal generation. IEEE Trans. Pattern Anal. Mach. Intell., 39(1):128–140, 2017. 2, 3, 5；K. Maninis, J. Pont-Tuset, P. A. Arbelaez, and L. V. Gool. ´ Convolutional oriented boundaries: From image segmentation to high-level tasks. CoRR, abs/1701.04658, 2017. 3, 5。这里不再赘述。

针对每个类别按照公式7进行计算，将类别分数最高的类别作为第一训练图像中目标区域的类别，并将第一训练图像中的目标区域的类别对应的中间峰值响应图作为第一训练图像对应的峰值响应图。

例如，在另一些实施例中，步骤S203可以包括，获取第一训练图像中的目标区域的目标类别；基于目标类别对应的置信分数和目标类别对应的类别响应图，对分类模型进行概率反向传播处理，确定与目标类别对应的中间峰值响应图；将目标类别对应的中间峰值响应图作为第一训练图像对应的峰值响应图。

在该实施例中的关于概率反向传播处理的具体执行过程如前所述，这里不再赘述。

例如，可以先对所有类别均执行概率反向传播的过程，之后将第一训练图像的类别对应的中间峰值响应图作为第一训练图像对应的峰值响应图，也可以先确定第一训练图像的类别，仅对该类别执行概率反向传播，并将得到中间峰值响应图作为第一训练图像对应的峰值响应图，本公开对此不作限制。

根据上述过程可以看出，本公开提供的作为分割网络的辅助信息的峰值响应图，明确地考虑了感受野并可以从特定的空间位置提取实例感知的视觉线索，即类别高峰响应，并在概率反向传播过程进一步生成细节和实例感知表示，从而可以从没有位置信息的分类标签中提取到决定该类别最关联的空间信息，以作为区域分割过程的辅助信息，实现利用分类网络的信息对分割网络的零样本学习进行辅助；此外，本公开提供的峰值响应图可以将训练图像中的有效信息编码成图像的形式进行分割模型的零样本学习。

例如，分割网络的结构可以采用U-Net（U型网络）结构。

U-Net是一种卷积神经网络，它可以更好地分割生物医学图像。U-Net可以理解为编码器和解码器的融合。例如，编码器部分用于通过多个卷积层、激活函数、池化层等实现输入图像的特征提取，以得到多个特征图；解码器部分利用多个转置卷积层等对多个特征图进行上采样处理，并对编码器部分的一些卷积层的处理结果和上采样处理后的一些卷积处理结果进行通道拼接处理，得到输入图像对应的分割图像，实现对输入图像的图像分割。

在医学图像的分析过程中，不同于常规图像可以有较长的分析时间和处理时间，医学图像需要在尽量短的时间内完成对图像的分析，向医生提供即时反馈，因此对医学图像的处理要求有更高的处理速度。

例如，残差网络可以解决深度卷积中的梯度弥散，爆炸，以及网络退化的问题，残差连接可以使得信息传播更加顺畅，相同的卷积层能够更快收敛。由于U-Net结构中的卷积层较多，将卷积层全部替换成残差模块可以在获得相同结果的情况下使用更少的训练参数，以使得模型变为速度更快的轻量化模型，更符合医学图像使用需求。

例如，分割网络包括至少一个编码器模块和至少一个解码器模块，至少一个编码器模块配置为对第一训练图像进行特征提取处理，以得到多个特征图，至少一个解码器模块配置为对多个特征图进行恢复尺寸处理和通道连接处理，以得到分割结果，至少一个编码器模块和至少一个解码器模块利用残差模块执行卷积处理。

将编码器模块和解码器模块中的常规卷积结构改为了残差结构，相比较于U-Net模型使用了更少的训练参数，以使得模型变为速度更快的轻量化模型，更符合医学图像的使用需求。

例如，图4示出了本公开至少一实施例提供的分割网络的示意图。

如图4所示，分割网络由两个编码器模块（编码器模块1和编码器模块2）和两个解码器模块组成（解码器模块1和解码器模块2）。如图4所示，编码器模块1包括2个残差模块（Residual Block）、1个跨步卷积层（Strided Convolutional layer）和1个池化层（Pool layer），编码器模块2包括2个残差模块和1个跨步卷积层；解码器模块1和解码器模块2各自包括2个残差模块和2个转置卷积层（Strided Convolutional layer），并对不同残差模块输出的特征图进行通道连接。

例如，编码器模块学习提取所有来自输入图像的必要信息并传递给解码器模块，编码器模块和解码器模块之间进行连接时也加入了转置卷积层以使用空间跨层注意力逐层将这些粗级特征改进为精细级特征，也即是转置卷积层可以引入注意力机制，对编码器模块的重要特征加入更高的权重，以此来帮助分割网络对重要的特征进行更多的关注。此外，因为使用了残差结构，可以帮助分割网络产生更多语义信息及有意义的信息，快速精准地产生分割结果。

需要说明的是，本公开对分割网络的结构不作限制，在不同实施例中可以采用其他分割网络架构，关于网络架构皆可以进行替换以进行特征提取和区域分割。

例如，在步骤S30执行之前，该图像处理网络的训练方法还可以包括：获取至少一个第二训练图像和与至少一个第二训练图像一一对应的至少一个区域分割标签；基于至少一个第二训练图像和至少一个区域分割标签，对待训练的分割网络进行训练，得到所述分割网络。

例如，第二训练图像来自可见数据集，也即训练图像的标注信息包括区域分割标签以及分类标签。例如，先利用现有的来自可见数据集的训练图像对待训练的分割网络进行训练，以使得分割网络具有先验知识，从而在之后可以根据辅助信息实现对未见过的训练图像的区域分割。

例如，第二训练图像和用于训练分类模型的训练图像为同一图像，也即均为可见数据集中的训练图像。

例如，基于可见数据集对分割网络进行训练的过程可以采用常规的全监督训练方式。

例如，步骤S30可以包括：利用分割网络对第一训练图像进行处理，以得到训练分割图像；将位置信息作为辅助信息，基于训练分割图像，通过分割网络对应的损失函数计算分割网络的损失值；以及基于损失值对分割网络的参数进行修正；在分割网络对应的损失值不满足预定准确率条件时，继续输入第一训练图像以重复执行上述训练过程。

例如，将位置信息作为辅助信息，结合不可见数据集对分割网络进行训练的过程可以理解为正常的全监督训练模式，具体训练过程中是基于损失函数，结合分割网络输出的训练分割图像和峰值响应图转换的标签，计算分割网络的损失值，然后根据损失值调整分割网络的参数，在分割网络对应的损失值不满足预定准确率条件时，继续输入第一训练图像以重复执行上述训练过程，在分割网络对应的损失值满足预定准确率条件时，得到训练好的分割网络。

图5为本公开至少一实施例提供的训练网络的示意性结构图。

如图5所示，该训练网络包括分割网络和分类网络。

例如，分类网络包括分类模型和多个峰值刺激层，分类网络已预先通过可见数据集和不可见数据集训练好。

例如，分割网络为如前所述的图像处理网络中的用于获得分割图像的分割网络，分割网络已预先通过可见数据集进行了初步的区域分割训练。

例如，分类模型首先对输入的训练图像进行分类处理，得到分别对应多个类别的类别响应图，具体过程如步骤S201所述，这里不再赘述。

之后，峰值刺激层对多个类别响应图进行处理，得到多个置信分数，具体过程如步骤S202所述，这里不再赘述。

之后，基于多个置信分数和多个类别响应图执行概率反向传播处理，得到峰值响应图，具体过程如步骤S203所述，这里不再赘述。

例如，分割网络对输入的训练图像进行处理，得到训练图像对应的训练分割图像，分割网络将峰值响应图作为辅助信息，也即将峰值响应图中的位置信息作为区域分割标签，结合训练分割图像，根据分割网络对应的损失函数计算损失值，并根据损失值调整分割网络的参数，最终在分割网络对应的损失值满足预定准确率条件时，得到训练后的分割网络。

在本公开至少一实施例提供的图像处理网络的训练方法中，基于零样本学习方法借助作为辅助信息的峰值响应图，实现跨模态或种类的知识的迁移，也即实现对未见过的训练图像进行区域分割，有效地解决深度学习模型在临床应用时遇到的标注信息不足的情况，为医生提供精准快速的医学分割图像，例如，内窥镜分割图像，同时也减少了收集数据以及标注的花费，大大提高了模型的泛化性质和临床可使用性。

例如，本公开至少一实施例还提供一种图像处理方法。图6为本公开至少一实施例提供的一种图像处理方法的示意性流程图。

如图6所示，该图像处理方法包括步骤S40-S50。

在步骤S40，获取输入图像。

例如，输入图像包括目标区域，例如，输入图像为医学图像，目标区域为病灶区域。

例如，关于输入图像的相关性质、获取方式可以参考前述步骤S10的相关内容，这里不在赘述。

在步骤S50，使用图像处理网络对输入图像进行区域分割处理，以得到输入图像对应的分割图像。

例如，分割图像具有对应于输入图像中的目标区域的分割区域。

例如，图像处理网络至少部分是根据本公开至少一实施例所述的图像处理网络的训练方法训练得到。

关于图像处理网络的训练方法如前所述，这里不再赘述。

例如，在根据上述方式对待训练的图像处理网络进行训练后，可以得到训练好的图像处理网络对输入图像进行区域分割处理，该图像处理网络中不再需要分类网络提供辅助信息，经过上述训练方法得到的图像处理网络已可以独立进行区域分割处理，所能进行区域分割的目标区域已不限于可见数据集中有限的种类，提高了模型的泛化性质和临床可使用性。

本公开至少一实施例还提供一种图像处理网络的训练装置，图7A为本公开至少一实施例提供的一种训练装置的示意性框图。

如图7A示，图像处理网络的训练装置100可以包括获取单元101、处理单元102和训练单元103。这些组件通过总线系统和/或其它形式的连接机构（未示出）互连。应当注意，图7A所示的训练装置100的组件和结构只是示例性的，而非限制性的，根据需要，训练装置100也可以具有其他组件和结构。

例如，获取单元101，配置为获取第一训练图像，其中，第一训练图像包括待分割的目标区域。

例如，处理单元102，配置为利用分类网络对第一训练图像进行处理，得到第一训练图像对应的峰值响应图，其中，峰值响应图包括与目标区域对应的位置信息。

例如，训练单元103，配置为将位置信息作为辅助信息，利用第一训练图像对分割网络进行区域分割训练。

例如，训练单元103包括训练网络104，训练网络包括分类网络、包括用于获得分割图像的图像处理网络、损失函数等（均未示出），训练单元103用于对待训练的图像处理网络进行训练，以得到训练好的图像处理网络。

例如，训练网络104可以参考图5所示的训练网络。

需要说明的是，训练单元103中的图像处理网络与上述图像处理网络的训练方法的实施例中的图像处理网络的结构和功能相同，在此不再赘述。

需要说明的是利用训练单元103对图像处理网络进行训练的具体过程等可以参考上述图像处理网络的训练方法的实施例中的相关描述，重复之处不再赘述。

本公开至少一实施例还提供一种图像处理装置，图7B为本公开至少一实施例提供的一种图像处理装置的示意性框图。

如图7B示，图像处理装置200可以包括图像输入单元201、分割处理单元202。这些组件通过总线系统和/或其它形式的连接机构（未示出）互连。应当注意，图7B所示的图像处理装置200的组件和结构只是示例性的，而非限制性的，根据需要，图像处理装置200也可以具有其他组件和结构。

例如，图像输入单元201，配置为获取输入图像，其中，输入图像包括目标区域。

例如，分割处理单元202，配置为使用图像处理网络对输入图像进行区域分割处理，以得到输入图像对应的分割图像。

例如，分割图像具有对应于输入图像中的目标区域的分割区域。

例如，图像处理网络至少部分是根据本公开任一实施例所述的训练方法训练得到，训练的具体过程等可以参考上述图像处理网络的训练方法的实施例中的相关描述，重复之处不再赘述。

图7C为本公开至少一实施例提供的一种图像处理装置的处理过程示意图。

如图7C所示，左侧的输入图像为通过内窥镜检查得到的医学图像，通过本公开至少一实施例提供的图像处理装置对输入图像进行处理得到图7C右侧所示的分割图像，分割区域为分割图像中的白色区域。

本公开一些实施例还提供一种电子设备。图8为本公开至少一实施例提供的一种电子设备的示意性框图。

例如，如图8所示，电子设备800包括处理器801和存储器802。应当注意，图8所示的电子设备800的组件只是示例性的，而非限制性的，根据实际应用需要，该电子设备800还可以具有其他组件。

例如，处理器801和存储器802之间可以直接或间接地互相通信。

例如，处理器801和存储器802可以通过网络进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。处理器801和存储器802之间也可以通过系统总线实现相互通信，本公开对此不作限制。

例如，在一些实施例中，存储器802用于非瞬时性地存储计算机可读指令。处理器801用于运行计算机可读指令时，计算机可读指令被处理器801运行时实现根据上述任一实施例所述的图像处理网络的训练方法或根据上述任一实施例所述的图像处理方法。关于该图像处理网络的训练方法的各个步骤的具体实现以及相关解释内容可以参见上述图像处理网络的训练方法的实施例，关于该图像处理方法的各个步骤的具体实现以及相关解释内容可以参见上述图像处理方法的实施例，重复之处在此不作赘述。

例如，处理器801和存储器802可以设置在服务器端（或云端）。

例如，处理器801可以控制电子设备800中的其它组件以执行期望的功能。处理器801可以是中央处理器（CPU）、图形处理器(Graphics Processing Unit，GPU)、网络处理器（NP）等；还可以是数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元（CPU）可以为X86或ARM架构等。

例如，存储器802可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。非易失性存储器例如可以包括只读存储器（ROM）、硬盘、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机可读指令，处理器801可以运行所述计算机可读指令，以实现电子设备800的各种功能。在存储介质中还可以存储各种应用程序和各种数据等。

例如，在一些实施例中，电子设备800可以为手机、平板电脑、电子纸、电视机、显示器、笔记本电脑、数码相框、导航仪、可穿戴电子设备、智能家居设备等。

例如，电子设备800可以包括显示面板，显示面板可以用于分割图像等。例如，显示面板可以为矩形面板、圆形面板、椭圆形面板或多边形面板等。另外，显示面板不仅可以为平面面板，也可以为曲面面板，甚至球面面板。

例如，电子设备800可以具备触控功能，即电子设备800可以为触控装置。

例如，关于电子设备800执行图像处理网络的训练方法的过程的详细说明可以参考图像处理网络的训练方法的实施例中的相关描述，关于电子设备800执行图像处理方法的过程的详细说明可以参见上述图像处理方法的实施例中的相关描述，重复之处不再赘述。

图9为本公开至少一实施例提供的一种非瞬时性计算机可读存储介质的示意图。例如，如图9所示，在存储介质900上可以非暂时性地存储一个或多个计算机可读指令901。例如，当计算机可读指令901由处理器执行时可以执行根据上文所述的图像处理网络的训练方法中的一个或多个步骤，或者，当计算机可读指令901由处理器执行时可以执行根据上文所述的图像处理方法中的一个或多个步骤。

例如，该存储介质900可以应用于上述电子设备800中。例如，存储介质900可以包括电子设备800中的存储器802。

例如，关于存储介质900的说明可以参考电子设备800的实施例中对于存储器802的描述，重复之处不再赘述。

下面参考图10，图10示出了适于用来实现本公开实施例的电子设备300的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）、可穿戴电子设备等等的移动终端以及诸如数字TV、台式计算机、智能家居设备等等的固定终端等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图10示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备300可以包括处理装置（例如中央处理器、图形处理器等）301，其可以根据存储在只读存储器（ROM）302中的程序或者从存储装置306加载到随机访问存储器（RAM）303中的程序而执行各种适当的动作和处理，以执行根据上文所述的图像处理网络的训练方法或图像处理方法中的一个或多个步骤。在RAM 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、ROM 302以及RAM 303通过总线304彼此相连。输入/输出（I/O）接口305也连接至总线304。

通常，以下装置可以连接至I/O接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置306；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图7示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码，以执行根据上文所述的图像处理网络的训练方法或图像处理方法的方法中的一个或多个步骤。在这样的实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置306被安装，或者从ROM 302被安装。在该计算机程序被处理装置301执行时，执行本公开实施例的方法中限定的上述功能。

需要说明的是，在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

在一些实施方式中，客户端、服务器可以利用诸如HTTP（HyperText Transfer Protocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“LAN”），广域网（“WAN”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络（，包括局域网(LAN)或广域网(WAN)）连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、片上系统（SOC）、复杂可编程逻辑设备（CPLD）等等。

根据本公开的一个或多个实施例，一种图像处理网络的训练方法，其中，所述图像处理网络包括用于获得分割图像的分割网络，所述训练方法包括：获取第一训练图像，其中，所述第一训练图像包括待分割的目标区域；利用分类网络对所述第一训练图像进行处理，得到与所述第一训练图像对应的峰值响应图，其中，所述峰值响应图包括与所述目标区域对应的位置信息；将所述位置信息作为辅助信息，利用所述第一训练图像对所述分割网络进行区域分割训练。

根据本公开的一个或多个实施例，所述第一训练图像不具有对应于待分割的目标区域的区域分割标签，且在对所述分割网络进行所述区域分割训练前，所述分割网络未对所述待分割的目标区域进行过任何区域分割训练。

根据本公开的一个或多个实施例，所述分类网络包括分类模型和至少一个峰值刺激层，所述分类模型被配置为识别至少一个类别的目标区域，利用所述分类网络对所述第一训练图像进行处理，得到所述第一训练图像对应的峰值响应图，包括：利用所述分类模型对所述第一训练图像进行分类处理，以得到与所述至少一个类别一一对应的至少一个类别响应图，其中，每个类别响应图具有针对所述每个类别响应图对应的类别的响应区域；利用所述至少一个峰值刺激层分别对所述至少一个类别响应图进行处理，以得到至少一个置信分数；基于所述至少一个置信分数和所述至少一个类别响应图，对所述分类模型进行概率反向传播处理，以得到所述第一训练图像对应的峰值响应图。

根据本公开的一个或多个实施例，利用所述至少一个峰值刺激层分别对所述至少一个类别响应图进行处理，以得到至少一个置信分数，包括：针对所述至少一个类别响应图中的每个类别响应图：确定所述类别响应图中的响应区域；计算所述响应区域中的所有元素的数值的平均值，将所述平均值作为所述类别响应图对应的置信分数。

根据本公开的一个或多个实施例，所述至少一个峰值刺激层为卷积层，计算所述响应区域中的所有元素的数值的平均值，包括：利用所述类别响应图对应的卷积核对所述类别响应图进行卷积处理，以得到所述平均值，其中，所述卷积核的公式表示为：

其中，表示所述类别响应图对应的卷积核，c表示所述类别响应图对应的类别，（,）表示所述类别响应图的响应区域中的第k个元素的坐标值，表示所述类别响应图的响应区域中的元素总数，表示狄克拉函数，表示加和处理。

根据本公开的一个或多个实施例，基于所述至少一个置信分数和所述至少一个类别响应图，对所述分类模型进行概率反向传播处理，以得到所述第一训练图像对应的峰值响应图，包括：基于所述至少一个置信分数和所述至少一个类别响应图，对所述分类模型进行概率反向传播处理，确定与所述至少一个类别一一对应的至少一个中间峰值响应图；获取所述第一训练图像中的目标区域的类别；将所述第一训练图像中的目标区域的类别对应的中间峰值响应图作为所述第一训练图像对应的峰值响应图。

根据本公开的一个或多个实施例，基于所述至少一个置信分数和所述至少一个类别响应图，对所述分类模型进行概率反向传播处理，确定与所述至少一个类别一一对应的至少一个中间峰值响应图，包括：确定所述分类模型包括的N个处理层，其中，所述N个处理层沿前向传播方向依次为第1个处理层至第N个处理层，所述前向传播方向为沿所述分类模型的输入至输出的方向，N为大于1的正整数；针对所述至少一个类别中的每个被选择类别，基于所述被选择类别对应的置信分数和所述被选择类别对应的类别响应图，沿反向传播方向，依次获得每个处理层对应的针对所述被选择类别的概率图，将所述第1个处理层对应的针对所述被选择类别的概率图作为所述被选择类别对应的中间峰值响应图，其中，所述反向传播方向与所述前向传播方向相反。

根据本公开的一个或多个实施例，基于所述被选择类别对应的置信分数和所述被选择类别对应的类别响应图，沿反向传播方向，依次获得每个处理层对应的针对所述被选择类别的概率图，包括：针对所述N个处理层中的第i个处理层：获取所述第i个处理层对应的转接概率，其中，所述转接概率用于指示所述第i个处理层的输入特征图和输出特征图中每个元素的相关性；基于所述第i个处理层对应的转接概率和所述第i个处理层对应的概率参数，获得所述第i个处理层对应的概率图，其中，在i等于N时，所述第i个处理层对应的概率参数为所述被选择类别对应的类别响应图，且获取所述第i个处理层对应的转接概率，包括：基于所述被选择类别对应的置信分数，获取所述第N个处理层对应的转接概率，在i大于等于1且小于N时，所述第i个处理层对应的概率参数为第i+1个处理层对应的概率图，i为正整数。

根据本公开的一个或多个实施例，获取所述第i个处理层对应的转接概率，包括：在i等于N时，基于所述被选择类别对应的置信分数，确定所述第N个处理层对应的输入特征参数，在i大于等于1且小于N时，将所述第i个处理层的输入特征图作为所述第i个处理层的输入特征参数；基于所述输入特征参数和所述分类模型的损失函数，确定沿所述前向传播方向上的所述第i个处理层对应的梯度图；基于所述第i个处理层对应的梯度图，得到所述第i个处理层对应的转接概率。

根据本公开的一个或多个实施例，基于所述被选择类别对应的置信分数，确定所述第N个处理层对应的输入特征参数，包括：利用如下公式确定所述第N个处理层对应的输入特征参数：

其中，表示所述第N个处理层对应的针对所述被选择类别的输入特征参数，表示所述被选择类别对应的类别响应图的响应区域中的元素总数，L表示所述分类模型的损失函数，表示所述被选择类别对应的置信分数，表示所述被选择类别对应的峰值刺激层中的卷积核。

根据本公开的一个或多个实施例，基于所述至少一个置信分数和所述至少一个类别响应图，对所述分类模型进行概率反向传播处理，以得到所述第一训练图像对应的峰值响应图，包括：获取所述第一训练图像中的目标区域的目标类别；基于所述目标类别对应的置信分数和所述目标类别对应的类别响应图，对所述分类模型进行概率反向传播处理，确定与所述目标类别对应的中间峰值响应图；将所述目标类别对应的中间峰值响应图作为所述第一训练图像对应的峰值响应图。

根据本公开的一个或多个实施例，将所述位置信息作为辅助信息，利用所述第一训练图像对所述分割网络进行区域分割训练，包括：利用所述分割网络对所述第一训练图像进行处理，以得到训练分割图像；将所述位置信息作为辅助信息，基于所述训练分割图像，通过所述分割网络对应的损失函数计算所述分割网络的损失值；以及基于所述损失值对所述分割网络的参数进行修正；在所述分割网络对应的损失值不满足预定准确率条件时，继续输入所述第一训练图像以重复执行上述训练过程。

根据本公开的一个或多个实施例，在将所述位置信息作为辅助信息，利用所述第一训练图像对所述分割网络进行区域分割训练之前，所述训练方法还包括：获取至少一个第二训练图像和与所述至少一个第二训练图像一一对应的至少一个区域分割标签；基于所述至少一个第二训练图像和所述至少一个区域分割标签，对待训练的分割网络进行训练，得到所述分割网络。

根据本公开的一个或多个实施例，所述分割网络包括至少一个编码器模块和至少一个解码器模块，所述至少一个编码器模块配置为对所述第一训练图像进行特征提取处理，以得到多个特征图，所述至少一个解码器模块配置为对所述多个特征图进行恢复尺寸处理和通道连接处理，以得到分割结果，所述至少一个编码器模块和所述至少一个解码器模块利用残差模块执行卷积处理。

根据本公开的一个或多个实施例，所述分类模型为全卷积网络。

根据本公开的一个或多个实施例，所述第一训练图像是医学图像。

根据本公开的一个或多个实施例，一种图像处理方法，包括：获取输入图像，其中，所述输入图像包括目标区域；使用图像处理网络对所述输入图像进行区域分割处理，以得到所述输入图像对应的分割图像，其中，所述分割图像具有对应于所述输入图像中的所述目标区域的分割区域，其中，所述图像处理网络至少部分是根据本公开任一实施例所述的训练方法训练得到。

根据本公开的一个或多个实施例，一种图像处理网络的训练装置，其中，所述图像处理网络包括用于获得分割图像的分割网络，所述训练装置包括：获取单元，配置为获取第一训练图像，其中，所述第一训练图像包括待分割的目标区域；处理单元，配置为利用所述分类网络对所述第一训练图像进行处理，得到所述第一训练图像对应的峰值响应图，其中，所述峰值响应图包括与所述目标区域对应的位置信息；训练单元，配置为将所述位置信息作为辅助信息，利用所述第一训练图像对所述分割网络进行区域分割训练。

根据本公开的一个或多个实施例，一种图像处理装置，包括：图像输入单元，配置为获取输入图像，其中，所述输入图像包括目标区域；分割处理单元，配置为使用图像处理网络对所述输入图像进行区域分割处理，以得到所述输入图像对应的分割图像，其中，所述分割图像具有对应于所述输入图像中的所述目标区域的分割区域，其中，所述图像处理网络至少部分是根据本公开任一实施例所述的训练方法训练得到。

根据本公开的一个或多个实施例，一种电子设备，包括：存储器，非瞬时性地存储有计算机可执行指令；处理器，配置为运行所述计算机可执行指令，其中，所述计算机可执行指令被所述处理器运行时实现根据本公开任一实施例所述的图像处理网络的训练方法或本公开任一实施例所述的图像处理方法。

根据本公开的一个或多个实施例，一种非瞬时性计算机可读存储介质，其中，所述非瞬时性计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现根据本公开任一实施例所述的所述的图像处理网络的训练方法或本公开任一实施例所述的图像处理方法。

以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。

尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。

对于本公开，还有以下几点需要说明：

（1）本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。

（2）为了清晰起见，在用于描述本发明的实施例的附图中，层或结构的厚度和尺寸被放大。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件 “上”或“下”，或者可以存在中间元件。

（3）在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。

以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。