图像处理方法、装置、计算机可读存储介质及计算机设备与流程

本申请涉及计算机技术领域，特别是涉及一种图像处理方法、装置、计算机可读存储介质及计算机设备。

背景技术：

对于包含目标对象的图像，可以对图像进行处理，从而确定目标对象的关联事件的状态属性。比如，通过乳房钼靶图像确定是否患有乳腺癌。

传统方式中，主要是人工观察包含目标对象的图像，再凭借人为经验判断该目标对象对应的分类结果，该分类结果可以用于表征该目标对象的关联事件的状态属性。比如，医生通过肉眼观察乳房钼靶图像，再凭借从医经验判断乳房对应的分类结果，该分类结果可以用于表征是否患有乳腺癌。然而，人工的观察和判断具有很强的主观性，导致图像的处理效率及准确性较低。

技术实现要素：

基于此，有必要针对传统技术中图像的处理效率及准确性较低的技术问题，提供一种图像处理方法、装置、计算机可读存储介质及计算机设备。

一种图像处理方法，包括：

获取至少两张待处理图像，各所述待处理图像是分别通过不同的成像角度采集同一目标对象形成；

通过图像处理模型中与各所述待处理图像分别对应的各特征提取网络，分别提取各自对应的所述待处理图像的目标特征；

根据各所述目标特征，确定所述目标对象对应的分类结果。

一种图像处理装置，包括：

待处理图像获取模块，用于获取至少两张待处理图像，各所述待处理图像是分别通过不同的成像角度采集同一目标对象形成；

目标特征获取模块，用于通过图像处理模型中与各所述待处理图像分别对应的各特征提取网络，分别提取各自对应的所述待处理图像的目标特征；

分类结果确定模块，用于根据各所述目标特征，确定所述目标对象对应的分类结果。

一种模型训练方法，包括：

获取至少两组全局图像样本，各组全局图像样本是分别通过不同的成像角度采集样本对象形成；

分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络；

根据各所述中间特征提取网络，构建第二待训练神经网络；

根据各组全局图像样本对所述第二待训练神经网络进行模型训练，确定图像处理模型。

一种模型训练装置，包括：

全局样本获取模块，用于获取至少两组全局图像样本，各组全局图像样本是分别通过不同的成像角度采集样本对象形成；

中间网络训练模块，用于分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络；

神经网络构建模块，用于根据各所述中间特征提取网络，构建第二待训练神经网络；

图像处理模型训练模块，用于根据各组全局图像样本对所述第二待训练神经网络进行模型训练，确定图像处理模型。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法和/或模型训练方法中的步骤。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理方法和/或模型训练方法中的步骤。

本申请各实施例提供的上述技术方案，获取至少两张分别通过不同的成像角度采集同一目标对象形成的待处理图像，并通过图像处理模型中与各待处理图像分别对应的各特征提取网络，分别提取各自对应的待处理图像的目标特征，进而根据各目标特征确定目标对象对应的分类结果。一方面，通过机器学习模型自动地学习待处理图像中的特征，进而得到分类结果，无需人为参与，提高了处理效率及处理准确性；另一方面，结合分别通过不同的成像角度采集同一目标对象形成的各待处理图像共同确定分类结果，有效地提高了分类的准确性。

附图说明

图1为一个实施例中图像处理方法和/或模型训练方法的应用环境图；

图2为一个实施例中图像处理方法的流程示意图；

图3为一个实施例中图像处理模型的结构框图；

图4为一个实施例中图像处理模型的结构框图；

图5为一个实施例中图像处理模型的结构框图；

图6为一个实施例中构建第二待训练神经网络的原理示意图；

图7为一个实施例中构建第一待训练神经网络的原理示意图；

图8为一个实施例中模型训练方法的流程示意图；

图9为一个实施例中图像处理方法的流程示意图；

图10为一个实施例中图像处理装置的结构框图；

图11为一个实施例中模型训练装置的结构框图；

图12为一个实施例中计算机设备的结构框图；

图13为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本申请所使用的术语“第一”、“第二”等是用于对类似的对象作出命名上的区分，但这些对象本身不受这些术语限制。应当理解，在不脱离本申请的范围的情况下，这些术语在适当的情况下可以互换。例如，可将“第一待训练神经网络”描述为“第二待训练神经网络”，且类似地，将“第二待训练神经网络”描述为“第一待训练神经网络”。

此外，本申请所使用的术语“包括”、“包含”、“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于已清楚地列出的步骤或单元，而是还可以包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

本申请各实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。该应用环境可以涉及终端110和服务器120，终端110和服务器120可以通过网络连接。

具体地，可以在服务器120上完成模型训练任务，得到图像处理模型。终端110获得至少两张待处理图像(各待处理图像是分别通过不同的成像角度采集同一目标对象形成)后，可以将各待处理图像发送至服务器120。进而，服务器120可通过图像处理模型中与各待处理图像分别对应的各特征提取网络，分别提取各自对应的待处理图像的目标特征，再根据各目标特征确定目标对象对应的分类结果(以下简称为图像检测任务)。

其次，也可以在终端110上完成模型训练任务，得到图像处理模型。比如，终端110可以独立完成模型训练任务和图像检测任务，而无需服务器120参与。

此外，也可以将图像处理模型部署到终端110上。在此情况下，终端110获得待处理图像后，可以直接通过本地存储的图像处理模型完成图像检测任务，而无需将各待处理图像发送至服务器120。

其中，终端110可以是智能手机、平板电脑、笔记本电脑、台式计算机、个人数字助理、穿戴式设备、以及医学影像设备等，但并不局限于此。服务器120可以用独立的物理服务器，或者多个物理服务器构成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种图像处理方法。以该方法应用于计算机设备(如上述图1中的终端110或服务器120)为例进行说明。该方法可以包括如下步骤s202至s206。

s202，获取至少两张待处理图像。

其中，待处理图像是需要确定其包含的目标对象所对应的分类结果的图像。在本实施例中，确定一次分类结果需获取至少两张待处理图像，即根据至少两张待处理图像共同确定分类结果，且各待处理图像是分别通过不同的成像角度采集同一目标对象形成，据此可知各待处理图像与各成像角度分别对应。比如，根据两张待处理图像(分别命名为第一待处理图像和第二待处理图像)共同确定分类结果，则第一待处理图像是通过第一成像角度采集目标对象形成，第二待处理图像是通过不同于该第一成像角度的第二成像角度采集该目标对象形成，据此可知第一待处理图像与第一成像角度对应，第二待处理图像与第二成像角度对应。可以理解，待处理图像的具体数目可以在等于或大于二的前提下基于实际需求确定，本申请不作具体限定，比如，也可以根据三张待处理图像共同确定分类结果，这三张待处理图像是分别通过不同的成像角度采集同一目标对象形成。

成像角度，可以随成像设备所在的位置和被成像的对象所在的位置的改变而改变。通过不同的成像角度采集同一目标对象，可以形成多于一张的采集图像，各采集图像分别包含不同成像角度下的该目标对象，即以不同呈现角度呈现的该目标对象。此外，在医学成像领域，成像角度可以指投照体位，比如对于形成乳腺钼靶图像时，投照体位可以包括轴位(craniocaudal，cc位)和斜侧位(mediolateraloblique，mlo位)、外内侧位(lm位)、外内斜位(lmo位)、腋尾位(at位)等等。

后续，在需要确定目标对象所对应的分类结果时，可以先根据采集图像得到待处理图像，获取到的各待处理图像中分别包含不同成像角度下的目标对象。在一个实施例中，可以获取至少两张通过不同的成像角度采集同一目标对象形成的采集图像，获取到的各采集图像即为各待处理图像。在另一个实施例中，获取至少两张通过不同的成像角度采集同一目标对象形成的采集图像后，可以分别对各采集图像进行预处理，得到与各采集图像分别对应的各待处理图像。

其中，在采集图像的成像过程中，可能会受到外部环境因素或成像设备本身运行中产生的噪声的影响，导致生成的采集图像中可能含有噪声，若直接将包含噪声的采集图像作为待处理图像，则会降低分类的准确性，据此预处理可以包括去噪处理。此外，采集图像的原始图像尺寸可能不符合预定尺寸条件，据此预处理可以包括图像尺寸调整处理，从而将采集图像调整至符合预定尺寸条件，得到待处理图像。可以理解，预处理也可以同时包括去噪处理和图像尺寸调整处理。

在一个实施例中，待处理图像可以是医学图像，据此目标对象可以是生物体或生物体的身体部位。其中，医学图像是为了进行医疗或医疗研究，对生物体或生物体某身体部位，以非侵入式方式取得的内部组织图像。按照图像的成像方式进行区分，医学图像可以包括利用超声声束扫描并通过对反射信号的接收和处理获得的超声图像、通过电子计算机断层扫描(computedtomography，ct)得到的ct图像、或者通过磁共振(magneticresonance,mr)成像得到的mr图像。

待处理图像为医学图像时，按照图像中包含的目标对象进行区分，待处理图像可以为包含乳房这一目标对象的乳房钼靶图像，在此情况下，目标对象对应的分类结果可以用于反映乳腺癌的状态属性。在一个实施例中，乳腺钼靶图像的成像角度可以包括cc位和mlo位，据此获取的至少两张待处理图像可以包括：通过cc位拍摄乳房形成的乳腺钼靶图像、以及通过mlo位拍摄该乳房形成的乳腺钼靶图像。

在实际应用中，待处理图像也可以为包括鼻窦这一目标对象的鼻窦图像，在此情况下，目标对象对应的分类结果可以用于反映副鼻窦炎的状态属性。在一个实施例中，鼻窦图像的成像角度可以包括柯氏位(caldwell位)和瓦氏位，据此获取的至少两张待处理图像可以包括：通过柯氏位拍摄鼻窦得到的鼻窦图像、以及通过瓦氏位拍摄鼻窦得到的鼻窦图像。

在其他实施例中，待处理图像也可以涉及其他各种类型的图像，比如人物图像、动物图像、植物图像、以及建筑图像等等。

s204，通过图像处理模型中与各待处理图像分别对应的各特征提取网络，分别提取各自对应的待处理图像的目标特征。

图像处理模型，是具备图像识别能力的机器学习模型。图像识别可以是提取图像中的特征并据此进行图像分类。机器学习模型是根据样本数据进行模型训练得到。通过模型训练得到的图像处理模型，可以从图像样本中学习到图像特征与分类结果之间的映射规律，并据此得到新图像相应的分类结果。在一个实施例中，图像处理模型可以包括卷积神经网络(convolutionneuralnetwork，cnn)。

特征提取网络，是图像处理模型的组成部分，其可以用于对待处理图像进行特征提取，从而得到待处理图像的目标特征。目标特征，可以是待处理图像对应的特征图(featuremap)，其数据形态可以为向量。

图像处理模型中包括与获取到的各待处理图像分别对应的各特征提取网络，且各特征提取网络彼此独立，用于提取各自对应的待处理图像的目标特征。可以理解，各待处理图像可以与各成像角度分别对应，各特征提取网络也可以与各成像角度分别对应，据此各待处理图像可以与各特征提取网络分别对应，比如获取到通过成像角度po1采集目标对象形成的待处理图像dp1、以及通过成像角度po2采集目标对象形成的待处理图像dp2，图像处理模型中包括与成像角度po1对应的特征提取网络fen1、以及与成像角度po2对应的特征提取网络fen2，则特征提取网络fen1与待处理图像dp1对应，特征提取网络fen2与待处理图像dp2对应。

特征提取网络的网络框架，可以根据实际需求自行从零开始搭建得到，也可以是对具备特征提取功能的已有网络框架进行改造得到。比如，已有的卷积神经网络框架通常包括：包括卷积层和池化层在内、且用于进行特征提取的特征提取部分，以及包括全连接层和softmax层在内的分类输出部分，对该已有卷积神经网络框架进行改造时，可以摘除其分类输出部分，摘除后剩下的特征提取部分即可作为特征提取网络的网络框架。

在本实施例中，获取到的各待处理图像后，将各处理图像输入至图像处理模型，在图像处理模型内部，可以通过彼此独立的各特征提取网络，分别对各自对应的待处理图像进行特征提取，得到与各待处理图像分别对应的各目标特征。

s206，根据各目标特征，确定目标对象对应的分类结果。

分类结果，可以用于反映目标对象的关联事件的状态属性。在一个实施例中，分类结果可以包括目标对象属于预定分类类别的概率，其中，预定分类类别的内容与关联事件的状态属性相关，预定分类类别的数目以及内容均可以根据实际情况进行预先设定。

以待处理图像是医学图像为例，可以包括患有疾病和正常(即未患疾病)这两个预定分类类别。具体地，待处理图像为乳腺钼靶图像时，目标对象对应的分类结果可以包括乳房患有乳腺癌的概率和未患乳腺癌的概率。也可以对不同的疾病状态进行细分，进而包括与各个细分分支分别对应的各预定分类类别。仍以待处理图像为乳腺钼靶图像为例，目标对象对应的分类结果可以包括乳房属于良性肿块的概率、属于良性钙化的概率、属于恶性肿块的概率、属于恶性钙化的概率、以及属于正常腺体的概率。

在一个实施例中，通过图像处理模型得到各目标特征后，可以继续通过图像处理模型实现根据各目标特征确定目标对象对应的分类结果的步骤。在一个实施例中，图像处理模型中包括分类输出网络，可以通过该分类输出网络实现根据各目标特征确定目标对象对应的分类结果的步骤。在此情况下，图像处理模型本质上为深度神经网络模型，其实现了端到端的处理，即直接将待处理图像输入模型，进而模型直接输出分类结果，而无需人工设计模型的输入特征。

对于使用本申请各实施例提供的图像处理方法的软件产品，该软件产品可以以软件接口方式提供服务。以乳腺钼靶图像为例，该软件产品的输入可以为分别通过cc位拍摄乳房的乳腺钼靶图像、以及通过mlo位拍摄乳房的乳腺钼靶图像，该软件产品的输出可以为该乳房患有乳腺癌的概率。

在其他实现方式中，也可以获取包含单一成像角度下的目标对象的待处理图像，并将该单一的待处理图像输入至机器学习模型，通过该机器学习模型输出目标对象对应的分类结果。相应地，该机器学习模型是包含根据单一成像角度下的目标对象的图像样本进行模型训练得到。

以乳腺钼靶图像为例，可以获取包含cc位下的乳房的乳腺钼靶图像，并将该乳腺钼靶图像输入至机器学习模型，通过该机器学习模型输出相应的分类结果，相应地，该机器学习模型是根据包含cc位下的乳房的乳腺钼靶图像样本进行模型训练得到。

然而，单一成像角度的方式，一方面直接利用了包含完整目标对象的图像进行模型训练，希望模型能够学习从整张图像中寻找到区分不同分类结果(如是否患有乳腺癌)的特征，在此情况下，模型训练需要极大量的图像样本，并且训练具有随机性，模型不一定能够学习到最能够区分不同分类结果的关键特征；另一方面，通过包含单一成像角度下的目标对象的待处理图像，得到分类结果，分类依据单一，因而分类结果的准确性较低。

本实施例提供的图像处理方法，获取至少两张分别通过不同的成像角度采集同一目标对象形成的待处理图像，并通过图像处理模型中与各待处理图像分别对应的各特征提取网络，分别提取各自对应的待处理图像的目标特征，进而根据各目标特征确定目标对象对应的分类结果。一方面，通过机器学习模型自动地学习待处理图像中的特征，进而得到分类结果，无需人为参与，提高了处理效率及处理准确性；另一方面，结合分别通过不同的成像角度采集同一目标对象形成的各待处理图像共同确定分类结果，有效地提高了分类的准确性。

在一个实施例中，如图3所示，至少两张待处理图像包括：通过第一成像角度采集目标对象形成的第一待处理图像、以及通过不同于第一成像角度的第二成像角度采集该目标对象形成的第二待处理图像，图像处理模型中的各特征提取网络包括：与第一待处理图像对应的第一特征提取网络，与第二待处理图像对应的第二特征提取网络。

据此，通过图像处理模型中与各待处理图像分别对应的各特征提取网络，分别提取各自对应的待处理图像的目标特征的步骤，可以包括如下步骤：通过图像处理模型中的第一特征提取网络，提取第一待处理图像对应的第一目标特征，并通过图像处理模型中的第二特征提取网络，提取第二待处理图像对应的第二目标特征。并且，根据各目标特征确定目标对象对应的分类结果的步骤，可以包括如下步骤：根据第一目标特征和第二目标特征，确定目标对象对应的分类结果。

在本实施例中，根据两张待处理图像确定分类结果。以待处理图像为乳腺钼靶图像为例，可以获取通过cc位拍摄乳房形成的第一乳腺钼靶图像、以及通过mlo位拍摄乳房形成的第二乳腺钼靶图像，将第一乳腺钼靶图像和第二乳腺钼靶图像输入至图像处理模型，通过图像处理模型中与第一乳腺钼靶图像对应的第一特征提取网络，提取第一待处理图像对应的第一目标特征，并通过图像处理模型中与第二乳腺钼靶图像对应的第二特征提取网络，提取第二待处理图像对应的第二目标特征。其中，第一特征提取网络和第二特征提取网络是彼此独立的特征提取网络。

在一个实施例中，根据各目标特征，确定目标对象对应的分类结果的步骤，即步骤s206，可以包括如下步骤：通过图像处理模型中的全连接层，根据各目标特征进行分类，确定目标对象对应的分类结果。

全连接层，即fullyconnectedlayer，其可以用于根据特征进行分类。具体地，全连接层用于将分布式特征映射到样本标记空间，通俗而言，即为将特征图整合为数值。

在本实施例中，图像处理模型中包括全连接层，通过图像处理模型中的各特征提取网络提取到各待处理图像的目标特征后，可以通过图像处理模型中的全连接层继续根据各目标特征进行分类，从而确定目标对象对应的分类结果。在一个实施例中，可以将各特征提取网络输出的目标特征直接输入至全连接层中进行分类。

在一个实施例中，通过图像处理模型中的全连接层进行分类后，可以直接将全连接层的输出结果作为目标对象对应的分类结果。在另一个实施例中，如图4所示(图4中以两个特征提取网络为例)，图像处理模型中还可以包括设置于全连接层之后的softmax层，softmax层可以用于将全连接层的输出结果映射为区间在(0，1)的数值并进行归一化处理，在此情况下，通过图像处理模型中的全连接层进行分类后，也可以通过图像处理模型中的softmax层继续将全连接层的输出结果映射为区间在(0，1)的数值并进行归一化处理，而后再将softmax层的输出结果作为目标对象对应的分类结果。

在一个实施例中，在通过图像处理模型中的全连接层，根据各目标特征进行分类，确定目标对象对应的分类结果的步骤之前，还可以包括如下步骤：将各目标特征依次经过图像处理模型中的卷积层进行卷积、以及图像处理模型中的池化层进行池化，得到中间特征。据此，通过图像处理模型中的全连接层，根据各目标特征进行分类，确定目标对象对应的分类结果的步骤，可以包括如下步骤：通过图像处理模型中的全连接层，根据中间特征进行分类，确定目标对象对应的分类结果。

在本实施例中，如图5所示，图像处理模型中还包括设置在全连接层之前的卷积层和池化层。卷积层，可以用于通过卷积核进行特征提取。池化层，可以用于通过池化降低卷积层输出的特征的维度，池化一般包括均值池化(meanpooling)和最大值池化(maxpooling)两种形式。

在本实施例中，在图像处理模型内部，通过各特征提取网络提取到各待处理图像的目标特征后，先将各目标特征输入至卷积层进行卷积，以提取进一步的特征，再将该卷积层的输出结果输入至池化层进行池化，以降低特征维度，进而再将池化层的输出结果(即中间特征)输入全连接层进行分类。其中，根据实际需求，在全连接层之前，可以进行多次卷积处理和多次池化处理。

在一个实施例中，确定图像处理模型的方式，可以包括如下步骤：获取至少两组全局图像样本，各组全局图像样本是分别通过不同的成像角度采集样本对象形成；分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络；根据各中间特征提取网络，构建第二待训练神经网络；根据各组全局图像样本对第二待训练神经网络进行模型训练，确定图像处理模型。

全局图像样本，是包含完整的样本对象的图像样本。一组全局图像样本包括若干张通过同一成像角度采集不同样本对象形成的全局图像样本，以乳腺钼靶图像样本为例，一组全局图像样本中可以包括三张乳腺钼靶图像样本，这三张乳腺钼靶图像样本可以分别通过cc位拍摄完整乳房br1形成、通过cc位拍摄完整乳房br2形成、以及通过cc位拍摄完整乳房br3形成。

各组全局图像样本分别通过不同的成像角度采集样本对象形成，每一组全局图像样本唯一对应一个成像角度。比如，获取到三组全局图像样本(分别命名为全局图像样本组g1、全局图像样本组g2、以及全局图像样本组g3)，全局图像样本组g1对应成像角度ia1、全局图像样本组g2对应成像角度ia2、全局图像样本组g3对应成像角度ia3，其中，成像角度ia1、ia2、以及ia3彼此不相同。

可以理解，图像样本是真实分类结果已知的图像。具体地，图像样本可以具有类别标签。类别标签用于表征图像样本的真实分类结果。以乳腺钼靶图像样本为例，乳腺钼靶图像样本mgs1具有用于表征该乳腺钼靶图像样本mgs1中的乳房患有乳腺癌的类别标签，乳腺钼靶图像样本mgs2具有用于表征该乳腺钼靶图像样本mgs2中的乳房未患乳腺癌的类别标签。在一个实施例中，类别标签所表征的真实分类结果，可以由人工分析确定，比如由相关技术领域的专家分析确定。

第一待训练神经网络，是需要进行模型训练的神经网络，其是中间特征提取网络的原型。具体地，第一待训练神经网络可以是未经过预训练的初始神经网络，也可以是对初始神经网络进行预训练后得到的预训练神经网络。第一待训练神经网络本质上可以是卷积神经网络。

模型训练，是对模型各层的模型参数进行调整的过程。具体地，对于任一组全局图像样本，可以通过第一待训练神经网络自行得到该组全局图像样本中的各张全局图像样本的预测分类结果，并根据各张全局图像样本的预测分类结果与其类别标签进行比对，进而计算损失参数(即loss)，再根据损失参数进行反向传播，以调整第一待训练神经网络的模型参数，从而得到该组全局图像样本对应的中间特征提取网络。

可以理解，模型训练是一个迭代处理过程，直至满足训练停止条件时停止训练。其中，训练停止条件是触发停止模型训练的条件。训练停止条件可以是达到预设的迭代次数，也可以是计算得到的损失参数满足预定条件，比如损失参数小于预定损失阈值，还可以是计算得到损失参数不再减小等等。

中间特征提取网络，是图像处理模型中的特征提取网络的原型。各中间特征提取网络与图像处理模型中的各特征提取网络分别对应，此外，各中间特征提取网络与各组全局图像样本分别对应，即根据一组全局图像样本对第一待训练模型进行模型训练，得到该组全局图像样本对应的中间特征提取网络。

举例说明，全局图像样本包括两组乳腺钼靶图像样本(分别命名为乳腺钼靶图像样本组g-br1和乳腺钼靶图像样本组g-br2)，乳腺钼靶图像样本组g-br1包括若干张通过cc位拍摄不同的完整乳房形成的乳腺钼靶图像样本，乳腺钼靶图像样本组g-br2包括若干张通过mlo位拍摄不同的完整乳房形成的乳腺钼靶图像样本(示例e-1)。在此情况下，根据乳腺钼靶图像样本组g-br1中的各乳腺钼靶图像样本对第一待训练神经网络进行模型训练，得到与乳腺钼靶图像样本组g-br1对应的中间特征提取网络in1，该中间特征提取网络in1即对应于cc位，并且根据乳腺钼靶图像样本组g-br2中的各乳腺钼靶图像样本对第一待训练神经网络进行模型训练，得到与乳腺钼靶图像样本组g-br2对应的中间特征提取网络in2，该中间特征提取网络in2即对应于mlo位。

得到各中间特征提取网络后，可以根据各中间特征提取网络，共同构建第二待训练神经网络。具体地，可以分别摘除中间特征提取网络中的分类输出部分(比如摘除全连接层，在全连接层后还连接softmax层时，可将全连接层和softmax层一并摘除)，摘除后剩下的各中间特征提取网络(以下简称为剩余网络)处于并联状态，并在各剩余网络后依次接入未经训练的卷积层、未经训练的池化层、以及未经训练的全连接层依次连接，得到第二待训练神经网络。此外，对于上述示例e-1，得到第二待训练神经网络的原理示意图可以如图6所示。

第二待训练神经网络，是图像处理模型的原型。第二待训练神经网络可以同时接收两组或两组以上的全局图像样本作为输入。

在一个实施例中，在根据各组全局图像样本对第二待训练神经网络进行模型训练的过程中，可以先冻结全部的剩余网络(即，使得各剩余网络的模型参数保持不变)，根据各组全局图像样本调整第二待训练神经网络中未被冻结的部分(未经训练的卷积层、池化层、以及全连接层)的模型参数，在满足第一训练停止条件时，再解除对全部的剩余网络的冻结，根据各组全局图像样本调整整个第二待训练神经网络的模型参数，直到满足第二训练停止条件时结束训练，结束训练时对应的模型参数即为图像处理模型的模型参数。

在另一个实施例中，在根据各组全局图像样本对第二待训练神经网络进行模型训练的过程中，也可以仅冻结部分的剩余网络，此时未被冻结的部分包括未被冻结的剩余网络、未经训练的卷积层、未经训练的池化层、以及未经训练的全连接层。

需要说明的是，根据各组全局图像样本对第二待训练神经网络进行模型训练的具体训练方式，可以采用任何可能的模型训练方式实现，而不局限于上述冻结全部的剩余网络和冻结部分的剩余网络的训练方式。

在一个实施例中，在分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络的步骤之前，还可以包括如下步骤：对第一初始神经网络进行参数初始化处理，确定第一初始参数；根据第一初始参数，确定第一待训练神经网络。

初始神经网络，是不具有模型参数网络框架。对初始神经网络进行参数初始化处理，具体可以是为初始神经网络中的各层赋予随机确定的参数，或者赋予人为设定的参数。

在本实施例中，从零开始在各组全局图像样本上训练各中间特征提取网络。具体地，对第一初始神经网络的模型参数进行随机初始化，得到第一初始参数，并将第一初始参数加载至第一初始神经网络，即可得到第一待训练神经网络，进而分别根据各组全局图像样本对该第一待训练神经网络进行模型训练，得到与各组全局图像样本分别对应的各中间特征提取网络。

在一个实施例中，在分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络的步骤之前，还可以包括如下步骤：获取包含样本对象的目标区域的局部图像样本；对第二初始神经网络进行参数初始化处理，确定第二初始参数；根据局部图像样本和第二初始参数，对第二初始神经网络进行模型训练，确定第一待训练神经网络。

局部图像样本，是仅包含样本对象的目标区域的图像样本。局部图像样本可以视为全局图像样本的局部，具体地，可以从全局图像样本中抠出目标区域从而形成局部图像样本。以图像样本为医学图像为例，目标区域可以包括病灶区域，全局图像样本可以为包含完整生物体部位的图像样本，局部图像样本可以为包含该生物体部位中的病灶区域的图像样本。更具体地，以图像样本为乳腺钼靶图像为例，全局图像样本可以为包含完整乳房的图像样本，局部图像样本可以为包含乳房中的肿瘤区域的图像样本。

与全局图像样本类似，局部图像样本也具有类别标签。以图像样本为乳腺钼靶图像为例，获取到的各局部图像样本，可以包括以下五种类别标签：用于表征乳房属于良性肿块、良性钙化、恶性肿块、恶性钙化、以及正常腺体的类别标签。

在本实施例中，可以先根据局部图像样本对第二初始神经网络进行模型训练，得到第一待训练神经网络，该第一待训练神经网络则为经过预训练的神经网络，而非初始神经网络。后续，再以经过预训练得到的第一待训练神经网络为基础进行迁移学习，从而得到各中间特征提取网络，而无需从零开始在各组全局图像样本上训练各中间特征提取网络。

具体地，可以根据局部图像样本和第二初始参数，对第二初始神经网络进行模型训练，并在停止训练时获取经过训练后的第二初始神经网络(以下简称为局部处理模型)，进而可以在局部处理模型后依次接入未经训练的卷积层、未经训练的池化层、以及未经训练的全连接层，得到重构神经网络，并对该重构神经网络中未经训练的卷积层、未经训练的池化层、以及未经训练的全连接层的参数进行随机初始化处理，从而确定第一待训练神经网络。此外，以局部图像样本是局部病灶图像样本为例，得到第一待训练神经网络的原理示意图可以如图7所示。

在本实施例中，通过从局部到全局的训练方式，指导模型先学习到局部区域的特征，然后再基于局部区域的特征训练用以根据全局图像得到分类结果的图像处理模型，使得图像处理模型能够更有效地学习到区分不同分类结果的关键特征，减少了训练所需要的样本。

应用于医学图像时，是否患有相应疾病是由目标对象中是否具有恶性病灶决定的，先利用包含病灶区域的局部图像样本训练得到第一待训练模型，指导第一待训练模型先学习到局部病灶的特征，再根据第一待训练模型进一步训练得到用于根据包含完整目标对象的待处理图像确定分类结果的图像处理模型，图像处理模型能够更有效地学习到决定目标对象是否患有相应疾病的特征。

在一个实施例中，如图8示，提供了一种模型训练方法。该方法可以应用于计算机设备(如图1所示的终端110或服务器120)。该方法可以包括如下步骤s802至s808。

s802，获取至少两组全局图像样本，各组全局图像样本是分别通过不同的成像角度采集样本对象形成。

s804，分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络。

s806，根据各中间特征提取网络，构建第二待训练神经网络。

s808，根据各组全局图像样本对第二待训练神经网络进行模型训练，确定图像处理模型。

在一个实施例中，在分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络的步骤之前，即步骤s804之前，还可以包括如下步骤：对第一初始神经网络进行参数初始化处理，确定第一初始参数；根据第一初始参数，确定第一待训练神经网络。

在一个实施例中，在分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络的步骤之前，即步骤s804之前，还可以包括如下步骤：获取包含样本对象的目标区域的局部图像样本；对第二初始神经网络进行参数初始化处理，确定第二初始参数；根据局部图像样本和第二初始参数，对第二初始神经网络进行模型训练，确定第一待训练神经网络。

在一个实施例中，局部图像样本包括医学图像样本，目标区域包括病灶区域。

需要说明的是，使用本申请各实施例提供的模型训练方法得到的图像处理模型，可以用于进行图像分类。具体地，图像处理模型可以用于确定图像中包含的目标对象所对应的分类结果。比如，应用于医学图像时，图像处理模型可以用于确定医学图像中生物体部位所对应的疾病分类结果。更具体地，应用于乳腺钼靶图像时，可以用于确定乳腺钼靶图像中乳房是否患有乳腺癌，或者乳房所对应的乳腺癌病变类别(良性肿块、良性钙化、恶性肿块、恶性钙化以及正常腺体)。

需要说明的是，本实施例中对各技术特征的具体限定，可以与前文中对相应技术特征的限定相同，此处不加赘述。

在一个实施例中，如图9所示，提供了一种图像处理方法。以该方法应用于乳腺钼靶图像为例进行说明。该方法可以包括如下步骤s902a至s910a、以及s902b至s908b。

s902a，获取包含样本乳房的目标区域的局部病灶图像样本，并对初始神经网络的模型参数进行随机初始化处理，确定初始参数，再根据局部病灶图像样本和初始参数对初始神经网络进行模型训练，确定第一待训练神经网络。

s904a，获取两组乳腺钼靶图像样本，其中一组乳腺钼靶图像样本包括若干张通过cc位拍摄样本乳房形成的乳腺钼靶图像样本，另一组乳腺钼靶图像样本包括若干张通过mlo位拍摄样本乳房形成的乳腺钼靶图像样本。

s906a，分别根据两组乳腺钼靶图像样本对第一待训练神经网络进行模型训练，确定与两组乳腺钼靶图像样本分别对应的两个中间特征提取网络。

s908a，根据两个中间特征提取网络，构建第二待训练神经网络。

s910a，根据两组乳腺钼靶图像样本对第二待训练神经网络进行模型训练，确定图像处理模型。

s902b，获取通过cc位拍摄待测乳房形成的第一待处理乳腺钼靶图像、以及通过mlo位拍摄该待测乳房形成的第二待处理乳腺钼靶图像。

s904b，通过图像处理模型中与第一待处理乳腺钼靶图像对应的第一特征提取网络，提取第一待处理乳腺钼靶图像的第一目标特征，通过图像处理模型中与第二待处理乳腺钼靶图像对应的第二特征提取网络，提取第二待处理乳腺钼靶图像的第二目标特征。

s906b，将第一目标特征和第二目标特征依次经过图像处理模型中的卷积层进行卷积、以及图像处理模型中的池化层进行池化，得到中间特征。

s908b，通过图像处理模型中的全连接层对中间特征进行分类，确定待测乳房对应的分类结果。

需要说明的是，本实施例中对各技术特征的具体限定，可以与前文中对相应技术特征的限定相同，此处不加赘述。

在合理条件下应当理解，虽然前文各实施例涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图10所示，提供了一种图像处理装置1000。该装置可以包括如下模块1002至1006。

待处理图像获取模块1002，用于获取至少两张待处理图像，各待处理图像是分别通过不同的成像角度采集同一目标对象形成。

目标特征获取模块1004，用于通过图像处理模型中与各待处理图像分别对应的各特征提取网络，分别提取各自对应的待处理图像的目标特征。

分类结果确定模块1006，用于根据各目标特征，确定目标对象对应的分类结果。

上述图像处理装置1000，获取至少两张分别通过不同的成像角度采集同一目标对象形成的待处理图像，并通过图像处理模型中与各待处理图像分别对应的各特征提取网络，分别提取各自对应的待处理图像的目标特征，进而根据各目标特征确定目标对象对应的分类结果。一方面，通过机器学习模型自动地学习待处理图像中的特征，进而得到分类结果，无需人为参与，提高了处理效率及处理准确性；另一方面，结合分别通过不同的成像角度采集同一目标对象形成的各待处理图像共同确定分类结果，有效地提高了分类的准确性。

在一个实施例中，分类结果确定模块1006可以用于：通过图像处理模型中的全连接层，根据各目标特征进行分类，确定目标对象对应的分类结果。

在一个实施例中，图像处理装置1000还可以包括中间特征获取模块，用于将各目标特征依次经过图像处理模型中的卷积层进行卷积、以及图像处理模型中的池化层进行池化，得到中间特征。据此，分类结果确定模块1006可以用于：通过图像处理模型中的全连接层，根据中间特征进行分类，确定目标对象对应的分类结果。

在一个实施例中，图像处理装置1000还可以包括模型训练模块，该模型训练模块可以包括如下单元：全局样本获取单元，用于获取至少两组全局图像样本，各组全局图像样本是分别通过不同的成像角度采集样本对象形成；中间网络训练单元，用于分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络；神经网络构建单元，用于根据各中间特征提取网络，构建第二待训练神经网络；图像处理模型训练单元，用于根据各组全局图像样本对第二待训练神经网络进行模型训练，确定图像处理模型。

在一个实施例中，模型训练模块还可以包括如下单元：第一初始参数获取单元，用于对第一初始神经网络进行参数初始化处理，确定第一初始参数；第一待训网络确定单元，用于根据第一初始参数，确定第一待训练神经网络。

在一个实施例中，模型训练模块还可以包括如下单元：局部样本获取单元，用于获取包含样本对象的目标区域的局部图像样本；第二初始参数获取单元，用于对第二初始神经网络进行参数初始化处理，确定第二初始参数；第二待训网络确定单元，用于根据局部图像样本和第二初始参数，对第二初始神经网络进行模型训练，确定第一待训练神经网络。

在一个实施例中，局部图像样本包括医学图像样本，目标区域包括病灶区域。

在一个实施例中，待处理图像包括医学图像。

在一个实施例中，至少两张待处理图像包括：通过轴位采集乳房形成的乳腺钼靶图像、以及通过侧斜位采集乳房形成的乳腺钼靶图像。

需要说明的是，关于图像处理装置的具体限定，可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，如图11所示，提供了一种模型训练装置1100。该装置可以包括如下模块1102至1108。

全局样本获取模块1102，用于获取至少两组全局图像样本，各组全局图像样本是分别通过不同的成像角度采集样本对象形成。

中间网络训练模块1104，用于分别根据各组全局图像样本对第一待训练神经网络进行模型训练，确定与各组全局图像样本分别对应的各中间特征提取网络。

神经网络构建模块1106，用于根据各中间特征提取网络，构建第二待训练神经网络。

图像处理模型训练模块1108，用于根据各组全局图像样本对第二待训练神经网络进行模型训练，确定图像处理模型。

在一个实施例中，模型训练装置1100还可以包括如下模块：第一初始参数获取模块，用于对第一初始神经网络进行参数初始化处理，确定第一初始参数；第一待训网络确定模块，用于根据第一初始参数，确定第一待训练神经网络。

在一个实施例中，模型训练装置1100还可以包括如下模块：局部样本获取模块，用于获取包含样本对象的目标区域的局部图像样本；第二初始参数获取模块，用于对第二初始神经网络进行参数初始化处理，确定第二初始参数；第二待训网络确定模块，用于根据局部图像样本和第二初始参数，对第二初始神经网络进行模型训练，确定第一待训练神经网络。

在一个实施例中，局部图像样本包括医学图像样本，目标区域包括病灶区域。

需要说明的是，关于模型训练装置的具体限定，可以参见上文中对于模型训练方法的限定，在此不再赘述。上述模型训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本申请任一实施例提供的图像处理方法和/或模型训练方法中的步骤。

在一个实施例中，该计算机设备可以是图1所示的终端110，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质和内存储器，该非易失性存储介质存储有操作系统和计算机程序，该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境，该计算机程序被处理器执行时以实现图像处理方法和/或模型训练方法。该网络接口用于与外部的终端通过网络连接通信。该显示屏可以是液晶显示屏或者电子墨水显示屏。该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，该计算机设备可以是图1所示的服务器120，其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质和内存储器，该非易失性存储介质存储有操作系统、计算机程序和数据库，该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该数据库用于存储图像样本。该网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现图像处理方法和/或模型训练方法。

本领域技术人员可以理解，图12和图13中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的图像处理装置可以实现为一种计算机程序的形式，计算机程序可在如图12或图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该图像处理装置的各个程序模块，比如，图10所示的待处理图像获取模块1002、目标特征获取模块1004以及分类结果确定模块1006。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的图像处理方法中的步骤。例如，图12或图13所示的计算机设备可以通过如图10所示的图像处理装置中的待处理图像获取模块1002执行步骤s202、通过目标特征获取模块1004执行步骤s204、通过分类结果确定模块1006执行步骤s206等等。

在一个实施例中，本申请提供的模型训练装置可以实现为一种计算机程序的形式，计算机程序可在如图12或图13所示的计算机设备上运行。计算机设备的存储器中可存储组成该模型训练装置的各个程序模块，比如，图11所示的全局样本获取模块1102、中间网络训练模块1104、神经网络构建模块1106、以及图像处理模型训练模块1108。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的模型训练方法中的步骤。例如，图12或图13所示的计算机设备可以通过如图11所示的模型训练装置中的全局样本获取模块1102执行步骤s802、通过中间网络训练模块1104执行步骤s804、通过神经网络构建模块1106执行步骤s806、通过图像处理模型训练模块1108执行步骤s808等等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

据此，在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本申请任一实施例提供的图像处理方法和/或模型训练方法。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。