三维图像的语义分割方法、装置、设备及存储介质与流程

本申请涉及深度学习领域，特别涉及一种三维图像的语义分割方法、装置、设备及存储介质。

背景技术：

医学图像中，人体器官/组织的外形或体积变化对临床诊断有着重要的启示作用。采用深度学习模型对医学图像进行语义分割，能够得到医学图像中的人体器官/组织所在的图像区域。

相关技术中采用场景解析网络(pyramidsceneparsingnetwork，pspnet)对二维医学图像进行语义分割。pspnet是一种基于深度学习的语义分割技术。pspnet采用多种不同尺寸的卷积核，多尺度采集特征图(featuremap)，最后将输出的特征图插值放大，得到语义分割结果。

但pspnet是二维自然图像的语义分割技术，并不支持对三维医学图像进行语义分割。

技术实现要素：

本申请实施例提供了一种三维图像的语义分割方法、装置、设备及存储介质，通过对医学图像先进行二维的语义分割再进行三维的自适应融合，能够解决相关技术中不支持对3d医学图像进行语义分割的问题。所述技术方案如下：

根据本公开实施例的一方面，提供了一种三维图像的语义分割方法，所述方法包括：

获取所述三维图像；

将所述三维图像按照三维坐标轴所在的三个方向面进行切片，得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像；

调用第一分割模型对所述x轴的二维切片图像进行语义分割，得到目标对象在x轴方向面的分布概率图；

调用第二分割模型将所述y轴的二维切片图像进行语义分割，得到所述目标对象在y轴方向面的分布概率图；

调用第三分割模型将所述z轴的二维切片图像进行语义分割，得到所述目标对象在z轴方向面的分布概率图；

调用自适应融合模型对所述x轴方向面、所述y轴方向面和所述z轴方向面各自对应的三个分布概率图进行三维融合，得到所述目标对象的三维分布二值图。

可选地，所述第一分割模型、所述第二分割模型和所述第三分割模型中的至少一个模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；

所述深度网络编码部，用于通过所述n层卷积层对所述二维切片图像进行降采样特征提取，得到降采样后的第一中间特征图；

所述跳跃传递解码部，用于通过所述m层反卷积层对所述第一中间特征图和第二中间特征图进行升采样处理，得到升采样后的所述分布概率图；

其中，所述第二中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。

可选地，调用所述自适应融合模型将所述x轴方向面、所述y轴方向面和所述z轴方向面各自对应的三个分布概率图进行组合，得到三维分布特征图；

对所述三维分布特征图进行三维融合卷积，得到三维分割概率图；

根据所述三维分割概率图中每个像素点的最大概率类别，计算得到所述目标对象的三维分布二值图。

可选地，所述三维图像是三维医学图像。

基于临床先验知识对所述三维分布二值图中的噪声像素点进行滤除后处理；

所述临床先验知识是对所述三维医学图像中的所述目标对象的分布位置进行统计得到的知识。

在一种可选的实施方式中，在所述三维分布二值图中滤除超出目标取值范围的第一噪声像素点；

其中，所述目标取值范围是根据第一临床先验知识得到的所述目标对象可能出现的坐标取值范围。

在另一种可选的实施方式中，在所述三维分布二值图中滤除超出三维椭球模型的第二噪声像素点；

其中，所述三维椭球模型是根据第二临床先验知识得到的所述目标对象对应的椭球模型。

可选地，当所述二维切片图像的长宽比例超过预设比例范围时，按照所述二维切片图像的短边边长所形成的正方形边框对所述二维切片图像进行扫描框分割，得到若干个待处理的二维切片图像。

根据本公开实施例的另一方面，提供了一种二维图像的语义分割方法，所述方法包括：

获取所述二维图像；

调用分割模型对所述二维图像进行语义分割，得到目标对象的分布概率图；

根据所述分布概率图中每个像素点的最大概率类别，计算得到所述目标对象的二维分布二值图；

其中，所述分割模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；

所述深度网络编码部，用于通过所述n层卷积层对所述二维图像进行降采样特征提取，得到降采样后的第三中间特征图；

所述跳跃传递解码部，用于通过所述m层反卷积层对所述第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的所述分布概率图；

其中，所述第四中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。

可选地，所述二维图像是二维医学图像。

基于临床先验知识对所述二维分布二值图中的噪声像素点进行滤除后处理；

所述临床先验知识是对所述二维医学图像中的所述目标对象的分布位置进行统计得到的知识。

在一种可选的实施方式中，在所述二维分布二值图中滤除超出目标取值范围的第三噪声像素点；

其中，所述目标取值范围是根据第三临床先验知识得到的所述目标对象可能出现的坐标取值范围。

可选地，当所述二维图像的长宽比例超过预设比例范围时，按照所述二维图像的短边边长所形成的正方形边框对所述二维图像进行扫描框分割，得到若干个待处理的二维图像。

根据本公开实施例的另一方面，提供了一种三维图像的语义分割装置，所述装置包括：

第一获取模块，用于获取所述三维图像；

切片模块，用于将所述三维图像按照三维坐标轴所在的三个方向面进行切片，得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像；

第一分割模块，用于调用第一分割模型对所述x轴的二维切片图像进行语义分割，得到目标对象在x轴方向面的分布概率图；

所述第一分割模块，用于调用第二分割模型将所述y轴的二维切片图像进行语义分割，得到所述目标对象在y轴方向面的分布概率图；

所述第一分割模块，用于调用第三分割模型将所述z轴的二维切片图像进行语义分割，得到所述目标对象在z轴方向面的分布概率图；

融合模块，用于调用自适应融合模型对所述x轴方向面、所述y轴方向面和所述z轴方向面各自对应的三个分布概率图进行三维融合，得到所述目标对象的三维分布二值图。

可选地，所述第一分割模型、所述第二分割模型和所述第三分割模型中的至少一个模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；

所述深度网络编码部，用于通过所述n层卷积层对所述二维切片图像进行降采样特征提取，得到降采样后的第一中间特征图；

所述跳跃传递解码部，用于通过所述m层反卷积层对所述第一中间特征图和第二中间特征图进行升采样处理，得到升采样后的所述分布概率图；

其中，所述第二中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。

可选地，所述融合模块，包括：

组合单元，用于调用所述自适应融合模型将所述x轴方向面、所述y轴方向面和所述z轴方向面各自对应的三个分布概率图进行组合，得到三维分布特征图；

融合单元，用于对所述三维分布特征图进行三维融合卷积，得到三维分割概率图；

计算单元，用于根据所述三维分割概率图中每个像素点的最大概率类别，计算得到所述目标对象的三维分布二值图。

可选地，所述三维图像是三维医学图像；所述装置还包括：

第一滤除模块，用于基于临床先验知识对所述三维分布二值图中的噪声像素点进行滤除后处理；

所述临床先验知识是对所述三维医学图像中的所述目标对象的分布位置进行统计得到的知识。

在一种可选的实施方式中，所述第一过滤模块，用于在所述三维分布二值图中滤除超出目标取值范围的第一噪声像素点；

其中，所述目标取值范围是根据第一临床先验知识得到的所述目标对象可能出现的坐标取值范围。

在另一种可选的实施方式中，所述第一过滤模块，用于在所述三维分布二值图中滤除超出三维椭球模型的第二噪声像素点；

其中，所述三维椭球模型是根据第二临床先验知识得到的所述目标对象对应的椭球模型。

可选地，所述装置还包括：

第一扫描模块，用于当所述二维切片图像的长宽比例超过预设比例范围时，按照所述二维切片图像的短边边长所形成的正方形边框对所述二维切片图像进行扫描框分割，得到若干个待处理的二维切片图像。

根据本公开实施例的另一方面，提供了一种二维图像的语义分割装置，所述装置包括：

第二获取模块，用于获取所述二维图像；

第二分割模块，用于调用分割模型对所述二维图像进行语义分割，得到目标对象的分布概率图；

计算模块，用于根据所述分布概率图中每个像素点的最大概率类别，计算得到所述目标对象的二维分布二值图；

其中，所述分割模型包括：深度网络编码部和跳跃传递解码部，所述深度网络编码部包括n层卷积层，所述跳跃传递解码部包括m层反卷积层，n和m均为正整数；

所述深度网络编码部，用于通过所述n层卷积层对所述二维图像进行降采样特征提取，得到降采样后的第三中间特征图；

所述跳跃传递解码部，用于通过所述m层反卷积层对所述第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的所述分布概率图；

其中，所述第四中间特征图包括所述n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。

可选地，所述二维图像是二维医学图像；所述装置还包括：

第二滤除模块，用于基于临床先验知识对所述二维分布二值图中的噪声像素点进行滤除后处理；

所述临床先验知识是对所述二维医学图像中的所述目标对象的分布位置进行统计得到的知识。

在一种可选的实施方式中，所述第二滤除模块，用于在所述二维分布二值图中滤除超出目标取值范围的第三噪声像素点；

其中，所述目标取值范围是根据第三临床先验知识得到的所述目标对象可能出现的坐标取值范围。

可选地，所述装置还包括：

第二扫描模块，用于当所述二维图像的长宽比例超过预设比例范围时，按照所述二维图像的短边边长所形成的正方形边框对所述二维图像进行扫描框分割，得到若干个待处理的二维图像。

根据本公开实施例的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的三维图像的语义分割方法。

根据本公开实施例的另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的二维图像的语义分割方法。

根据本公开实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上所述的三维图像的语义分割方法。

根据本公开实施例的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上所述的二维图像的语义分割方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

通过将3d医学图像按照3d坐标轴所在的三个方向面进行切片，得到三个坐标轴分别对应的2d切片图像，使用三个2d分割模型分别对三个坐标轴对应的2d切片图像进行语义分割后，将三个2d语义分割结果使用自适应融合模型进行3d融合，从而得到目标器官的3d分布二值图，解决了相关技术中的pspnet网络模型仅适用于2d自然图像的语义分割，不支持对3d医学图像进行语义分割的问题，达到了能够利用三个2d分割模型和一个自适应融合模型，实现对3d医学图像进行语义分割的效果。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是相关技术中提供的pspet网络模型的结构示意图；

图2是本申请一个示例性实施例提供的实施环境的示意图；

图3是本申请一个示例性实施例提供的三维图像的语义分割的方法流程图；

图4是本申请一个示例性实施例提供的三维医学图像的语义分割的结构示意图；

图5是本申请另一个示例性实施例提供的三维图像的语义分割的方法流程图；

图6是本申请另一个示例性实施例提供的不改变二维切片图像尺寸时目标对象形状变化的示意图；

图7是本申请另一个示例性实施例提供的改变二维切片图像尺寸时目标对象形状不变化的示意图；

图8是本申请另一个示例性实施例提供的第一分割模型的结构示意图；

图9是本申请另一个示例性实施例提供的resnet101网络模型中第一模块的结构示意图；

图10是本申请另一个示例性实施例提供的自适应融合模型的结构示意图；

图11是本申请一个示例性实施例提供的卷积网络模型训练方法的流程图；

图12是本申请另一个示例性实施例提供的二维图像的语义分割的方法流程图；

图13是本申请一个示例性实施例提供的三维图像的语义分割的装置示意图；

图14是本申请另一个示例性实施例提供的三维图像的语义分割的装置示意图；

图15是本申请另一个示例性实施例提供的融合模块的装置示意图；

图16是本申请一个示例性实施例提供的二维图像的语义分割的装置示意图；

图17是本申请一个实施例提供的计算机设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

首先，对本申请实施例涉及的若干个名词进行介绍：

语义分割：是指根据图像的灰度、颜色、纹理和形状等特征把图像划分成若干互不交叠的区域，并使这些特征在同一区域内呈现出相似性，而在不同区域呈现出明显的差异性。

三维图像：相比于二维图像增加一个空间维度(比如深度维)或时间维的图像，比如三维医学图像可认为是增加了一个深度维的三维图像，视频可认为是增加了一个时间维的三维图像。

目标对象：语义分割中属于前景区域的对象。针对三维医学图像，目标对象可以是目标器官，目标器官是指人体的内脏器官或组织，和/或，动物的内脏器官或组织，比如，心脏、肺、肝、脾、胃等；针对二维医学图像，目标对象可以是目标器官。本申请实施例主要以目标对象是三维医学图像中的人体器官来举例说明。

医学图像中，人体器官/组织的外形或体积变化对临床诊断有着重要的启示作用。为了避免人工分析时可能会产生的误判，相关技术中使用卷积网络模型对医学图像进行语义分割，即将医学图像输入卷积网络模型中，由构建的卷积网络模型将医学图像中对应的人体器官/组织的特征提取出来，并对人体器官/组织的特征进行分类，从而得到人体器官/组织在医学图像中的具体区域。语义分割后的医学图像能够将人体器官/组织区域与背景区域区分开来，之后再由医生进行临床诊断。这里的“医学图像”可以包括利用x射线照射人体得到的x射线(x-ray)图像、通过电子计算机扫描(computerizedtomography，ct)得到的ct图像、通过磁共振成像(magneticresonanceimaging，mri)得到的mri图像等。通过医学影像采集设备采集得到的医学图像，可以是2d医学图像，也可以是3d医学图像。

在一种示意性的相关技术中，使用pspnet对2d医学图像进行语义分割。pspnet采用多种不同尺寸的卷积核对输入的医学图像进行卷积，提取出医学图像的特征，形成多种不同尺寸的特征图(featuremap)，最后将输出的特征图插值放大，得到语义分割结果。

示意性的如图1所示，将医学图像101输入pspnet网络模型中，提取医学图像101的特征，得到与医学图像101相同尺寸的第一特征图102。接着，pspnet网络模型分别采用四种不同尺度的卷积核对简化后的第一特征图102进行卷积计算，获得4个与卷积核尺寸对应的子特征图，该4个子特征图的尺寸各不相同。之后，通过升采样(或叫上采样)将4个不同尺寸的子特征图的尺寸插值放大为医学图像101的尺寸，并将放大后的4个子特征图与第一特征图102进行连接，从而得到第二特征图103。最后，第二特征图103通过卷积进行语义分割后，得到最终的概率图104。

然而，pspnet只支持对2d医学图像进行语义分割，不支持3d医学图像进行语义分割。当医学图像是ct图像和mri图像等具备较高清晰度和检测精度的3d医学图像时，强行使用pspnet对该3d医学图像进行语义分割，会容易出现“断层现象”，而且图像分割后的边缘拟合达不到要求。同时，pspnet也不支持对3d医学图像的处理。

本申请实施例提供了一种三维图像的语义分割方法、装置、设备及存储介质，可以用于解决上述相关技术中存在的问题。该方法能够实现对三维图像进行语义分割。典型的，三维图像是三维医学图像或者视频。本申请实施例以三维图像是三维医学图像来举例说明。

图2示出了本申请一个示例性实施例提供的实施环境的示意图，图2中包括：医学影像采集设备100和计算机设备200。

医学影像采集设备100用于采集人体器官/组织的医学图像，该医学图像包括二维医学图像和三维医学图像。医学影像采集设备100还用于将采集到的医学图像发送至计算机设备200。计算机设备200用于接收医学图像，并对医学图像进行语义分割。

可选地，该医学影像采集设备100可以是独立于计算机设备200之外的设备，也可以组合至计算机设备200中作为一个整体的设备。

该计算机设备200包括：中央处理器(centralprocessingunit，cpu)210和存储器220。

cpu210用于调用实现语义分割的神经网络模型。存储器220用于存储实现语义分割的神经网络模型，该神经网络模型包括第一切割模型221、第二切割模型222、第三切割模型223和自适应融合模型224。可选地，第一切割模型221、第二切割模型222和第三切割模型223是基于卷积神经网络进行语义分割的二维模型。自适应融合模型224是用于将三个二维语义分割模型的语义分割结果，进行自适应融合来得到三维语义分割结果的三维模型。

第一分割模型221，用于对该x轴的二维切片图像进行二维语义分割，得到目标器官在x轴方向面的分布概率图。

第二分割模型222，用于对该y轴的二维切片图像进行二维语义分割，得到目标器官在y轴方向面的分布概率图。

第三分割模型223，用于对该z轴的二维切片图像进行二维语义分割，得到目标器官在z轴方向面的分布概率图。

自适应融合模型224，用于对x轴方向面、y轴方向面和z轴方向面各自对应的三个分布概率图进行三维融合，得到目标对象的三维分布二值图。

在本申请的一些实施例中，先对三维图像按照三维坐标轴所在的三个方向面进行切片进行二维切片，再通过三个分割模型对三个方向面的二维切片图像进行语义分割，得到三个方向面的分布概率图，之后通过自适应融合模型将三个分布概率图进行三维融合，得到最终的目标对象对应的三维分布二值图。

图3示出了本申请一个示例性实施例提供的三维图像的语义分割的方法流程图，该方法可以应用于图2所示的实施环境，该方法包括：

步骤301，获取三维图像。

可选地，终端通过影像采集设备采集三维图像。

步骤302，将三维图像按照三维坐标轴所在的三个方向面进行切片，得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像。

终端在获取到三维图像后，将三维图像按照三维坐标轴所在的三个方向面进行切片，从而得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像。

其中，x轴的方向面是指x轴和z轴所在的平面，y轴的方向面是指y轴和z轴所在的平面，z轴的方向面是指x轴和y轴所在的平面。

步骤303，调用第一分割模型对x轴的二维切片图像进行语义分割，得到目标对象在x轴方向面的分布概率图。

cpu调用存储于存储器内的第一分割模型对x轴的二维切片图像进行语义分割。第一分割模型根据目标对象在x轴的二维切片图像中的灰度、颜色、纹理和形状等特征，完成目标对象在x轴的二维切片图像的语义分割过程，从而输出目标对象在x轴方向面的分布概率图。

步骤304，调用第二分割模型对y轴的二维切片图像进行语义分割，得到目标对象在y轴方向面的分布概率图。

cpu调用存储于存储器内的第二分割模型对y轴的二维切片图像进行语义分割。第二分割模型根据目标对象在y轴的二维切片图像中的灰度、颜色、纹理和形状等特征，完成目标对象在y轴的二维切片图像的语义分割过程，从而输出目标对象在y轴方向面的分布概率图。

步骤305，调用第三分割模型对z轴的二维切片图像进行语义分割，得到目标对象在z轴方向面的分布概率图。

cpu调用存储于存储器内的第三分割模型对z轴的二维切片图像进行语义分割。第三分割模型根据目标对象在z轴的二维切片图像中的灰度、颜色、纹理和形状等特征，完成目标对象在z轴的二维切片图像的语义分割过程，从而输出目标对象在z轴方向面的分布概率图。

步骤306，调用自适应融合模型对x轴方向面、y轴方向面和z轴方向面各自对应的三个分布概率图进行三维融合，得到目标对象的三维分布二值图。

cpu调用存储于存储器中的自适应融合模型对得到的x轴，y轴，z轴对应的三个分布概率图进行自适应融合。由于自适应融合模型是将三个不同维度的二维分布概率图进行融合，因此可以抑制掉许多背景噪点，并对目标对象的边缘分割进行光滑和准确地分割，最终得到目标对象的三维分布二值图。

以三维图像是三维医学图像为例，参考图4，计算设备将输入的三维医学图像401在x轴方向面进行分割得到x轴的二维切片图像402、在y轴方向面进行分割得到y轴的二维切片图像403、在z轴方向面进行分割得到z轴的二维切片图像404，然后对三个二维切片图像进行二维语义分割，得到目标对象在三个方向面上的二维分布概率图405-407，然后由自适应融合模型将三个二维分布概率图405-407进行三维融合，得到目标对象的三维分布二值图408(3dmask)。

综上所述，在本实施例提供的方法中，通过将获得的三维图像按照三维坐标轴所在的三个方向面进行切片，得到三个方向面对应的二维切片图像，再通过三个方向面对应的三个分割模型，得到三个方向面对应的二维分布概率图，实现了终端对三维医学图像的二维语义分割。再通过自适应融合模型将三个分布概率图进行三维融合，得到目标对象的三维分布二值图，从而解决了相关技术中的pspnet网络模型仅适用于2d自然图像的语义分割，不支持对3d医学图像进行语义分割的问题，达到了能够利用三个2d分割模型和一个自适应融合模型，实现对3d医学图像进行语义分割的效果，且由于自适应融合模型是将三个不同维度的二维分布概率图进行融合，在三维融合时有效抑制了背景噪点，实现对目标对象的边缘分割进行光滑和准确地分割。

图5示出了本申请另一个示例性实施例提供的三维图像的语义分割的方法流程图，该方法可以应用于图2所示的实施环境中，本实施例中以三维图像是三维医学图像，目标对象是目标器官来举例说明。该方法包括：

步骤501，获取三维医学图像。

计算机设备通过医学影像采集设备采集三维医学图像，该三维医学图像包括三维目标器官，以及除目标器官以外的背景区域。

步骤502，将三维医学图像按照三维坐标轴所在的三个方向面进行切片，得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像。

故计算机设备在获取到三维医学图像后，将三维医学图像按照三维坐标轴所在的三个方向面进行切片，从而得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像。

在一个可选的实施例中，由于每种目标器官在三维医学图像中的分布位置是相对固定的，计算机设备还读取预先存储的第一临床先验知识，该第一临床先验知识用于指示目标器官在每个二维切片图像中的候选出现位置的目标取值范围。比如，目标器官a在x轴的二维切片图像中候选出现的横坐标范围为[a1，a2]，在y轴的二维切片图像中候选出现的纵坐标范围为[b1，b2]。该目标取值范围用于在后处理过程中进行第一噪声滤除。

在另一个可选的实施例中，由于每种目标器官的外部形状呈椭球形，计算机设备还读取预先存储的第二临床先验知识，该第二临床先验知识用于指示目标器官的3d椭球模型。示意性的，计算机设备利用第二临床先验知识统计出目标器官在x，y，z三个方向面上可能的最长轴、最短轴，从而预先建立目标器官的三维椭球模型。该三维椭球模型指示了目标器官在三维医学图像中的候选出现位置，该三维椭球模型用于在后处理过程中进行第二噪声滤除。

步骤503，当二维切片图像的长宽比例超过预设比例范围时，按照二维切片图像的短边边长所形成的正方形边框对二维切片图像进行扫描框分割，得到若干个待处理的二维切片图像。

由于三个坐标轴所对应的分割模型的输入图尺寸通常为正方形尺寸，而某些实施方式中的二维切片图像太过狭长，直接将狭长的二维切片图像转换为正方形尺寸后，会导致目标器官发生严重变形而导致语义分割失败，因此计算机设备还可以采用如下图像预处理方式，对二维切片图像进行处理。

在一种可选的实施方式中，当获得的二维切片图像的长宽比例在预设比例范围内时，计算机设备将二维切片图像的尺寸转换为符合分割模型的输入尺寸。预设比例范围可以是[1/3，3]。

在另一种可选的实施方式中，如图6所示，当获得的二维切片图像的长宽比例超过预设比例范围时，即二维切片图像的长宽比例超出[1/3，3]时，认为二维切片图像太过狭长，若计算机设备直接将二维切片图像601按照原始尺寸转换为输入尺寸602，该输入尺寸是符合分割模型的像素点尺寸，则二维切片图像601中的目标器官会挤压成条形，从而造成最终的预测结果不准确。

在这种情况下，如图7所示，计算机设备在训练分割模型时，将根据样本图像得到的二维切片图像701按照短边边长所形成的正方形边框进行切割，得到中间待处理的二维切片图像702。计算机设备将中间待处理的二维切片图像702的尺寸转换为分割模型的输入尺寸703进行训练。

计算机设备在测试过程或预测过程中，将根据三维医学图像获得的二维切片图像704按照短边边长所形成的正方形边框对二维切片图像进行扫描框分割，得到若干个待处理的二维切片图像705(比如图7中为3张)。之后，计算机设备再将若干个待处理的二维切片图像705的尺寸转换为分割模型的输入尺寸703，然后分别输入至分割模型进行预测。

步骤504，调用第一分割模型对x轴的二维切片图像进行语义分割，得到目标器官在x轴方向面的分布概率图。

计算机设备调用存储于存储器内的第一分割模型对x轴的二维切片图像进行语义分割。第一分割模型根据目标器官在三维医学图像中的分布位置、大小和形状等特征，完成目标器官在x轴的二维切片图像的语义分割过程，从而输出目标器官在x轴方向面的分布概率图。

在一种可选的实施方式中，该第一分割模型包括深度网络解码部和跳跃传递解码部，深度网络解码部包括n层卷积层，跳跃传递解码部包括m层反卷积层，n和m均为正整数。

该深度网络编码部，用于通过n层卷积层对二维切片图像进行降采样特征提取，得到降采样后的第一中间特征图。该跳跃传递解码部，用于通过m层反卷积层对第一中间特征图和第二中间特征图进行升采样处理，得到升采样后的分布概率图。其中，第二中间特征图包括n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。

可选地，该深度网络编码部是基于残差网络模型构建的神经网络模型，或，该深度网络编码部是基于其它分类模型构建的神经网络模型，本实施例不做限定。

示意性的，如图8所示，计算机设备将获得的x轴的二维切片图像801输入至基于resnet101模型构建的深度网络编码部802中，该深度网络编码部802包括5层卷积层，该5层卷积层分别为conv1、conv2_x、conv3_x、conv4_x和conv5_x，每层卷积层对应的卷积核尺寸和卷积核数量，以及每次卷积核进行卷积的步长(stride)的信息如表一所示。表中的x表示属于该层卷积层的子卷积层编号。

表一

如表一所示，深度网络编码部802的conv1层包括64个7x7的卷积核，每次卷积步长为2。conv2_x包括级联的1个子卷积层和3个第一模块，第一个子卷积层包括3x3的卷积核，每次卷积步长为2，且在该第一个子卷积层卷积后进行一次最大池化。位于第一个子卷积层后的三个第一模块(block)是相同的。如图9所示，该第一模块包括三个子卷积层，第一子卷积层901包括64个1x1的卷积核，第二子卷积层902包括64个3x3的卷积核，第三子卷积层903包括256个1x1的卷积核，且每层子卷积层之后都连接有激活(relu)层和批归一化(batchnormalization，bn)层(图中未示出)。此外，该第一模块还用于将上一层第一个子卷积层输出的特征图对应的像素通过跳跃连接(skipconnection)映射至第三子卷积层903输出的特征图中，并通过relu层进行激活，从而得到下一个模块的输入的特征图。该relu层用于将卷积后得到的线性数据转化为非线性数据，从而提升resnet101模型的表达能力。该bn层用于加快resnet101模型的收敛速度，缓解了resnet101模型深层时的梯度弥散问题，从而使得该resnet101模型更加稳定和易于训练。

conv3_x包括级联的4个第二模块，4个第二模块是相同的。且第二模块与第一模块的结构相同，可以参考第一模块的结构理解第二模块。该第二模块包括三个子卷积层，第四子卷积层包括128个1x1的卷积核，且每次卷积步长为2，第五子卷积层包括128个3x3的卷积核，第六子卷积层包括512个1x1的卷积核，且每层子卷积层之后都连接有relu层和bn层。此外，该第二模块还用于将上一个模块的输出的特征图对应的像素通过跳跃连接映射至第六子卷积层输出的特征图中，并通过relu层进行激活，从而得到下一个模块的输入的特征图。

conv4_x包括级联的23个第三模块，23个第三模块是相同的。且第三模块与第一模块的结构相同，可以参考第一模块的结构理解第三模块。该第三模块包括三个子卷积层，第七子卷积层包括256个1x1的卷积核，且每次卷积步长为1，为了保证每层第七子卷积层之后输出的特征图的面积(又称感受野)不缩小，空洞设置为2，第八子卷积层包括256个3x3的卷积核，第九子卷积层包括1024个1x1的卷积核，且每层子卷积层之后都连接有relu层和bn层。此外，该第三模块还用于将上一个模块输出的特征图对应的像素通过跳跃连接映射至第九子卷积层输出的特征图中，并通过relu层进行激活，从而得到下一个模块的输入的特征图。

其中，空洞卷积也称为扩张卷积，是一种在卷积核之间注入空洞的一种卷积方式。相较于普通卷积，空洞卷积引入了一个称为“扩张率(dilationrate)”的超参数，该参数定义了卷积核处理数据时各值的间距。通过空洞卷积处理，一方面能够保持图像特征的空间尺度不变，从而避免因减少了图像特征的像素的信息而导致的信息损失，另一方面能够扩大感受野，从而实现更加精准的目标检测。其中，感受野是神经网络中的隐藏层输出的特征图上的像素点在原始图像上映射的区域大小，像素在原始图像上的感受野越大，表示其映射的原始图像范围越大，也意味着其可能蕴含更为全局、语义层次更高的特征。

conv5_x包括级联的3个第四模块，3个第四模块是相同的。且第四模块与第一模块的结构相同，可以参考第一模块的结构理解第四模块。该第四模块包括三个子卷积层，第十子卷积层包括512个1x1的卷积核，第十一子卷积层包括512个3x3的卷积核，第十二子卷积层包括2048个1x1的卷积核，且每层子卷积层之后都连接有relu层和bn层。此外，该第四模块还用于将上一个模块输出的特征图对应的像素通过跳跃连接映射至第十二子卷积层输出的特征图中，并通过relu层进行激活，从而得到下一个模块的输入的特征图。

x轴的二维切片图像801经由深度网络编码部802的5层卷积层提取特征后，得到第一中间特征图(1)，该第一中间特征图(1)对应于x轴的方向面。示意性的，该第一中间特征图(1)是8倍降采样后的特征图。可选地，在conv5_3之后使用pooling进行降采样，鉴于3d切割为切片时容易出现尺度范围分布差异巨大的情况，需要加入多尺度信息，降采样核尺寸设置为1/9/19/37/74五种。

示意性的，计算机设备接着将第一中间特征图(1)输入至跳跃传递解码部803，该跳跃传递解码部803包括2层反卷积层。计算机设备通过反卷积层进行逐步式解码第一中间特征图(1)，解码次数为两次，每次解码倍数为2。解码第一中间特征图(1)是指将第一中间特征图(1)与深度网络编辑部802中预定层输出的特征图进行跳跃连接以及升采样处理。第一层反卷积层将第一中间特征图(1)与深度网络解码部802的conv3_x卷积层输出的第二中间特征图(2)进行跳跃连接以及2倍升采样处理，得到2倍升采样后的第一中间特征图(1’)，将升采样后的第一中间特征图(1’)与深度网络解码部802的conv1卷积层输出的第二中间特征图(2’)进行跳跃连接以及2倍升采样处理，得到4倍升采样后的第二中间特征图(2’)，得到最终的分布概率图。可选地，跳跃连接的第一中间特征图和第二中间特征图的尺寸是相同的。

计算机设备通过第一分割模型得到目标器官在x轴方向面的分布概率图804。该分部概率图804指示了二维切片图像上的每个像素点属于前景区域的概率和/或属于背景区域的概率。前景区域是指目标器官所在的区域，背景区域是指非目标器官所在的区域。

步骤505，调用第二分割模型对y轴的二维切片图像进行语义分割，得到目标器官在y轴方向面的分布概率图。

可选地，第二分割模型和第一分割模型具有相同的结构，仅为训练过程所使用的样本图像存在区别。因此，采用第二分割模型对y轴的二维切片图像进行语义分割的过程可以参考步骤504的描述，不再赘述。

步骤506，调用第三分割模型对z轴的二维切片图像进行语义分割，得到目标器官在z轴方向面的分布概率图。

可选地，第三分割模型和第一分割模型具有相同的结构，仅为训练过程所使用的样本图像存在区别。因此，采用第二分割模型对y轴的二维切片图像进行语义分割的过程可以参考步骤504的描述，不再赘述。

步骤507，调用自适应融合模型将x轴方向面、y轴方向面和z轴方向面各自对应的三个分布概率图进行组合，得到三维分布特征图。

计算机设备调用存储于存储器中的自适应融合模型将x轴方向面、y轴方向面和z轴方向面各自对应的三个分布概率图进行组合，得到三维分布特征图。

如图10所示，计算机设备将得到的目标器官在x轴方向面的分布概率图1001、目标器官在y轴方向面的分布概率图1002和目标器官在z轴方向面的分布概率图1003进行三维融合，得到三维分布特征图1004。该三个方向面的分布概率图1001-1003的尺寸与三维医学图像的尺寸相同，并具有各自方向面对应的概率。该三维分布特征图1004包括三个方向面各自对应的目标器官对应的概率，且该三维分布特征图1004的尺寸与三维医学图像的尺寸相同。

步骤508，对三维分布特征图进行三维融合卷积，得到三维分割概率图。

计算机设备调用存储于存储器中的自适应融合模型对得到的三维分布特征图1004进行三层卷积层进行三维融合卷积，从而得到三维分割概率图1005，该三维分割概率图1005用于指示三维医学图像中每个像素点属于前景区域的概率和/或属于背景区域的概率。前景区域是指目标器官所在的区域，背景区域是指非目标器官所在的区域。图10中，h*w*d*c表示图像的尺寸和对应的概率。

可选地，该自适应融合模型包括三个浅层的3d卷积层，第一3d卷积层包括64个3*3*3的3d卷积核且卷积步长为1、第二3d卷积层包括64个3*3*3的3d卷积核且卷积步长为1、第三3d卷积层包括1个3*3*3的3d卷积核且卷积步长为1。

可选地，该三维分割概率图1005的尺寸与三维医学图像的尺寸相同。

步骤509，根据三维分割概率图中每个像素点的最大概率类别，计算得到目标器官的三维分布二值图。

可选地，自适应融合模型根据三维分割概率图中每个像素点的最大概率类别，确定图像中每个像素点所属的类别，该类别包括属于目标器官的前景像素点和不属于目标器官的背景像素点。

可选地，三维分割概率图1005中包括每个像素点属于前景像素点的第一概率以及属于背景像素点的第二概率，最大概率类别是根据第一概率和第二概率中较大一个概率所对应的类别。比如，某个像素点属于前景像素点的概率是80％，属于背景像素点的概率是20％，则该像素点的最大概率类别是前景像素点。在一些实施例中，三维分布二值图中采用1来代表前景像素点，0来代表背景像素点。

步骤510，基于临床先验知识对三维分布二值图中的噪声像素点进行滤除后处理。

由于每种目标器官在三维医学图像中的分布位置是相对固定的，计算机设备还可采用临床先验知识对三维分布二值图中的噪声像素点进行滤除。

第一，计算机设备在三维分布二值图中滤除超出目标取值范围的第一噪声像素点。

其中，目标取值范围是根据第一临床先验知识得到的目标器官可能出现的坐标取值范围。可选地，目标取值范围是一个三维的立方体框区域。第一临床先验知识可以是基于多个样本图像构建的。

第二，计算机设备在三维分布二值图中滤除超出三维椭球模型的第二噪声像素点。

其中，三维椭球模型是根据第二临床先验知识得到的目标器官对应的椭球模型。第二临床先验知识可以是基于多个样本图像构建的。由于大部分器官的形状偏向椭球体，故终端可以预先统计目标器官在x轴、y轴、z轴各自的方向面上的二维切片图像上的最长轴和最短轴，从而构建目标器官的三维椭球模型。根据构建的三维椭球模型，在候选像素点中滤除超出三维椭球模型的噪声像素点。

可选地，计算机设备滤除噪声像素点的方法可以采用上述两种滤除方式中的至少一种。

综上所述，在本实施例提供的方法中，通过将获得的三维图像按照三维坐标轴所在的三个方向面进行切片，得到三个方向面对应的二维切片图像，再通过三个方向面对应的三个分割模型，得到三个方向面对应的二维分布概率图，实现了终端对三维医学图像的二维语义分割。再通过自适应融合模型将三个分布概率图进行三维融合，得到目标对象的三维分布二值图，从而解决了相关技术中的pspnet网络模型仅适用于2d自然图像的语义分割，不支持对3d医学图像进行语义分割的问题，达到了能够利用三个2d分割模型和一个自适应融合模型，实现对3d医学图像进行语义分割的效果，且由于自适应融合模型是将三个不同维度的二维分布概率图进行融合，在三维融合时有效抑制了背景噪点，实现对目标对象的边缘分割进行光滑和准确地分割。

在本实施例提供的方法中，通过临床先验知识对噪声像素点的过滤处理，终端获取属于目标器官的像素点，具备较强的降噪能力和良好的边缘分割效果。

在本实施例提供的方法中，将二维切片图像的尺寸从原始尺寸改为输入尺寸，避免使用二维切片图像原始尺寸可能产生的误差问题，使得三维医学图像进行语义分割时，能够将目标器官准确的分割。在实际应用中，能够实现多种器官/组织与外形相关的自动化病变的判断，从而达到辅助诊断的目的。

可选地，上述第一分割模型、第二分割模型、第三分割模型和自适应融合模型都属于卷积网络模型，在调用该卷积网络模型之前，还需要通过计算机设备对卷积网络模型进行训练，如图11所示，三个二维分割模型的训练方法包括但不仅限于如下步骤：

步骤1101，获取至少一组样本图像。

计算机设备通过医学影像采集设备采集得到至少一组样本图像，每组样本图像的数量不限，可以根据训练人员的需求设定。样本图像可以包括具有样本器官的图像、不具有样本器官的图像。对于存在样本器官的样本图像，该样本图像中标定有样本器官所属的像素点。

对于第一分割模型，样本图像可以是x轴方向面上的二维切片图像，该x轴方向面上的二维切片图像上标定有样本器官所属的像素点。

对于第二分割模型，样本图像可以是y轴方向面上的二维切片图像，该y轴方向面上的二维切片图像上标定有样本器官所属的像素点。

对于第三分割模型，样本图像可以是z轴方向面上的二维切片图像，该z轴方向面上的二维切片图像上标定有样本器官所属的像素点。

步骤1102，获取样本图像中的样本器官的标定结果，得到样本图像和样本图像对应的样本器官组成的样本图像数据组，标定结果包括样本器官在样本图像中的分布位置。

计算机设备在获取样本图像后，由训练人员或计算机设备对样本图像中设定标定结果，该标定结果包括样本器官所属的像素点。该标定结果用于指示样本器官在样本图像中的分布位置、样本器官的大小和样本器官对应的椭球体形状中的至少一种信息。

比如，在具有样本器官的图像中标定出样本器官所在的区域和除样本器官以外的背景区域；在不具有样本器官的图像中标定出不存在样本器官所在的区域。

该样本图像数据组用于与样本图像对应的训练结果进行比较。

步骤1103，将样本图像输入原始的分割模型，得到训练结果。

计算机设备将标定过的同一组样本图像输入原始的分割模型中，通过原始的分割模型对样本图像和样本图像中的样本器官进行识别，将识别结果作为训练结果输出。

可选地，原始的分割模型是基于resnet模型所构建的模型，如图8所示。该分割模型的初始权重可以由训练人员根据经验值进行设定，或，由计算机设备随机设定。在一个可能的实施例中，该分割模型中深度网络编码部的权重采用在imagenet数据集上训练的resnet参数进行初始化，而跳跃传递解码部的权重采用均值为0，方差为2除以输入个数的高斯分布数值进行初始化。

步骤1104，根据每组样本图像数据组，将训练结果与样本器官的标定结果进行比较，得到计算损失，计算损失用于指示训练结果与样本器官的标定结果之间的误差。

计算机设备根据得到的训练结果与同一组样本图像对应的样本图像数据组进行比较，计算训练结果与标定结果之间的误差。可选地，该误差为加权损失函数。该计算损失用于指示训练结果与样本器官的标定结果之间的误差。该加权损失函数采用交叉熵损失(crossentropyloss)函数，该交叉熵损失函数的加权损失公式为

其中，p表示该像素属于目标器官对应的目标像素的概率；y表示类别，即y是0或1；wfg表示前景类别的权重，wwg表示背景类别的权重；ti表示第i张样本图像中前景的像素个数；ni表示第i张样本图像中全图的像素个数；n为一个批输入尺寸(batchsize)的样本图像的个数，加权的数值来源于对样本图像中前景和背景的比例统计。

步骤1105，根据至少一组样本图像数据组各自对应的计算损失，采用误差反向传播算法训练得到分割模型。

终端根据至少一组样本图像数据组各自对应的计算损失，采用误差反向传播算法重新设定权重，直至终端根据重新设定的权重得到的加权损失满足预设阈值，或终端进行训练的次数达到预设次数。如，要求训练次数达到20000次，终端可以停止训练，这时用于二维语义分割的分割模型训练完成。可选地，误差反向传播算法可以采用sgd(stochasticgradientdescent)的梯度下降法，根据sgd求解分割模型的卷积模板参数w和偏置参数b，训练迭代参数可以根据交叉验证选择。

在三个坐标轴分别对应的分割模型训练完毕后，根据每个三维样本图像的二维切片图像在训练完毕的分割模型中得到二维的分布概率图，将该二维的分布概率图和标定好的三维二值图作为另一组样本图像组。使用该样本图像组对自适应融合模型进行训练，该自适应融合模型的训练过程与上述方法相同或相似，本申请不再赘述。

可选地，计算加权损失即是通过计算特征图中的每个像素点属于目标像素的概率，该目标像素是目标器官中每个特征对应的像素。

需要说明的是，自适应融合模型的训练过程与三个分割模型的训练过程相同，自适应融合模型的训练过程可以参照图11所示的步骤实现。其中，当自适应融合模型获得训练结果后，使用dice损失(diceloss)函数作为损失函数，该dice损失函数用于计算自适应融合模型的训练结果与自适应融合模型的标定结果之间的误差。

在本申请提供的三维图像的语义分割方法也可以应用于二维图像的语义分割方法中。

图12示出了本申请另一个示例性实施例提供的二维图像的语义分割的方法流程图，该方法可以应用于图2所示的实施环境中，本实施例中以二维图像是二维医学图像，目标对象是目标器官来举例说明。该方法包括：

步骤1201，获取二维医学图像。

计算机设备通过医学影像采集设备采集三维医学图像，该三维医学图像包括三维目标器官，以及除目标器官以外的背景区域。

计算机设备在获取到二维医学图像后，对进行分析。在一种可选的实施方式中，由于每种目标器官在二维医学图像中的分布位置是相对固定的，计算机设备还读取预先存储的第三临床先验知识，该第三临床先验知识用于指示目标器官在每个二维医学图像中的候选出现位置的目标取值范围。比如，目标器官a在x轴的二维医学图像中候选出现的横坐标范围为[a1，a2]，在y轴的二维医学图像中候选出现的纵坐标范围为[b1，b2]。该目标取值范围用于在后处理过程中进行第三噪声滤除。

步骤1202，当二维医学图像的长宽比例超过预设比例范围时，按照二维医学图像的短边边长所形成的正方形边框对二维医学图像进行扫描框分割，得到若干个待处理的二维医学图像。

由于两个个坐标轴所对应的分割模型的输入图尺寸通常为正方形尺寸，而某些实施方式中的二维医学图像太过狭长，直接将狭长的二维医学图像转换为正方形尺寸后，会导致目标器官发生严重变形而导致语义分割失败，因此计算机设备还可以采用如下图像预处理方式，对二维医学图像进行处理。

在一种可选的实施方式中，当获得的二维医学图像的长宽比例在预设比例范围内时，计算机设备将二维医学图像的尺寸转换为符合分割模型的输入尺寸。预设比例范围可以是[1/3，3]。

在另一种可选的实施方式中，如图6所示，当获得的二维医学图像的长宽比例超过预设比例范围时，即二维医学图像的长宽比例超出[1/3，3]时，认为二维医学图像太过狭长，若计算机设备直接将二维医学图像按照原始尺寸转换为输入尺寸，该输入尺寸是符合分割模型的像素点尺寸，则二维医学图像中的目标器官会挤压成条形，从而造成最终的预测结果不准确。

在这种情况下，如图7所示，计算机设备按照二维医学图像的短边边长所形成的的正方形边框对该二维医学图像进行扫描框分割，得到若干个待处理的二维医学图像。之后，计算机设备再将若干个待处理的二维医学图像的尺寸转换为分割模型的输入尺寸，然后分别输入至分割模型进行预测。

步骤1203，调用分割模型对二维医学图像进行语义分割，得到目标器官的分布概率图。

其中，分割模型结构与第一分割模型结构相同，故分割模型结构可以参考如图8所示的模型结构。分割模型包括：深度网络编码部和跳跃传递解码部，深度网络编码部包括n层卷积层，跳跃传递解码部包括m层反卷积层，n和m均为正整数。

深度网络编码部，用于通过n层卷积层对二维图像进行降采样特征提取，得到降采样后的第三中间特征图。

跳跃传递解码部，用于通过m层反卷积层对第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的分布概率图。

其中，第四中间特征图包括n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。

可选地，分割模型和第一分割模型具有相同的结构，仅为训练过程所使用的样本图像存在区别。因此，采用分割模型对二维医学图像进行语义分割的过程可以参考步骤504的描述，不再赘述。

步骤1204，根据分布概率图中每个像素点的最大概率类别，计算得到目标器官的二维分布二值图。

可选地，分割模型根据分布概率图中每个像素点的最大概率类别，确定图像中每个像素点所属的类别，该类别包括属于目标器官的前景像素点和不属于目标器官的背景像素点。

可选地，分布概率图中包括每个像素点属于前景像素点的第三概率以及属于背景像素点的第四概率，最大概率类别是根据第三概率和第四概率中较大一个概率所对应的类别。比如，某个像素点属于前景像素点的概率是80％，属于背景像素点的概率是20％，则该像素点的最大概率类别是前景像素点。在一些实施例中，二维分布二值图中采用1来代表前景像素点，0来代表背景像素点。

步骤1205，基于临床先验知识对二维分布二值图中的噪声像素点进行滤除后处理。

由于每种目标器官在二维医学图像中的分布位置是相对固定的，计算机设备还可采用临床先验指示对二维分布二值图中的噪声像素点进行滤除。

计算机设备在二维分布二值图中滤除超出目标取值范围的第三噪声像素点。

其中，目标取值范围是根据第三临床先验知识得到的目标器官可能出现的坐标取值范围。可选地，目标取值范围是一个二维的平面框区域。第三临床先验知识可以是基于多个样本图像构建的。

综上所述，在本实施例提供的方法中，通过分割模型对获得的二维图像进行语义分割，得到目标器官的分布概率图，通过确定分布概率图中每个像素点的最大概率类别，得到目标器官的二维分布二值图，并根据第三临床先验知识对得到的二维分布二值图进行噪声像素点的滤除，实现对二维图像的语义分割的目的，且经过对噪声像素点的滤除，使得语义分割后的图像分割边界清晰，且边缘处理友好。并且证明了本申请提供的三维图像的语义分割方法不仅适用于三维图像的语义分割，还适用于二维图像的语义分割，而且分割效果较为优秀。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图13示出了本申请一个示例性实施例提供的三维图像的语义分割的装置示意图，该装置包括：

第一获取模块1310，用于获取三维图像。

切片模块1320，用于将三维图像按照三维坐标轴所在的三个方向面进行切片，得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像。

第一分割模块1330，用于调用第一分割模型对x轴的二维切片图像进行语义分割，得到目标对象在x轴方向面的分布概率图；调用第二分割模型将y轴的二维切片图像进行语义分割，得到目标对象在y轴方向面的分布概率图；调用第三分割模型将z轴的二维切片图像进行语义分割，得到目标对象在z轴方向面的分布概率图。

融合模块1340，用于调用自适应融合模型对x轴方向面、y轴方向面和z轴方向面各自对应的三个分布概率图进行三维融合，得到目标对象的三维分布二值图。

图14示出了本申请另一个示例性实施例提供的三维图像的语义分割的装置示意图，该装置包括：

第一获取模块1410，用于获取三维图像。

切片模块1420，用于将三维图像按照三维坐标轴所在的三个方向面进行切片，得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像。

第一扫描模块1430，用于当二维切片图像的长宽比例超过预设比例范围时，按照二维切片图像的短边边长所形成的正方形边框对二维切片图像进行扫描框分割，得到若干个待处理的二维切片图像。

第一分割模块1440，用于调用第一分割模型对x轴的二维切片图像进行语义分割，得到目标对象在x轴方向面的分布概率图；调用第二分割模型将y轴的二维切片图像进行语义分割，得到目标对象在y轴方向面的分布概率图；调用第三分割模型将z轴的二维切片图像进行语义分割，得到目标对象在z轴方向面的分布概率图。

可选地，第一分割模型、第二分割模型和第三分割模型中的至少一个模型包括：深度网络编码部和跳跃传递解码部，深度网络编码部包括n层卷积层，跳跃传递解码部包括m层反卷积层，n和m均为正整数。

深度网络编码部，用于通过n层卷积层对二维切片图像进行降采样特征提取，得到降采样后的第一中间特征图。

跳跃传递解码部，用于通过m层反卷积层对第一中间特征图和第二中间特征图进行升采样处理，得到升采样后的分布概率图。

其中，第二中间特征图包括n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。

融合模块1450，用于调用自适应融合模型对x轴方向面、y轴方向面和z轴方向面各自对应的三个分布概率图进行三维融合，得到目标对象的三维分布二值图。

可选地，如图15所示，融合模块1450，包括：

组合单元1451，用于调用自适应融合模型将x轴方向面、y轴方向面和z轴方向面各自对应的三个分布概率图进行组合，得到三维分布特征图。

融合单元1452，用于对三维分布特征图进行三维融合卷积，得到三维分割概率图。

计算单元1453，用于根据三维分割概率图中每个像素点的最大概率类别，计算得到目标对象的三维分布二值图。

可选地，三维图像是三维医学图像；

第一滤除模块1460，用于基于临床先验知识对三维分布二值图中的噪声像素点进行滤除后处理；

所述临床先验知识是对所述三维医学图像中的所述目标对象的分布位置进行统计得到的知识。

在一种可选的实施方式中，第一滤除模块1460，用于在三维分布二值图中滤除超出目标取值范围的第一噪声像素点。

其中，目标取值范围是根据第一临床先验知识得到的目标对象可能出现的坐标取值范围。

在另一种可选的实施方式中，第一滤除模块1460，用于在三维分布二值图中滤除超出三维椭球模型的第二噪声像素点。

其中，三维椭球模型是根据第二临床先验知识得到的目标对象对应的椭球模型。

相关细节可结合参考图3和图5所示的方法实施例。其中，第一获取模块1410还用于实现上述方法实施例中其他任意隐含或公开的获取步骤相关的功能；切片模块1420还用于实现上述方法实施例中其他任意隐含或公开的切片步骤相关的功能；第一扫描模块1430还用于实现上述方法实施例中其他任意隐含或公开的扫描步骤相关的功能；第一分割模块1440还用于实现上述方法实施例中其他任意隐含或公开的分割步骤相关的功能；融合模块1450还用于实现上述方法实施例中其他任意隐含或公开的融合步骤相关的功能；第一滤除模块1460还用于实现上述方法实施例中其他任意隐含或公开的滤除步骤相关的功能。

需要说明的是：上述实施例提供的三维图像的语义分割装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的三维图像的语义分割装置与三维图像的语义分割方法的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图16示出了本申请一个示例性实施例提供的二维图像的语义分割的装置示意图，该装置包括：

第二获取模块1610，用于获取二维图像。

第二扫描模块1620，用于当二维图像的长宽比例超过预设比例范围时，按照二维图像的短边边长所形成的正方形边框对二维图像进行扫描框分割，得到若干个待处理的二维图像。

第二分割模块1630，用于调用分割模型对二维图像进行语义分割，得到目标对象的分布概率图；

其中，分割模型包括：深度网络编码部和跳跃传递解码部，深度网络编码部包括n层卷积层，跳跃传递解码部包括m层反卷积层，n和m均为正整数。

深度网络编码部，用于通过n层卷积层对二维图像进行降采样特征提取，得到降采样后的第三中间特征图。

跳跃传递解码部，用于通过m层反卷积层对第三中间特征图和第四中间特征图进行升采样处理，得到升采样后的分布概率图。

其中，第四中间特征图包括n层卷积层中的第i层卷积层输出的特征图，i为小于或等于n的整数。

计算模块1640，用于根据分布概率图中每个像素点的最大概率类别，计算得到目标对象的二维分布二值图。

可选地，三维图像是三维医学图像；

第二滤除模块1650，用于基于临床先验知识对二维分布二值图中的噪声像素点进行滤除后处理；

所述临床先验知识是对所述三维医学图像中的所述目标对象的分布位置进行统计得到的知识。

可选地，第二滤除模块1650，用于在二维分布二值图中滤除超出目标取值范围的第三噪声像素点。

其中，目标取值范围是根据第三临床先验知识得到的目标对象可能出现的坐标取值范围。

相关细节可结合参考图12所示的方法实施例。其中，第二获取模块1610还用于实现上述方法实施例中其他任意隐含或公开的获取步骤相关的功能；第二扫描模块1620还用于实现上述方法实施例中其他任意隐含或公开的扫描步骤相关的功能；第二分割模块1630还用于实现上述方法实施例中其他任意隐含或公开的分割步骤相关的功能；计算模块1640还用于实现上述方法实施例中其他任意隐含或公开的计算步骤相关的功能；第二滤除模块1650还用于实现上述方法实施例中其他任意隐含或公开的滤除步骤相关的功能。

需要说明的是：上述实施例提供的二维图像的语义分割装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的二维图形的语义分割装置与二维图像的语义分割方法的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图17示出了本申请一个实施例提供的计算机设备的结构示意图。该计算机设备用于实施上述实施例中提供的三维图像的语义分割方法和二维图像的语义分割方法。具体来讲：

计算机设备1700包括中央处理单元(cpu)1701、包括随机存取存储器(ram)1702和只读存储器(rom)1703的系统存储器1704，以及连接系统存储器1704和中央处理单元1701的系统总线1705。该计算机设备1700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(i/o系统)1706，和用于存储操作系统1713、应用程序1714和其他程序模块1715的大容量存储设备1707。

基本输入/输出系统1706包括有用于显示信息的显示器1708和用于用户输入信息的诸如鼠标、键盘之类的输入设备1709。其中该显示器1708和输入设备1709都通过连接到系统总线1705的输入输出控制器1710连接到中央处理单元1701。基本输入/输出系统1706还可以包括输入输出控制器1710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1710还提供输出到显示屏、打印机或其他类型的输出设备。

大容量存储设备1707通过连接到系统总线1705的大容量存储控制器(未示出)连接到中央处理单元1701。该大容量存储设备1707及其相关联的计算机可读介质为计算机设备1700提供非易失性存储。也就是说，大容量存储设备1707可以包括诸如硬盘或者cd-rom驱动器之类的计算机可读介质(未示出)。

不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom、eeprom、闪存或其他固态存储其技术，cd-rom、dvd或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知该计算机存储介质不局限于上述几种。上述的系统存储器1704和大容量存储设备1707可以统称为存储器。

根据本申请的各种实施例，计算机设备1700还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设别1700可以通过连接在系统总线1705上的网络接口单元1711连接到网络1712，或者说，也可以使用网络接口单元1711来连接到其他类型的网络或远程计算机系统(未示出)。

存储器还包括一个或者一个以上的程序，该一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行。上述一个或者一个以上程序包含用于进行以下操作的指令：

获取三维图像；将三维图像按照三维坐标轴所在的三个方向面进行切片，得到x轴的二维切片图像、y轴的二维切片图像和z轴的二维切片图像；调用第一分割模型对x轴的二维切片图像进行语义分割，得到目标对象在x轴方向面的分布概率图；调用第二分割模型将y轴的二维切片图像进行语义分割，得到目标对象在y轴方向面的分布概率图；调用第三分割模型将z轴的二维切片图像进行语义分割，得到目标对象在z轴方向面的分布概率图；调用自适应融合模型对x轴方向面、y轴方向面和z轴方向面各自对应的三个分布概率图进行三维融合，得到目标对象的三维分布二值图。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，所述服务器的存储器中，还包含用于执行以下操作的指令：

获取二维图像；调用分割模型对二维图像进行语义分割，得到目标对象的分布概率图；根据分布概率图中每个像素点的最大概率类别，计算得到目标对象的二维分布二值图。

在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质为非易失性的计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，存储的计算机程序被处理组件执行时能够实现本公开上述实施例提供的三维图像的语义分割方法。

在示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质为非易失性的计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，存储的计算机程序被处理组件执行时能够实现本公开上述实施例提供的二维图像的语义分割方法。

应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。