一种基于U型孪生网络的图像分割方法、装置

一种基于u型孪生网络的图像分割方法、装置
技术领域
1.本发明属于医疗影像与深度学习技术领域，具体涉及一种基于u型孪生网络的图像分割方法、装置。


背景技术：

2.慢性脑中风通常会引起例如偏瘫、偏盲、失语等后遗症。临床上，医生通常仅凭经验观察患者的身体状况来定制和修改治疗方案，而无法向患者提供定量的诊断依据。这种情况会降低患者的配合度，造成治疗效果不佳。基于影像学的计算机辅助诊断方法能极大减少人工标注所需的劳力，为临床医生提供定量的诊断依据。
3.缺血性脑中风病灶分割(isles)挑战项目提供了多模态mri脑中风病例，在该项目中研究者提出了许多精度较好的算法。例如此项目2017年冠军choi团队使用了残差u型网络和基于空间的金字塔池化技术实现了在小数据集上脑中风病灶分割。dolz等人则提出了基于密集多路径多模态的u－net模型改善了多模态融合技术从而提升算法分割精度；qi等人提出了一种x－net网络结构配合特征相似性模型(fsm)来捕获网络中远程依赖信息；yang等人设计了clci－net模型用于获取网络层之间的交叉信息和图像的上下文信息。现有技术的不足之处：
4.(1)现有研究主要强调获取搞精度的病灶分割结果，需要提供包括灌注成像(pwi)、脑功能成像(fmri)等多模态图像，不适合慢性脑中风治疗中需要多次跟踪诊断的实际需求。
5.(2)算法都只考虑了病例的影像学图像特征，而没有考虑到疾病的影像学特异性和临床知识，导致目前这些算法的分割精度较低，无法应用到临床。


技术实现要素：

6.为提高慢性脑中风病灶图像分割的精度，降低目标图像要求的问题，在本发明的第一方面提供了一种基于u型孪生网络的图像分割方法，包括：获取待分割的目标图像，其中目标图像为慢性脑中风影像图像；构建并训练基于脑组织的形态学结构和机器学习的分割模型，利用训练完成的分割模型对所述目标图像进行脑组织区域分割；利用训练完成的深度孪生网络，对脑组织区域分割后的目标图像进行病灶分割。
7.在本发明的一些实施例中，所述训练完成的分割模型通过如下步骤训练：获取多张脑组织图像，将其中未标注的脑组织图像和已标注好的图谱分别作为样本和标签，构建数据集；其中已标注好的图谱至少包括一张未标注的脑组织图像，及其对应的已标注或已分割脑组织区域的标签图像；在每轮训练中，将样本图像与对应的图谱配准，并根据每张图谱图像与目标图像的相似度、目标组织的形态特征和目标组织的空间特性来计算出标签图像传递的置信度，并根据其提取目标组织形态学特征向量；计算所述目标组织形态学特征向量的模；遍历数据集中的所有样本图像，直至所述目标组织形态学特征向量的模达到预设条件，得到训练完成的的分割模型。
8.进一步的，所述根据每张图谱图像与目标图像的相似度、目标组织的形态特征和目标组织的空间特性来计算出标签图像传递的置信度包括：计算目标图像与每张图谱图像中每个体素的距离相似度和灰度相似度，并根据其计算目标图像与每张图谱图像的图像相似度；基于所述目标图像与每张图谱图像的图像相似度，计算目标图像与所有图谱图像的置信度矩阵。
9.在本发明的一些实施例中，所述深度孪生网络通过如下步骤训练：获取多张脑组织图像，将其中的正常图像和病变图像作为样本，每张正常图像与其对应的病变图像之间的差异信息作为标签构建训练数据集；利用所述训练数据集训练深度孪生u型网络，直至其误差低于阈值且趋于稳定，得到训练完成的深度孪生u型网络。
10.进一步的，所述获取多张脑组织图像，将其中的正常图像和病变图像作为样本，每张正常图像与其对应的病变图像之间的差异信息作为标签构建训练数据集包括：确定样本图像的扫描规则，并根据其从脑组织图像数据库中选择一张或多张正常图像作为标准模板；将每张正常图像与一个或多个病变图像进行匹配，得到每张正常图像与其对应的病变图像之间的差异信息。
11.在上述的实施例中，将病灶分割后的目标图像根据病情演化或人工经验对所述深度孪生网络进行优化。
12.本发明的第二方面，提供了一种基于u型孪生网络的图像分割装置，包括：获取模块，用于获取待分割的目标图像，其中目标图像为慢性脑中风影像图像；第一分割模块，用于构建并训练基于脑组织的形态学结构和机器学习的分割模型，利用训练完成的分割模型对所述目标图像进行脑组织区域分割；第二分割模块，用于利用训练完成的深度孪生网络，对脑组织区域分割后的目标图像进行病灶分割。
13.本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的基于u型孪生网络的图像分割方法。
14.本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的基于u型孪生网络的图像分割方法。
15.本发明的有益效果是：
16.本发明通过深度孪生网络模型与机器学习分阶段处理病灶图像，并将脑组织的形态学中正常图像与病变图像的区别作为特征训练识别模型，从而提高了识别模型的鲁棒性和准确性。
附图说明
17.图1为本发明的一些实施例中的基于u型孪生网络的图像分割方法的基本流程示意图；
18.图2为本发明的一些实施例中的分割模型的训练或识别流程示意图；
19.图3为本发明的一些实施例中的深度孪生网络模型的训练或识别流程示意图；
20.图4为本发明的一些实施例中的基于u型孪生网络的图像分割装置的结构示意图；
21.图5为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
22.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
23.参考图1，在本发明的第一方面，提供了一种基于u型孪生网络的图像分割方法，包括：s100.获取待分割的目标图像，其中目标图像为慢性脑中风影像图像；s200.构建并训练基于脑组织的形态学结构和机器学习的分割模型，利用训练完成的分割模型对所述目标图像进行脑组织区域分割；s300.利用训练完成的深度孪生网络，对脑组织区域分割后的目标图像进行病灶分割。
24.参考图2，在本发明的一些实施例的步骤s200中，所述训练完成的分割模型通过如下步骤训练：s201.获取多张脑组织图像，将其中未标注的脑组织图像和已标注好的图谱分别作为样本和标签，构建数据集；其中已标注好的图谱至少包括一张未标注的脑组织图像，及其对应的已标注或已分割脑组织区域的标签图像；具体地，准备一组标记好的图谱集用于训练脑组织区域分割的模型。其中，每个图谱都由一组脑mr扫描图像和对应的专家标号而决定。可选的，采用脑组织分割的公共数据集作为标准健康图谱资源。
25.应理解，步骤s100中实际是将图谱数据集中的图谱利用非刚性配准方法配准到目标图像空间，用于提供标签图像的先验信息；然后，根据图谱图像与目标图像的相似度、目标组织的形态特征、目标组织的空间特性来计算出标签图像传递的置信度，并根据该置信度提取目标组织形态学特征向量。
26.因此，在步骤s202中：在每轮训练中，将样本图像与对应的图谱配准，并根据每张图谱图像与目标图像的相似度、目标组织的形态特征和目标组织的空间特性来计算出标签图像传递的置信度，并根据其提取目标组织形态学特征向量；计算所述目标组织形态学特征向量的模；
27.进一步的，在步骤s202中，所述根据每张图谱图像与目标图像的相似度、目标组织的形态特征和目标组织的空间特性来计算出标签图像传递的置信度包括：s2021.计算目标图像与每张图谱图像中每个体素的距离相似度和灰度相似度，并根据其计算目标图像与每张图谱图像的图像相似度；s2022.基于所述目标图像与每张图谱图像的图像相似度，计算目标图像与所有图谱图像的置信度矩阵。
28.在上述步骤s202的分割模型的一个实施例中，输入为：配准到目标图像的图谱图像ii，待分割的目标图像：待分割的目标组织的感兴趣区域中体素x∈ω；输出为：目标组织形态学特征向量f(x)，具体目标组织形态学特征向量的计算步骤如下：
29.步骤1：根据公式计算体素x的距离相似度d1；
30.步骤2：根据公式d2(x)＝|ii(x)-t(x)|*gs计算体素x的灰度相似度d2，其中gs为高斯核；
31.步骤3：根据公式计算第i个图谱中待分割的目标组织的感兴趣区域中体素x∈ω与目标图像的相似度si(x)，其中ε是一个极小参数用于防止公式的分母为0；
32.步骤4：根据公式和c(x)＝[c1(x) c2(x)
ꢀ…ꢀcn
(x)]计算体素x处的置信度矩阵ci(x)；
[0033]
步骤5：根据公式和pc(x)＝[p1(x) p2(x)
ꢀ…ꢀ
pn(x)]计算体素x的置信度概率矩阵pc(x)；
[0034]
步骤6：根据公式f(x)＝||pc(x)
·
l(x)||计算目标组织形态学特征向量，其中l(x)表示标签向量，每个标签向量中包括标签代表病变图像的类别以及逻辑真值。
[0035]
s203.遍历数据集中的所有样本图像，直至所述目标组织形态学特征向量的模达到预设条件，得到训练完成的的分割模型。具体地，利用目标组织形态学特征向量、图谱数据集提供的图像细节信息和标签信息，采用机器学习方法训练出用于脑组织区域分割模型。其中，机器学习分类器可采用随机森林来使模型忠实地反应数据特征，避免过拟合。
[0036]
可以理解，步骤s200中主要包括图像配准、生成基于形态置信度的特征向量、模型的训练和解剖学组区域分割等3个主要步骤。首先，将由训练阶段获得的空间特征信息与待分割的图像信息相结合提取特征向量。然后，利用训练好的脑组织区域分割模型即可获得脑组织区域的分割结果。
[0037]
参考图3，在本发明的一些实施例的步骤s300中，所述深度孪生网络通过如下步骤训练：s301.获取多张脑组织图像，将其中的正常图像和病变图像作为样本，每张正常图像与其对应的病变图像之间的差异信息作为标签构建训练数据集；s302.利用所述训练数据集训练深度孪生u型网络，直至其误差低于阈值且趋于稳定，得到训练完成的深度孪生u型网络。
[0038]
进一步的，在步骤s301中，所述获取多张脑组织图像，将其中的正常图像和病变图像作为样本，每张正常图像与其对应的病变图像之间的差异信息作为标签构建训练数据集包括：确定样本图像的扫描规则，并根据其从脑组织图像数据库中选择一张或多张正常图像作为标准模板；将每张正常图像与一个或多个病变图像进行匹配，得到每张正常图像与其对应的病变图像之间的差异信息。
[0039]
在上述步骤基础上的一个具体实施例中，包括如下步骤：首先根据训练图像的扫描规则(包括其扫描仪器型号、扫描层厚等信息)在健康病例数据库中选取标准模板。并将此模板配准到训练图像上，为其提供标准参考信息。根据有病变的训练图像和标准图像的差异找出可能发生病变的区域作为待处理的感兴趣区域。将模板图像(正常脑组织图像)和训练图像(病变图像)同时送入深度孪生u型网络中。利用孪生网络模块获取模板图像与训练图像之间的差异，该差异即病变的提示信息。将此差异作为特征信息通过u型网络的跳跃链接传到网络的末端。使深度孪生u型网络能够同时获取病灶的相似性和目标区域的空间位置和图像的细节信息。在深度孪生网络预测阶段(即病灶的分割阶段)：如训练阶段一样，首先，需要在健康病例数据库中选取标准模板，将此模板配准到待分割图像上，为其提供参考信息。根据有待分割图像和标准图像的差异找出可能发生病变的区域作为待处理的感兴趣区域。最后，将模板图像和待分割图像同时送入深度孪生u型网络中获取最终的分割结果。
[0040]
在上述的实施例中，将病灶分割后的目标图像根据病情演化或人工经验对所述深度孪生网络进行优化。具体地，基于慢性脑中风需要反复、多次观测和治疗的特点，在利用
深度孪生u型网络进行病灶分割后，将分割结果应用临床病例结合专家意见来优化模型和对病情发展做预后评估。其具体包括三个部分内容：其一，总结实验中参数变化对模型结果的影像，提升深度孪生u型网络的鲁棒性。深入分析该网络的特性，为移植到其他相关疾病的影像分割提供理论依据。其二，将利用自动分割算法得到的病灶区域交于医生，由影像学专家来对自动分割结果进行修正。修正结果反馈到深度孪生u型网络模型中，对模型进行针对慢性脑中风病例的特异性优化，其拟设计改进后的深度孪生网络模型如图3所示。其三，结合医生对临床病例的结论，找到影像学慢性脑中风病灶大小、形态、灰度等信息与实际临床的联系，给医生提供定性数据用于辅助诊断和治疗。
[0041]
实施例2
[0042]
参考图4，本发明的第二方面，提供了一种基于u型孪生网络的图像分割装置1，包括：获取模块11，用于获取待分割的目标图像，其中目标图像为慢性脑中风影像图像；第一分割模块12，用于构建并训练基于脑组织的形态学结构和机器学习的分割模型，利用训练完成的分割模型对所述目标图像进行脑组织区域分割；第二分割模块13，用于利用训练完成的深度孪生网络，对脑组织区域分割后的目标图像进行病灶分割。
[0043]
进一步的，所述第一分割模块12包括：获取单元，用于获取多张脑组织图像，将其中未标注的脑组织图像和已标注好的图谱分别作为样本和标签，构建数据集；其中已标注好的图谱至少包括一张未标注的脑组织图像，及其对应的已标注或已分割脑组织区域的标签图像；计算单元，用于在每轮训练中，将样本图像与对应的图谱配准，并根据每张图谱图像与目标图像的相似度、目标组织的形态特征和目标组织的空间特性来计算出标签图像传递的置信度，并根据其提取目标组织形态学特征向量；计算所述目标组织形态学特征向量的模；遍历模块，用于遍历数据集中的所有样本图像，直至所述目标组织形态学特征向量的模达到预设条件，得到训练完成的的分割模型。
[0044]
实施例3
[0045]
参考图5，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的基于u型孪生网络的图像分割方法。
[0046]
电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0047]
通常以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图5中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
[0048]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机
软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd－rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0049]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
[0050]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++、python，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0051]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0052]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。