基于混合模态图像的左心室图像分割方法及系统与流程

本公开属于图像分割领域，尤其涉及一种基于混合模态图像的左心室图像分割方法及系统。

背景技术：

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

心血管疾病(cardiovasculardisease，cvds)是亚太地区最大的非传染性疾病之一，左心室分割在心脏图像的临床定量和诊断中起着至关重要的作用。对于临床实践来说，多种医学影像技术如核磁共振成像(mri)、电子计算机断层扫描成像(ct)、正电子发射型计算机断层显像(pet)等，是心血管疾病诊断的重要辅助技术。据统计，放射科医生对医学影像进行人工分割是一项枯燥、耗时、低效的工作，仅分割一名受试者的核磁共振序列就需要20分钟左右的时间，且不同的影像学设备及大量的患者会产生不同模态的大量心脏图像，极大的增加医生的工作量，分割的结果也受医生的经验和主观判断影响。同时由于心脏扩张和收缩引起的心外膜和心内膜形状变异、受试者之间的差异、乳头肌和图像的固有噪声等因素，也会影响医生人工分割的精度，难以较快获得准确、客观的分割结果。

为了提高左心室图像分割的精度和效率，将放射科医生从冗长、低效的工作中解脱出来，基于计算机的智能自动化左心室分割辅助诊断势在必行。现有的左心室分割方法多侧重于单模态或多模态心脏图像。单模态方法主要包括基于核磁共振(mr)模态的方法和基于ct模态的方法，这些分割方法只能在单一模态的心脏图像上表现出良好的分割性能。因此研究者们又提出基于多模态的方法，在同一患者身上采集不同模态的图像，配准后再进行分割。发明人发现，由于训练样本不同、成像过程不同、mr图像和ct图像中心脏的灰度差异较大，使得现有的这些方法的训练模型不能直接、准确地从一种特定的模态应用到新的模态。

技术实现要素：

为了解决上述问题，本公开的第一个方面提供一种基于混合模态图像的左心室图像分割方法，其既能够对单模态下的心脏图像进行分析，又降低了多模态图像采集的难度，在不需要对新样本进行学习分割模型再训练的情况下，将混合模态图像进行模态适配，成功处理新的模态图像。

为了实现上述目的，本公开采用如下技术方案：

一种基于混合模态图像的左心室图像分割方法，包括：

获取心脏图像的纹理信息和空间布局，得到以矩阵形式表示的mr图像和ct图像的底层特征表达，得到用来描述混合模态心脏图像的底层特征数据集；

对混合模态心脏图像的底层特征数据集进行共享矩阵分解，获得一个鲁棒的形状感知变换矩阵，从而提取出同时适应于不同模态图像的形状特征；

通过构造图来建立不同模态的心脏图像间的相互关系，利用有监督的形状信息进一步增强不同模态心脏图像间的形状特征的相似性；

将分割问题转化为对心脏边界坐标值的回归，建立形状回归模型，通过多输出支持向量回归直接从形状特征中分割出最终的心肌轮廓。

为了解决上述问题，本公开的第二个方面提供一种基于混合模态图像的左心室图像分割系统，其既能够对单模态下的心脏图像进行分析，又降低了多模态图像采集的难度，在不需要对新样本进行学习分割模型再训练的情况下，将混合模态图像进行模态适配，成功处理新的模态图像。

为了实现上述目的，本公开采用如下技术方案：

一种基于混合模态图像的左心室图像分割系统，包括：

心脏图像表示模块，其用于获取心脏图像的纹理信息和空间布局，得到以矩阵形式表示的mr图像和ct图像的底层特征表达，得到用来描述混合模态心脏图像的底层特征数据集；

混合模态自适配模块，其用于对混合模态心脏图像的底层特征数据集进行共享矩阵分解，获得一个鲁棒的形状感知变换矩阵，从而提取出同时适应于不同模态图像的形状特征；

形状感知特征增强模块，其用于通过构造图来建立不同模态的心脏图像间的相互关系，利用有监督的形状信息进一步增强不同模态心脏图像间的形状特征的相似性；

左心室分割形状回归模块，其用于将分割问题转化为对心脏边界坐标值的回归，建立形状回归模型，通过多输出支持向量回归直接从形状特征中分割出最终的心肌轮廓。

为了解决上述问题，本公开的第三个方面提供一种计算机可读存储介质，其既能够对单模态下的心脏图像进行分析，又降低了多模态图像采集的难度，在不需要对新样本进行学习分割模型再训练的情况下，将混合模态图像进行模态适配，成功处理新的模态图像。

为了实现上述目的，本公开采用如下技术方案：

一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的基于混合模态图像的左心室图像分割方法中的步骤。

为了解决上述问题，本公开的第四个方面提供一种计算机设备，其既能够对单模态下的心脏图像进行分析，又降低了多模态图像采集的难度，在不需要对新样本进行学习分割模型再训练的情况下，将混合模态图像进行模态适配，成功处理新的模态图像。

为了实现上述目的，本公开采用如下技术方案：

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的基于混合模态图像的左心室图像分割方法中的步骤。

本公开的有益效果是：

本公开将单模态和多模态的心脏图像分割模型进行改进，提出混合模态自适应的回归分割方法，提高了心脏的mr图像和ct图像的形状一致性，通过这种方式，可以使一种模态数据训练出的机器学习模型，在不需要对新样本重新训练的情况下成功处理新的模态图像数据，减轻了模型学习阶段对训练抽样的要求。

本公开的分割方法，在模态自适应的基础上进行了特征增强，利用有监督的形状信息进一步增强形状的特征感知，建立了有效的形状回归模型，从而在对混合模态的左心室图像分割时获得了准确的分割性能。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。

图1是本公开实施例提供的左心室图像分割方法流程图。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

如图1所示，本实施例提供了一种基于混合模态图像的左心室图像分割方法，其包括：

步骤(1)：获取心脏图像的纹理信息和空间布局，得到以矩阵形式表示的mr图像和ct图像的底层特征表达，得到用来描述混合模态心脏图像的底层特征数据集；

步骤(1)为心脏图像表示步骤：利用通用gist算法来获取心脏的纹理信息和空间布局，得到心脏mr图像和ct图像的底层特征表达，以矩阵的形式表示出来，从而得到用以描述两种模态心脏图像的底层特征数据集。

考虑到混合模态图像虽然外观不同但形状是相似的，本实施例首先得到了一种能够模拟心肌形状并支配空间结构的图像表示。在本实施例中，我们使用gist算法来实现不同模态心脏图像的底层特征表示，因为它可以同时获取纹理信息和空间布局。

混合模态图像数据集可以表示为和

其中m1和m2是第一模态和第二模态，a1和a2是m1和m2中的受试者人数，b1和b2是一个受试者的序列号，即对于第一模态图像m1，共有a1*b1幅图像；对于第二模态图像m2，共有a2*b2幅图像。此外，我们分别对心内和心外膜的边界进行了采样，采样个数分别为n1和n2个，并将它们的坐标作为每张图像的groundtruth：

对于不同模态的图像和可以用和构造groundtruth。

步骤1.1：将输入图像分割成一个k×k的网格。然后在4个尺度、8个方向上使用32个garbor滤波器，在每个网格上生成32个特征图。

步骤1.2：将32个特征图的平均值串联起来得到输入图像的gist描述符，得到长度为l＝32k²的向量。从而心脏mr图像和ct图像的底层特征表示可分别描述为：和

步骤(2)：对混合模态心脏图像的底层特征数据集进行共享矩阵分解，获得一个鲁棒的形状感知变换矩阵，从而提取出同时适应于不同模态图像的形状特征；

步骤(2)为混合模态自适配步骤：本实施例提出一个模态自适应的图像特征表达方法，即ma-shape，对混合模态的图像的矩阵表达进行共享矩阵分解，获得一个鲁棒的形状感知变换矩阵，以改善混合模态的图像形状一致性，减少纹理信息的不一致性，从而提取出同时适应于不同模态图像的底层特征。

步骤(2)的具体过程为：

步骤2.1：鉴于观察到不同模态的心脏图像具有相似的心肌形态和不同的纹理信息，本实施例提出了对表示mr图像和ct图像的数据集和的进行共享矩阵分解：

其中，是的新表示，并且w∈r^l'^×l的行充当变换空间中的基础。为了确保分解的唯一性，每行w的条件是其中，l'为大于或等于1的正整数。

经过分解，得到一个鲁棒的形状感知变换矩阵w，该矩阵能够表示mr和ct图像的共同形状特征，同时消除不同的纹理信息。

步骤2.2：利用图谱在图像分割中对不同部分边界的识别作用，分别提取mr模态和ct模态图像的形状信息。

在提取信息时，本实施例了构造一个图来表示图像各位置特征，通过提取每个位置的图像特征，计算两个特征之间的相似性：

s(i,j)＝h(f(i(i)),f(i(j)))公式(2)

其中f提取每个位置的图像特征，h计算两个特征之间的相似性。

根据定义，图的频谱是拉普拉斯矩阵的频谱：

其中，l表示图的拉普拉斯矩阵，d表示图的度矩阵，s表示图的邻接矩阵。l的特征向量e包含图像从大到小的形状信息。

步骤2.3：利用从两种模态中提取出的共同形状信息，优化形状感知变换矩阵w，使m1和m2的形状差异最小化：

其中，从表示的特征向量中得到m1和m2的全局形状信息，分别记为表示

步骤(3)：通过构造图来建立不同模态的心脏图像间的相互关系，利用有监督的形状信息进一步增强不同模态心脏图像间的形状特征的相似性；

步骤(3)为形状感知特征增强步骤：通过构造图来建立不同样本间的相互关系，利用有监督的形状信息进一步增强不同样本间形状特征的相似性。

为了建立不同图像样本之间的关系模型，提高特征的形状感知能力，首先对不同模态的图像样本间的相互关系进行建模：g^shape＝(v^shape,ε^shape).

其中，v^shape表示图g^shape的顶点集合，ε^shape表示图g^shape的边集合。

然后本实施例将形状感知特征增强建模为:

其中是两种模态的新的表示形式，是两个不同形状的心脏图像样本ym和yn的相似度，由高斯核计算得到。

步骤(4)：将分割问题转化为对心脏边界坐标值的回归，建立形状回归模型，通过多输出支持向量回归直接从形状特征中分割出最终的心肌轮廓。

步骤(4)为左心室分割的形状回归步骤：将分割问题转化为对心脏边界坐标值的回归，建立形状回归模型，通过多输出支持向量回归(msvr)直接从形状感知特征中分割出最终的心肌轮廓。

步骤(4)的具体过程为：

步骤4.1：将公式(1)、(4)和(5)整合得到形状感知模态适应的最终目标函数:

其中，α和β是正则化参数(α+β＝1)。当前两个项是低秩分解的重建误差时，将公式(6)转化为：

其中tr计算矩阵的轨迹，l^shape是g^shape的拉普拉斯矩阵，即l^shape＝d^shape-s^shape。

对于此目标函数即公式(6)，本实施例采用截断奇异值分解(svd)来解决最小化问题。

其具体算法的伪代码步骤如下：

输入：混合模态图像和及其标签和

输出：混合模态图像和的鲁棒形状感知变换矩阵w、新的特征矩阵和

1：使用gist计算图像和的图像表示和

2：构造目标函数，即公式(6)。利用公式(7)求解目标函数公式(6)，计算出鲁棒的形状感知变换矩阵w。

3：利用和计算新的特征矩阵和

步骤4.2：将左心室分割公式化为形状回归问题。给定由本实施例提出的混合模态自适配法提取的特征集um和具有p＝n1+n2维度的输出ym，使用msvr进行左心室的形状回归，通过找到每个输出的回归参数w和z来最小化以下功能：

其中

其中，lp(w,z)表示回归函数，函数表示对特征空间的非线性变换，c表示超参数。

将混合模态自适应回归分割方法同其他的单模态、多模态分割方法，如形状回归法(sdl)、水平集(levelset)和u-net等方法进行了比较，本实施例的准确度，精确性，敏感性都远高于levelset等其他方法。在一个包含145名受试者的mr图像和96名受试者的ct扫描图像的混合模态心脏数据库上，本实施例进行了验证，实验结果表明，本实施例提出的模态自适应模块具有良好的跨模态泛化能力，结合了训练样本的新模式，能够对左心室mr和ct图像进行高精度的分割，是实现心脏类疾病辅助诊断的重要保障。

在另一实施例中，还提供了一种基于混合模态图像的左心室图像分割系统，其包括：

(1)心脏图像表示模块，其用于获取心脏图像的纹理信息和空间布局，得到以矩阵形式表示的mr图像和ct图像的底层特征表达，得到用来描述混合模态心脏图像的底层特征数据集；

在所述心脏图像表示模块中，利用gist算法来获取心脏的纹理信息和空间布局。

(2)混合模态自适配模块，其用于对混合模态心脏图像的底层特征数据集进行共享矩阵分解，获得一个鲁棒的形状感知变换矩阵，从而提取出同时适应于不同模态图像的形状特征；

在所述混合模态自适配模块中，利用图谱在图像分割中对不同部分边界的识别作用，分别提取mr图像和ct图像的形状信息，构造一个图来表示图像各位置特征，通过提取每个位置的图像特征，计算两个特征之间的相似性，得到提取出同时适应于不同模态图像的形状特征。

在所述混合模态自适配模块中，提取出同时适应于不同模态图像的形状特征之后，还包括：优化形状感知变换矩阵，使mr图像和ct图像的形状差异最小化。

(3)形状感知特征增强模块，其用于通过构造图来建立不同模态的心脏图像间的相互关系，利用有监督的形状信息进一步增强不同模态心脏图像间的形状特征的相似性；

(4)左心室分割形状回归模块，其用于将分割问题转化为对心脏边界坐标值的回归，建立形状回归模型，通过多输出支持向量回归直接从形状特征中分割出最终的心肌轮廓。

在另一实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所示的基于混合模态图像的左心室图像分割方法中的步骤。

在另一实施例中，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如图1所示的基于混合模态图像的左心室图像分割方法中的步骤。

本领域内的技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。

以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。