本发明涉及图像处理技术领域,尤其涉及一种基于超体素匹配的脑组织分割方法。
背景技术:
核磁共图像的脑组织分割的目标是将大脑分为白质(wm)、灰质(gm)以及脑脊液(csf),大脑组织的准确分割对于疾病的诊断和治疗是一个很重要的部分,通过测量大脑中感兴趣区域的组织结构的变化,可以用来评估某些疾病的严重程度以及大脑的进化。
特征匹配是进行图像分割的常用手段,使用一个有标签的图像作为模板,将其划分为若干区域,对于待分割的图像,也将其划分为若干区域,对于待分割图像中的每个区域,到模板图像中寻找与自己特征最接近的区域,也就是与自己最匹配的区域,对于待分割图像中的每个区域,将它的标签设置成与其最匹配的模板区域的标签。这里的区域可以是规则的图像块,但是为了使得更加相似的像素聚集在一起,通常采用超像素(三维图像中为超体素)算法生成图像的超像素,实现超像素之间的匹配。
技术实现要素:
发明目的:针对传统图像匹配中只考虑图像区域自身的特征,忽略超体素之间关系的问题,本发明提出一种基于超体素匹配的脑组织分割方法。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:
一种基于超体素匹配的脑组织分割方法,所述脑组织分割方法具体包括如下步骤:
s1:根据三维的slic算法,所有的磁共振图像均生成超体素数据,所述所有磁共振图像包括所有待匹配的磁共振图像和模板图像;
s2:对所述所有磁共振图像均进行预处理;
s3:将所述所有磁共振图像基于三维的slic算法得到的分割边界,叠加在所述预处理后的所有磁共振图像中,获取得到每个所述磁共振图像的超体素特征;
s4:根据每个所述磁共振图像的超体素特征,计算每个所述超体素和相邻超体素之间的特征梯度,并获取特征梯度之和;
s5:确定出所述模板图像中每个超体素对应的标签;
s6:将每个所述磁共振图像的超体素特征、特征梯度之和串联为一个向量,根据所述向量计算待匹配磁共振图像和模板图像中每个超体素的相似度;
s7:根据所述待匹配磁共振图像和模板图像中每个超体素的相似度,将所述待匹配磁共振图像和模板图像进行匹配,确定出每个所述待匹配磁共振图像的分割结果。
进一步地讲,在所述步骤s1中,所有的所述磁共振图像均生成超体素数据,具体如下:
s1.1:设置聚类中心,并在所有的所述磁共振图像中分别均匀分布聚类中心,同时在每个所述磁共振图像中对所有聚类中心进行排序标号;
s1.2:计算所述聚类中心和所述聚类中心领域内的每个体素之间的距离,所述领域大小和距离大小,具体为:
其中:
ri为第i个磁共振图像中的聚类中心周围一定范围的领域,di为聚类中心和其领域内的第i个体素之间的距离,si为第i个磁共振图像中相邻种子点之间的距离,dic为聚类中心和其领域内的第i个体素在灰度空间中的距离,dis为聚类中心和其领域内的第i个体素之间的空间距离,vj为当前体素的灰度值,vk为聚类中心的灰度值,xj为当前体素在三维空间中的x轴坐标,yj为当前体素在三维空间中的y轴坐标,zj为当前体素在三维空间中的z轴坐标,xk为聚类中心在三维空间中的x轴坐标,yk为聚类中心在三维空间中的y轴坐标,zk为聚类中心在三维空间中的z轴坐标,s为聚类中心所在的磁共振图像中相邻种子点之间的距离,m为调节灰度空间距离与空间距离之间权重的参数;
s1.3:根据所述聚类中心和领域内的每个体素之间的距离,将每个所述体素对应的所有距离进行比较,选出最小距离,所述最小距离对应的聚类中心即为体素所属的聚类中心,所述最小距离对应的聚类中心的标号即为体素的标签;
s1.4:根据每个所述体素的标签,将所述聚类中心的空间位置,更新至所述聚类中心领域内所有体素的几何中心处;
s1.5:根据所述更新后的聚类中心的空间位置,重复步骤s1.2-步骤s1.4,直至所有所述聚类中心的空间位置不再发生变化。
进一步地讲,在所述步骤s1.1中,每个所述磁共振图像中超体素的大小、相邻聚类中心之间的距离,具体为:
其中:li为第i个磁共振图像中超体素的大小,si为第i个磁共振图像中相邻种子点之间的距离,ni为第i个磁共振图像中体素的个数,ki为第i个磁共振图像中超体素的个数。
进一步地讲,在所述步骤s2中,对所述所有磁共振图像均进行预处理,具体为:
模板图像:将所述模板图像的灰度值归一化到0至1之间,在通过直方图均衡算法进行处理;
待匹配的磁共振图像:将所述待匹配的磁共振图像的灰度值归一化到0至1之间,根据所述预处理后的模板图像,通过所述直方图均衡算法进行处理。
进一步地讲,在所述步骤s4中,每个所述超体素和相邻超体素之间的特征梯度、所述特征梯度之和,具体为:
其中:δhi为当前超体素与相邻的第i个超体素之间的特征梯度,ha为当前超体素的灰度直方图特征,hi为相邻的第i个超体素的灰度直方图特征,gradsuma为当前超体素与所有相邻超体素的特征梯度之和,n为相邻超体素的个数。
进一步地讲,在所述步骤s5中,确定出所述模板图像中每个超体素对应的标签,具体为:
根据所述模板图像中标注好的分割标签,统计每个所述超体素在分割标签对应的区域内属于各个类别的像素个数,从中选出最大的像素个数,所述最大像素个数对应的类别即为所述超体素的标签。
进一步地讲,在所述步骤s6中,将每个所述磁共振图像的超体素特征、特征梯度之和串联为一个向量,串联原则具体为:
根据预设的权值w,将所述特征梯度之和和权值w相乘后,再与每个所述超体素自身灰度特征的灰度直方图特征向量进行串联。
进一步地讲,在所述步骤s6中,根据所述向量计算待匹配磁共振图像和模板图像中每个超体素的相似度,具体为:
计算所述待匹配磁共振图像中串联得到的向量、模板图像中串联得到的向量之间的欧式距离,所述欧式距离越小则表示两个超体素越相似,所述欧式距离的计算公式具体为:
其中:d(ai,bj)为待匹配磁共振图像中第i个超体素和模板图像中第j个超体素之间的欧氏距离,
进一步地讲,在所述步骤s7中,确定出每个所述待匹配磁共振图像的分割结果,具体为:
s7.1:在所述模板图像中寻找n个与待匹配磁共振图像中的超体素距离最小的超体素,并从所述n个超体素中统计出占比最大的标签,同时将所述占比最大的标签赋予待匹配磁共振图像中当前的超体;
s7.2:将所述待匹配磁共振图像中的每个超体素均重复步骤s7.1,获取每个所述超体素对应的标签,通过每个所述超体素对应的标签,确定出每个所述待匹配磁共振图像的分割结果。
有益效果:与现有技术相比,本发明的技术方案具有以下有益技术效果:
本发明的脑组织分割方法先提取超体素的特征,且这些特征只能描述超体素本身,其次计算每个超体素与邻域超体素的梯度特征,之后进行超体素匹配,最后将超体素类别结果映射回到体素,获得组织分割结果,从而能在匹配的过程中,考虑超体素自身特征的同时,也能够考虑相邻超体素之间的关系,进而得到有效的匹配结果。
附图说明
图1是本发明的脑组织分割方法的流程示意图;
图2是大脑磁共振图像;
图3是大脑磁共振图像对应的标签图像;
图4是大脑磁共振图像上生成的超体素图像;
图5是不使用本发明的脑组织分割方法匹配得到的结果图;
图6是使用本发明的脑组织分割方法匹配得到的结果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。其中,所描述的实施例是本发明一部分实施例,而不是全部的实施例。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。
实施例1
参考图1,本实施例提供了一种基于超体素匹配的脑组织分割方法,具体包括如下步骤:
步骤s1:对所有的磁共振图像运用三维的slic算法均生成超体素数据,其中所有的磁共振图像包括所有待匹配的磁共振图像和模板图像,具体如下:
步骤s1.1:将初始化种子点作为聚类中心,同时按照预先设置的超体素个数,将种子点在每个磁共振图像中均匀分配,也就是说聚类中心的数目由预先设置的超体素个数所决定,且每个磁共振图像中的聚类中心在各个磁共振图像中是均匀分布的。并且将每个磁共振图像中所有的聚类中心均按照顺序进行排序标号。
值得注意的是,超体素个数的设置并没有具体的要求,可以根据用户的需求进行适当选择。
在本实施例中,每个磁共振图像中超体素的大小具体为:
li=ni/ki
其中:li为第i个磁共振图像中超体素的大小,ni为第i个磁共振图像中体素的个数,ki为第i个磁共振图像中超体素的个数。
在每个磁共振图像中相邻种子点之间的距离,即相邻聚类中心之间的距离,具体为:
其中:si为第i个磁共振图像中相邻种子点之间的距离,ni为第i个磁共振图像中体素的个数,ki为第i个磁共振图像中超体素的个数。
步骤s1.2:在每个种子点即聚类中心周围一定范围的领域内,计算聚类中心和该领域内的每个体素之间的距离,具体地讲,每个磁共振图像中的聚类中心周围一定范围的领域,具体为:
ri=(2si)3。
其中:ri为第i个磁共振图像中的聚类中心周围一定范围的领域,si为第i个磁共振图像中相邻种子点之间的距离。
同时聚类中心和其领域内的每个体素之间的距离,具体为:
其中:
di为聚类中心和其领域内的第i个体素之间的距离,dic为聚类中心和其领域内的第i个体素在灰度空间中的距离,dis为聚类中心和其领域内的第i个体素之间的空间距离,vj为当前体素的灰度值,vk为聚类中心的灰度值,xj为当前体素在三维空间中的x轴坐标,yj为当前体素在三维空间中的y轴坐标,zj为当前体素在三维空间中的z轴坐标,xk为聚类中心在三维空间中的x轴坐标,yk为聚类中心在三维空间中的y轴坐标,zk为聚类中心在三维空间中的z轴坐标,s为聚类中心所在的磁共振图像中相邻种子点之间的距离,m为调节灰度空间距离与空间距离之间权重的参数。
步骤s1.3:根据聚类中心和该领域内的每个体素之间的距离,确定出每个体素所属的聚类中心,从而为每个体素分配标签,其中标签为体素所在领域对应的聚类中心的标号。具体地讲,将每个体素计算得到的所有距离进行比较,从中选出最小距离,该最小距离对应的聚类中心即为该体素所属的聚类中心,同时该体素的标签即为该最小距离对应的聚类中心的标号。
步骤s1.4:根据每个体素设置的标签,更新聚类中心的空间位置,即根据相同领域内所有体素的分布,将该领域对应的聚类中心的空间位置,更新至相同领域内所有体素的几何中心处。
步骤s1.5:根据更新后的聚类中心的空间位置,重复步骤s1.2-步骤s1.4,直至所有的聚类中心的空间位置不再发生变化。
步骤s2:对待匹配的磁共振图像和模板图像均进行预处理,从而确保各样本之间的灰度特征分布相近,尤其是保证待匹配的磁共振图像的灰度特征和模板图像的灰度特征分布相近,进而提高匹配的准确性。具体为:
对于模板图像而言,需要先将其灰度值归一化到0至1之间,之后在运用直方图均衡算法对其进行处理,从而提高模板图像的对比度。
对于待匹配的磁共振图像而言,先将其灰度值归一化到0至1之间,再根据预处理后的模板图像,运用直方图均衡算法对其进行处理,从而使得待匹配的磁共振图像与模板图像的灰度值分布更加接近。
步骤s3:对于预处理后的待匹配磁共振图像和模板图像,获取每个磁共振图像的超体素特征,也就是说,将待匹配磁共振图像和模板图像基于三维的slic算法得到的分割边界,叠加在步骤s2中预处理后的待匹配磁共振图像和模板图像中,并划分为不同区域。
同时在本实施例中,采用灰度直方图特征,即将整个图像的灰度值范围均匀划分为16个区间,并且计算每个超体素中灰度值在各个区间中的体素个数,从而得到一个16维的向量,该向量即为每个超体素的灰度直方图特征,且该向量能够表示超体素的灰度分布情况。
步骤s4:根据每个超体素的灰度直方图特征,计算每个超体素与其每个相邻超体素之间的特征梯度,并获取特征梯度之和,具体为:
其中:δhi为当前超体素与相邻的第i个超体素之间的特征梯度,ha为当前超体素的灰度直方图特征,hi为相邻的第i个超体素的灰度直方图特征,gradsuma为当前超体素与所有相邻超体素的特征梯度之和,n为相邻超体素的个数。
步骤s5:确定出模板图像中每个超体素对应的标签。对于模板图像而言,该图像中有专家手工标注好的分割标签,根据该分割标签可以生成该图像中每个超体素的标签,具体为:
统计每个超体素在分割标签对应的区域内属于各个类别的像素个数,并从中选出最大的像素个数,该最大像素个数对应的类别即为该超体素的标签。
步骤s6:将每个超体素自身灰度特征的灰度直方图特征向量、每个超体素与所有相邻超体素的特征梯度之和串联为一个向量,并将该向量作为每个超体素的最终特征向量,用于匹配。该串联原则具体为:
先给每个超体素与所有相邻超体素的特征梯度之和向量设置一个权值w,将特征梯度之和和权值w相乘后,再与每个超体素自身灰度特征的灰度直方图特征向量进行串联。其中权值w的设置由具体数据集进行决定。
同时还可以根据该向量计算待匹配的磁共振图像和模板图像中每个超体素的相似度,其中相似度可以通过欧式距离进行比较,具体为:
在待匹配磁共振图像和模板图像中,每个超体素的灰度直方图特征向量、每个超体素与所有相邻超体素的特征梯度之和均为16维向量,将其串联为一个向量后,将得到一个32维的向量。在待匹配的磁共振图像中,每个超体素的32维的向量,即为每个超体素的最终特征向量,并标记为:fa,在模板图像中,每个超体素的32维的向量,即为每个超体素的最终特征向量,并标记为:fb。
根据待匹配磁共振图像中每个超体素的最终特征向量fa、模板图像中每个超体素的最终特征向量fb,计算两者之间的欧式距离,该欧式距离越小则表示两个超体素越相似,该欧式距离的计算公式具体为:
其中:d(ai,bj)为待匹配磁共振图像中第i个超体素和模板图像中第j个超体素之间的欧氏距离,
步骤s7:根据步骤s6中的欧式距离,将所有待匹配的磁共振图像和模板图像进行匹配,确定出每个待匹配磁共振图像的分割结果,匹配过程采用投票方式进行。具体如下:
步骤s7.1:对于待匹配磁共振图像中的超体素,在模板图像中寻找与它距离最小的n个超体素,由于在步骤s5中为模板图像的每个超体素均赋予了标签,从而在n个超体素中统计出占比最大的标签,并将该占比最大的标签赋予待匹配磁共振图像中当前的超体素。
在本实施例中,具体地讲,在模板图像中寻找10个距离最接近的超体素,也就是说,n=10,其中n为在模板图像中寻找的距离最接近的超体素个数。
步骤s7.2:对待匹配磁共振图像中的每个超体素,均执行步骤s7.1,从而对每个超体素均赋予标签,进而得到待匹配磁共振图像的分割结果。
将上述所设计的基于超体素匹配的脑组织分割方法,用于实际应用过程中,在本实施例中以ibsr18数据集数据为例,来验证本发明设计应用对于大脑磁共振图像脑组织提取的实施。
实验条件:现选取一台计算机进行实验,64位操作系统,编程语言用的是matlab和python,其中matlab为r2014a版本,python为3.5版本。
实验数据为ibsr18数据集的大脑磁共振图像。互联网脑分割库提供手动引导的专家分割结果以及磁共振脑图像数据。ibsr18数据集包含18个健康受试者的t1-weighted模态的磁共振图像,每个磁共振图像是256×256×128的三维数据,数据集中含有专家标注的标签,分别有灰质、白质和脊液,标签中0代表该像素属于非脑组织,也就是背景区域,1表示像素属于脊液,2表示灰质,3表示白质。参考图2和图3,ibsr18数据集中的mri图像及其对应的语义分割标签如图所示。按照上述的设计方法进行超体素匹配实现脑组织的分割,参考图4,该图所示是对大脑磁共振图像生成的超体素结果,参考图6,该图所示是执行整个流程后得到的分割结果。参考图5,作为对比,该图所示是未使用上述的设计方法,仅使用灰度直方图特征匹配得到的结果。
实验中,将第一个样本作为模板图像,剩下的17个样本作为待匹配图像,按照本发明的步骤进行实验。
为了检验本发明对脑部磁共振图像的分割精度,采用dice系数作为评价指标,dice系数的获取公式,具体为:
其中:tp为分割出的脑组织区域与专家手工分割模板的重叠区域,fp为分割出的脑组织但不属于专家手工分割模板的区域,fn为在专家手工分割模板中为脑组织但没有分割出来的区域。
dice系数是一种集合相似度度量函数,通常用于计算两个样本的相似度。这里用来度量本方法提取的脑组织区域与真实结果之间的相似程度。
在ibsr18数据集上,采用了本发明方法与不采用本发明方法对应dice指标,如下表1所示,具体为:
表1
基于表1所示,可以证明本发明的设计方法相比于仅使用超体素本身特征进行匹配,加入特征梯度之和能够获得更好的匹配结果。同时在匹配的过程中考虑相邻超体素之间的关系能够提升分割的准确度。
以上示意性的对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构和方法并不局限于此。所以,如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均属于本发明的保护范围。