本发明涉及医学图像处理和人工智能技术领域,特别涉及一种肺部ct影像数据分割方法及系统。
背景技术:
影像是ct设备使用x射线束对人体某部一定厚度的层面进行扫描,由探测器接收透过该层面的x射线,转变为可见光后,由光电转换变为电信号,再经模拟/数字转换器转化为数字信号,输入计算机处理。ct影像技术在医学检查上得到了广泛的应用,尤其对ct影像中的目标检测已经成为多种疾病诊断的前置步骤。
目前,对于肺部ct影像中的目标检测主要是通过医生的肉眼进行查看,这种检测方法依赖医生对目标区域的检测经验,并且医生阅读肺部ct影像耗费时间长、速度慢、效率低,不同医生对目标区域的判断结果各不相同。近期随着新型冠状病毒的快速蔓延,被感染的新冠肺炎患者急剧增加。由于新冠病毒感染者的肺部ct影像表征要早于临床表征,因此普遍采用肺部ct平扫检查为主。新冠疫情环境下,医疗资源紧缺,疫情重灾区每日有近千名患者排队等待肺部ct检查,由于没有足够多的医生来阅读大量的ct影像,并且人工阅读ct影像速度慢、效率低,增加了患者院内排队等候检查时间,容易引发交叉感染,贻误病情。针对新冠肺炎病毒疫情,急需一种能够快速处理肺部ct影像数据的方法,以替代现有人工阅读肺部ct影像数据的方式。
技术实现要素:
为了解决现有人工阅读肺部ct影像数据耗费时间长、速度慢、效率低等问题,本发明提供了一种肺部ct影像数据分割方法,包括:
在肺部ct平扫影像数据中标注肺部轮廓与目标区域,并对所述影像数据作数值裁剪和归一化处理;
使用归一化处理后的影像数据和已标注的肺部轮廓数据,利用第一神经网络进行训练学习,得到肺部轮廓分割模型;
根据所述肺部轮廓分割模型提取出肺部轮廓,以所述肺部轮廓外接立方体作为肺部感兴趣区域,并对所述肺部感兴趣区域作数值裁剪和归一化处理;
将归一化处理后的肺部感兴趣区域进行裁剪,并使用裁剪后的肺部感兴趣区域数据和已标注的目标区域,利用第二神经网络进行训练学习,得到肺部目标区域分割模型;
根据所述影像数据和肺部目标区域分割模型,分割出肺部目标区域。
所述在肺部ct平扫影像数据中标注肺部轮廓与目标区域的步骤具体包括:
获取肺部ct平扫影像数据,并清洗所述影像数据;
采用手工勾勒标注法在清洗后的影像数据中标注肺部轮廓与目标区域。
所述对所述影像数据作数值裁剪和归一化处理的步骤具体包括:
调整所述影像分辨率至第一分辨率统一值;
根据预设的第一灰度值裁剪范围裁剪所述影像的数值矩阵,对所述影像的数值矩阵中的数据进行归一化处理,使裁剪后的所述影像的数值矩阵中所有数值变为0-1之间的一个数值。
所述对所述肺部感兴趣区域作数值裁剪和归一化处理的步骤具体包括:
调整所述肺部感兴趣区域分辨率至第二分辨率统一值;
根据预设的第二灰度值裁剪范围裁剪所述肺部感兴趣区域数值矩阵,对所述肺部感兴趣区域数值矩阵中的数据进行归一化处理,使裁剪后的所述肺部感兴趣区域数值矩阵中所有数值变为0-1之间的一个数值。
所述第一和第二分辨率统一值均设定为[1mm,1mm,2.5mm],所述第一灰度值裁剪范围设定为[-200,400],所述第二灰度值裁剪范围设定为[-1200,600]。
所述第一神经网络为3d-unet网络,所述3d-unet网络训练过程中使用的损失函数包括dice-loss和focal-loss;所述第二神经网络为加入attention机制的3d-unet网络。
本发明还提供了一种肺部ct影像数据分割系统,包括:
标注模块,用于在肺部ct平扫影像数据中标注肺部轮廓与目标区域;
第一裁剪归一化模块,用于对所述影像数据作数值裁剪和归一化处理;
第一训练学习模块,用于使用所述第一裁剪归一化模块处理后的影像数据和所述标注模块已标注的肺部轮廓数据,利用第一神经网络进行训练学习,得到肺部轮廓分割模型;
第二裁剪归一化模块,用于根据所述第一训练学习模块得到的肺部轮廓分割模型提取出肺部轮廓,以所述肺部轮廓外接立方体作为肺部感兴趣区域,并对所述肺部感兴趣区域作数值裁剪和归一化处理;
第二训练学习模块,用于将所述第二裁剪归一化模块处理后的肺部感兴趣区域进行裁剪,并使用裁剪后的肺部感兴趣区域数据和所述标注模块已标注的目标区域,利用第二神经网络进行训练学习,得到肺部目标区域分割模型;
分割模块,用于根据所述影像数据和肺部目标区域分割模型,分割出肺部目标区域。
所述标注模块包括:
获取单元,用于获取肺部ct平扫影像数据;
清洗单元,用于清洗所述获取单元获取的影像数据,去除存在伪影和/或扭曲变形的ct平扫影像数据;
标注单元,用于采用手工勾勒标注法在所述清洗单元清洗后的影像数据中标注肺部轮廓与目标区域。
所述第一裁剪归一化模块包括:
第一设置单元,用于预设第一灰度值裁剪范围;
第一调整单元,用于调整所述影像分辨率至第一分辨率统一值;
第一裁剪单元,根据所述第一设置单元预设的第一灰度值裁剪范围裁剪所述影像的数值矩阵;
第一归一化单元,用于将所述第一裁剪单元裁剪后的所述影像的数值矩阵中所有数值变为0-1之间的一个数值。
所述第二裁剪归一化模块包括:
提取单元,用于根据所述第一训练学习模块得到的肺部轮廓分割模型提取出肺部轮廓;
第二设置单元,用于预设第二灰度值裁剪范围;
建立单元,用于以所述提取单元提取的肺部轮廓外接立方体作为肺部感兴趣区域;
第二调整单元,用于调整所述建立单元确定的肺部感兴趣区域分辨率至第二分辨率统一值;
第二裁剪单元,用于根据所述第二设置单元预设的第二灰度值裁剪范围裁剪所述肺部感兴趣区域数值矩阵;
第二归一化单元,用于将所述第二裁剪单元裁剪后的所述肺部感兴趣区域数值矩阵中所有数值变为0-1之间的一个数值。
本发明提供的肺部ct影像数据分割方法及系统,通过将ct影像与人工智能技术相结合,利用人工智能深度学习技术,使计算机在短期内学习到了大量的肺部ct影像特征,提高了肺部ct影像数据的处理效率。本发明提供的肺部ct影像数据分割方法及系统,可以快速地分割出肺部ct影像数据中的目标区域,进而对分割出的目标区域进行三维重建,便于直观展示,可广泛应用于各种肺部疾病的检查,例如肺结节、肺癌、新冠肺炎等,为医生提供更加清晰准确的目标区域图像。
附图说明
图1是本发明实施例提供的新冠肺炎患者肺部ct影像数据分割方法的流程图;
图2是本发明实施例3d-unet神经网络的结构示意图;
图3a是本发明实施例一新冠肺炎患者原始肺部ct平扫影像示意图;
图3b是本发明实施例用肺部轮廓分割模型对图3a提取的肺部轮廓示意图;
图4是本发明实施例attention3d-unet神经网络的结构示意图;
图5a是本发明实施例另一新冠肺炎患者肺部ct平扫影像示意图;
图5b是本发明实施例用肺部目标区域分割模型对图5a分割出的肺部目标区域示意图;
图6是本发明实施例提供的肺部ct影像数据分割系统的结构示意图。
具体实施方式
下面结合附图和实施例,对本发明技术方案作进一步描述。
参见图1,本发明实施例以新冠肺炎患者肺部ct影像数据为例,来阐述肺部ct影像数据分割方法,包括如下步骤:
步骤s101、获取新冠肺炎患者肺部ct平扫影像数据。
新冠肺炎患者肺部ct平扫影像数据采集的对象来源于多个被授权医疗中心及地区的不同年龄的新冠肺炎患者。在数据采集过程中,应严格保密新冠肺炎患者的个人信息,以防个人信息在采集过程中的泄露。例如,图3a是本实施例某一新冠肺炎患者原始肺部ct平扫影像示意图。
步骤s102、清洗新冠肺炎患者肺部ct平扫影像数据。
清洗新冠肺炎患者肺部ct平扫影像数据,主要是指去除存在伪影和/或扭曲变形的ct平扫影像数据,以便得到符合神经网络训练要求的数据。
步骤s103、标注ct平扫影像数据中肺部轮廓与目标区域。
在具体应用中,采用手工勾勒标注法分别从矢状位、冠状位和柱状位三个方向进行数据标注,并参考原始二维ct平扫影像数据,对标注的三维结果进行三维修饰,使标注结果更加连续;标注的肺部轮廓和目标区域数据格式保存为nrrd格式。
步骤s104、调整ct平扫影像分辨率至分辨率统一值,并根据预设的第一灰度值裁剪范围裁剪ct平扫影像的数值矩阵,对裁剪后的数据进行归一化处理。
本实施例中,分辨率统一值可设为[1mm,1mm,2.5mm],第一灰度值裁剪范围为[-200,400]。在裁剪之后,还需要通过如下公式对ct平扫影像的数值矩阵中的数据进行归一化处理,使裁剪后的ct平扫影像的数值矩阵中所有数值变为0-1之间的一个数值:
其中,k代表裁剪后的ct平扫影像的数值矩阵中像素点的值。
步骤s105、使用归一化处理后的原始ct平扫影像数据和已标注的肺部轮廓数据,并利用第一神经网络进行训练学习,得到肺部轮廓分割模型。
由于新冠肺炎ct影像特征均表现在肺部内,因此排除ct影像中其它脏器器官组织的干扰,可有效地提高目标区域的准确性。由于肺部区域和周围组织有较明显的差异,因此可使用深度学习分割算法,提取出肺部区域。使用归一化处理后的原始ct平扫影像数据和已标注的肺部轮廓数据,并利用第一神经网络进行训练学习,得到一个性能优良的肺部轮廓分割模型。
本实施例中,第一神经网络采用3d-unet网络,其网络结构如图2所示。3d-unet网络训练过程中使用的损失函数包括dice-loss和focal-loss。dice-loss是医学图像分割中常用的损失函数,dice是一种集合相似度度量函数,通常用于计算两个样本的相似度,dice-loss的数学表达式如下:
其中,
focal-loss是一个解决分类问题中类别不平衡、分类难度差异的一个loss。分割任务是像素级的分类,因此focalloss在分割任务中也是有效的。focalloss的数学表达式如下:
其中,γ为聚焦参数,pt为预测样本属于1的概率,
步骤s106、根据肺部轮廓分割模型提取出肺部轮廓,以肺部轮廓外接立方体作为肺部roi,并扩大肺部roi。
图3b是本实施例使用肺部轮廓分割模型对图3a所示的肺部ct平扫影像提取出的肺部轮廓示意图。在具体应用中,需要对肺部roi(regionofinterest,感兴趣区域)进行适当的扩大,例如:肺部roi可在x、y和z轴方向上分别扩大10个像素。扩大肺部roi的作用在于不使外接立方体与肺部轮廓完全相切,使得外接立方体与肺部轮廓之间留有间隔,避免遗漏肺部边界处的目标区域。
步骤s107、调整肺部roi分辨率至分辨率统一值,并根据预设的第二灰度值裁剪范围裁剪肺部roi数值矩阵,对裁剪后的数据进行归一化处理。
本实施例中,本步骤的分辨率统一值与步骤s104中的分辨率统一值相同,第二灰度值裁剪范围为[-1200,600]。需要说明的是:裁剪肺部roi数值矩阵并不是改变肺部roi的尺寸大小,而是改变肺部roi数值矩阵中数值的大小;参见表1和表2,假设第二灰度值裁剪范围为[-1200,600],如果肺部roi数值矩阵中某一个像素点的值在[-1200,600]之间,则该像素点的值不变;如果肺部roi数值矩阵中某一个像素点的值大于600,则令其等于600;如果肺部roi数值矩阵中某一像素点的值小于-1200,则令其值等于-1200。
表1
表2
表1为原始肺部roi数值矩阵(代表原始肺部roi图像);表2为根据灰度值裁剪范围裁剪后的肺部roi数值矩阵(代表裁剪后的肺部roi图像),其中黑字粗体为改变后的像素点的值。
在裁剪之后,还需要通过如下公式对肺部roi数值矩阵中的数据进行归一化处理,使裁剪后的肺部roi数值矩阵中所有数值变为0-1之间的一个数值:
其中,t代表裁剪后的肺部roi数值矩阵中像素点的值,即表2中的数值。例如:-1200归一化后变为0,600归一化后变为1,300归一化后变为0.83。
步骤s108、将归一化处理后的肺部roi进行随机裁剪。
随机裁剪是指在肺部roi按照裁剪尺寸预设值任意裁剪一块区域,例如任意裁剪一块256☓192☓128像素点的区域。
步骤s109、使用裁剪后的肺部roi数据和已标注的目标区域,利用第二神经网络进行训练学习,得到肺部目标区域分割模型。
本实施例中,第二神经网络采用attention3d-unet,其网络结构如图4所示。attention3d-unet网络加入了attention机制,可以使网络学习到更重要的区域信息。
步骤s110、根据新冠肺炎患者肺部ct平扫影像数据和肺部目标区域分割模型,分割出肺部目标区域。
参见表3,本实施例采集了1000例来自多个中心及地区的不同年龄的新冠肺炎患者的肺部ct平扫影像数据,选取800例作为训练数据量,进行神经网络attention3d-unet训练学习,得到肺部目标区域分割模型;选取200例作为测试数据量,输入肺部目标区域分割模型,分割出肺部目标区域。由表3可以看出,训练集损失函数dice和测试集损失函数dice的分数均接近1,且训练集损失函数dice和测试集损失函数dice的分数接近,从而验证了新冠肺炎患者肺部目标区域分割模型的准确性和泛化性。同时,通过肺部ct影像也可验证肺部目标区域分割模型的准确性:图5a和图5b分别是某一测试数据对应的新冠肺炎患者肺部ct平扫影像示意图,以及使用肺部目标区域分割模型分割出的肺部目标区域示意图;由图5a与图5b的比对可以看出,通过肺部目标区域分割模型分割出的肺部目标区域与原始新冠肺炎患者肺部ct平扫影像中标注的目标区域的相近似度极高,从而再次验证了肺部目标区域分割模型的准确性。
表3
本发明实施例提供的肺部ct影像数据分割方法,通过将ct影像与人工智能技术相结合,利用人工智能深度学习技术,使计算机在短期内学习到了大量的肺部ct影像特征,提高了肺部ct影像数据的处理效率。本发明提供的肺部ct影像数据分割方法,可以快速地分割出肺部ct影像数据中的目标区域,进而对分割出的目标区域进行三维重建,便于直观展示,可广泛应用于各种肺部疾病的检查,例如肺结节、肺癌、新冠肺炎等,为医生提供更加清晰准确的目标区域图像。
参见图6,本发明实施例还提供了一种肺部ct影像数据分割系统,该系统包括:
标注模块,用于在肺部ct平扫影像数据中标注肺部轮廓与目标区域;
第一裁剪归一化模块,用于对影像数据作数值裁剪和归一化处理;
第一训练学习模块,用于使用第一裁剪归一化模块处理后的影像数据和标注模块已标注的肺部轮廓数据,利用第一神经网络进行训练学习,得到肺部轮廓分割模型;
第二裁剪归一化模块,用于根据第一训练学习模块得到的肺部轮廓分割模型提取出肺部轮廓,以肺部轮廓外接立方体作为肺部感兴趣区域,并对肺部感兴趣区域作数值裁剪和归一化处理;
第二训练学习模块,用于将第二裁剪归一化模块处理后的肺部感兴趣区域进行裁剪,并使用裁剪后的肺部感兴趣区域数据和标注模块已标注的目标区域,利用第二神经网络进行训练学习,得到肺部目标区域分割模型;
分割模块,用于根据影像数据和肺部目标区域分割模型,分割出肺部目标区域。
其中,标注模块进一步包括:
获取单元,用于获取肺部ct平扫影像数据;
清洗单元,用于清洗获取单元获取的影像数据,去除存在伪影和/或扭曲变形的ct平扫影像数据;
标注单元,用于采用手工勾勒标注法在清洗单元清洗后的影像数据中标注肺部轮廓与目标区域。
其中,第一裁剪归一化模块进一步包括:
第一设置单元,用于预设第一灰度值裁剪范围;
第一调整单元,用于调整影像分辨率至第一分辨率统一值;
第一裁剪单元,根据第一设置单元预设的第一灰度值裁剪范围裁剪影像的数值矩阵;
第一归一化单元,用于将第一裁剪单元裁剪后的影像的数值矩阵中所有数值变为0-1之间的一个数值。
其中,第二裁剪归一化模块进一步包括:
提取单元,用于根据第一训练学习模块得到的肺部轮廓分割模型提取出肺部轮廓;
第二设置单元,用于预设第二灰度值裁剪范围;
建立单元,用于以提取单元提取的肺部轮廓外接立方体作为肺部感兴趣区域;
第二调整单元,用于调整建立单元确定的肺部感兴趣区域分辨率至第二分辨率统一值;
第二裁剪单元,用于根据第二设置单元预设的第二灰度值裁剪范围裁剪肺部感兴趣区域数值矩阵;
第二归一化单元,用于将第二裁剪单元裁剪后的肺部感兴趣区域数值矩阵中所有数值变为0-1之间的一个数值。
本发明实施例提供的肺部ct影像数据分割方法及系统,通过将ct影像与人工智能技术相结合,利用人工智能深度学习技术,使计算机在短期内学习到了大量的肺部ct影像特征,提高了肺部ct影像数据的处理效率。本发明提供的肺部ct影像数据分割方法及系统,可以快速地分割出肺部ct影像数据中的目标区域,进而对分割出的目标区域进行三维重建,便于直观展示,可广泛应用于各种肺部疾病的检查,例如肺结节、肺癌、新冠肺炎等,为医生提供更加清晰准确的目标区域图像。
在实际应用中,本实施例中所涉及的各个功能模块及单元,均可以由运行在计算机硬件上的计算机程序实现,所述的程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的硬件指的是包含一个或者多个处理器和存储介质的服务器或者台式计算机、笔记本电脑等;所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory,ram)等;所述计算机程序由不限于c、c++等计算机语言实现。
以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。