本发明涉及一种基于医学影像的病案图像建模系统。
背景技术:
医学影像是指为了医疗或医学研究,对人体或人体某部分,以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向:医学成像系统(medical imaging system)和医学图像处理(medical image processing)。前者是指图像形成的过程,包括对成像机理、成像设备、成像系统分析等问题的研究;后者是指对已经获得的图像作进一步的处理,其目的是或者是使原来不够清晰的图像复原,或者是为了突出图像中的某些特征信息,或者是对图像做模式分类等等。
现有技术的医学影像的形成方式包括CT(Computed Tomography),即电子计算机断层扫描;MR〔Magnetic Resonance〕,即磁共振;DSA(Digital subtraction angiography),即数字血管造影。上述方式均会先采集多幅图像而后进行处理。在本申请中均称为薄层扫描图像。
然而现有技术并不对基于医学影像的病例进行入库保存、也不对医学影像进行拆分,同时医院之间和不同医院的医生之间共享医学影像文件也没有实现。其中,现有技术对医学图像分割仅仅停留在对整个器官与外部非器官部分进行分割:比如申请号为CN201510729150.0的发明专利,该发明公开了一种医学图像中器官的识别与分割方法,识别方法包括:获取待处理的医学图像,将所述医学图像分别在X、Y 和Z 轴方向拆分成若干二维图像,并根据目标器官的大小设定检测窗口;利用所述检测窗口按照设定的检测步长分别对所述二维图像进行遍历检测,获取在X、Y 和Z 轴方向的检测结果;将所述检测结果进行结果融合,保留在X、Y和Z 轴三个方向上都检测为阳性的像素点,从而确定所述目标器官边界。又比如申请号为CN201510672278.8的发明专利,该发明公开了一种人体解剖结构模型、植入物快速成型方法,其中公开了该方法首先利用医疗成像系统、三维扫描仪、摄像摄影设备获取目标结构的图像数据;然后通过软件处理图像得到植入物、解剖结构或解剖结构各个部分、各个层次的三维数字模型。并不对某个器官的各个区域进行分割,比如,脑部就包括额叶、颞叶、顶叶、枕叶及小脑等部分,肝脏包括肝左叶和肝右叶等部分。同时,现有技术在分割期间也并不对病灶/靶区部分做特殊处理,使得后期难以对病灶/靶区部分做区别性观察。
技术实现要素:
本发明的目的在于克服现有技术的不足,提供一种基于医学影像的病案图像建模系统,对医院的薄层扫描图像在中心平台上建模拆分之后入库,医生终端可以获取知识库中的病例数据,方便不同医院以及不同医生获取数据。
本发明的目的是通过以下技术方案来实现的:一种基于医学影像的病案图像建模系统,它包括中心平台、和中心平台连接的多个医院系统;所述的中心平台包括建模拆分模块和知识库,中心平台获取来自医院系统发送的待建模与拆分的器官的薄层扫描图像,所述的建模拆分模块对薄层扫描图像器官进行建模与器官区域的拆分,并将建模与拆分的器官模型以病例的形式保存至知识库,下发至对应的医院系统;所述的医院系统包括医生终端,所述的医生终端用于获取待建模与拆分的器官的薄层扫描图像、将待建模与拆分的器官的薄层扫描图像上传至中心平台、接收中心平台发送的建模与拆分完成的器官模型、查询并获取知识库中的器官模型、对接收到的器官模型进行操作。
所述的建模拆分模块包括:
薄层扫描图像获取模块:用于获取待拆分器官的薄层扫描图像;
三维建模模块:用于基于薄层扫描图像,对所述待拆分器官进行三维建模;
器官拆分模块:对三维建模得到的模型进行多区域拆分。
所述的三维建模模块包括:
器官识别单元:将器官周围的非器官部分进行分离;
器官形态比较与匹配单元:用于与多种该器官的标准模板进行比较,判断器官形态,并匹配该形态的标准模板;
器官三维建模单元:用于对该器官进行三维建模。
当器官形态为坍塌或者萎缩或者不完全,则手动对坍塌或者萎缩或者不完全的器官边界进行划分。
所述的待拆分器官为脑叶,所述的多区域为额叶、颞叶、顶叶、枕叶及小脑;
所述的薄层扫描图像获取模块用于获取脑叶的薄层扫描图像;
所述的三维建模模块包括:
预处理单元:用于对脑叶的薄层扫描图像进行去头皮去骨处理;
头部模型构建单元:用于基于预处理后的薄层扫描图像构建头部模型;所述的构建头部模型采用图像特征算法和定位算法实现;所述的图像特征算法包括对扫描图像的脑部沟壑进行判断,根据灰度的不同得到脑叶的边界;所述的定位算法包括根据对器官的标准模板进行十字交叉定位确认脑叶的边界;
所述的器官拆分模块包括:
器官拆分与空间转换单元:用于针对任意一个图像,将标准模板对应的模板图像的各区域与个体图像进行空间匹配变形处理,把模板空间的各个脑叶分区图像对应变形到个体脑空间,完成大脑区域分割;
二值化单元:用于将个体空间脑叶图像进行二值化处理,形成脑叶mask矩阵;
转换单元:用于将脑叶mask矩阵进行再转化,转化为系统可识别的区域。
所述的待拆分器官为肝脏,所述的多区域为肝左叶和肝右叶;
所述的薄层扫描图像获取模块用于使用DCMTK读取肝脏的DICOM序列图像;
所述的三维建模模块包括:
预处理单元:采用各向异性扩散滤波算法去掉噪声,强化图像边缘;
图像特征强化单元:采用OTSU算法强化图像特征;
肝脏区域提取单元:采用形态学算法、或者水平集分割算法、或者自适应区域生长算法和BP神经网络算法的结合,提取肝脏区域;
后处理单元:用于对提取的肝脏区域进行腐蚀处理,并采用漫水填充法对图像进行后处理;
肝脏区域确定单元:将后处理单元得到的图像与原始图像相与,得到最终的肝脏区域;
所述的器官拆分模块用于对得到的肝脏区域进行多区域拆分包括:
器官拆分与空间转换单元:用于针对任意一个图像,将标准模板对应的模板图像的各区域与个体图像进行空间匹配变形处理,把模板空间的各个肝脏分区图像对应变形到个体肝脏空间,完成肝脏区域分割;
二值化单元:用于将个体空间肝脏图像进行二值化处理,形成肝脏mask矩阵;
转换单元:用于将肝脏mask矩阵进行再转化,转化为系统可识别的区域。
在所述的建模与拆分的器官模型以病例的形式保存至知识库中,将病例打上标签进行保存;在所述的查询并获取知识库中的器官模型时,通过对标签的搜索进行查询。
所述的医院系统还包括虚拟现实操作设备,通过网络与中心平台连接,用于向中心平台发送器官模型获取请求、接收中心平台发送的已经完成三维建模以及多区域拆分的器官模型、通过虚拟现实设备对多区域拆分的模型进行包括各个区域进行移动或者隐藏在内的操作。
所述的虚拟现实操作设备包括加密控制装置和虚拟现实操作装置,所述的虚拟现实操作装置通过加密控制装置和互联网与中心平台连接;所述的加密控制装置用于在虚拟现实操作装置发送获取请求时对获取请求进行加密操作;所述的中心平台对经过加密操作的获取请求进行解析,当判断虚拟现实操作装置连接有加密控制装置时才向虚拟现实操作设备发送器官模型。
本发明的有益效果是:
(1)本发明提供了一种基于医学影像的病案图像建模系统,医院系统将薄层扫描图像上传至中心平台,中心平台对图像进行建模与拆分,并进行保存,方便不同医院或者不同医生之间的数据获取。
(2)本发明的中心平台将医学图像分割不仅停留在对整个器官与外部非器官部分进行分割,还进一步的对器官的各个区域进行分割以及对病灶/靶区的分割;对病灶(肿瘤)/靶区位置的分析以及手术方式的确定起很大的作用。
(3)通过虚拟现实技术对分割的器官进行观察,效果逼真;并且进一步的对于采用虚拟现实设备进行器官模型数据获取的用户需要有得到认证后才能进行数据获取,即构建有加密控制装置。
附图说明
图1为本发明结构方框图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案。
如图1所示,一种基于医学影像的病案图像建模系统,它包括中心平台、和中心平台连接的多个医院系统;所述的中心平台包括建模拆分模块和知识库,中心平台获取来自医院系统发送的待建模与拆分的器官的薄层扫描图像,所述的建模拆分模块对薄层扫描图像器官进行建模与器官区域的拆分,并将建模与拆分的器官模型以病例的形式保存至知识库,下发至对应的医院系统;所述的医院系统包括医生终端,所述的医生终端用于获取待建模与拆分的器官的薄层扫描图像、将待建模与拆分的器官的薄层扫描图像上传至中心平台、接收中心平台发送的建模与拆分完成的器官模型、查询并获取知识库中的器官模型、对接收到的器官模型进行操作。
在下述任意一个实施例中,薄层扫描图像为CT、MR或DSA中任意一个得到的图像。
进一步的,所述的建模拆分模块包括:
薄层扫描图像获取模块:用于获取待拆分器官的薄层扫描图像;
三维建模模块:用于基于薄层扫描图像,对所述待拆分器官进行三维建模;
器官拆分模块:对三维建模得到的模型进行多区域拆分。
其中,由于待拆分器官不一定是通常意义下完整的器官,会与标准模板的器官具有一定差异,因此会有一个预先判断的步骤,具体地:
所述的三维建模模块包括:
器官识别单元:将器官周围的非器官部分进行分离;
器官形态比较与匹配单元:用于与多种该器官的标准模板进行比较,判断器官形态,并匹配该形态的标准模板;
器官三维建模单元:用于对该器官进行三维建模。
并且进一步地,当器官形态为坍塌或者萎缩或者不完全,则手动对坍塌或者萎缩或者不完全的器官边界进行划分。比如当判断出为颞叶萎缩的脑部,则选择颞叶萎缩的标准模板完成三维建模以及区域划分,对于颞叶的边界则采用手动划分的方式实现。
另外,标准模板的器官为已经划分了区域的模板,便于后期的对照。
实施例1为对脑叶的拆分;在本实施例中,所述的待拆分器官为脑叶,所述的多区域为额叶、颞叶、顶叶、枕叶及小脑;
所述的薄层扫描图像获取模块用于获取脑叶的T1加权成像的薄层扫描图像;
T1加权成像(T1-weighted imaging,T1WI)是指这种成像方法重点突出组织纵向弛豫差别,而尽量减少组织其他特性如横向弛豫等对图像的影响。
所述的三维建模模块包括:
预处理单元:用于对脑叶的薄层扫描图像进行去头皮去骨处理;
头部模型构建单元:用于基于预处理后的薄层扫描图像构建头部模型;所述的构建头部模型采用图像特征算法和定位算法实现;所述的图像特征算法包括对扫描图像的脑部沟壑进行判断,根据灰度的不同得到脑叶的边界;所述的定位算法包括根据对器官的标准模板进行十字交叉定位确认脑叶的边界;
采用两种方式共同对脑叶边界进行划分,得到的效果更好。
所述的器官拆分模块包括:
器官拆分与空间转换单元:用于针对任意一个图像,将标准模板对应的模板图像的各区域与个体图像进行空间匹配变形处理,把模板空间的各个脑叶分区图像对应变形到个体脑空间,完成大脑区域分割;
二值化单元:用于将个体空间脑叶图像进行二值化处理,形成脑叶mask矩阵;
转换单元:用于将脑叶mask矩阵进行再转化,转化为系统可识别的区域。
在本实施例中,所述的系统可识别的区域为可以通过VR设备或者PC设备识别的区域。其中,对于VR设备,采用Unreal Engine或Unity引擎对模型赋予有物理属性的物体,并添加如拾取、拆分等功能程序模块,实现其可VR内操作的特性。方便后期的操作。
实施例2为对肝脏的拆分;在本实施例中,所述的待拆分器官为肝脏,所述的多区域为肝左叶和肝右叶;
所述的薄层扫描图像获取模块用于使用DCMTK读取肝脏的DICOM序列图像;
由于现在的医学影像设备的图像存储和传输正在逐渐向DICOM标准靠拢,在我们进行医学图像处理的过程中,经常需要自己编写和DICOM格式的图像相关的各种程序模块,以完成自己处理功能。如果从头开始理解DICOM的协议,然后完全自己编写这些代码来实现这些协议,是一件工程浩大的事情。德国offis公司开发的DCMTK,为我们提供了实现DICOM协议的一个平台,使得我们可以在它的基础上轻松的完成自己的主要工作,而不必把太多的精力放在实现DICOM协议的细节问题上。
所述的三维建模模块包括:
预处理单元:采用各向异性扩散滤波算法去掉噪声,强化图像边缘;
图像特征强化单元:采用OTSU算法强化图像特征;包括增强所增强部位的特征形态,防止在后续分割中待分割区域与其它区域混淆
肝脏区域提取单元:采用形态学算法、或者水平集分割算法、或者自适应区域生长算法和BP神经网络算法的结合,提取肝脏区域;
后处理单元:用于对提取的肝脏区域进行腐蚀处理,并采用漫水填充法对图像进行后处理;
肝脏区域确定单元:将后处理单元得到的图像与原始图像相与,得到最终的肝脏区域;
所述的器官拆分模块用于对得到的肝脏区域进行多区域拆分包括:
器官拆分与空间转换单元:用于针对任意一个图像,将标准模板对应的模板图像的各区域与个体图像进行空间匹配变形处理,把模板空间的各个肝脏分区图像对应变形到个体肝脏空间,完成肝脏区域分割;
二值化单元:用于将个体空间肝脏图像进行二值化处理,形成肝脏mask矩阵;
转换单元:用于将肝脏mask矩阵进行再转化,转化为系统可识别的区域。
在本实施例中,所述的系统可识别的区域为可以通过VR设备或者PC设备识别的区域。其中,对于VR设备,采用Unreal Engine或Unity引擎对模型赋予有物理属性的物体,并添加如拾取、拆分等功能程序模块,实现其可VR内操作的特性。方便后期的操作。
在上述任意一个实施例中,当完成了对器官区域的拆分,可以方便后期对病灶(肿瘤)/靶区位置的分析。比如,肝脏的每个区域均分布有血管,肿瘤通常通过血管进行营养物质的获取;而如果采用现有技术的方式,仅仅将器官之间进行划分,会使得肿瘤位置不一定会方便观察。而采用上述实施例的方法,可以在后期进行分析的时候,手动对器官区域进行拆分(VR/电脑的方式实现),方便对病灶(肿瘤)/靶区位置的分析。
因此,进一步地,所述的医生终端还在获取待建模与拆分的器官的薄层扫描图像后,对其中一幅薄层扫描图像的病灶/靶区的外轮廓进行勾画,同时将完成病灶/靶区勾画的待建模与拆分的器官的薄层扫描图像上传至中心平台。所述的中心平台在进行建模时,还单独对病灶/靶区进行建模。对于病灶/靶区的三维建模采用相同阈值的区域增长算法确定边界实现,所述的阈值为灰度值。
进一步地,在所述的建模与拆分的器官模型以病例的形式保存至知识库中,将病例打上标签进行保存;在所述的查询并获取知识库中的器官模型时,通过对标签的搜索进行查询。
所述的医院系统还包括虚拟现实操作设备,通过网络与中心平台连接,用于向中心平台发送器官模型获取请求、接收中心平台发送的已经完成三维建模以及多区域拆分的器官模型、通过虚拟现实设备对多区域拆分的模型进行包括各个区域进行移动或者隐藏在内的操作。
并且进一步的,所述的虚拟现实操作设备包括加密控制装置和虚拟现实操作装置,所述的虚拟现实操作装置通过加密控制装置和互联网与中心平台连接;所述的加密控制装置用于在虚拟现实操作装置发送获取请求时对获取请求进行加密操作;所述的中心平台对经过加密操作的获取请求进行解析,当判断虚拟现实操作装置连接有加密控制装置时才向虚拟现实操作设备发送器官模型。目的为一个前期的安全考虑,只有连接了加密控制装置的虚拟现实操作装置才能获取数据中心的数据。而对于采用医生终端进行数据获取,则不需要进行加密操作。
实施例4为医院设置有自己的内部数据库以及数据处理中心,具体地:所述的数据中心设置于医院内,与医院内的多个医生用终端通过内网连接。每个与薄层扫描仪器的连接的医生用终端,均通过内网与医院内部的数据中心连接;医院内部的数据中心对医院内部的数据进行处理与保存,当医生需要模型的时候,直接下发。采用内网连接,提高安全性能。
进一步地,在上述实施例中,所述的医生用终端可以是PC机或者移动终端,均需配置对应的客户端(C/S)或者通过浏览器进行服务(B/S);虚拟现实操作装置为虚拟现实眼镜套件。
另外,在上述实施例中,通过虚拟现实操作设备通过虚拟现实设备对多区域拆分的模型进行操作,具体可以为:当需要对额叶和颞叶之间的病灶(肿瘤)进行观察时,首先将其他拆分的区域(顶叶、枕叶及小脑)进行隐藏,然后对额叶和颞叶其中一个拆分区域进行平行移动(不进行旋转),对病灶的位置和形状进行观察(包括对整体模型的旋转和对单个/多个区域的旋转),为后期做手术进行准备;当观察完成后,还可以对其他拆分的区域进行再显示以及还原到最初的位置。