一种医学图像超分辨率重建方法与流程

本发明是医学图像超分辨率重建方法，适用于机器学习、模式识别和医学影像处理技术领域。

背景技术：

医学图像广泛应用于计算机辅助诊断中，如x射线图像、计算机断层扫描、核磁共振图像等改变了现代医学。因此获取高质量的医学图像对于精确诊断患病原因起到至关重要的作用，但是高分辨率图像的硬件设备价格昂贵和以及在特定环境下的成像技术的限制，必须通过软件的方式来获取高分辨率和清晰度的图像。以便于更好识别和确定疾病的精确位置，希望得到尽可能清晰的ct,mri图像，为医生提供更好的辅助诊断，便于观测相关特征甚至细微纹理。在数据驱动机器学习被广泛应用之前，传统的图像重建方法大多采用优化问题的形式，将观测到的lr图像与模型估计之间的成本最小化，通常采用某种形式的正则化项。然而，这些非学习方法通常有一个限制，它们需要关于良好的数据表示的先验知识，能提高的精度也有限。

随着深度学习的发展，图像的超分辨率表现有了很大的提高。其中，超分辨率卷积网络(srcnn)因其网络结构简单、恢复精度高而备受关注。但所需训练时间较长，依赖于小图像区域的上下文信息，训练收敛太慢，且网络仅针对单一尺度使用。设计一种能达到实时要求，拥有更高重建信噪比和结构相似度的超分辨率重建方法在临床应用中有着极其重要的意义，对医生诊断各类疾病起到更好的辅助作用，医学图像的超分辨率重建是计算机视觉领域的一个研究热点。

技术实现要素：

本发明的目的就是针对医学图像超分辨率重建存在重建速度慢、重建图像质量低等缺点，现有的重建方法无法达到高精度的同时满足实时要求。提出一种路由结构残差网络的医学图像超分辨率重建方法。

本发明采用的技术方案是：一种医学图像超分辨率重建方法，包括：

1)数据集来源thecancerimagingarchive(tcia)，该数据库是癌症研究的医学图像的开放获取数据库；

2)对医学图像数据进行归一化、旋转、扩增等预处理；

3)用基于路由的深度网络结构对原图像的胶囊残差特征图通过有监督训练方式学习其更深层特征；

4)在精准得到低分辨率到高分辨率映射关系后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构；

5)重构之后的图像得到了更高的分辨率以及更优的psnr,ssim等指标。

本文发明是基于深度学习框架keras，以tensorflow为后端引擎，运行在gpu工作站上，使用的测试平台：处理器为inteli7-7700cpu，内存为16gb，显卡nvidiageforcegtx1070。由于gpu显存不大，所以规模较大的神经网络无法在现有的机器中运行，这也是本实验做图像预处理之后采用小规模训练神经网络的原因。为了与现有的深度学习方法进行一个定量的比较，本文使用相同的tcia医学图像数据集对提出的方法进行评估。

目前有很多的重建和学习的方法用于医学图像超分辨率重建，但是重建速度和重建质量始终是超分辨率重建任务中面临的重要挑战之一。从tcia数据集中选出部分图像进行实验，对比srcnn等网络和本文网络的检测效果图，可以看出本文方法对图像中的超分辨率重建有更好的psnr,ssim和更低的重建时间。

本发明的效果是：提出了一种新的采用路由结构残差网络来对医学图像进行超分辨率重建。首先，通过卷积层提取图像的特征信息并封装在一个胶囊结构中；然后，通过路由结构层运算输入并预测图像的高分辨率细节。最后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，得到分辨率大幅提升的高分辨率图像。本方法在准确性、实时性、图像质量方面优于传统cnn方法如srcnn，该方法精度高、重建速度快、鲁棒性好，在医学疾病等计算机辅助诊断系统等领域有广阔的应用前景。

附图说明

图1为本发明采用的网络拓扑结构图；

图2为本发明采用的胶囊残差特征图；

图3为本发明采用的路由结构网络流程图；

图4(a)为本发明放大尺度为3的重建效果图原图；

图4(b)为本发明放大尺度为3的重建效果图srcnn重建图；

图4(c)为本发明放大尺度为3的重建效果图drcn重建；

图4(d)为本发明放大尺度为3的重建效果图vdsr重建图；

图4(e)为本发明放大尺度为3的重建效果图本发明重建图。

具体实施方法

见图1，图2，图3，图4(a)-图4(e)，一种医学图像超分辨率重建方法，通过卷积层提取图像的特征信息并封装在一个胶囊结构中；然后，通过路由结构层运算输入并预测图像的高分辨率细节。最后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，得到分辨率大幅提升的高分辨率图像；方法包括：

1)数据集来源thecancerimagingarchive(tcia)，该数据库是癌症研究的医学图像的开放获取数据库；

2)对医学图像数据进行归一化、旋转、扩增等预处理；

3)用基于路由的深度网络结构对原图像的胶囊残差特征图通过有监督训练方式学习其更深层特征；

4)在精准得到低分辨率到高分辨率映射关系后，将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构；

5)重构之后的图像得到了更高的分辨率以及更优的psnr,ssim等指标。

本发明所述的目标为医学图像超分辨率重建，将该医学图像超分辨率重建视为一个模式的转化问题，即医学图像为第一模式，胶囊残差特征图为第二模式；采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系。

本发明所述的医学图像超分辨率重建方法是：采用一个改进的卷积神经网络模拟第一模式和第二模式之间的映射关系；用损失函数表示当前神经网络重构图与标准图之间的误差；在训练过程中反复迭代误差损失函数，当损失函数尽可能小时，训练得到模型已能够有效提取对医学图像低分辨率到高分辨率的映射规律，通过所学到的规律准确重构出hr医学图像。整个医学图像超分辨率重建过程由图像胶囊残差特征提取、神经网络映射学习、重构图的合成三部分组成。

本发明基于路由结构残差神经网络架构设计了一个能够有效提取图像特征的神经网络；该网络包含特征的提取和特征重建两部分；该网络的思想是提出一个具有路由结构的残差神经网络，即在网络结构中用动态路由操作代替池化操作，提高对特征的有效利用，减少图像大量特征信息的丢失，并将得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构，在基于综合特征信息之后的重建图像有更高的分辨率和psnr,ssim。

本发明采用的深度网络是一个能预测特征检测概率的重复架构，每一层卷积层之后都有多个同样的路由结构网络来连接，其卷积核大小均为9x9，且每个卷积层后都有一个激活函数relu；在连续几个块之后是一个大小为3x3,步长为1的路由层，作用是降低图像分辨率，得到提取胶囊残差图像的深度特征；特征重建部分是将其得到的路由结构预测的胶囊残差特征图像与插值低分辨率图像进行融合重构；深度网络的输入是插值后的低分辨率医学图像，输出则是重构之后的高分辨率hr医学图像。