基于深度卷积神经网络医学图像融合算法的制作方法

技术领域：

本发明涉及医学图像融合技术领域，具体涉及一种基于深度卷积神经网络医学图像融合算法。

背景技术：
：

随着医学及计算机技术的发展，医学影像已经成为临床医生诊断、治疗或制定手术计划的一种常规的辅助手段，无论是疾病诊断、手术计划的确定与模拟，还是手术计划的实施与监控都离不开医学影像给出的准确的信息。不同的医学影像可以提供人体相关脏器和组织的不同信息，不同成像技术对人体同一解剖结构所得到的形态和功能信息往往是互为差异、互为补充的。因此，利用图像融合技术，可以对不同医学影像信息进行适当的集成，在一幅图像上同时表达来自多种成像源的信息，毫无疑问，融合得到的图像可以为临床医生对病灶的观察和对疾病的诊断提供更加直观、全面和清晰的判断依据，提高疾病诊断的准确性和正确性，也必将推动现代医学临床技术的进步。

图像融合就是将用不同方法获得的同一景物的图像(或用同-方法在不同时刻获得的图像)采用某种算法进行综合处理，以得到一个新的、满足要求的图像。通过将多个图像融合，可克服由单一图像带来的图像在几何、光谱和空间分辨率等方面存在的局限性和差异性，提高图像的质量，从而有利于对物理现象和事件定位、识别和解释。

医学影像学是临床诊断信息的重要来源之一。根据医学图像所提供的信息内涵，可将医学影像分为两大类:解剖结构图像(ct、mri、b超等)和功能图像(spect、pet等)。它们为医学诊断提供了不同模态的图像，这些多模态的医学图像可以提供不同的医学信息，各有其优缺点:功能图像分辨率较差，但它提供的脏器功能代谢信息是解剖图像所不能替代的;解剖图像以高分辨率提供了脏器的解剖形态信息(功能图像无法提供脏器或病灶的解剖细节)，但无法反映脏器的功能情况。如:ct图像具有很高的分辨力，骨骼成像非常清晰，对病灶的定位提供了良好的参照，但对病灶本身的显示就较差；mri图像虽然空间分辨力比不上ct图像，而且又缺乏刚性的骨组织作为定位参照，但是它对软组织成像清晰，有利于病灶范围的确定；pet图像对正常组织的显示不敏感，但是它对淋巴结、神经、腺体和肿瘤组织的显示极为敏感，能够突出、立体、多角度地显示病变组织。目前各种成像设备的研究都已取得了很大的进步，各自图像的空间分辨率和图像质量有很大的提高，但由于成像原理不同所造成的图像信息局限性，使得单独使用某-类图象的效果并不理想，且进展缓慢，往往事倍功半，所以医学图像融合技术应运而生。

目前医学图像融合中常用的还是像素级的图像融合方法，主要算法有加权平均法、基于图像分割的融合法、对比度调制法、逻辑滤波法、多分辨塔式算法、小波变换法等。虽然目前医学图像的融合方法很多，但在临床应用中还存在着许多尚未解决的技术难题。首先由于各种成像系统的成像原理不同，其图像采集方式、格式以及图像的大小、质量、空间与时间特性都有很大差别，因此研究稳定且精度较高的全自动医学图像配准与融合方法是图像融合技术的难点之一，其次图像理解是医学图像融合的最终目的，图像融合的潜力在于综合处理应用各种成像设备所得信息以获得新的有助于临床诊断的信息，由于图像融合技术目前还是一个全新的研究领域，因此如何理解和利用这些新的综合信息，还需要不断地实验和证明。

技术实现要素：
：

本发明的目的是提供一种基于深度卷积神经网络医学图像融合算法，采用深度卷积神经网络通过卷积层数的选取，使得测试图像的融合精度更高。

上述的目的通过以下的技术方案实现：

一种基于深度卷积神经网络医学图像融合算法，该算法包括如下步骤：

步骤一、输入ct图像和mri图像，进行图像预处理操作，包括灰度，二值化，滤波去噪；

步骤二、将两张图像进行归一化处理，将不同源的图像整合在同一像素级下；

步骤三、采用最佳的配准方法对图像进行配准处理，使用搜索算法，在搜索空间中找到使得相似性度量最优的解；

步骤四、将配准之后的子带图像进行像素级图像融合处理，将融合之后的子带图像通过多尺度retinex算法进行特征提取增强，多尺度retinex是在单尺度retinex算法的基础上发展而来，单尺度retinex算法的具体流程如下：

（1）读入原图s(x,y)，若为灰度图，则将图像每个像素的灰度值由整数值转换为浮点数，并转换到对数域；若输入是彩图，将图像的每个颜色分类分别处理，将每个分量的像素值由整数值转换为浮点数，并转换到对数域中，方面后面的数据计算；

（1）

（2）

（3）

其中r(x,y)为输出图像，*为卷积符号，f(x,y)为中心环绕函数，可以表示为：

（4）

其中c表示为高斯环绕尺度，λ是一个尺度，它的取值必须满足以下条件：

（5）

（2）输入尺度c，在离散条件下，积分转换为求和，进一步确定参数λ的值；

（3）根据前面的公式，计算得到r(x,y)，果是彩图，则每个通道均为ri=(x,y)；

（4）将r(x,y)从对数域转换到实数域得到输出图像r(x,y)；

（5）对r(x,y)线性拉伸并以相应的格式输出显示；

多尺度retinex算法是在单尺度retinex算法的基础上发展而来，多尺度retinex算法的计算公式如下：

（6）

其中式子中的k是高斯中心环绕函数的个数，当k=1时，多尺度retinex算法退化为单尺度retinex算法；

步骤五、进入到已经训练好的深度卷积神经网络里进行图像的特征匹配，进行分类决策，最后得到融合的图像；

深度卷积神经网络主要是由输入层、卷积层、激活函数、池化层、全连接层组成；

输入层：深度卷积网络将图片作为网络的输入，通过训练提取特征，将图片进行预处理；

卷积层：通过卷积运算是对输入进行另一种表示，卷积层视为黑盒子，输出看作是输入的另外一种表示，整个网络的训练所需的中间参数；

池化层：通过池化处理缩小图片特征尺寸，2*2的池化使特征图大小减半，采用大小为3*3，步长为2，pad=0的卷积核替换池化层；

激活函数：网络中卷积层的激励函数和池化层的激励函数都是线性整流函数，网络中引入非线性类似relu的变体函数；

全连接层：常见的网络会含有两个全连接层，第二个全连接层的输出与分类个数的输出对应，第一个卷积层通过全局平均池化层等替换；

步骤六、利用源图像的评价指标，对融合之后图像的参数进行计算对比源图。

所述的基于深度卷积神经网络医学图像融合算法，所述的步骤三将配准之后的子带图像进行像素级图像融合采用contourlet变换。

有益效果：

1.本发明采用深度卷积神经网络，通过卷积层数的选取，使得测试图像的融合精度更高，将不同源的ct图和mri图像融合之后，利用深度卷积神经网络对细节特征进行匹配，分类决策，提高特征信息配对的成功率，使得两者结合达到信息互补，让医生对疾病的预判确诊率更高，确定疾病的病灶更加精确。

2.本发明结合了contourlet变换，contourlet变换能够仅利用少量的非零系数有效地捕捉图像中的光滑轮廓，而且它通过使用迭代方向滤波器组可以在高频实现任意多个方向的分解，从而提供图像在任意方向上的细节信息，在融合过程中，contourlet变换应能很好地利用各幅源图像在各个方向上的细节信息，并最终将重要的信息转移至融合图像中，同时加入了retinex图像增强算法，使得图像的特征得到增强，还采用更加科学的图像融合评价指标对融合之后的图像进行质量评估，通过互补信息和冗余信息的优化组合导出更有效的图像，强化所包含的信息、增强图像理解的可靠性，利用两者的有机联合优势提高整体系统的效用，融合后的结果图像具有较好的置信度，鲁棒性，可靠性，分类性。

附图说明：

附图1是本发明的流程图；

附图2是深度卷积神经网络结构；

附图3是relu函数及其改进函数；

附图4是ct图像；

附图5是mri图像；

附图6是简单融合方法仿真效果图；

附图7是塔式分解方法仿真效果图；

附图8是小波变换仿真效果图；

附图9是融合深度卷积网络仿真效果图。

具体实施方式：

实施例1：

一种基于深度卷积神经网络医学图像融合算法，该算法包括如下步骤：

步骤一、输入ct图像和mri图像，进行图像预处理操作，包括灰度，二值化，滤波去噪；

步骤二、将两张图像进行归一化处理，将不同源的图像整合在同一像素级下；

步骤三、采用最佳的配准方法对图像进行配准处理，使用搜索算法，在搜索空间中找到使得相似性度量最优的解；

步骤四、将配准之后的子带图像进行像素级图像融合处理，将融合之后的子带图像通过多尺度retinex算法进行特征提取增强，多尺度retinex是在单尺度retinex算法的基础上发展而来，单尺度retinex算法的具体流程如下：

（1）读入原图s(x,y)，若为灰度图，则将图像每个像素的灰度值由整数值转换为浮点数，并转换到对数域；若输入是彩图，将图像的每个颜色分类分别处理，将每个分量的像素值由整数值转换为浮点数，并转换到对数域中，方面后面的数据计算；

（1）

（2）

（3）

其中r(x,y)为输出图像，*为卷积符号，f(x,y)为中心环绕函数，可以表示为：

（4）

其中c表示为高斯环绕尺度，λ是一个尺度，它的取值必须满足以下条件：

（5）

（2）输入尺度c，在离散条件下，积分转换为求和，进一步确定参数λ的值；

（3）根据前面的公式，计算得到r(x,y)，果是彩图，则每个通道均为ri=(x,y)；

（4）将r(x,y)从对数域转换到实数域得到输出图像r(x,y)；

（5）对r(x,y)线性拉伸并以相应的格式输出显示；

多尺度retinex算法是在单尺度retinex算法的基础上发展而来，多尺度retinex算法的计算公式如下：

（6）

其中式子中的k是高斯中心环绕函数的个数，当k=1时，多尺度retinex算法退化为单尺度retinex算法；

步骤五、进入到已经训练好的深度卷积神经网络里进行图像的特征匹配，进行分类决策，最后得到融合的图像；

深度卷积神经网络主要是由输入层、卷积层、激活函数、池化层、全连接层组成，以下将以人脸识别为例结合说明书附图2对网络的各个组成部分进行简单的介绍：

输入层：深度卷积网络可直接将图片作为网络的输入，通过训练提取特征，但是为了获得更好的效果，通常需要将图片进行预处理，在人脸识别中，就需要进行人脸检测等处理，此外在样本不足的情况下会需要进行样本增强处理，包括旋转、平移，剪切、增加噪声、颜色变换等；

卷积层：通过卷积运算实质是对输入进行另一种表示，若将卷积层视为黑盒子，可以将输出看作是输入的另外一种表示，而整个网络的训练也就是训练出这种表示所需的中间参数；

池化层：是卷积神经网络中的一种对数据进行的特殊处理操作，通过池化处理缩小图片特征尺寸，能有效的去除由上一层的结果作为输入而带来的计算量较大的问题，2*2的池化可以使特征图大小减半，后常采用大小为3*3，步长为2，pad=0的卷积核替换池化层，可实现类似的效果；

激活函数：网络中卷积层的激励函数和池化层的激励函数都是线性整流函数，网络中引入非线性类似relu的变体函数，常见的激活函数如说明书附图3所示；

全连接层：该层是网络中消耗参数最多的层，若全连接层的输入是3*3*100，全连接层的输出是256，则该层需要3*3*100*256个参数；而一般的卷积层，若卷积核为3*3，输出为256，则仅需3*3*256个参数，常见的网络会含有两个全连接层，第二个全连接层的输出与分类个数的输出对应，第一个卷积层是可以通过全局平均池化层等替换；

步骤六、利用源图像的评价指标，对融合之后图像的参数进行计算对比源图。

实施例2：

根据实施例1所述的基于深度卷积神经网络医学图像融合算法，所述的步骤三将配准之后的子带图像进行像素级图像融合采用contourlet变换。

图像融合的目的是为了得到符合人眼视觉感知的综合图像，目前小波变换因具有良好的视觉多尺度性和时频局部特性，而广泛应用于图像融合领域。但是对于二维图像数据结构，占据很重要地位的直线、曲线以及边缘方向等细节信息，小波变换不能有效表示，多尺度几何分析中非下采样contourlet变换(nonsubsajnpledcontourlettransfbrm，nsct)被称为真正的图像最稀疏表示，它继承小波的多尺度性与时频局部性，又有多方向性与各向异性，同时解决了contourlet变换由于次采样而造成的振铃效应而具有平移不变性。

利用轮廓波变换和dcnn相结合，使得融合之后的图像各个方向的细节信息缺失减少，轮廓波变换继承了曲波变换的优良特性，contourlet变换能够仅利用少量的非零系数有效地捕捉图像中的光滑轮廓，而且它通过使用迭代方向滤波器组可以在高频实现任意多个方向的分解，从而提供图像在任意方向上的细节信息，因此，contourlet变换具有较高的方向敏感性和较好的非线性逼近性能，在融合过程中，contourlet变换应能很好地利用各幅源图像在各个方向上的细节信息，并最终将重要的信息转移至融合图像中。

常用像素级的图像融合技术有简单加权方法，多分辨塔式方法、小波变换方法的图像融合方法等：

简单加权方法对参加融合的源图像不做任何变换或分解，只进行选择、平均或加权平均等简单处理后合成一副融合图像，仿真效果如说明书附图6所示。

多分辨塔式方法是由bur和alclon提出的金字塔式图像分解方法，toat提出了基于亮度对比度的多尺度的低通金字塔分层融合方法。按照塔式结构形成方法的不同，多分辨塔式图像融合算法可分为高斯拉普拉斯金字塔、梯度金字塔、比率低通金字塔、形态学金字塔等，仿真效果如说明书附图7所示。

小波变换方法利用小波变换的优良特性，与金字塔式方法相比较，小波融合所作的修改就是用小波变换代替了塔式变换，根据分解形式的不同，基于小波变换的图像融合技术可分为金字塔形小波融合技术和树状小波融合技术，仿真效果如说明书附图8所示。