一种基于残差转置去卷积神经网络的胆道镜图像增强方法与流程

本发明属于计算机辅助医学，涉及一种胆道镜图像增强方法，具体涉及一种基于残差转置去卷积神经网络的胆道镜图像增强方法。

背景技术：

胆道结石是临床上一种较为常见的疾病类型，其发病原因有很多，主要是由于患者胆固醇的代谢紊乱以及胆汁分泌量降低所致。目前临床上针对胆道结石主要的治疗方式是胆道镜联合腹腔镜开腹手术。

胆道镜具有高图像质量和用于手术的工作通道，可以大大提高患者的治疗效果，腹腔镜对腹腔干扰少、损伤小，可在保持身体环境的稳定的情况下直接看脏器，有利于了解脏器的形状、大小、周围粘连情况等，能够准确及时的判断各种器官病变的程度和大小。通过胆道镜联合腹腔镜开腹手术，能够减少手术创伤，减少不必要的检查，且能够直接窥视并通过网篮进行取石，安全性明显提高。在胆道镜联合腹腔镜开腹手术中，胆道镜图像的成像质量直接影响着手术的成功率。

但是，目前在提高胆道镜图像成像质量的研究都应用在内窥镜镜头等硬件设施的性能提升上，而对在现有成像结果上通过增强模型进一步提高胆道镜图像成像品质的研究很少，因此，会造成胆道镜图像成像品质的增强效果不够，从而影响胆道结石手术的成功率。

技术实现要素：

为解决上述问题，提供一种能够在现有成像结果上进一步提高胆道镜图像成像品质的图像增强方法，本发明采用了如下技术方案：

本发明提供了一种基于残差转置去卷积神经网络的胆道镜图像增强方法，用于增强待处理胆道镜图像的成像品质，其特征在于，包括如下步骤：

步骤s1，将待处理胆道镜图像进行去运动模糊处理和去噪处理，获得待增强胆道镜图像；

步骤s2，将待增强胆道镜图像输入到训练完成的最终图像增强模型中进行增强处理，获得最终胆道镜图像；

其中，最终图像增强模型的训练过程，包括如下步骤：

步骤t1，构建去卷积残差转置网络模型，作为初始图像增强模型；

步骤t2，选取多个与待处理胆道镜图像类似的胆道内窥镜图像，作为训练图像和验证图像；

步骤t3，将训练图像和验证图像按照不同的比特深度分为低位数图像以及与低位数图像对应的高位数图像，作为初始图像增强模型的训练集和验证集；

步骤t4，将训练集输入到初始图像增强模型中进行训练，获取待验证图像增强模型；

步骤t5，将验证集输入到待验证图像增强模型中进行验证，获取模型验证结果；

步骤t6，根据模型验证结果，保存增强效果最优的待验证图像增强模型，作为最终图像增强模型。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，最终图像增强模型的测试过程包括如下步骤：

步骤a1，选取多个与待处理胆道镜图像类似的胆道内窥镜图像，作为测试图像；

步骤a2，将测试图像按照不同的比特深度分为低位数图像以及与低位数图像对应的高位数图像，作为最终图像增强模型的测试集；

步骤a3，将测试集输入到最终图像增强模型中，获取最终增强模型的实际增强效果和鲁棒性。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，将训练集、验证集和测试集内的图像按照8比特类和16比特类的比特深度分为低位数图像和高位数图像。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，在步骤t1中，初始图像增强模型包括特征顶层和特征底层，初始图像增强模型采用3×3的卷积核作为去卷积算子，用于收集特征顶层和特征底层的特征信息。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，在步骤t1中，特征顶层和特征底层之间为初始图像增强模型的残余块，特征顶层和特征底层之间通过跳跃连接结合，从而使跳跃连接在结合特征顶层和特征底层的特征信息时跳过残余块。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，在步骤t1中，初始图像增强模型的参数设置分别为：优化器选取adam，beta1设置为0.5，beta2设置为0.9，批的大小设置为5，学习率的范围设置为1×10^-4到1×10^-5，步长设置为1×10^-5。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，在步骤t4中，包括如下子步骤：

步骤t4-1，将训练集内的图像进行分割，获取96像素×96像素大小的图像块；

步骤t4-2，将训练集内每个低位数图像的分割图像块以及与每个低位数图像对应的高位数图像的的分割图像块作为一个训练子集；

步骤t4-3，将每个训练子集依次输入初始图像增强模型中进行训练，获取待验证图像增强模型。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，在步骤t5中，包括如下子步骤：

步骤t5-1，将验证集内的图像进行分割，获取96像素×96像素大小的图像块；

步骤t5-2，将验证集内每个低位数图像的分割图像块以及与每个低位数图像对应的高位数图像的的分割图像块作为一个验证子集；

步骤t5-3，将每个验证子集依次输入待验证图像增强模型中进行验证，获取模型验证结果。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，在步骤s2中，包括如下子步骤：

步骤s2-1，在待增强胆道镜图像上选取胆道区域，

步骤s2-2，以胆道区域的中心为原点，以96像素为步长进行截取，将胆道区域截取成多个96像素×96像素大小的待增强图像块，

步骤s2-3，将待增强图像块输入到训练完成的最终图像增强模型中进行增强处理，获得最终胆道镜图像。

本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，还可以具有这样的技术特征，在步骤s2-2中，以96像素为步长截取胆道区域时，将胆道区域边缘不足96像素大小的区域剔除。

发明作用与效果

根据本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，由于构建去卷积残差转置网络模型，作为初始图像增强模型，选取多个与待处理胆道镜图像类似的胆道内窥镜图像，作为训练图像和验证图像，将训练图像和验证图像按照不同的比特深度分为低位数图像以及与低位数图像对应的高位数图像，作为初始图像增强模型的训练集和验证集，将训练集输入到初始图像增强模型中进行训练，能够获取待验证图像增强模型，将验证集输入到待验证图像增强模型中进行验证，能够获取模型验证结果，根据模型验证结果，能够保存增强效果最优的待验证图像增强模型，作为最终图像增强模型，因此，相对于现有的拉普拉斯金字塔滤波器、离散余弦变换等模型，本发明中的最终图像增强模型通过低位数图像和高位数图像相配合的训练方法进行训练，训练完成后的最终图像增强模型能够多方面、多角度的对图像进行增强，从而能够更精准的显示图像特征。

进一步，将待处理胆道镜图像进行去运动模糊处理和去噪处理，获得待增强胆道镜图像，然后将待增强胆道镜图像输入到训练完成的最终图像增强模型中进行增强处理，能够获得增强效果最优的最终胆道镜图像，因此，通过将待处理胆道镜图像进行预处理后，再输入到增强效果最优的最终图像增强模型中，能够使待处理胆道镜图像的图像位数增加，从而使待处理胆道镜图像的成像品质在现有基础上进行进一步增强，进而能够提高胆道结石手术的成功率。

附图说明

图1是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的去卷积残差转置网络模型结构示意图；

图2是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的跳跃连接处理过程图；

图3是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的初始图像增强模型的训练、验证和测试流程图；

图4是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的工作流程图；

图5是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的待处理胆道镜图像的图像增强流程图；

图6是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的胆道区域截取示意图。

具体实施方式

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

图1是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的去卷积残差转置网络模型结构示意图；

图2是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的跳跃连接处理过程图。

如图1和图2所示，本发明的基于残差转置去卷积神经网络的胆道镜图像增强方法采用去卷积残差转置网络模型对待处理胆道镜图像进行图像增强。

在本实施例中，去卷积残差转置网络模型的参数设置分别为：优化器选取adam，beta1设置为0.5，beta2设置为0.9，批的大小设置为5，学习率的范围设置为1×10^-4到1×10^-5，步长设置为1×10^-5。

构建去卷积残差转置网络模型的具体步骤为：

步骤t1，根据上述参数构建去卷积残差转置网络模型，作为初始图像增强模型，以去卷积的操作代替传统的卷积，能够实现图像的增强性能。

在步骤t1中，初始图像增强模型包括特征顶层和特征底层，在本实施例中，初始图像增强模型采用3×3的卷积核作为去卷积算子，用于收集特征顶层和特征底层的特征信息。

在步骤t1中，特征顶层和特征底层之间为初始图像增强模型的残余块，特征顶层和特征底层之间通过跳跃连接结合，从而使跳跃连接在结合特征顶层和特征底层的特征信息时能够跳过残余块。

图3是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的初始图像增强模型的训练、验证和测试流程图。

如图3所示，在构建初始图像增强模型后再对初始图像增强模型进行训练、验证和测试。

步骤t2，选取多个与待处理胆道镜图像类似的胆道内窥镜图像，作为训练图像、验证图像和测试图像。

胆道内窥镜图像是从sintel、ust-hk、espl等公共图像数据集选取，且这些胆道内窥镜图像均包含两种比特深度。在本实施中，训练图片为5000张，验证图片为4000张，测试图像为1000张。

步骤t3，将训练图像、验证图像和测试图像按照不同的比特深度分为低位数图像以及与低位数图像对应的高位数图像，作为初始图像增强模型的训练集、验证集和测试集。

在本实施例中，将训练集、验证集和测试集内的图像按照8比特类和16比特类的比特深度分为低位数图像和高位数图像。

最终图像增强模型的训练过程，包括如下步骤：

步骤t4，将训练集输入到初始图像增强模型中进行训练，获取待验证图像增强模型。

在步骤t4中，包括如下子步骤：

步骤t4-1，将训练集内的图像进行分割，获取96像素×96像素大小的图像块，从而能够减少初始图像增强模型训练的时间和内存需求，且在模型应用的时候可以对待增强胆道镜图像进行分块增强，而无需更改原始待增强胆道镜图像分辨率，可以避免图像失真。

步骤t4-2，将训练集内每个低位数图像的分割图像块以及与每个低位数图像对应的高位数图像的的分割图像块作为一个训练子集。

步骤t4-3，将每个训练子集依次输入初始图像增强模型中进行训练，获取待验证图像增强模型。

最终图像增强模型的验证过程，包括如下步骤：

步骤t5，将验证集输入到待验证图像增强模型中进行验证，获取模型验证结果。

在步骤t5中，包括如下子步骤：

步骤t5-1，将验证集内的图像进行分割，获取96像素×96像素大小的图像块，从而能够减少待验证图像增强模型验证的时间和内存需求。

步骤t5-2，将验证集内每个低位数图像的分割图像块以及与每个低位数图像对应的高位数图像的的分割图像块作为一个验证子集。

步骤t5-3，将每个验证子集依次输入待验证图像增强模型中进行验证，获取模型验证结果。

步骤t6，根据模型验证结果，保存增强效果最优的待验证图像增强模型，作为最终图像增强模型，从而完成能够增强待处理胆道镜图像的成像品质的去卷积残差转置网络的构建。

模型验证结果包括与每个验证子集对应的待验证图像增强模型的准确率和损失率，选取准确率最高且损失率最低的时刻对应的待验证图像增强模型作为最终图像增强模型。

最终图像增强模型的测试过程，包括如下步骤：

步骤t7，将测试集输入到最终图像增强模型中进行测试，获取最终增强模型的实际增强效果和鲁棒性。

在步骤t7中，包括如下子步骤：

步骤t7-1，将测试集内的图像进行分割，获取96像素×96像素大小的图像块，从而能够减少最终图像增强模型测试的时间和内存需求。

步骤t7-2，将测试集内每个低位数图像的分割图像块以及与每个低位数图像对应的高位数图像的的分割图像块作为一个测试子集。

步骤t7-3，将每个测试子集依次输入最终图像增强模型中进行测试，获取最终增强模型的实际增强效果和鲁棒性。

图4是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的工作流程图；

图5是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的待处理胆道镜图像的图像增强流程图；

如图4和图5所示，本实施例中，采用上述最终图像增强模型对待处理胆道镜图像进行图像增强，用于增强待处理胆道镜图像的成像品质，具体包括如下步骤：

步骤s1，将待处理胆道镜图像进行去运动模糊处理和去噪处理，获得待增强胆道镜图像。

由于待处理胆道镜图像是在一个相对不稳定的环境中进行成像的，成像结果会存在一定的运动模糊现象，同时成像过程是在人体体内，内窥镜镜头必然会受到体液等影响，使得成像结果存在一定的噪声，因此，在步骤s1中，在处理待处理胆道镜图像之前，需要先对待处理胆道镜图像进行预处理，首先要对待处理胆道镜图像进行去运动模糊处理，接着使用图像去噪算法对待处理胆道镜图像进行去噪，从而消除运动模糊现象和噪声对图像增强结果的影响。

步骤s2，将待增强胆道镜图像输入到训练完成的最终图像增强模型中进行增强处理，获得最终胆道镜图像，即成像品质增强之后的胆道镜增强图像。

图6是本发明实施例的基于残差转置去卷积神经网络的胆道镜图像增强方法的胆道区域截取示意图。

如图6所示，在步骤s2中，包括如下子步骤：

步骤s2-1，在待增强胆道镜图像上选取胆道区域。

步骤s2-2，以胆道区域的中心为原点，以96像素为步长进行截取，将胆道区域截取成多个96像素×96像素大小的待增强图像块，将胆道区域边缘不足96像素大小的区域剔除，从而能够提高待增强胆道镜图像的处理效率，且使得待增强胆道镜图像的增强更有针对性和目的性。

步骤s2-3，将待增强图像块输入到训练完成的最终图像增强模型中进行增强处理，获得最终胆道镜图像。

根据本实施例的最终图像增强模型的图像增强结果与现有技术中的拉普拉斯金字塔滤波器、离散余弦变换等模型的图像增强结果相对比，对比结果如表1所示。

表1

根据表1的对比结果，模型1为通过拉普拉斯金字塔滤波器对图像进行增强，模型2为通过离散余弦变换对图像进行增强，通过本实施例的最终图像增强模型增强后的胆道镜增强图像的峰值信噪比和结构相似性均获得较大程度的提高，从而使得胆道镜增强图像的增强效果更明显，且胆道区域与其它区域的对比度也得到较大幅度的提升，进而有利于胆道结石手术的进行。

实施例作用与效果

根据本发明提供的基于残差转置去卷积神经网络的胆道镜图像增强方法，由于构建去卷积残差转置网络模型，作为初始图像增强模型，选取多个与待处理胆道镜图像类似的胆道内窥镜图像，作为训练图像和验证图像，将训练图像和验证图像按照不同的比特深度分为低位数图像以及与低位数图像对应的高位数图像，作为初始图像增强模型的训练集和验证集，将训练集输入到初始图像增强模型中进行训练，能够获取待验证图像增强模型，将验证集输入到待验证图像增强模型中进行验证，能够获取模型验证结果，根据模型验证结果，能够保存增强效果最优的待验证图像增强模型，作为最终图像增强模型，通过最终图像增强模型，能够提高输入图像的图像位数，从而提高图像的成像品质，同时，将待处理胆道镜图像进行去运动模糊处理和去噪处理，获得待增强胆道镜图像，将待增强胆道镜图像输入到训练完成的最终图像增强模型中进行增强处理，能够获得增强效果最优的最终胆道镜图像，因此，通过将待处理胆道镜图像进行预处理后，再输入到增强效果最优的最终图像增强模型中，能够使待处理胆道镜图像的图像位数增加，从而使待处理胆道镜图像的成像品质在现有基础上进行进一步增强，进而能够提高胆道结石手术的成功率。

在本实施例中，由于最终图像增强模型在确定之后，会在进行测试，具体为选取多个与待处理胆道镜图像类似的胆道内窥镜图像，作为测试图像，将测试图像按照不同的比特深度分为低位数图像以及与低位数图像对应的高位数图像，作为最终图像增强模型的测试集，将测试集输入到最终图像增强模型中，因此，能够获取最终增强模型的实际增强效果和鲁棒性，从而能够对最终增强模型的性能进行评估，有利于确定待处理胆道镜图像的具体增强效果。

在本实施例中，由于初始图像增强模型采用3×3的卷积核作为去卷积算子，因此，能够便于收集初始图像增强模型的特征顶层和特征底层的特征信息，从而能够更有目的的对图像进行增强。

在本实施例中，由于初始图像增强模型的特征顶层和特征底层之间通过跳跃连接结合，从而使跳跃连接在结合特征顶层和特征底层的特征信息时能够跳过残余块，从而能够使神经网络更好地收敛，且能够减小内存需求。

在本实施例中，由于将训练集、验证集和测试集内的图像均进行分割，获取96像素×96像素大小的图像块，从而能够减少模型训练、验证或测试的时间和内存需求，且在模型应用的时候可以对待增强胆道镜图像进行分块增强，因此，无需更改原始待增强胆道镜图像分辨率，可以避免图像失真。

在本实施例中，由于在待增强胆道镜图像上选取胆道区域，以胆道区域的中心为原点，以96像素为步长进行截取，将胆道区域截取成多个96像素×96像素大小的待增强图像块，将待增强图像块输入到训练完成的最终图像增强模型中进行增强处理，因此，能够提高待增强胆道镜图像的处理效率，且使得待增强胆道镜图像的增强更有针对性和目的性。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。