基于多卷积神经网络集成学习的小肠内镜图片特征提取方法

本发明涉及图像处理技术领域，尤其是涉及一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法。

背景技术：

目前临床应用中常规的手持式内镜检查无法涉及到整个完整的消化道，胃镜能够检查上消化道，而肠镜只能检查结肠和直肠，因此还有部分肠道是常规内窥镜无法探及到的。传统的小肠溃疡诊断分类主要由内镜医师根据小肠溃疡的形态、数量、范围等加以判断，最终诊断需要依据病理、实验室检测(如血沉、crp、tspot等)结合临床表现、甚至用药后长期随访才能诊断；或对内镜图片进行人工选取特征，再依据传统的机器学习算法进行分类。

传统机器学习对图像进行特征提取并分类，需要相关专业人员根据图像的颜色、纹理等有效信息，手工提取有效特征，再将提取到的特征输入到相关机器学习算法中，一方面，此方法需要专业人员的支撑，费时费力，且所得特征与操作人员息息相关，基于临床经验对小肠溃疡性病变进行判断的准确率大多低于70％；另一方面，此方法不能实现端对端的特征提取及分类，即此方法需要将特征提取与结果分类分开进行，首先对图像进行特征提取，然后再将提取后的特征输入至分类器中，而无法在输入端输入图像后，自动提取特征并进行分类。综合而言，传统方法可迁移性较差，具有较强的依懒性，且操作繁琐，需要一定的技术与经济支持，不适合广泛应用。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法。

本发明的目的可以通过以下技术方案来实现：

基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，该方法包括如下步骤：

步骤一、获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的小肠内镜图像。获取的病人的小肠内镜视频数据包括克罗恩病、淋巴瘤、肠结核、非特异性小肠溃疡以及隐源性多灶性溃疡性狭窄性小肠炎在内的小肠内镜视频数据。

步骤二、将得到的小肠内镜图像进行预处理操作，去除无效区域，保留病灶区域。

预处理操作的具体内容为：首先对得到的小肠内镜图像进行灰度化处理，随后自适应将灰度图像进行二值化处理，并对所得到的二值图像进行轮廓检测。去除无效区域，保留病灶区域的具体内容为：寻找二值图像中最大面积的区域并用矩形框进行标记，将矩形框以外像素点的值置为零，并对矩形框外区域进行裁剪，裁剪后得到的区域部分为有效区域。

步骤三、对保留病灶区域后的小肠内镜图像进行数据集划分，分为训练集、验证集以及测试集。

步骤四、对训练集数据进行扩充处理，采用densenet169基础网络层结合seblock的方法提取小肠溃疡性病灶的内镜图像特征。

扩充包括对保留病灶区域后的小肠内镜图像的训练集数据进行旋转操作、平移操作、缩放操作、对比度增强操作及亮度改变操作。采用densenet169基础网络层结合seblock的方法的具体内容为：将densenet169中的每个denseblock中的卷积操作之间加入seblock，即在denseblock的卷积块中的第一个卷积操作后嵌入seblock，使denseblock的第一个卷积层的输出作为seblock的输入，并将seblock后重标定的特征输出至denseblock块的第二个卷积操作中作为输入，进行再一次特征提取；然后对添加后的densenet169采用adam优化器进行训练，并借助反向传播优化网络中的参数；基于扩充后的数据集对训练后的网络进行小肠溃疡性病灶的内镜图像特征提取。

步骤五、结合其他两种不同模型分别提取小肠溃疡性病灶的内镜图像特征，并将两个模型的提取结果与步骤四的提取结果进行集成学习处理，获取最终提取结果。

进一步地，其他两种不同模型采用efficientnetb3和inceptionv3模型。首先对其他两种模型分别进行网络训练，训练过程中efficientnetb3和inceptionv3模型均采用adam优化器，并借助反向传播不断优化网络中的参数，随后基于扩充后的训练集数据对训练后的网络进行小肠溃疡性病灶的内镜图像特征提取。

进一步地，采用基于加权投票的集成学习法，集成三种网络的特征提取能力以及分类能力，以获取更为有效的溃疡病灶特征。

进一步地，三个模型的每轮训练迭代完成后，利用验证集进行在线验证，并在网络优化的同时，采用余弦退火学习率不断更新学习率，随着训练轮次的加深，动态调整学习率以寻求全局最优解。

进一步地，本发明方法设有用以对各步骤进行相应控制及显示的人机交互界面。

本发明提供的基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，相较于现有技术至少包括如下有益效果：

一、自动实现分类：本发明无需人为对每张小肠溃疡性内镜图片的形态、数量以及范围等进行判断，并根据病理、实验室检查等结合临床表现，甚至用药进行综合判断，也不需要对于每张图片进行手工特征提取方能得到图片的特征信息即可实现病灶特征的自动提取，通过将图片输入至分类模型当中，便能自动提取图片的有效信息并进行自主分类，操作快速、高效。

二、分类识别率较高：本发明基于病灶特点以及神经网络模块化的思想，设计了所提网络的基本模块，在不破坏densenet169基础网络层的前提下，对于每个denseblock中的卷积操作之间加入seblock,此举在添加少量参数量的同时充分利用了densenet169的信息融合能力以及seblock的通道重要性重标定的特点，提高了网络的特征提取能力，在添加少量参数量的前提下，不破坏网络的基本框架，保持网络的模块化结构，可以进一步载入预先训练好的权重，实现迁移学习，大大缩减训练难度，减少数据量影响，提高特征提取能力和优化网络的分类能力；同时结合se-densenet169、efficientnetb3和inceptionv3这三种各有优势的分类模型，采用基于加权投票的集成学习的思想，集成三种网络的特征提取能力以及分类能力，得到更为有效的溃疡病灶特征，提高单一算法的分类能力，优化模型整体分类能力，提高该设计的泛化能力，相比于基于临床经验对小肠溃疡性病变进行判断低于70％的准确率，采用本发明方法可以达到85％以上的分类准确率，具有较高的分类识别率。

三、诊断所需时间少：基于临床经验对小肠溃疡性病变进行诊断，需要内镜医师初步判断，并结合病理、实验室检查、临床表现以及长期随访等方能进行综合判断，具有严重的滞后性，会对病人的诊断治疗产生不利影响；本发明通过对原始数据集进行预处理操作，能够减少对于特征提取与分类无用的无效信息，在保留病灶特征的前提下减小数据集的分辨率，注重病灶本身，可以提高训练过程中病灶特征的提取效率，优化网络分类能力，测试过程中可以在3分钟内对200张小肠溃疡图片进行同步特征提取并完成分类识别，高效快速，并加快模型收敛，达到最佳结果。

四、具有一定的改进空间：本发明方法为了提高特征提取能力，优化模型分类能力，通过对图片进行旋转、平移、缩放、对比度增强以及亮度改变等操作实现数据集的扩充，可以丰富病灶的特征，提高网络的分类能力；同时在分类识别过程中，可以不断获得小肠溃疡性病灶的内镜图片，并将此临床数据集补充至模型中进行训练，可以不断学习到更多有效的特征，提高网络的分辨能力，实现更好的识别泛化效果。

五、更好的交互性与迁移性：本发明通过设计交互界面进行控制，智能、快捷、简单明了，操作指令一目了然，具有一定的交互性的同时，具有很好的迁移性，使用受限较小，仅需要一台电脑便可以完成特征提取并实现初步分类。

附图说明

图1为实施例中基于多卷积神经网络集成学习的小肠内镜图片特征提取方法的流程示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

本发明涉及一种基于多卷积神经网络集成学习的小肠内镜图片特征提取方法，该方法通过深层次卷积神经网络能够实现小肠溃疡性病灶特征的自动提取与分类识别，具体包括以下步骤：

步骤s101：获取病人的小肠内镜视频数据，并通过提取视频帧技术获取包括小肠溃疡性病变在内的多种类小肠内镜图片。

为了尽可能地对小肠溃疡性病灶进行自动诊断，具有一定的泛化能力，本实施例所采用的数据集均来自于临床病例，总共182位患者共计2124张小肠内镜图片，包含目前发病率较高且难分辨的5种小肠溃疡性病变，分别为克罗恩病、淋巴瘤、肠结核、非特异性小肠溃疡以及隐源性多灶性溃疡性狭窄性小肠炎，类别多样、格式丰富，真实性高，囊括了目前所能接触到的绝大多数病灶，并由专业医师根据病理及临床诊断后进行分类，注重于临床诊断。其中克罗恩病共计病例188例，共计图片1386张；淋巴瘤共计病例13例，共计图片94张；肠结核共计病例15例，共计图片113张；非特异性溃疡共计病例31例，共计图片216张；隐源性多灶性溃疡性狭窄性小肠炎共计病例34例，共计图片315张。优选根据7:1:2的比例将2124张图片划分为训练集、验证集以及测试集，划分后数据量分别为1487张、212张、425张。此数据集数据皆由临床所得，并由专业医师根据病理及临床诊断后进行分类，注重于临床诊断。

步骤s102：为了加快网络训练速度，减小运算量，进一步加快预测诊断时的效率，具有一定的即时性，满足不同的临床需要，更加关注病灶本身，减少对于无效信息的获取，本发明基于轮廓查找的方法对小肠溃疡数据集进行预处理操作，去除无用信息保留病灶区域，提高特征提取速度与分类效率。

具体地，对彩色图片进行灰度化处理后自适应地将灰度图像二值化，对所得到的二值图像进行轮廓检测，找到最大面积的区域并用矩形框进行标记，将矩形框以外像素点的值置为0，在对矩形框外区域进行裁剪，此时所得到的便是有效区域。此举可以减少无效信息而更加关注病灶信息，从而提高特征提取的效率。

步骤s103：为了提高网络的特征提取能力，提取到病灶类型更多的特征，通过对训练集图片进行旋转、平移、缩放、对比度增强以及亮度改变等操作实现少量样本类别数据的扩充，获得了样式各异的病灶图像，降低类别类间不均衡的影响。在数据扩充时，主要考虑训练时间以及分类准确率作为评价指标，综合两个因素对原始数据进行扩充，随着扩充数据量的增加，训练时长也随之增加，同时也会带来训练准确率的提高，而当训练时长增加时，准确率提高的效果不显著时，即为最终的扩充结果。对于小样本类别进行扩充可以提取到更为丰富的病灶特征，进一步提高网络的分类能力。

步骤s104：将扩充后的小肠内镜图像输入卷积神经网络进行特征提取。针对小肠溃疡性病灶的内镜图像特征以及深层次卷积神经网络模块化的思想，结合传统的临床诊断现状，本发明在不破坏densenet169基础网络层的前提下，对于每个denseblock中的卷积操作之间添加seblock，即在denseblock的卷积块中的第一个卷积操作之后嵌入seblock，使denseblock的第一个卷积层的输出作为seblock的输入，并将seblock后重标定的特征输出至denseblock块的第二个卷积操作中作为输入，进行再一次的特征提取。由此使得改进后的网络既能深层次提取有效特征，又会更加关注通道的有效信息，此举在添加少量参数量的同时充分利用了densenet169的信息融合能力以及seblock的通道重要性重标定的特点，提高了网络的特征提取能力，在添加少量参数量的前提下，不破坏网络的基本框架，保持网络的模块化结构，可以进一步载入预先训练好的权重，实现迁移学习，大大缩减训练难度，减少数据量影响，提高特征提取能力和优化网络的分类能力。

步骤s105：为了防止一种模型存在诊断局限性或者对于某种溃疡病灶的分类效果较差的现象，本发明方法还实现了一种多模型集成自动诊断机制，以应对各个类别的溃疡，提高每个类别溃疡的诊断准确率。

具体地，在训练过程中，将扩充后的五类训练集数据(五类小肠溃疡性病变图像数据)分别输入至se-densenet169、efficientnetb3和inceptionv3这三种模型中，通过网络的反向传播不断更新参数，使得网络整体损失函数变小，每个网络均会得到一个输出结果。单个网络的特征提取能力会存在一定的缺陷，预测结果也会存在一定的偏差，因此对于此前所讲的三个网络进行基于加权投票法的集成学习来提高最终的特征提取能力，对于每一个模型预测后得到的输出结果，使用网格搜索法，搜索区间为0-1，搜索步长为0.05，当三个网络集成结果的准确率最高时，得到三个网络的权重，分别为0.4、0.35和0.25。网络的集成可减少一个模型的偶然性，充分发挥不同模型的特征提取能力，提高该设计的泛化能力。例如，一种模型情况下，该模型的诊断结果便是最终诊断结果，而此模型会对某一类型溃疡的特征提取能力较差，而造成此类病灶的诊断效率较低；当采用多模型集成诊断机制后，假设存在a、b、c三个不同的诊断模型，x和y两个类别时，a模型对x诊断效果较差，错分为y，同时b与c对x的诊断效果较好，诊断正确为x，多模型集成后，便会减少单模型所造成的误分影响，经过集成后，依旧会诊断正确。通过这种多模型集成诊断机制，可以降低一定的误分影响，有效提高多类别分类的诊断准确率，增强整套系统的自适应能力。

步骤s106：设计人机交互界面用以显示特征提取热点图，此设计能够注重主要特征，得到特征更为明显且分类更准确的热点图；交互界面也可以提高本设计的可用性，交互界面简单明了，操作指令一目了然，操作简单快捷，具有一定的交互性；同时具有很好的迁移性，使用受限较小，仅需要一台电脑便可以完成特征提取并实现初步分类。可优选基于python语言设计人机交互界面，完成图片预处理、图片扩充、图片亮度增强、图片分类等操作。

值得说明的是，本实施例在网络不断优化过程中，将训练集中的1487张图片扩增为4674图片，并将扩充后的4674张图片用于训练，验证集中的212张图片用于验证，测试集中的425张图片用于测试，总共训练100轮次，训练过程中se-densenet169、efficientnetb3和inceptionv3三个模型均采用adam优化器减小损失函数值，并借助反向传播不断优化网络中的参数，每轮训练迭代完成后，会对212张验证集图片进行验证，以此来验证网络的特征提取能力并优化网络参数；伴随网络优化的同时，采用余弦退火学习率不断更新学习率，在训练初期采用较小的学习率更为平稳地融入训练，而伴随训练轮次的加深，避免过早进入局部最优解，加大学习率，跳出局部最优解，寻求全局最优解。

本发明基于端对端的设计理念，去除无用信息，关注病灶区域本身，从病灶中自动提取有效信息，基于模块化的思想下，在加深网络模型深度的同时更加注重不同通道对于特征的敏感性，提高了网络的特征提取能力，采用网络集成的思想，取长补短，实现了多类别更好的特征提取能力，不断优化网络的分类能力，并设计人工交互界面，使得网络分类能力简单易见，具有操作简单、效率高、分类性能好的优点。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。