一种基于深度学习神经网络的喉部疾病诊断系统的制作方法

本发明涉及人工智能与医疗诊断相结合的学科交叉领域，具体涉及一种基于深度学习神经网络的喉部疾病诊断系统。

背景技术：

由于人体喉部位置特殊、生理结构复杂，往往不能直接窥探。对喉部进行疾病诊断时，医生往往通过将喉镜伸入喉部拍摄图像的方式得到内部信息，进而进行诊断和治疗。临床实践中多采用纤维喉镜的方式进行诊疗。纤维喉镜是一种光纤设备，其造成的创伤小，有助于减轻患者痛苦，并可以通过纤维成像技术将病灶部位放大，提供清晰的视野，帮助医生更好地判断。

通过喉镜通常可以对声带息肉、喉癌等病变进行初步的筛查。声带息肉是发生于声带固有层浅层的良性增生性病变，也是一种特殊类型的慢性喉炎。喉癌是在喉组织中形成恶性(癌细胞)细胞的疾病。它们都可以通过喉镜的影像进行初步的判断。

传统的医生诊疗方式，尤其是针对影像类的诊疗，往往受限于医生本身的经验——从业时间长和在疾病多发地区的医生的诊断准确率会高于刚入职的和患病人数少的地区的医生。随着人工智能技术的发展，应用深度学习神经网络可以更好地辅助医生进行疾病的筛查和诊断，弥补经验上的差距，进而提升诊断效果。

卷积神经网络发展至今在图像处理算法的实际应用上获得了不错的效果，如图像分类、图像分割、风格迁移和目标检测等。一些已有的卷积神经网络有着优秀的性能，如alexnet，vgg等。然而，由于医疗图像的复杂度较高、病人的个体差异较大、喉镜拍摄的角度和光线往往无法统一等因素，不同仪器生成的图像又有一定的差异，这些因素将导致对喉镜图像的诊断效率和诊断准确率较低。此外，病人拍摄喉镜时喉部开闭情况的不同也使图像处理和分析的复杂度进一步上升。这些困难导致传统的单一网络结构无法很好的处理上述问题。

技术实现要素：

本发明的目的是为解决传统方法对喉镜图像的诊断效率以及诊断准确率低的问题，而提出了一种基于深度学习神经网络的喉部疾病诊断系统。

本发明为解决上述技术问题所采取的技术方案是：一种基于深度学习神经网络的喉部疾病诊断系统，所述喉部疾病诊断系统包括图像采集主模块、图像处理主模块、神经网络主模块、训练主模块和检测主模块；

所述图像采集主模块用于采集喉镜图像，对采集的喉镜图像进行预处理，获得预处理后的图像，并将预处理后的图像输入图像处理主模块；

所述图像处理主模块用于对输入的图像进行处理，并将处理后的图像随机分为训练样本集和验证样本集两组；

所述神经网络主模块用于搭建喉部疾病诊断网络模型；

所述训练主模块利用训练样本集对搭建好的喉部疾病诊断网络模型进行训练，并获得训练好的喉部疾病诊断网络模型；

所述检测主模块用于加载训练好的喉部疾病诊断网络模型，利用验证样本集对训练好的喉部疾病诊断网络模型进行验证；

若训练好的喉部疾病诊断网络模型在验证样本集上的喉镜图像诊断准确率大于等于85％，则利用训练好的喉部疾病诊断网络模型作为最终模型，将最终模型用于喉部图像的诊断；

否则，调整搭建的喉部疾病诊断网络模型的学习率，利用训练样本集对搭建的喉部疾病诊断网络模型进行重新训练，直至获得的训练好的模型在验证样本集上的喉镜图像诊断准确率大于等于85％时，获得最终模型；再将最终模型用于喉部图像的诊断。

本发明的有益效果是：本发明提出了一种基于深度学习神经网络的喉部疾病诊断系统，本发明搭建了喉部疾病诊断网络模型，喉部疾病诊断网络模型可以用于喉部疾病诊断的智能系统，从而更好地对喉镜图像进行诊断，帮助医生提升疾病的诊断效率和诊断准确率，降低漏诊和误诊率。

附图说明

图1为喉部疾病诊断网络模型的结构图；

图中，input代表输入，zeropad代表零填充层，convblock代表conv模块，maxpool代表最大池化层，vrcblock代表vrc模块，idblock1和idblock2均代表identity模块，avepool代表平均池化层，flatten代表展平层，fc代表全连接层，output代表输出；

concat代表串联层；x(shortcut)代表带判断的连接点，seblock代表senet模块；squeeze&excitation代表seblock中se的全称，globpool代表全局平均池化层，scale代表给通道加权重，batchnorm代表批量标准化层；

图2为获取本发明系统以及本发明系统工作的流程图。

具体实施方式

具体实施方式一、结合图1说明本实施方式。本实施方式所述的一种基于深度学习神经网络的喉部疾病诊断系统，所述喉部疾病诊断系统包括图像采集主模块、图像处理主模块、神经网络主模块、训练主模块和检测主模块；

所述图像采集主模块用于采集喉镜图像，对采集的喉镜图像进行预处理，获得预处理后的图像，并将预处理后的图像输入图像处理主模块；

所述图像处理主模块用于对输入的图像进行处理，并将处理后的图像随机分为训练样本集和验证样本集两组；

所述神经网络主模块用于搭建喉部疾病诊断网络模型；

所述训练主模块利用训练样本集对搭建好的喉部疾病诊断网络模型进行训练，并获得训练好的喉部疾病诊断网络模型；

所述检测主模块用于加载训练好的喉部疾病诊断网络模型，利用验证样本集对训练好的喉部疾病诊断网络模型进行验证；

若训练好的喉部疾病诊断网络模型在验证样本集上的喉镜图像诊断准确率大于等于85％，则利用训练好的喉部疾病诊断网络模型作为最终模型，将最终模型用于喉部图像的诊断；

否则，调整搭建的喉部疾病诊断网络模型的学习率，利用训练样本集对搭建的喉部疾病诊断网络模型进行重新训练，直至获得的训练好的模型在验证样本集上的喉镜图像诊断准确率大于等于85％时，获得最终模型；再将最终模型用于喉部图像的诊断。

检测训练的模型的效果时，将保存好的模型加载到未设置参数的网络上，将验证样本数据集的喉镜图片输入到已训练好的喉部疾病诊断网络模型中得到输出，将输出结果与医生标定结果对比，计算准确率，以验证模型的效果。

本发明系统的整体工作过程如图2所示，本系统可以引入到各大医院，并进一步与该领域专家进行深入交流，结合他们多年的经验和知识，综合大数据人工智能新方法，不断优化方法并更新图像数据库，使本发明的喉部疾病诊断系统能适应更多年龄层的，不同地区的患者的差异，提高诊断的准确率。系统将通过对海量病例的学习，发现并找到包含在其中的重要的内在规律，更加精准的提供诊疗辅助信息。

本发明针对喉镜图像，进行对喉部疾病的智能诊断，可以减轻医生负担，提高诊断准确率，时间短，效率高，弥补了专业医疗资源不足，医生之间地区之间经验差较大的问题，提供了大数据时代下的新型诊疗方案。

具体实施方式二：本实施方式与具体实施方式一不同的是，所述图像采集主模块通过扫描的方式将仪器输出的喉镜纸质影像或患者病历上附带的喉镜纸质影像扫描为电子图像的格式，获取到每张完整的喉镜电子图像后，将每张图像上的4张子图进行拆分，将拆分后的图像进行角度调节，使拆分后的图像端正；

将经过端正的图像的白色边框去掉后，再将图像调整为统一尺寸；尺寸调整后的图像输入图像处理主模块。

具体实施方式三：本实施方式与具体实施方式一不同的是，所述图像处理主模块用于对输入的图像进行处理，处理的具体过程为：

对输入到图像处理主模块中的每一张图像进行hsv分解，其中，h、s和v分别代表图像的色调、饱和度和亮度；

对v通道(亮度通道)中亮度值大于亮度阈值l的点做如下变换：

其中，v代表原通道中的亮度值，l代表亮度阈值(即原通道中的亮度值v大于亮度阈值l时，就进行变换)，v1是中间变量，v2代表变换后的亮度值；

再对输入到图像处理主模块中的每一张图像进行归一化处理，使图像中所有像素点的值都在0到1之间。

对输入到图像处理主模块中的每一张图像分别进行本实施方式的处理后，再将处理后的图像分为训练样本集和验证样本集两部分。

具体实施方式四：本实施方式与具体实施方式三不同的是，所述训练样本集进行数据增强，数据增强的方式包括：

对训练样本集内的图像进行适当的放大或缩小的变换；

对训练样本集内的图像进行适当的旋转变换；

对训练样本集内的图像进行适当的水平翻转变换；

对训练样本集内的图像进行适当的垂直翻转变换。

进行本实施方式的操作后，得到的最终图像均可直接输入建立的喉部疾病诊断网络模型，用于进行模型训练。验证样本集只需进行归一化处理，不需要进行本实施方式的操作。

通过结合inception网络，senet网络和残差网络来建立喉部疾病诊断网络模型，将建立的喉部疾病诊断网络模型称为喉部疾病诊断网络iseresnet，喉部疾病诊断网络iseresnet的整体网络如图1所示，由vrc模块、senet模块、identity模块和conv模块配合其他一些层构成，下面介绍整体网络结构。

具体实施方式五：本实施方式与具体实施方式一不同的是，所述喉部疾病诊断网络模型由vrc模块、senet模块、identity模块和conv模块配合零填充(zeropadding)层、最大池化(maxpooling)层、平均池化层(averagepooling)，展平层(flatten)和全连接层组成；

vrc模块的输入x和输出y之间有四条通路，第一条通路和第四条通路仅连接x，第二条通路连接一个卷积核大小为1×1的卷积，第三条通路逐次连接卷积核大小为1×1、1×3和3×1的卷积(每个卷积核大小的卷积各一个)，第三条通路的输出与第二条通路的输出合并后，共同连接一个卷积核大小为1×1的卷积；

卷积后与第一条通路(只连接x)输出进行加和，再将加和结果与第四条通路输出进行加和，获得输出y；

卷积操作后进行批量归一化操作，可以将该层特征值分布重新变为标准正态分布，特征值将落在激活函数对于输入较为敏感的区间，使得即便输入产生微小变化也可导致损失函数产生较大的变化，使得梯度变大，避免梯度消失，同时也可加快收敛。批量标准化后进行激活操作，即每一步都可由下述公式表示：

mi＝f(mi-1×wi+bi)

其中m代表每一层的输出值，i代表层数，w代表卷积核的权值，b代表偏置值，符号“×”代表卷积核和上一层输出值进行卷积操作，f代表非线性激活函数，此网络采用relu函数作为激活函数。

senet模块由一个全局平均池化层(globalaveragepooling)和两个全连接层(dense)组成；并对每个全连接层进行随机失活(dropout)操作；

senet模块的输入x首先与全局平均池化层(globalaveragepooling)连接，进行全局的均值池化操作，使得每个特征图对应一个特征点，而后连续连接两个dense层，其中第一个dense层采用relu函数作为激活函数，第二个dense层采用hard_sigmoid函数作为激活函数。为了保证模型的泛华能力，对每个dense层进行dropout操作，即在训练过程中使得一部分神经元随机失活，防止神经网络产生过拟合现象。senet可以通过学习来自动获取每个特征通道的重要程度，然后加强重要通道的特征并抑制对任务用处不大的特征。

identity模块的输入x＇与输出y＇之间有两个通道，主通道内依次连接两个conv模块和一个senet模块；辅助通道根据是否有步长变化发生来决定是否连接conv模块，若有步长变化发生，则辅助通道内连接一个conv模块，否则，辅助通道内仅连接x＇；

主通道和辅助通道的输出叠加作为identity模块的输出；

所述conv模块由卷积层，激活层和批量标准化层组成。

conv模块在辅助通道内的作用是使得维度一致。

具体实施方式六：本实施方式与具体实施方式五不同的是，所述训练主模块利用训练样本集对搭建好的喉部疾病诊断网络模型进行训练，并获得训练好的喉部疾病诊断网络模型，其具体过程为：

在喉部疾病诊断网络模型中，训练样本集输入零填充层后，零填充层的输出逐次经过conv模块和最大池化层；

最大池化层的输出连接vrc模块，vrc模块的输出再经过两个连续的identity模块组成的合成模块三次，合成模块的最后一次输出再逐次连接平均池化层(averagepooling)，展平层(flatten)和全连接层，将全连接层的输出作为喉部疾病诊断网络模型的输出；

训练过程中，每次输入16张喉镜图像，输入的16张喉镜图像完成训练后，视为完成一个批次的训练，训练样本集中的全部喉镜图像完成一次训练后，视为完成一轮训练；设定训练轮数为100，当训练轮数达到100后停止训练，并自动保存训练效果最好的一轮结果作为训练好的喉部疾病诊断网络模型；

训练效果最好是指图像诊断的正确率最高；

训练采用的损失函数为分类交叉熵损失(categorical_crossentropy)函数，优化器采用adam优化器，学习率设定为0.0002。

零填充(zeropadding)层的作用是在输入图片矩阵边界填充0，以控制卷积后特征图的大小；maxpooling层的作用是将每个子采样区域中的值取最大，得到更小尺寸的特征图；vrc模块的作用是对图像特征进行进一步的提取；连接由两个连续的identity模块组成的合成模块三次，其目的是逐层深入地对图像不同种类的特征进行进一步的提取和整合；最后连接averagepooling(平均池化)层，flatten层和全连接层接输出，完成对特征的整合及给出最后的判断。

整体网络构建好后需要进行函数化的封装以便于之后的使用，训练前需要对模型进行编译和加载。

adam优化器可以加快训练速度，提升训练效果，选取训练效果最好的模型，保存为最终模型，生成喉部疾病医疗图像快速诊断模型。训练硬件为有4块gpu(1080ti)的服务器，训练过程主要在gpu上进行。训练得到的模型为多gpu模型，需要通过程序保存为单gpu模型，以便于在其他电脑上使用。

将保存好的模型加载到未设置参数的网络上，将验证样本数据集的喉镜图片输入到已训练好的iseresnet的喉部疾病诊断网络中得到输出，将输出结果与医生标定结果对比，计算准确率，以验证模型的效果。

本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。