实性肺结节良恶性诊断深度学习模型系统

本发明属于实性肺结节良恶性诊断模型系统，具体涉及实性肺结节良恶性诊断深度学习模型系统。

背景技术：

1、肺结节的良性切除率一般要求是10％左右，然后临床实际良性切除率在30％以上。主要的良性切除病灶在肺部ct上呈现为实性病损，即实性肺结节的良性切除率过高是一个难以回避的临床问题。造成上述问题的核心是：实性肺癌的预后远差于亚实性肺癌(磨玻璃)的预后，医生既要避免漏诊又要克服不必要的手术冲动。而临床缺乏肺癌限期诊断的精准判断工具和方法，使得诊断性手术成为最稳妥的方式。解决问题的核心是寻找肺癌限期诊断的有效方法和工具，为临床在术前决策提供有效参考。ct仍是目前临床可用的，成本足够低的，高效的肺癌限期诊断工具，但其在实性肺结节良恶性诊断中的极限效能并不清楚，是否能够为手术决策提供足够的决策支撑更不明确。

2、现有的肺结节良恶性诊断算法主要分为两类，一类为机器学习算法(ml)，另一类为深度学习算法(dl)。机器学习算法是一种传统的、两阶段的算法，需要人为选取和肺结节良恶性诊断任务密切相关的的特征，然后，采用合适的机器学习算法对这些特征进行分类，从而达到诊断肺结节良恶性的效果。warkentin等[1]使用交叉验证和网格搜索方法评估了三种机器学习算法extreme gradient boosted trees、random forest、lasso对肺结节良恶性分类的能力，结果表明，最小绝对收缩和选择算子(lasso)的分类效果最优，能够准确预测出肺结节的良恶性。针对单个机器学习算法表现不佳的问题，muzammil等提出了一种基于预测分数平均和最大图片的集成学习算法，它能够综合svm(support vectormechine)和adaboostm2两种算法的分类决策，能够更加有效的对肺结节的良恶性做出预测。

3、然而，人工提取的特征质量很大程度上决定着机器学习分类算法的性能，专家需要花费大量的时间手工提取这些关键特征。例如，在肺结节良恶性诊断任务中，肺结节的形态纹理特征、大小、以及每例病人的原数据(年龄、性别等等)都是重要的人工特征，而获取这些特征需要花费大量人工成本。另外，机器学习算法所采用的分类器往往是较为浅层的，难以挖掘复杂高维数据中的信息，并且很容易出现欠拟合和过拟合的问题。

4、随着研究人员对人工智能技术的不断研究，深度学习算法已经在计算机视觉、语音识别、自然语言处理等领域取得了重大的成功，从卷积神经网络alexnet在imagenet数据集上的大获成功到现在的基于transformer架构的大语言模型技术，深度神经网络技术越来越成熟，其应用也越来越广泛，它强大的特征提取能力，使得它在很多领域都有广泛的应用。端到端的深度学习算法不需要手工特征提取，并且能够学习到复杂的特征信息，因此，大量研究基于深度学习的方法来解决肺结节良恶性诊断的问题，yin等提出了一种多模态的特征融合网络对肺结节良恶性进行分类，采用了mobilenetv3作为骨干网络，设计了一种双分支网络，能够对肺结节原始ct图像和提取的结节图像两种模态数据进行有效的特征提取，在提取原始ct图像的全局信息的同时，也提取了肺结节的局部特征信息。song[7]等基于多任务学习方法，通过挖掘肺结节检测、肺结节分割任务间潜在的共同特征，使每个任务都能高效地完成训练和学习，使肺结节检测和分割的效果都有所提高。cao等基于cnn和mobilevit网络提出了msm-vit网络，首先使用膨胀卷积和普通卷积提取肺结节的多尺度局部信息，以弥补后期vit模型对局部信息提取的不足，后使用movilevit模块对肺结节的全局信息进行特征提取，该模型能够有效的提取各尺度的特征信息，提高了肺结节良恶性分类的精度。zhang等采用resnet结合卷积注意力模块(cbam)的深度学习模型基于图形、形态学特征、以及临床信息对肺结节的良恶性进行分类，并和传统的机器学习算法nsdtct-svm进行比较，结果表明，结合附加信息的深度学习模型要优于传统的机器学习算法。

技术实现思路

1、本发明的目的在于提供实性肺结节良恶性诊断深度学习模型系统，该系统通过两个独立的分支分别提取临床经验和肺部ct图像中的特征信息，并将两者进行有效融合，以实现对肺结节良恶性的更精准预测。这种结合方式不仅充分利用了深度学习算法在特征提取和分类上的优势，还融入了医生的临床经验和专业知识，为肺结节的诊断提供了一种更加全面、可靠的解决方案。

2、为实现上述目的，本发明提供如下技术方案：实性肺结节良恶性诊断深度学习模型系统，包括模型的整体架构系统、数据集介绍系统、数据集预处理系统、肺部ct图片分割系统、肺部结节检测系统、肺结节类别系统、实验参数设置系统、评价指标系统、实验设置与结果系统，所述模型的整体架构系统由一个上半分支网络模块和下半分支网络模块组成，所述上半分支网络模块使用残差网络resnet和自注意力机制(self-attention)构成的深度神经网络对类别矩阵进行特征提取，所述下半分支网络模块使用多尺度深度神经网络对十张图片构成的图片进行特征提取，且提取结节的位置和形状信息，最后将结节大小特征归一化后输入倒数第二层，和类别特征、提取的结节图片特征进行拼接，输入到最后的带有激活函数的全连接层中，得到肺结节恶性的预测概率；

3、所述下半分支网络模块包括inception模块、eca模块、cbam模块，且inception模块googlenet的核心模块，所述inception模块通过使用不同大小的卷积核对输入的特征图进行多尺度的特征提取，然后将这些具有多尺度信息的特征图在通道维度进行拼接，后续可以通过进一步的卷积操作，能够融合多尺度的特征信息，且inception模块采用1×1的卷积核先对特征图进行降维操作，后面使用多个小卷积核代替大卷积核，大大降低了网络的参数和计算量，提高了模型训练的效率，此外，在inception的下分支中采用了残差连接，能够使模型收敛的更快，且能在一定程度上避免梯度消失的问题；

4、所述eca模块是根据senet的缺陷改进而来的，且eca模块通过一个卷积操作代替了se模块中的两层全连接操作，而卷积操作相比于全连接操作来说，它能够共享参数，减少了模型的参数量，也提供了适当的通道交互；

5、所述cbam模块是一种先进的注意力机制，且cbam模块模块由两部分核心组成：通道注意力和空间注意力，旨在分别从通道维度和空间维度精炼特征重要性，实现特征的自适应加权，从而提升网络的识别精度与泛化能力，所述通道注意力，通过对特征图进行全局平均池化和全局最大池化，生成两个通道特征向量，这两个池化操作能够捕获通道间的统计信息，反映特征的整体分布和突出部分。随后，这两个特征向量经过一系列全连接层以及一个sigmoid函数，产生一个归一化的权重向量，用以指示各个通道的重要性，且在反向传播过程中，这些权重指导网络更加关注那些对任务更具判别力的通道，有效抑制无关或噪声信息，所述空间注意力模块聚焦于空间维度，通过对每个通道应用两个一维卷积(分别沿宽度和高度方向)，结合relu激活函数来提取空间特征的相关性，之后，同样通过sigmoid函数生成一个二维的权重分数，该分数代表了特征图中每个位置对于最终决策的贡献程度。

6、优选的，所述数据集介绍系统利用由长海医院提供的包含1279例病例的肺部ct数据集，其中388例为良性病例，899例为恶性病例，所述数据集包含实时的、连续的dicom数据，能够反映病人肺部的具体情况，且医生从病人的dicom数据挑选多张连续的具有结节的肺部ct图片，并放入一个文件夹中，将该文件夹中的作为该病例的关键诊断数据，每个文件夹中包含一张原始肺部ct图片和一张带有医生标注的标签肺部ct图片，且病例的诊断信息由经验丰富的医生综合评判对应的文件夹中的肺部ct图片给出，且医生根据临床经验，将肺部ct图像中的肺结节划分为清楚光整、晕征、清楚毛糙、分叶、棘突、毛刺、胸膜凹陷、支气管截断、血管集束、空泡、充气、多结节聚合、平直等13个类别，并对每例病例的所有肺部ct图像进行了类别标注，对结节区域用红圈标注。

7、优选的，所述数据集预处理系统使用transunet网络对数据集进行预处理，再使用处理好的肺部ct图片对yolov5模型进行训练，检测ct图片中是否含有结节，且根据训练好的检测模型对一例病人中实时的全部dicom数据进行检测，检测出连续10张出现肺结节的dicom数据作为后续实时性肺结节良恶性分类的数据集，并将这10张图片的检测结果用txt文件记录下来，且txt文件中信息，可以计算出肺结节在ct图像中的位置，在原始的dicom数据上对这部分结节区域进行裁剪，使用预先训练好的肺结节十三分类模型efficientnet对裁剪后的图片进行分类，输出的类别概率分布作为类别特征向量。

8、优选的，所述肺部ct图片分割系统将该数据集中所有病例的肺部ct图片进行汇总，且为了避免肺结节图片中部分文字信息对结节的检测和分类的干扰，采用训练好的肺部分割模型transunet对肺部ct图片进行分割，得到肺部ct图片的轮廓图片，轮廓图片中的像素取值为0或1，且轮廓及其内部的像素为1，其余像素值为0，将原始图片和mask图片进行逐像素相乘，得到初步处理得到的图片，所述图片用于后续的检测和分类任务。

9、优选的，所述肺部结节检测系统使用yolov5算法，所述yolov5是一种经典的单阶段目标检测算法，它的检测精度高、推理速度快，现被广泛应用于各种目标检测任务，且yolov5算法对肺部ct图像中的结节进行训练和检测，并根据训练好的yolov5模型对原始的dicom数据进行检测，自动挑选出具有结节的dicom数据，所述肺结节目标检测分为训练阶段和应用阶段。

10、优选的，所述肺结节类别系统经过训练能够自动识别医学影像中肺结节的十三个具体类别，所述类别依据临床经验精确划分，确保模型分类的全面性和准确性，且后续这个分类模型，对目标检测到的结节区域进行专家级别的分类，所述十三分类的具体流程分为训练阶段和应用阶段。

11、优选的，实验参数设置系统将整个数据集按照8:2的比例划分，80％的病例数据作为训练集，20％的病例数据作为测试集，在上下半分支网络模块中，将每例病人的10张图片在通道维度上拼接作为图片特征将其输入到下半分支网络中，将这10张图片的类别特征拼接得到类别矩阵输入到上半分支网络，在最后分类器前加入肺结节的大小特征，各类特征的尺寸如表1所示，本次实验是在一台服务器上完成的，该服务器具有两个1080显卡，8个cpu内核和128g的运行内存，模型在训练过程中的参数配置如表2所示：

12、表1输入特征的尺寸

13、

14、表2训练参数设置

15、

16、优选的，所述评价指标系统采用准确率和f1分数作为评价指标，用来评价设计的分类模型对实时性肺结节良恶性的分类效果，acc和f1指标值越高，代表分类的效果越好，计算公式如下：

17、

18、

19、

20、

21、式中：tp代表预测值和真实值都为正值，tn代表预测值和真实值都为负值，这二类是预测正确的，fn代表预测值为负值，真实值为正值，fp代表预测值为正值，真实值为负值。

22、优选的，所述实验设置与结果系统为了验证在肺结节良恶性分类任务重融合临床经验的必要性，设置了一组对照实验，且实验一只采用双分支网络中的下路分支进行实验，实验二使用整个双分支网络进行实验，两次实验都在全连接层中融合了结节的大小特征。

23、与现有技术相比，本发明的有益效果是：本发明提出实性肺结节良恶性诊断深度学习模型系统，主要针对该网络的下半分支进行了设计，下半分支网络通过inception模块来提取肺部ct图像的多尺度的特征信息、并引入eca、cbam等卷积注意力模块加强了下半分支网络对肺部ct图像位置、形状特征的提取效果。上半分支网络通过resnet和self-attention模块对肺结节的类别信息进行有效的提取。实验结果表明，在实时性肺结节良恶性分类任务中，本文提出的融合临床经验的基于上深度学习的方法在f1、准确度等评价指标上能够达到临床诊断的要求，可以作为辅助手段，帮助医生提高诊断肺结节良恶性的准确率。