基于神经网络的肺结节检测方法、装置及图像处理设备与流程

本公开涉及医学影像
技术领域：
，尤其涉及一种基于神经网络的肺结节检测方法、装置及图像处理设备。
背景技术：
：肺癌是中国发病率和死亡率都很高的一种常见的致命性恶性肿瘤。大部分的肺癌患者被发现后已经处于中晚期，这给治疗效果带来了很大的问题。所以肺癌肿瘤的早期检测和诊断对于患者来说有极大的意义，可以提高治疗和愈后的效果。传统的诊断模式，是医生通过ct影像对肺结节进行分析判断。但是由于病人的ct影像通过包括200-300张的影像层面图像，人工发现和分析肺结节，不仅费时费力，而且由于疲劳等因素可能会产生漏诊。通过ct影像技术和人工智能技术，可以对肺结节进行自动分割，并计算提取病灶特征例如组学参数，对肺结节进行定量和定性分析，从而能为医生决策提供辅助支持。关于肺部结节，医生会通过它的形态、特征和变化等，利用经验来判断其性质。而影像组学是使用大量自动提取的数据特征化算法，将成像数据转换为高维可挖掘特征空间。这些影像学特征可以捕捉肿瘤的不同表型差异，可能具有预测能力，通过影像的量化分析可以解析影像所包含的各种病理生理学进程及其相互关系。所以利用影像组学数据，通过人工智能技术建立模型，对肺结节进行分类预测越来越被人们重视和利用。ct影像的组学参数的标准化很重要，同样，组学参数的稳定性也很重要，精确的病灶分割有助于获得稳定的组学数据。由于肺结节大小不一，位置不定，形态各异，和周围组织的密度相似，所以肺结节的分割有一定的难度。近年来，由于深度学习的广泛应用，采用卷积等网络模型对肺结节可以进行快速的定位和分割，大大加快了辅助临床应用。不过，这种方式下也存在肺结节假阳性比较多，以及边缘不够精细的待优化的地方。较多的假阳性增加了医生判断肺结节的时间，影响了医生判断的准确性。技术实现要素：有鉴于此，本公开实施例提供一种基于神经网络的肺结节检测方法、装置及图像处理设备，该方法是一种通用的基于ct肺部影像自动分割后，对病灶区域提取并构建特征值并利用神经网络建模，对候选肺结节区域进行检测，减少假阳性，从而提高肺部影像自动检测分割精确性。为了实现上述目的，本发明提供如下技术方案：一种基于神经网络的肺结节检测方法，包括如下步骤：s1、基于3ddcnn网络框架对ct影像中的肺结节进行识别及分割，得到候选肺结节数据；s2、构建ct影像中候选肺结节数据的特征值向量，得到样本数据集；s3、将样本数据集按照比例划分为训练集和测试集，将训练集利用预先构建的gru模型进行分类训练，再将测试集输入训练后的gru模型中进行检测，输出肺结节检测结果。进一步地，步骤s1之前还包括，先将获取的原始ct影像数据进行预处理，所述预处理是将原始ct影像数据进行包括去噪、坐标转换、统一分辨率、ct值均衡处理、像素间距的处理。进一步地，步骤s2中具体包括以下子步骤：s201、获取ct影像中候选肺结节区域的肺结节数据特征值；s202、按照ct扫描的顺序，将候选肺结节按固定数量分为多个序列；s203、计算每个样本序列的特征值向量，得到样本数据集。进一步地，步骤s201中：先获取ct影像中候选肺结节区域的图像数据，再获取该区域图像数据的灰度值和图形面积作为肺结节数据特征值。进一步地，步骤s201中，通过3ddcnn网络获取候选肺结节掩摸的矩形边界，获取每个ct切片上的肺结节区域的所述图像数据。进一步地，步骤s203中，计算每组序列数据中灰度值和图形面积的平均值，整合作为该样本序列的特征值向量。进一步地，步骤s203中还包括，将候选肺结节样本序列逆序处理得到序列副本，将该序列副本作为同一标注数据样本并入所述样本数据集。进一步地，步骤s3中，采用交叉熵损失函数提升所述gru模型对肺实质边界区域的检测精度，获得适用于肺实质检测的gru模型并保存。本发明还提供一种基于神经网络的肺结节检测装置，包括：图像获取模块，所述图像获取模块用于获取待检测的原始ct影像数据；图像处理模块，所述图像处理模块用于预处理所述原始ct影像数据；初步检测分割模块，所述初步检测分割模块用于将ct影像中的肺结节基于3ddcnn网络框架进行识别及分割，得到候选肺结节数据；特征提取及集合生成模块，所述特征提取及集合生成模块用于提取候选肺结节切片扫描图的图像特征，并生成样本数据集；实质检测分割模块，所述实质检测分割模块用于采用gru模型和损失函数对待检测的ct影像进行肺实质检测分割，并获得肺实质检测分割图像。本发明还提供一种图像处理设备，包括处理器及机器可读存储介质，所述机器可读存储介质上存储有机器可执行指令，所述机器可执行指令被执行时促使所述处理器实现上述的基于神经网络的肺结节检测方法。本发明提出的基于神经网络的肺结节检测方法、装置及图像处理设备，其中使用了gru结节检测模型，与不使用结节检测模型方式下的肺结节检测分割比较，从测试样本数据看，整体假阳性减少了18-30％。另外，本发明的方法简单易实现，对数据量的要求不高，实时性较好。除了考虑已采纳的灰度值、面积做为特征，其它属性，例如长短径、重心、近圆形判断因子等也可以扩展进特征值中去，本发明具有良好的易扩展性。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本发明一种实施例中基于神经网络的肺结节检测方法示意图；图2为本发明一种实施例中基于nodulenet网络框架的肺结节分割网络结构图；图3为本发明一种实施例中候选肺结节的矢量化特征生成过程；图4为本发明一种实施例中gru循环网络建模过程；图5为本发明一种实施例中gru模型中的r,z门控示意图。具体实施方式下面结合附图对本公开实施例进行详细描述。以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。如图1所示，本公开实施例提供一种基于神经网络的肺结节检测方法，包括如下步骤：s01、先将获取的原始ct影像数据进行预处理，所述预处理是将原始ct影像数据进行包括去噪、坐标转换、统一分辨率、ct值均衡处理、像素间距spacing的标准化处理等。对整个ct影像进行标准化处理，保证以后的数据处理都是在统一的基线上进行。s1、基于3ddcnn网络框架对ct影像中的肺结节进行识别及分割，得到候选肺结节数据；这一过程用nodulenet(3ddcnn)网络框架实现，nodulenet是一种新的端到端3d深度卷积神经网络dcnn，它以多任务的方式联合解决肺结节的检测、减少假阳性以及分割任务。nodulenet由三部分组成：结节候选筛选，减少假阳性和分割细化(如图2所示)。这三个组件共享相同的底层特征提取骨干网，整个网络以端到端的方式进行训练。nodulenet没有单独训练深度卷积神经网络，避免了耗时且耗资源的过程。以多任务训练的方式共享提取肺结节特征表示的通用过程。例如，结节的分割掩为神经网络学习区分特征提供了强有力的指导，从而提高结节检测的性能。nodulenet是肺结节检测和分割的端到端框架，由三个连续阶段组成：结节候选筛选，假阳性减少和分割细化。其中结节候选筛选的主要过程：为了生成候选结节，将3×3×33d卷积层应用于特征图(图2中的特征图4)，然后是两个平行的1×1×1卷积层，以生成分类概率以及与特征图上每个体素上的每个锚相关联的六个回归项。锚是一个3d框，然后，最小化多任务损失函数。接着网络通过解耦减少假阳性，并通过分割细化完成结节的分割。经过nodulenet的处理，会得到一系列的候选肺结节数据，这里经过网络的内部的处理(减少假阳性)后，假阳性依然非常多。s2、构建ct影像中候选肺结节数据的特征值向量，得到样本数据集；s201、获取ct影像中候选肺结节区域的肺结节数据特征值；肺结节包括实性肺结节、磨玻璃结节和混合型肺结节几种情况，为了更好地量化肺结节，抽取一些能够表达肺结节特点的数据作为特征值，量化研究目标。本实施例中，先获取ct影像中候选肺结节区域的图像数据，再获取该区域图像数据的灰度值和图形面积作为肺结节数据特征值，具体操作如下：1、获取肺结节区域的图像数据通过netnodule网络获取到候选肺结节掩模的矩形边界，以此来获取每个ct切片上的肺结节区域图像：roi＝image[x1:x2,y1:y2]2、获取roi区域的灰度值求出图像的灰度值：groi＝np.mean(roi)获得该候选肺结节在连续切片上的灰度值:[g1,g2,g3]；3、获取roi区域的图形面积首先将roi区域的图像进行二值化，得到binary图像；然后求出其面积：aroi＝np.sum(binary>0)获得该候选肺结节在连续切片上的面积值:[a1，a2,a3]；s202、本实施例中，按照ct扫描的顺序，将候选肺结节按固定数量分为3个序列，如图3所示；s203、计算每个样本序列的特征值向量，得到样本数据集。具体地，计算每组序列数据中灰度值和图形面积的平均值，整合作为该样本序列的特征值向量。即：获取样本的值x＝(gray1,area1,gray2,area2,gray3,area3)获取数据集，如下表1所示，分别在ct影像中获取上述的候选肺结节样本序列的值，并记录下对应的结节标注属性，如果是肺结节则标注值为1，如果不是则为0。依以类推获取在其它病人影像中的类似数据，收集样本数据集如下表1所示:表1：idg1g2g3a1a2a3是否结节1405646223412125062492940311...n4559702255660s3、将样本数据集按照比例划分为训练集和测试集，将训练集利用预先构建的gru模型进行分类训练，再将测试集输入训练后的gru模型中进行检测，输出肺结节检测结果。gru(gaterecurrentunit)是循环神经网络(recurrentneuralnetwork,rnn)的一种。和长短记忆模型lstm(long-shorttermmemory)一样，也是为了解决长期记忆和反向传播中的梯度等问题而提出来的。相比lstm，使用gru能够达到相当的效果，并且相比之下更容易进行训练，能够很大程度上提高训练效率，因此很多时候会更倾向于使用gru。将数据集按照比例划分为训练集和测试集，然后利用gru模型进行分类训练。如图4所示,gru模型中通常处理的是以时间为序的数据，这里借用这个概念，以扫描顺序来替代时序数据。其中，采用交叉熵损失函数crossentropyloss()提升所述gru模型对肺实质边界区域的分割精度，获得适用于肺实质分割的gru模型并保存。优化器选择adam优化器，它结合了adagrad和rmsprop两种优化算法的优点，权重衰减因子设为0.0001,初始学习率为0.001。最大训练次数为1000进行模型训练。本发明实施例分别从luna16数据集、lndb数据集和阿里天池数据集中选取了10个、30个、和10个影像数据做为测试样本。首先通过nodulenet网络得到候选结节，然后利用本发明的gru模型对这些结节进行分类预测，进一步地减少假阳性。测试结果如表2所示，其中gt-结节数表示影像中真实的结节数量，nodulenet结节数表示经过nodulenet网络筛选出的结节数量，而gru结节数是利用gru模型最终筛选出的结节数量。表2：从表2中可以看出，本发明中使用了gru结节检测模型，与不使用结节检测模型方式下的肺结节检测分割比较，从测试样本数据看，整体假阳性减少了18-30％。本发明的目的在于提供一种通用的基于ct肺部影像自动分割后，利用循环神经网络gru模型对候选肺结节区域进行检测，减少假阳性。具体地，本发明提出的降低肺结节检测分割中假阳性的方法如图4所示，利用传统的gru模型处理时序数据的功能进行结节的假阳性分类过滤。一般情况下，循环神经网络按照顺序处理所有的输入，每一时刻t，都会存在一个向量h保存与t时刻相关的信息(可以是t时刻前的信息或者t时刻后的信息)。通过向量h与输入向量x，就可以比较准确地判断当前的结果。在下文中的符号表示：xt表示t时刻的输入向量(例如第t个切片的向量)。ht表示t时刻的隐藏向量(包含了从开始一直到t时刻的相关信息)。yt表示t时刻的输出向量(通常是预测的结果)。gru的实现过程可以简单描述为有一个当前的输入xt，和上一个节点传递下来的隐状态(hiddenstate)ht-1，这个隐状态包含了之前节点的相关信息。结合xt和ht-1，gru会得到当前隐藏节点的输出yt和传递给下一个节点的隐状态yt。如图5所示，图5是gru模型中的r,z门控示意图，其中r为控制重置的门控(resetgate)，z为控制更新的门控(updategate),σ为sigmoid函数，通过这个函数可以将数据变换为0-1范围内的数值，从而来充当门控信号。h’主要是包含了当前输入的xt数据。有针对性地对h’添加到当前的隐藏状态，“相当于”记忆了当前时刻的状态。而更新表达式：ht＝(1-z)⊙ht-1+z⊙h′在本例中，ct影像中结节通常由连续的切片上的数据扫描组成。所以xt表示当前切片上某个候选结节，而yt则表示输出结果，即是否为真的结节。h表示结节的特征向量。因为切片是连续的，所以用结节的特征序列来表示h。在本发明中，将ct影像也假设成一个按照时间顺序扫描的切片序列。那么候选肺结节也可以认为是一个顺序切片数据。只要将这些数据通过循环神经网络，进行训练，就可以利用模型预测结果(是否真是肺结节)。而合理地构造肺结节数据的特征向量是其中的一个关键，本发明中除了考虑已采纳的灰度值、面积做为特征，其它属性，例如长短径、重心、近圆形判断因子等也可以扩展进特征值中。因此，本发明通过nodulenet得到候选肺结节数据后，利用上述过程计算测试数据的特征向量，利用保存的gru模型即可进行假阳性的筛除。在本发明另一优选实施方式中，可将候选肺结节样本序列，简单地逆序处理得到序列副本，将该序列副本作为同一标注数据样本并入所述样本数据集。这样处理可以增加样本数量，提高训练模型的鲁棒性。以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本
技术领域：
的技术人员在本公开揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。当前第1页12