一种多维度特征融合的颅内动脉瘤检测方法

本发明涉及颅内动脉瘤检测
技术领域：
，具体为一种多维度特征融合的颅内动脉瘤检测方法。
背景技术：
：颅内动脉瘤是一种脑血管疾病，患病率约为1％-7％，一旦颅内动脉瘤破裂将使得致残和致死率在60％以上。因此，早期准确检测动脉瘤十分关键。颅内动脉瘤的临床诊断以数字血管造影为金标准。但是数字血管造影不仅是操作复杂的有创检查，而且无法充分显示动脉瘤与周围脑组织的关系。目前计算机断层血管造影是颅内动脉瘤最常用的早期检测手段，需要临床医生依据cta图像凭人工经验判断是否包含病灶点。近年来，全卷积神经网络(包括二维三维卷积神经网络)在医学图像分割任务上取得了显著效果，然而二维卷积不能充分利用三维空间信息，而三维卷积计算成本高，gpu内存消耗大。为了解决上述问题，本文将二维卷积与三维卷积的各自优势进行结合，提出了一种基于多维度特征融合的颅内动脉瘤检测方法。通过与不同维度方法的单独检测结果比较可以看出，基于多维度特征融合的颅内动脉瘤检测方法在颅内动脉瘤分割任务上优于单维度方法。本文所提出的方法有望成为医务人员影像筛查的有效辅助手段，能够在减少影像筛查工作量的同时提高影像筛查的准确率。技术实现要素：本部分的目的在于概述本发明的实施方式的一些方面以及简要介绍一些较佳实施方式。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。为解决上述技术问题，根据本发明的一个方面，本发明提供了如下技术方案：一种多维度特征融合的颅内动脉瘤检测方法，其包括以下步骤：s1：收集数据，将采集到的数据划分为三个数据集：训练集、验证集和测试集，训练集和验证集用于模型的训练阶段，测试集用于验证模型的性能；s2：数据的筛选与预处理，在模型训练之前，我们需要对直接从医院获取到的cta原始检查报告进行筛选与预处理，以减轻无关报告和背景对分割结果的影响；s3：架构并训练模型，设计h-attresunet混合维度卷积神经网络模型，该模型由片内信息提取模块2d-attresunet，片间信息提取模块3d-denseunet和信息融合模块hf组成。作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方案，其中：所述步骤s2中，首先，我们将所有的cta图像截取；之后由放射科专家对处理后的图像进行筛选，去除与诊断颅内动脉瘤无关的部分，得到的有效数据即为我们最终使用的数据集；之后，对有效数据进行kmeans聚类以区分背景区域和颅脑区域，每个样本围绕颅骨进行裁剪，并将颅脑区域裁剪成像素，图片的标签使用同样的变换操作。作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方案，其中：所述步骤s3中，首先，由2d-attresunet模块对患者cta检查报告的片内信息进行学习，得到动脉瘤的粗轮廓；之后3d-denseunet利用2d-attresunet得到的感兴趣区域和3d原始输入一起，对患者的cta检查报告的片间信息进行学习；最后，由hf模块将2d-attresunet和3d-denseunet的结果进行融合，实现颅内动脉瘤的准确分割。作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方案，其中：所述步骤s3中2d-attresunetforintra-slicefeatureextraction：2d-attresunet是具有编码器-解码器结构的cnn，其中编码器利用卷积层与下采样层将特征图尺寸缩小，使其成为更低维的表征，然后解码器将该表征借助卷积层，上采样和融合层逐步恢复维度；分割结果为每个像素是否为动脉瘤的概率值，其尺寸与原图像相同。作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方案，其中：所述步骤s3中3d-unetforinter-slicefeatureextraction：3d-denseunet网络与标准unet网络类似，该网络包含分析路径和合成路径，每个路径含有4种操作，其中分析路径包含2个3*3*3卷积，每个卷积操作后接一个relu，然后是一个2*2*2的最大池化；合成路径由一个2*2*2的反卷积，两个3*3*3的卷积层和relu操作组成；通过跳过连接将分析路径中的底层特征与合成路径中的高层特征融合。作为本发明所述的多维度特征融合的颅内动脉瘤检测方法的一种优选方案，其中：所述步骤s3中hybridfeatureexploration：将2d-attresunet提取的片内特征与3d-unet提取的特征进行融合；该混合特征，即2d网络和3d网络的层内特征和层间特征之和；然后在hf层对该混合特征进行优化。与现有技术相比：1.提出了2d-attresunet，该模型能够探测cta报告的片内特征，引入attention机制和跳过连接来提高动脉瘤的分割性能；2.提出了可以融合片内和片间特征的3d-unet模型，该模型较好地弥补了2d网络忽略上下文信息和3d网络计算量大的不足，为有效利用3d上下文信息提供了一种可行方案；该多维度特征融合的颅内动脉瘤检测方法，可以有效地探测切片内特征和三维上下文特征，实现颅内动脉瘤更精准的分割。附图说明为了更清楚地说明本发明实施方式的技术方案，下面将结合附图和详细实施方式对本发明进行详细说明，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本发明用于颅内动脉瘤分割的h-attresunet图；图2为本发明的2d-attresunet网络结构；图3为本发明的3d-unet网络架构。具体实施方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施方式的限制。为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的实施方式作进一步地详细描述。实施例在本研究中，我们收集了2018年9月3日至2019年4月11日期间，于吉林大学第二医院进行的127例27534项颅内动脉瘤cta检查报告。为了增强其可靠性，我们将选取的数据交于5名具有10年阅片经验的放射科专家进行诊断，最后确认采集到的127例受检者检查报告中共1501项含有动脉瘤，其大小为3mm-15mm；其中男性受检者46例，女性受检者81例；受检者的年龄为60±28岁。我们将采集到的数据划分为三个数据集：训练集、验证集和测试集。其中，训练集和验证集用于模型的训练阶段，测试集仅用来验证模型的性能，数据集的具体分布如表1所示。表1.颅内动脉瘤数据特征由1名专家对数据进行标注，5名专家进行审核。若存在不同意见，标注结果由5名专家讨论决定，以避免遗漏动脉瘤。为方便放射科专家的使用，文中，我们采用的是开源标注工具labelme，可以方便的将患者所有检查切片中为动脉瘤的区域标记出来。modelarchitecture为了从患者大量的cta检查报告中识别出动脉瘤，基于人工阅片的经验，我们设计了名为h-attresunet的混合维度卷积神经网络模型，如图1所示。该模型由片内信息提取模块2d-attresunet，片间信息提取模块3d-denseunet和信息融合模块hf组成。首先，由2d-attresunet模块对患者cta检查报告的片内信息进行学习，得到动脉瘤的粗轮廓；之后3d-denseunet利用2d-attresunet得到的感兴趣区域和3d原始输入一起，对患者的cta检查报告的片间信息进行学习；最后，由hf模块将2d-attresunet和3d-denseunet的结果进行融合，实现颅内动脉瘤的准确分割。假设训练样本集为其中x为224×224×5的inputvolumes，即通过5张224×224图片的拼接形成长方体；y为输入样本各像素的标签，取值分别为0和255，分别表示该像素点属于背景还是动脉瘤；n为训练样本数。设函数f表示从三维体积数据到相邻切片数据的转换，具体来说，沿z轴方向将三维体积数据进行拆分，z轴的维度转换成二维数据的batchsize。例：x2d＝f(x)，则x2d∈r5×224×224表示2d-attresunet的输入。为了方便起见，f-1表示相邻切片到三维体积数据的逆变换。2d-attresunetforintra-slicefeatureextraction2d-attresunet是具有编码器-解码器结构的cnn，如图2所示，其中编码器利用卷积层与下采样层将特征图尺寸缩小，使其成为更低维的表征，然后解码器将该表征借助卷积层，上采样和融合层逐步恢复维度。分割结果为每个像素是否为动脉瘤的概率值，其尺寸与原图像相同。该网络以resnet网络为基本框架，为了准确的识别动脉瘤，我们引入attention机制，以期网络能够更多的关注局部区域信息。与unet不同，该2d-attresunet修改了跳过连接，我们将编码过程中的输出通过seblock和attentiongate与解码器信息进行融合。2d-attresunet的编码器和解码器中所有卷积均为3×3卷积，每个卷积操作后，我们加入了batchnormalization和relu操作。2d-attresunet中最突出的部分在于attention机制的引入。在构建解码器的过程中，首先由seblock(即channelattentionmodule)提取重要的通道信息；即：使用maxpooling和avgpooling对特征图f∈rc×h×w在空间维度上进行压缩，得到两个的通道描述，之后由只有一个隐藏层的多层感知机mlp组成的共享网络对这两个通道描述进行计算，通过softmax得出每个channel的权重，其计算公式如下：其中σ表示sigmoid函数，w0∈rc/r*c，w1∈rc*c/r,r是还原比。提取到通道信息后，我们使用空间注意力模块(spatialattentionmodule)提取重要的位置信息，为了计算spatialattention，在channel的维度上使用最大池化和平均池化，得到两个然后使用concatenation拼接两个特征，之后使用卷积操作得到h×w平面内每个位置的权重。其计算公式如下：其中σ表示sigmoid函数，fn×n表示卷积核为n×n大小的卷积操作。通道注意力模块和空间注意力模块的引入，增强了模型对重要通道信息和位置信息的学习，使得网络可以更多的关注重要特征，忽略不重要特征，提高任务效率。3d-unetforinter-slicefeatureextraction2d-attresunet可以有效的探索患者cta检测报告的片内特征，但其忽略了检查报告之间的特征，而3d-unet网络所需gpu计算量大，限制了网络的深度和网络中卷积核的大小。事实上，放射科专家在进行动脉瘤诊断时，除了关注单个报告的特征，也需要观察报告的序列特征。为了解决上述问题，我们改进了3d-unet使其可以融合片内和片间特征，以更好的分割颅内动脉瘤，其网络结构如图3所示。与标准unet网络类似，该网络包含分析路径和合成路径，每个路径含有4种操作，其中分析路径包含2个3×3×3卷积，每个卷积操作后接一个rectifiedlinearunit(relu)，然后是一个2×2×2的最大池化；合成路径由一个2×2×2的反卷积，两个3×3×3的卷积层和relu操作组成。通过跳过连接将分析路径中的底层特征与合成路径中的高层特征融合。为了保证2d网络的输出结果与3d网络的原始输入融合，两种网络特征块的大小应该对齐。因此，2d-attresunet网络的特征图和输出结果作如下变换：其中，x2d为2d-attresunet网络‘bi-rescnn9’的输出特征图，为输入数据i2d对应的像素级概率。之后3d-unet拼接原始输入i和来自2d网络的供3d-unet网络进一步提取特征。具体来说，3d网络不仅可以探测原始图像的特征，还可以对2d网络得到的大量上文像素的概率信息进行学习。在上下文像素信息的指导下，减轻了直接在3d网络中寻找最优解的负担，大大提高了3d网络的学习效率。3d-unet网络的学习过程可以描述为：其中x3d为3d-unet网络‘upsampling5’的输出特征图。hybridfeatureexploration本节，为了更好的分割颅内动脉瘤，我们希望将2d-attresunet提取的片内特征与3d-unet提取的特征进行融合。该混合特征z＝x′2d+x′3d，即2d网络和3d网络的层内特征和层间特征之和。然后在hf层对该混合特征进行优化，h＝fhf(z;θhf)，yh＝ffhcls(h;θfhcls)其中，h为优化后的的混合特征，y′h为hf层fhfcls(·)的像素级别的预测概率。hf层由两个卷积层组成，其中第一层为64个3×3×3的卷积，其后接bn和relu操作；第二层为1×1×1的卷积，其通道数是标签的数量，在我们的实验中为2。为了训练该网络，我们使用加权交叉熵函数和dice损失的加权组合作为损失函数，其描述为:其中表示像素i属于c类(背景或动脉瘤)的概率，表示权重，为像素i的真实标签，x为图像的groundtruth，y为预测结果。为了有效的训练h-attresunet，我们首先对2d-attresunet网络和3d-denseunet进行优化，分别得到两个网络的最小损失之后固定2d和3d网络的参数，只优化hf模块最后，对整个网络进行联合调整，其损失如下：其中α,β为2d模型和3d模型的平衡权重，实验过程中我们设置α＝0.5,β＝0.5。数据的筛选与预处理在模型训练之前，我们需要对直接从医院获取到的cta原始检查报告进行筛选与预处理，以减轻无关报告和背景对分割结果的影响。首先，我们将所有的cta图像截取到[50,400]hounsfieldunites；之后由一名放射科专家对处理后的图像进行筛选，去除与诊断颅内动脉瘤无关的部分，得到的有效数据即为我们最终使用的数据集，数据的标注与数据的预处理都是在该有效数据上进行的；之后，我们对有效数据进行kmeans聚类以区分背景区域和颅脑区域，每个样本围绕颅骨进行裁剪，并将颅脑区域裁剪成224×224像素，最终输入的尺寸大小为224×224；图片的标签使用同样的变换操作。实现细节在本节中，我们将详细介绍实现环境和数据增强策略。该模型是基于keras平台搭建的，使用4个nvidiageforcertx2080gpus进行训练。初始学习率为0.0001，根据方程lr＝lr×(1-iterations/total_iterations)0.9进行学习率的衰减。使用随机梯度下降法优化模型的参数，动量为0.9。为了提高模型的泛化能力，我们对数据进行了数据增强，包含翻转、平移、缩放、旋转等操作。为了解决颅内动脉瘤检测过程中背景与动脉瘤之间不平衡的问题，我们使用了以下方法，首先，异常样本的采样频率高于正常样本；其次，训练过程中，当分割结果完全由背景组成时，解码器的参数不更新。h-attresunet在颅内动脉瘤数据上的消融实验本节，我们进行综合实验来分析h-attresunet的有效性。值得注意的是，2d-attresunet的训练时间为13小时，而3d-unet为40小时，是2d-attresunet的3倍。h-attresunet花费了28小时。1)comparisonof2dand3d-unet我们对2d-unet和3d-unet网络的性能进行了比较，首先就参数量来说，2d-unet的参数为7760000，而3d-unet的参数为11586097，是2d网络的1.5倍。我们可以看出2d-unet的性能要优于3d-unet，进一步证明了2d卷积在深度学习架构下的有效性和高效性。然而，3d卷积需要消耗大量的gpu资源，使得网络的深度和宽度受到限制，导致3d网络的性能较弱。此外，与2d网络训练时间为12小时相比，3d网络需要更多的训练时间，约为2d网络的3倍。2)effectivenessofattention针对我们提出的框架，我们分析了attention机制的有效性。针对颅内动脉瘤检测数据我们对2d-attresunet和2d-resunet使用相同的训练策略进行训练，区别在于编码部分和解码部分之间是否包含attention机制。不包含attention机制的2d-resunet网络性能略低于2d-attresunet，说明在unet网络中加入attention机制有助于网络收敛到更好的解决方案，可以提升病灶的分割能力。3)effectivenessofhybridfeaturefusion从h-attresunet的损失曲线可以看出，h-attresunet的损失开始于0.29，这是因为我们在2d-attresunet的基础上对模型进行微调。之后经过混和特征的融合学习，损失降低到0.02。h-attresunet可以收敛到比2d-attresunet更小的损失值，进一步说明了混合特征对颅内动脉瘤分割的有效性。与2d-attresunet相比，我们提出的h-attresunet在动脉瘤的分割上取得了不错的分割效果，如表2所示。h-attresunet的分割效果比2d-attresunet高了0.2％，性能的提高表明，z维度的上下文信息有助于对病灶的识别，特别是小且难以识别的病灶。展示了我们的h-attresunet在测试数据集上动脉瘤分割结果的一些示例，可以看出，大多数小目标和大对象都可以很好的分割出来。表22d-attresunet、3d-unet和h-attresunet在测试集上的分割结果颅内动脉瘤诊断性比较为了验证模型的性能，我们进行了诊断性研究。将27例患者的cta检查报告，分别由h-attresunet模型和放射科医生进行诊断，之后将模型的表现与放射科医生的诊断结果进行比较。参与该项研究的一共5名放射科医生，放射科医生在诊断阅览室单独诊断，全部使用相同的高清显示器，使用开源的labelme工具对cta检查图像进行标注，并要求医生记录诊断时间。待27例患者全部标注完成后，我们将其与测试集的标注结果进行比较。在判断图像是否包含动脉瘤的二元任务中，使用准确率和平均诊断时间来评估h-attresunet模型与临床医生的表现。准确率表示所有测试病例的真阳性结果数除以真阳性结果数。表3展示了h-attresunet和5位放射科医生标注情况。表3.h-attresunet和5位放射科医生在测试集上的诊断统计平均诊断时间(s)准确率(％)放射科医生135692.6放射科医生247791.3放射科医生345688.9放射科医生447499.9放射科医生545294.3h-attresunet32793.9放射科医生平均水平45793.4从表中可以看出在放射科医生单独阅片的情况下，平均诊断准确率为93.4％。在使用h-attreunet模型的情况下，准确率为93.9％，较人工阅片准确率提高了0.5％。放射科医生单独阅片的平均诊断时间为457s，每个医生的诊断时间如表3所示，医生的诊断时间易受自身状态和诊断水平的影响，然而对于h-attresunet网络来说，阅片时间仅取决于患者cta检查报告的数量。h-attresunet模型平均需要327s来处理检查报告并输出其分割结果。放射科医生由于其自身的阅片水平不一，诊断的结果在一定程度上存在较大的差异。h-attresunet模型的使用将放射科医生的诊断结果置信度提高了0.5％。conclusion我们提出了一种基于多维度特征融合的h-attresunet颅内动脉瘤检测方法，该方法有效的将二维片内信息和三维片间信息进行融合，提高了颅内动脉瘤检测效果。该体系结构较好地解决了二维卷积忽略上下文信息，三维卷积计算量大的问题。同时，h-attresunet模型显著提高了放射科医生诊断的准确性和评估者的可靠性。考虑到遗漏一个有破裂危险动脉瘤的潜在灾难性后果，设计一个可靠地自动化检测工具是非常必要的。动脉瘤破裂对40％的患者来说是致命的，在存活下来的患者中，有三分之二的患者会导致不可逆的神经功能障碍；因此，准确及时的检测至关重要。除了提高检测精度帮助临床医生进行颅内动脉瘤的cta检查,也可以用来帮助资历较低的医生更快地发现动脉瘤，给予患者更精准的治疗。虽然在上文中已经参考实施方式对本发明进行了描述，然而在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，本发明所披露的实施方式中的各项特征均可通过任意方式相互结合起来使用，在本说明书中未对这些组合的情况进行穷举性的描述仅仅是出于省略篇幅和节约资源的考虑。因此，本发明并不局限于文中公开的特定实施方式，而是包括落入权利要求的范围内的所有技术方案。当前第1页12