一种原发灶转移辅助诊断系统的制作方法

本发明属于深度学习医学影像领域，更具体地，涉及一种原发灶转移辅助诊断系统。

背景技术：

近年来，人工智能应用到医疗临床检测与诊断的各个环节中，特别在医学图像方面。但是，可公开获取的医学图像数据是非常有限的。人们对医学图像分析中应用深度卷积神经网络(cnn)有强烈的兴趣，但cnn要求大量有标注的训练样本。和普通图像的标注不一样，医学图像的标注需要有专业知识和技能的人来做，因此有标注的医学图像数据更难以获取。深度迁移学习技术可用于解决深度学习中医学图像标注数据少的问题。

ieeetmi特刊“guesteditorialdeeplearninginmedicalimaging：overviewandfuturepromiseofanexcitingnewtechnique”指出：在医学图像处理领域中深度学习被证明是最为有效的手段。迁移学习是机器学习的一个分支，它可以学习到领域无关的特征表达，将其与深度学习结合，能充分利用神经网络的表达能力，学习域不变特征。尽管自然图像与医学图像之间的领域相似性较低，但最近的研究表明自然图像与医学图像之间的知识迁移是可能的。shin等人2016年的“deepconvolutionalneuralnetworksforcomputer-aideddetection：cnnarchitectures，datasetcharacteristicsandtransferlearning”研究了不同的cnn架构、医学数据集与迁移学习的关系。2016年，tajbakhsh等人的“convolutionalneuralnetworksformedicalimageanalysis：fulltrainingorfinetuning”系统地研究了几种医学成像应用中迁移学习的能力。zhou等人2017年提出了“fine-tuningconvolutionalneuralnetworksforbiomedicalimageanalysis：activelyandincrementally”，该方法将持续性迁移学习与主动学习相结合，显著减少了医学图像标注工作量，这在医学图像处理领域有非常大的价值。

目前，对于医学领域的图像处理，医学图像数据集大都是图像级标签，当感兴趣区域(roi)在图像上占比较小时，需要像素级别的分类。一些医学应用需要结合多模态图像信息做判断，而基于不同模态分别建立模型耗时较长。医学图像大都为3d图像，大部分深度卷积神经网络模型基于2d卷积，没有充分利用图像的3d信息。

技术实现要素：

针对现有技术有标注的图像数据量少且未充分利用3d图像空间信息而识别病变部位原发灶转移的精度低，多模态图像分类建立模型时间长的技术问题，本发明提供了一种原发灶转移辅助诊断系统，其目的在于利用迁移学习、结合多模态以及2d/3d多维度的深度卷积神经网络的方法，用于在pet/ct医学图像中识别病变部位原发灶转移，能够有效地为医生提供术前无创的原发灶信息，提供辅助诊断，具有重要的应用价值。

为实现上述目的，按照本发明的一个方面，提供了一种原发灶转移辅助诊断系统，该系统包括：

数据存储模块，用于存储病人的病变部位ct图像序列和对应的pet图像序列；

图像预处理模块，用于对病人的每张病变部位ct图像和对应的pet图像进行融合，得到病人的pet/ct融合图像序列；

2d病变部位原发灶分割模块，用于基于训练好的2dvgg-unet检测模型，对每张待识别病人的pet/ct融合图像进行分割，得到待识别病人的2d病变部位原发灶分割图像序列；

3d候选原发灶构建模块，用于根据待识别病人的2d病变部位原发灶分割图像序列，确定待识别病人的3d候选原发灶的3d重心坐标，根据该坐标从待识别病人的pet/ct融合图像序列上截取3d候选病变部位原发灶；

3d病变部位原发灶转移分类模块，用于基于训练好的3dcnn分类模型，对待识别病人的3d候选病变部位原发灶进行二分类，得到待识别病人的病变部位原发灶是否转移的诊断结果。

优选地，所述图像预处理模块包括：

hu值转换模块，用于对病人的每张病变部位ct图像和对应的pet图像进行hu值转换，转换为8位灰度值；

图像融合模块，用于对病人的hu值转换后每张病变部位ct图像和对应的pet图像进行基于小波变换的图像融合，得到pet/ct融合图像；

2d图像尺寸统一模块，用于对经过图像融合模块输出的每个pet/ct融合图像缩放至2dvgg-unet检测模型要求的输入尺寸。

优选地，2d图像尺寸统一模块，还用于对每个训练样本的对应标签图像缩放至2dvgg-unet检测模型要求的输入尺寸，该系统还包括：

像素归一化模块，用于对每个训练样本的原始ct图像、pet图像、原始标签图像的像素间距分别归一化为1mm*1mm*1mm；

3d图像尺寸统一模块，用于统一各训练样本的病变部位原发灶3d尺寸，对每个训练样本对应的pet/ct融合图像序列，截取该3d尺寸的3d病变部位原发灶，得到适合于3dcnn分类模型输入的数据集。

优选地，所述3d图像尺寸统一模块通过统计训练样本集中每个训练样本的所有标签图像中病变部位原发灶的面积和直径，确定适用于整个训练样本集的病变部位原发灶3d尺寸。

优选地，所述2dvgg-unet检测模型包括依次串联的：

编码器，其以vgg16网络为基础，保留其输入层和全部卷积层，去除最后三个全连接层，其包含由池化层分割的5层编码层，每层编码层对输入的图像进行特征提取，前4层的编码层的权重由imagenet预训练的vgg16模型迁移得到；

解码器，包含5层解码层，每层解码层与编码层一一对应，用于对该编码层输出的图像进行还原，每层解码层由1个3*3卷积层、1个4*4反卷积层串联构成，每层解码层实现一次上采样，上采样的输出再与对应编码器部分通道数相同的输出进行拼接；

分割模块，包含2个3*3的卷积层，用于完成整个图像的还原，输出一张分割结果图像。

优选地，所述3d候选原发灶构建模块包括：

roi增强模块，用于对待识别病人的2d病变部位原发灶分割图像序列进行腐蚀操作，得到若干个3d连通区域；

合并模块，用于计算每个3d连通区域的3d重心坐标，合并3d欧式距离小于2cm的所有3d连通区域，作为待识别病人的3d候选原发灶，并确定该区域的3d重心坐标；

截取模块，用于根据该3d重心坐标和训练过程确定的病变部位原发灶3d尺寸，在待识别病人的pet/ct融合图像序列上截取3d候选病变部位原发灶。

优选地，所述3dcnn分类模型包括依次串联的1个5*5*5的卷积层、4个连续的11*11*11的卷积层、1个池化层、1个3*3*3的卷积层，1个2*2*1的卷积层、1个5*5*2的卷积层、1个池化层、4个连续的3*3*3的卷积层、2个连续的全连接层，每个卷积层后接relu函数。

优选地，该系统还包括：数据集离线扩增模块，用于将2dpet/ct融合图像和标签图像通过旋转、翻转、网格变换方式扩增，将3d病变部位原发灶图像通过3d旋转、翻转、缩放的方式扩增。

优选地，训练2dvgg-unet检测模型时，采用的损失函数计算公式如下：

loss＝(1-jdweight)*bceloss-jdweight*jaccard

其中，jdweight表示jaccard在损失loss中所占权重，bceloss表示病变部位图像中原发灶和非原发灶的二值交叉熵损失，jaccard表示预测的病变部位原发灶和真实的病变部位原发灶的交并比。

优选地，训练2dvgg-unet检测模型时，迁移权重层使用较小的学习率，其他层的学习率为迁移权重层的学习率的10倍；同时，两部分的学习率每隔100个训练周期都将衰减10倍。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

(1)本发明构建了2d检测、3d分类的级联网络结构，结合2d局部信息和3d空间信息，提供了更具有代表性的特征，更好地提升了病变部位原发灶转移识别的准确性。

(2)本发明中2dvgg-unet检测模型以vgg网络模型为基础，构建类似unet的u型网络，在网络的编码器中逐层迁移imagenet预训练的权重，从而迁移了预训练的vgg16模型的图像低层特征，在有限的训练数据集上，提供更准确的病变部位原发灶分割结果。

(3)本发明中3d分类模块利用一个16层的3dcnn，能够捕获病变部位原发灶潜在的体素特征，充分利用全局信息实现对候选原发灶的转移分类。

(4)本发明使用pet/ct融合图像对2dvgg-unet模型进行全局重新拟合，能够对病变部位原发灶进行分割，输出一张被标记好的图像，实现初步检测。pet图像和ct图像的图像融合，充分利用了结构影像和功能影像的信息，这些信息互相结合提升了模型的预测能力，对辅助医生诊治有着重要的应用价值。

附图说明

图1为本发明实施例提供的一种原发灶转移辅助诊断系统结构示意图；

图2为本发明实施例提供的数据预处理流程图；

图3为本发明实施例提供的2dvgg-unet检测模型网络结构示意图；

图4为本发明实施例提供的3dcnn分类模型网络结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明提供了一种原发灶转移辅助诊断系统，该系统包括：

数据存储模块，用于存储病人的肺癌ct图像序列和对应的pet图像序列。

图像预处理模块，用于对病人的每张肺癌ct图像和对应的pet图像进行融合，得到病人的pet/ct融合图像序列。

2d肺癌原发灶分割模块，用于基于训练好的2dvgg-unet检测模型，对每张待识别病人的pet/ct融合图像进行分割，得到待识别病人的2d肺癌原发灶分割图像序列。

3d候选原发灶构建模块，用于根据待识别病人的2d肺癌原发灶分割图像序列，确定待识别病人的3d候选原发灶的3d重心坐标，根据该坐标从待识别病人的pet/ct融合图像序列上截取3d候选肺癌原发灶。

3d肺癌原发灶转移分类模块，用于基于训练好的3dcnn分类模型，对待识别病人的3d候选肺癌原发灶进行二分类，得到待识别病人的肺癌原发灶是否转移的诊断结果。

为了排除设备导致的样本差异性，增加训练模型的可靠性，通过像素归一化、hu值转换、图像融合、图像尺寸处理预处理原始pet和ct图像和原始标签图像，构建2d和3d图像数据集。本发明实施例针对肺癌原发灶，具体所用的医学图像数据为肺部pet功能图像和ct结构图像。

具体地，如图2所示，所述图像预处理模块包括：

hu值转换模块，用于对病人的每张肺癌ct图像和对应的pet图像进行hu值转换，转换为8位灰度值。

ct图像和pet图像从16位灰度值转换为8位灰度值，即像素值限制在0到255之间，以便于与迁移的源领域imagenet保持位数一致，降低imagenet图像数据集与肺癌原发灶图像数据集信号强度不一致程度，更利于迁移特征的提取。

图像融合模块，用于对病人的hu值转换后的每张肺癌ct图像和对应的pet图像进行基于小波变换的图像融合，得到pet/ct融合图像序列。

对每一张2dct图像和pet图像进行基于小波变换的图像融合，使用haar小波对ct图像和pet图像分别进行2层的小波分解，分解得到的低频部分使用加权平均进行融合处理，高频部分使用局部方差准则进行融合处理，通过小波逆变换得到重构图像即为pet/ct融合图像。

2d图像尺寸统一模块，用于对经过图像融合模块输出的每个pet/ct融合图像缩放至2dvgg-unet检测模型要求的输入尺寸。

2d尺寸处理是为满足迁移模型输入尺寸要求，将256*256*d2大小的3dpet/ct融合图像中含标签的2d图像提取出来，全部缩放为224*224(预训练模型固定的输入尺寸)。

具体地，如图2所示，2d图像尺寸统一模块，还用于对每个训练样本的对应标签图像缩放至2dvgg-unet检测模型要求的输入尺寸，由224*224大小的2dpet/ct融合图像和标签图像共同构成2d图像数据集；该系统还包括：

像素归一化模块，用于对每个训练样本的原始ct图像、pet图像、原始标签图像的像素间距分别归一化为1mm*1mm*1mm。

将各图像的像素间距归一化为1mm*1mm*1mm，即x、y、z维度为1像素＝1mm，其中，*表示乘法。载入大小为512*512*d1的dicom格式的原始ct图像和原始pet图像以及bmp格式的原始标签图像，将原始ct图像和原始pet图像通过三次插值算法统一像素间距，获得256*256*d2大小的ct图像和pet图像，将原始标签图像通过最近邻算法统一像素间距，获得256*256大小的标签图像。

3d图像尺寸统一模块，用于统一各训练样本的肺癌原发灶3d尺寸，对每个训练样本对应的pet/ct融合图像序列，截取该3d尺寸的3d肺癌原发灶，得到适合于3dcnn分类模型输入的3d数据集。

具体地，所述3d图像尺寸统一模块通过opencv库来统计训练样本集中每个训练样本的所有标签图像中肺癌原发灶的面积和直径，确定适用于整个训练样本集的肺癌原发灶3d尺寸。

具体地，如图3所示，所述2dvgg-unet检测模型包括依次串联的：

编码器，其以vgg16网络为基础，保留其输入层和全部卷积层，去除最后三个全连接层，其包含由池化层分割的5层编码层，每层编码层对输入的图像进行特征提取，前4层的编码层的权重由imagenet预训练的vgg16模型迁移得到。

具体地，权重迁移是将预训练权重按对应结构迁移到2dvgg-unet模型前4层的编码层，模型其余部分进行msra初始化。如图3所示，从输入图像开始出现的灰色卷积层图块代表了从vgg16迁移的权重，这些参数是vgg16模型在源领域imagenet通过大量图像数据所获取的特征，本发明重用这些特征，减少了训练时间，降低了小数据带来的障碍。

解码器，包含5层解码层，每层解码层与编码层一一对应，用于对该编码层输出的图像进行还原，每层解码层由1个3*3卷积层、1个4*4反卷积层串联构成，每层解码层实现一次上采样，上采样的输出再与对应编码器部分通道数相同的输出进行拼接。

分割模块，包含2个3*3的卷积层，用于充分挖掘和利用图像的全局特征信息，提取更加充分的特征，完成整个图像的还原，输出一张分割结果图像。

训练此模型时，先设定模型的超参数，超参数包括：学习率、迭代周期数、jaccard相似度权重参数等。然后读取2d图像数据集中的训练集和验证集目录，小批量读入数据。通过在gpu上不断地迭代训练2dvgg-unet模型，观察训练集和验证集损失loss，当loss趋于稳定不变且分割精度高于指定阈值时，保存并导出模型结构及权重参数，否则，调整超参数重新开始训练。

具体地，所述3d候选原发灶构建模块包括：

roi增强模块，用于对待识别病人的2d肺癌原发灶分割图像序列进行腐蚀操作，得到若干个3d连通区域。

合并模块，用于计算每个3d连通区域的3d重心坐标，合并3d欧式距离小于2cm的所有3d连通区域，作为待识别病人的3d候选原发灶，并确定该区域的3d重心坐标。

截取模块，用于根据该3d重心坐标和训练过程确定的肺癌原发灶3d尺寸，在待识别病人的pet/ct融合图像序列上截取3d候选肺癌原发灶。

在完成肺癌原发灶初步检测后，通过3dcnn分类模型，提取肺癌原发灶的空间特征，进一步对转移分类。具体地，如图4所示，所述3dcnn分类模型包括依次串联的1个5*5*5的卷积层、4个连续的11*11*11的卷积层、1个池化层、1个3*3*3的卷积层、1个2*2*1的卷积层、1和5*5*2的卷积层、1个池化层、4个连续的3*3*3的卷积层、2个连续的全连接层，每个卷积层后接relu函数，共16层。

模型接收48px*48px*48px的3d图像块输入，其中，px代表像素，然后通过1个卷积核为5*5*5的卷积层，接着通过4个连续的卷积核为11*11*11的卷积层，再接着是第1个池化层，本网络中的池化层均采用最大池化，它能更多的提取更具有强烈的语义信息的特征，作为下一层的输入，然后是3个不同卷积核大小的卷积层，再接一个最大池化层，使得输出尺寸减半，再到4个连续的卷积核为3*3*3的卷积层，最后两个全连接层进行二分类(转移或未转移)。3dcnn能够更加充分地提取肺癌原发灶的空间上下文信息，可以学习到肺癌原发灶潜在的特征，这些特征有助于提高分类性能。此外，模型还加入dropout策略来增强模型的泛化能力，以防止模型过拟合。

训练此3dcnn模型时，先设定模型的超参数，超参数包括学习率、迭代周期数、优化器参数等。然后读取3d图像训练集和验证集目录，小批量读入数据，在gpu上不断迭代训练3dcnn分类模型，观察训练集和验证集的分类准确率，若训练和验证分类准确率不断上升且趋于稳定时，停止训练，然后将测试样本输入模型获得转移分类结果，计算测试分类准确率，若测试分类准确率高于特定阈值，则保存模型，否则，调整模型的超参数重新开始训练。

具体地，该系统还包括：数据集离线扩增模块，用于将2dpet/ct融合图像和标签图像通过旋转、翻转、网格变换方式扩增，将3d肺癌原发灶图像通过3d旋转、翻转、缩放的方式扩增。

2d肺癌原发灶图像数量有限，所述2d数据集扩增是便于后面的2dvgg-unet模型学习到更具有判别性的特征，对2d图像数据集进行扩增。扩增方式通过-10℃到+10℃的小角度旋转、90℃，180℃，270℃旋转、翻转、网格变换以及它们的随机概率组合的变换，将2d图像数据集扩增5倍。

通常情况下，转移的肺癌原发灶图像的数据量相比于未转移的肺癌原发灶图像少得多，类别不均衡会导致模型过拟合，为了防止这样的现象发生，需要对转移的肺癌原发灶图像进行扩增处理。所述3d数据集扩增就是将3d图像数据集中转移的肺癌原发灶图像通过3d旋转、翻转、缩放的方式扩增至与未转移的肺癌原发灶图像数量持平，再将整个3d图像数据集在(x,y,z)三个方向进行[-1,1]的平移，然后根据肺癌原发灶的重心坐标对其进行[90℃,180℃,270℃]三个角度的旋转扩增5倍。

扩增后，对2d和3d图像数据集进行划分，用于后面模型的训练与验证。所述数据集划分都按照3:1:1的比例划分训练集、验证集、测试集，同时，要保证每个划分中类别的比例与原始比例保持一致，这样的分层划分能够让3类数据集合保持相同的数据分布，避免因数据划分过程中引入额外的偏差而对最终结果产生影响。

具体地，训练2dvgg-unet检测模型时，采用的损失函数计算公式如下：

loss＝(1-jdweight)*bceloss-jdweight*jaccard

其中，jdweight表示jaccard在损失loss中所占权重，bceloss表示肺癌图像中原发灶和非原发灶的二值交叉熵损失，jaccard表示预测的肺癌原发灶和真实的肺癌原发灶的交并比。

具体地，训练2dvgg-unet检测模型时，迁移权重层使用较小的学习率，其他层的学习率为迁移权重层的学习率的10倍；同时，两部分的学习率每隔100个训练周期都将衰减10倍。这样周期性的更新学习率，能加速网络收敛。

具体地，使用训练好的3dcnn分类模型对候选肺癌原发灶分类时，为了获得更为鲁棒性的预测结果，通过在截取候选肺癌原发灶时，以重心坐标为中心，进行多次平移截取同一个候选肺癌原发灶的多个增强样本，将所有增强样本均进行预测，计算所有预测结果的算术平均值，作为此肺癌原发灶的预测结果。这种方法增强结果的可信度，实践性高。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。