预测乳腺癌腋窝淋巴结转移的模型建立方法

本发明涉及图像处理与深度学习技术，具体涉及一种基于dce-mri图像对乳腺癌腋窝淋巴结转移预测模型的建立方法。

背景技术：

1、准确识别乳腺癌腋窝淋巴结(axillary lymph node,aln)转移对患者病理分期、预后和指导临床治疗至关重要。目前，临床用于诊断腋窝淋巴结转移的方式为腋窝淋巴结穿刺、前哨淋巴结清扫及腋窝淋巴结清扫术；然而，据研究报告，高达43-70％的乳腺癌患者在淋巴结清扫时并未发生aln转移，因而导致患者遭受了不必要的手术及术后并发症。因此，术前准确评估乳腺癌患者腋窝淋巴结状态对确定患者手术方案具有重要意义。

2、血管生成是肿瘤进展和转移的前提条件，此外，肿瘤的恶性程度及患者预后与肿瘤异质性密切相关。有研究表明，动态增强磁共振检查(dynamic contrast enhanced mrimages，dce-mri)可以无创反应肿瘤异质性，揭示肿瘤的具体形态特征，并能借助动态增强过程反应肿瘤血管生成情况。就现有数据而言，通过dce-mri图像诊断乳腺癌aln转移尚未满足临床预期。

3、随着人工智能技术的发展，时间及空间异质性可以通过各种分析技术定量描述。深度学习是一种从医学图像中提取信息的强大方法，并被越来越多地用于医学领域的个体水平分类，包括区分良恶性肿瘤，预测患者预后以及预测药物治疗反应。目前，大多数乳腺癌腋窝淋巴结转移研究只是考虑不同医学图像中隐藏的空间特征，并未将时间依赖性动态特征纳入考虑。nguyen等人开发了一个深度4d convolutional neural networks(4d cnn)模型，通过融合dce-mri中可见的原发肿瘤的空间特征来预测aln转移。gao等人提出了一个包含三维深度残差网络(resnet)架构和卷积块注意模块的深度学习模型，称为rcnet，用于预测aln转移。基于图像上的肿瘤、aln和肿瘤-aln组合区域，建立了三个rcnet模型。尽管这两项研究都使用了多参数mri图像或多个扫描点图像，但模型均没有考虑不同图像之间存在的时间关系。

技术实现思路

1、本发明所要解决的技术问题是，提供一种更为精准地预测乳腺癌腋窝淋巴结转移的建模方法。技术方案如下：

2、一种预测乳腺癌腋窝淋巴结转移的模型建立方法，其特征在于，包括下列步骤：

3、(7)采集乳腺癌患者的dce-mri图像并进行靶病灶增强图像的分割；

4、(8)dce-mri图像预处理，得到经过预处理的dce-mri增强图像序列；

5、(9)采集dce-mri报告语义特征；

6、(10)构建convrnn模型，使用多尺度动态卷积神经网络mscnn提取dce-mri图像序列各个增强期的空间特征，多尺度动态卷积神经网络mscnn由以多个尺度卷积模块组成的特征提取器和全局池化层，多尺度动态卷积神经网络mscnn的每个尺度卷积模块包含一个动态卷积模块；

7、多尺度动态卷积神经网络mscnn的输入为一帧经过预处理的dce-mri增强图像，实现对其多尺度的特征提取；尺度卷积模块的最大池化层利用上一个尺度卷积模块的输出进行跨尺度的信息交互，即当前尺度卷积模块的输入特征与上一个尺度卷积模块的输出特征在通道维度上进行拼接，进行最大池化，实现多尺度的融合；在所有的尺度卷积模块中都提取完特征后，将各个尺度卷积模块的特征进行全局池化，拼接在一起，得到整张图像的特征表达，称此特征为其为强化图像空间特征；

8、(11)使用门控循环单元对基于经过预处理的dce-mri增强图像序列中逐期提取到的强化图像空间特征进行时序整合，门控循环单元的输出即序列的整体特征；使用包含一个语义特征提取全连接层和一个分类全连接层的输出模块进行分类，得到对乳腺癌患者是否发生淋巴结转移的预测，方法如下：

9、12)对于经过预处理的dce-mri增强图像序列s＝{s0，s1，s2，s3，s4，s5}，包含增强前到增强n期的n+1张图像，其中，第i期增强图像表示为si；

10、13)对患者来自dce-mri报告中的语义特征进行独热编码，得到语义特征sem；

11、14)将增强图像序列s逐期输入到含有n个尺度卷积模块的多尺度动态卷积神经网络进行处理；

12、15)对增强图像序列s中的n+1张图像处理完毕后，得到序列的空间特征序列f＝{fi}，0≤i＜n+1；

13、16)将第i期增强图像si中提取到的空间特征fi作为输入向量，输入到门控循环单元；

14、17)在门控循环单元中，图像空间特征fi通过tanh激活函数更新候选状态向量ci，表示为：ci＝tanh(wnfi+un(ri⊙hi-1)+bn)，其中hi-1表示第i-1期图像对应的隐状态向量，ri为hi-1对应的权重，wn、un和bn为门控循环单元的网络参数；

15、18)在门控循环单元中，根据hi-1和ci生成第i期图像对应的隐状态向量hi，并且表示为：hi＝zihi-1+(1-zi)ci，zi为组合hi-1和ci的权重；

16、19)在增强第n期图像的空间特征fn通过门控循环单元处理后，得到已包含序列的空间特征序列f中有效信息的隐状态向量hn作为增强图像序列s的特征；

17、20)将语义特征sem输入通过语义特征提取全连接层得到语义特征向量；

18、21)将该语义特征向量与增强图像序列s的特征向量拼接得到患者的预测向量，通过分类全连接层对预测向量进行线性映射，得到长度为2的向量p；

19、22)将向量p经过softmax函数进行归一化处理，p的第二位数字p[1]即该乳腺癌患者发生腋下淋巴结转移的概率；

20、(12)输出模型预测值并可视化模型关注区域：对乳腺癌腋窝淋巴结转移进行预测，形成乳腺癌腋窝淋巴结转移概率值；使用梯度加权类激活映射方法，调查图像中对预测重要的关注区域，并可视化。

21、进一步地，步骤(1)中，收集乳腺癌患者的dce-mri图像以及对应的病理结果，基于矢状位ti动态增强第一期图像分割靶病灶，转化为二值图像；

22、进一步地，步骤(2)具体如下：

23、利用静止速度场与标量动量参数化svf算法对dce-mri图像进行配准；

24、基于配准各时期图像将原发靶病灶以外区域通过边界框进行裁剪；

25、将靶病灶区域转换为三通道rgb格式，并进行归一化和z-score标准化处理；

26、获得经过预处理的dce-mri增强图像序列；

27、进一步地，步骤(3)具体如下：采用正则表达式匹配dce-mri报告中特征的描述；对特征描述的关键词进行分类并编码。

28、进一步地，步骤(3)中，所提取的语义特征包括报告中所描述的乳腺密度、实质背景增强情况、时间强度曲线、弥散加权成像(dwi)表现、有无皮肤侵犯、腋窝淋巴结状态和肿瘤的增强模式。

29、进一步地，步骤(4)中所述的动态卷积模块包括：卷积层；批归一化层，用于对所述卷积层的输出进行批归一化处理；一个整流线性单元，由leakyrelu函数实现，对进行批归一化处理后的输出进行激活；一个自适应平均池化层，将输出特征图池化成一个1×1的特征图，之后展平；两个全连接层，用于计算注意力向量；一个softmax层，用于将注意力向量归一化到[0,1]区间；一个加权池化操作，对输入特征图中的每个通道，都乘以其对应的通道权重，再对所有通道求和，得到一个加权后的特征图输出；单个尺度卷积模块包括：最大池化层；卷积层，用于提取特征；所述的动态卷积模块；输入数据通过最大池化层和卷积层进行处理，生成特征图；如果某个尺度卷积模块不是输入层，则将上一层的特征图也通过最大池化层进行处理，然后将其与当前特征图级联起来；级联后的特征图通过动态卷积模块进行注意力加权，得到输出特征图；此输出特征图作为下一层尺度卷积模块的输入。

30、进一步地，所述convrnn模型训练过程如下：将数据集中经过预处理的dce-mri增强图像序列输入到convrnn模型中，通过正向传播得到对乳腺癌患者是否发生腋下淋巴结转移的预测；把乳腺癌患者发生腋下淋巴结转移的真实情况经过独热编码做为标签，通过crossentropy函数计算预测与标签之间的误差，该误差项由输出层向隐藏层逐层的反向传播，更新网络参数直至输入层，使用adamw优化器不断反馈优化直至误差不再减小；将训练好的网络参数保存为convrnn模型。

31、本发明同时提供一种乳腺癌腋窝淋巴结转移预测装置，其特征在于，所述预测装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行所述的方法步骤。

32、本发明使用一种cnn+rnn架构的模型处理dce-mri图像序列，相对于使用影像组学、卷积神经网络或其他机器视觉方法处理某一时间点或多个时间点的图像，更好地提取了dce-mri图像序列的时空信息。另外，使用多尺度卷积神经网络模型和门控循环神经网络的组合处理时序图像。mri图像的肿块区域像素较少，多尺度卷积神经网络相对于常见的卷积神经网络在图像像素较少的情况下性能更好。