一种非配对增强合成的食管肿瘤CT图像自适应分割方法

本发明涉及医学图像合成与分割，具体来说是一种非配对增强合成的食管肿瘤ct图像自适应分割方法。

背景技术：

1、食管癌是一种侵袭性恶性肿瘤，包括鳞状细胞食管癌和腺类食管癌，它们具有不同的病理特征和分布情况。全球范围内，鳞状细胞食管癌仍然是最常见的类型。食管癌具有很强的侵袭性，早期就可能发生淋巴和血行转移并发症。由于疾病早期症状不明显，大多数患者在出现进食困难、声音嘶哑症状就诊时，肿瘤已经处于进展期，错过了手术切除的时机。对于不能接受手术治疗的食管癌患者，仅使用化疗、靶向治疗单一手段效果不佳，5年生存率较低。相比之下，采用化疗、放疗和内镜治疗多模式综合治疗方法正在逐渐成为主流，可以为一部分进展期食管癌患者提供长期生存的机会。放射治疗的一个主要问题是确定肿瘤的位置，需要一种能够辅助定位的工具。目前常用的诊断方法为ct扫描和增强ct扫描，ct扫描可以发现食管癌的存在或疑似病灶，增强ct扫描可以更清晰地显示血管结构，帮助医生评估肿瘤的血液供应情况，进一步了解肿瘤的特征和范围。

2、然而ct扫描无法清晰显示边界不清晰的食管癌区域，需要增强ct扫描的辅助。增强ct扫描的获取需要注射造影剂，这可能对患者产生某些额外的伤害，少数患者可能会出现过敏反应或肾功能损害。而且放疗需要精确勾画放疗的靶区。目前，放射治疗的靶区勾画工作主要由经验丰富的医生和物理师手工完成，准确性依赖于医生的经验水平。这项工作繁琐而耗时。

3、因此，如何在医学影像上实现使用ct影像合成增强ct影像，并自动勾画食管癌靶区成为计算机视觉领域的热门问题。为了合成高质量的增强ct影像，提高医生的工作效率并实现食管癌的精准治疗，研究和实现增强ct影像的合成以及食管癌肿瘤靶区的自动化勾画成为一个迫切需要解决的问题。

4、基于深度学习的非配对的ct影像合成增强ct影像以及食管癌的分割是一项突破性技术，可以合成清晰的增强ct影像并且准确的实现肿瘤靶区的分割任务，最大限度地减少医生难以发现的图像内部信息，让患者不用做增强ct扫描就能得到增强ct扫描影像。

5、但是，非配对的增强ct影像合成和食管癌肿瘤靶区的自动勾画是一项具有挑战性的任务。增强ct影像的合成取决于能否有效地学习到ct影像和增强ct影像之间的域差异，肿瘤区域的分割取决于ct影像中肿瘤与周围组织之间的对比度差异由于食管癌病变形态的多样性、位置的多变性以及周围组织的复杂性，传统的深度学习算法难以实现高质量的增强ct影像合成，难以捕捉肿瘤的全部细节和特征。

6、因此，如何针对非配对的ct影像合成增强ct影像并准确地自动分割食管癌已经成为急需解决的技术问题。

技术实现思路

1、本发明的目的是为了解决现有技术中难以针对非配对的食管癌ct影像合成增强ct影像和边界不明显的食管癌自动分割的缺陷，提供一种非配对增强合成的食管肿瘤ct图像自适应分割方法来解决上述问题。

2、为了实现上述目的，本发明的技术方案如下：

3、1、一种非配对增强合成的食管肿瘤ct图像自适应分割方法，其特征在于，包括以下步骤：

4、11）食管癌ct影像和增强ct影像的获取及预处理：获取dicom格式的ct和增强ct影像，对影像中食管颈段和食管腹段区域的影像数据进行数据增强处理，并进行切片处理，即对三维的dicom格式的ct影像进行截取操作，得到二维的.jpg格式的ct影像和增强ct影像切片以及.png格式的二值化标签影像，组成非配对的食管癌ct和增强ct影像合成与分割数据集；

5、12）构建非配对的食管癌ct影像和增强ct影像合成与分割模型：基于循环生成对抗网络构建食管癌ct影像和增强ct影像的合成与分割模型；

6、13）非配对的食管癌ct影像与增强ct影像合成与分割模型的训练：将非配对的食管癌ct和增强ct影像数据集输入到非配对的食管癌ct影像和增强ct影像合成与分割模型进行训练；

7、14）待合成和分割食管癌ct影像的获得及预处理；

8、15）非配对的食管癌ct影像和增强ct影像合成与分割结果的获得：将预处理后的待合成和分割的食管癌ct影像输入训练后的食管癌ct影像和增强ct影像合成与分割模型，得到合成的增强ct影像和分割后的食管癌ct影像。

9、2、所述构建非配对的食管癌ct影像和增强ct影像合成与分割模型包括以下步骤：

10、21）设定非配对的食管癌ct和增强ct影像合成与分割模型包括用于合成增强ct影像和粗分割的双分支卷积神经网络模型，用于重建ct影像和细化分割的双分支卷积神经网络模型，和用于判别增强ct影像真伪的判别器网络模型，合成增强ct影像和粗分割的双分支卷积神经网络模型输出的合成的增强ct影像与粗分割影像通过拼接操作进行信息融合，之后输入到用于重建ct影像和细化分割的双分支卷积神经网络模型得到最终的分割图，通过生成对抗损失函数和重建损失函数约束得到最终的合成增强ct影像；

11、22）设定用于合成增强ct影像和粗分割的双分支卷积神经网络模型：

12、221）设定用于合成增强ct影像和粗分割的双分支卷积神经网络模型包括一个用于特征提取的下采样编码器模块，一个用于合成增强ct影像的上采样解码器模块，一个用于粗分割食管癌的上采样解码器模块；

13、222）设定下采样编码器模块包括4个连续的下采样结构；

14、下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层堆叠，最后经过一个2倍最大池化层；

15、223）设定用于合成增强ct影像的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个tanh激活函数；

16、编码器的四个下采样结构分别得到四个不同尺寸的输出，

17、第四个尺寸的输出拼接到解码器的第一个输入，

18、第三个尺寸的输出拼接到解码器的第二个输入，

19、第二个尺寸的输出拼接到解码器的第三个输入，

20、第一个尺寸的输出拼接到解码器的第四个输入；

21、解码器结构为四个连续的带残差的上采样块，

22、上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层堆叠，最后经过一个2倍双线性插值上采样操作；

23、最后将上采样结构得到的特征图输入到tanh激活函数；

24、224）设定用于粗分割食管癌的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个sigmoid激活函数；

25、编码器的四个下采样结构分别得到四个不同尺寸的输出，

26、第四个尺寸的输出拼接到解码器的第一个输入，

27、第三个尺寸的输出拼接到解码器的第二个输入，

28、第二个尺寸的输出拼接到解码器的第三个输入，

29、第一个尺寸的输出拼接到解码器的第四个输入；

30、解码器结构为四个连续的带残差的上采样块，

31、上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层堆叠，最后经过一个2倍双线性插值上采样操作；

32、最后将上采样结构得到的特征图输入到sigmoid激活函数；

33、23）设定用于重建ct影像和细化分割的双分支卷积神经网络模型：

34、231）设定用于重建ct影像和细化分割的双分支卷积神经网络模型包括一个用于特征提取的下采样编码器模块，一个用于重建ct影像的上采样解码器模块，一个用于细化分割食管癌的上采样解码器模块；

35、232）设定下采样编码器模块包括4个连续的下采样结构；

36、下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层堆叠，最后经过一个2倍最大池化层；

37、233）设定用于合成增强ct影像的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个tanh激活函数；

38、编码器的四个下采样结构分别得到四个不同尺寸的输出，

39、第四个尺寸的输出拼接到解码器的第一个输入，

40、第三个尺寸的输出拼接到解码器的第二个输入，

41、第二个尺寸的输出拼接到解码器的第三个输入，

42、第一个尺寸的输出拼接到解码器的第四个输入；

43、解码器结构为四个连续的带残差的上采样块，

44、上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层堆叠，最后经过一个2倍双线性插值上采样操作；

45、最后将上采样结构得到的特征图输入到tanh激活函数；

46、234）设定用于细化分割食管癌的上采样解码器模块，其包括4个连续的上采样结构，以及与编码器的四个下采样结构的输出分支的拼接结构，以及一个sigmoid激活函数；

47、编码器的四个下采样结构分别得到四个不同尺寸的输出，

48、第四个尺寸的输出拼接到解码器的第一个输入，

49、第三个尺寸的输出拼接到解码器的第二个输入，

50、第二个尺寸的输出拼接到解码器的第三个输入，

51、第一个尺寸的输出拼接到解码器的第四个输入；

52、解码器结构为四个连续的带残差的上采样块，

53、上采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层堆叠，最后经过一个2倍双线性插值上采样操作；

54、最后将上采样结构得到的特征图输入到sigmoid激活函数；

55、24）设定用于判别增强ct影像真伪的判别器网络模型，其包括一个卷积核为3×3的卷积层、一个leakyrelu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个leakyrelu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个leakyrelu层，一个卷积核为3×3的卷积层、一个实例归一化层、一个leakyrelu层，一个卷积核为1×1的卷积层堆叠。

56、3、所述非配对食管癌ct影像和增强ct影像合成与分割模型的训练包括以下步骤：

57、31）将食管癌ct和增强ct影像数据集输入非配对食管癌ct和增强ct影像合成与分割模型的用于合成增强ct影像和粗分割的双分支卷积神经网络模型，从用于合成增强ct影像和粗分割的双分支卷积神经网络模型输出增强ct合成特征图和粗分割特征图；

58、32）将食管癌ct影像输入到下采样编码器模块中进行训练：

59、321）输入到第一个下采样结构，第一个下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层堆叠；

60、322）对第一个下采样输出送入到第二个下采样结构，得到第二个下采样输出；

61、323）对第二个下采样输出送入到第三个下采样结构，得到第三个下采样输出；

62、324）对第三个下采样输出送入到第四个下采样结构，得到第四个下采样输出；

63、33）以上四个下采样输出，在用于合成ct影像的解码器模块训练：

64、331）将以上四个下采样输出，输入到用于合成ct影像的解码器模块，进行上采样和车工ct影像；

65、332）对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第二个输入；

66、333）将第三个下采样输出拼接到解码器的第二个输入，

67、对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第三个输入；

68、334）将第二个下采样输出拼接到解码器的第三个输入，

69、对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第四个输入；

70、335）将第一个下采样输出拼接到解码器的第四个输入，

71、对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠再经过tanh激活函数得到合成ct影像的最终输出；

72、34）以上四个下采样输出，在用于食管癌粗分割的解码器模块训练：

73、341）将以上四个下采样输出，输入到用于食管癌粗分割的解码器模块，进行上采样分割食管癌ct影像；

74、342）对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第二个输入；

75、343）将第三个下采样输出拼接到解码器的第二个输入，

76、对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第三个输入；

77、344）将第二个下采样输出拼接到解码器的第三个输入，

78、对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第四个输入；

79、345）将第一个下采样输出拼接到解码器的第四个输入，

80、对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠再经过sigmoid激活函数得到食管癌分割最终输出；

81、35）将得到的增强ct特征图和原始增强ct影像输入到用于判别增强ct影像真伪的判别器网络模型；

82、36）将得到的增强ct特征图和食管癌粗分割特征图通过拼接操作进行信息融合，得到拼接后的特征图；

83、37）将拼接后的特征图输入到用于重建ct影像和细化分割的双分支卷积神经网络模型；

84、38）拼接后的特征图在下采样编码器模块中进行训练：

85、381）针对拼接后的特征图输入到第一个下采样结构，第一个下采样结构为一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层堆叠；

86、382）对第一个下采样输出送入到第二个下采样结构，得到第二个下采样输出；

87、383）对第二个下采样输出送入到第三个下采样结构，得到第三个下采样输出；

88、384）对第三个下采样输出送入到第四个下采样结构，得到第四个下采样输出；

89、39）以上四个下采样输出，在用于重建ct影像的解码器模块训练：

90、391）将以上四个下采样输出，输入到用于重建ct影像的解码器模块，进行上采样重建ct影像；

91、392）对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第二个输入；

92、393）将第三个下采样输出拼接到解码器的第二个输入，

93、对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第三个输入；

94、394）将第二个下采样输出拼接到解码器的第三个输入，

95、对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第四个输入；

96、395）将第一个下采样输出拼接到解码器的第四个输入，

97、对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠再经过tanh激活函数得到重建ct影像的最终输出；

98、310）以上四个下采样输出，在用于食管癌精细分割的解码器模块训练：

99、3101）将以上四个下采样输出，输入到用于食管癌精细分割的解码器模块，进行上采样分割食管癌ct影像；

100、3102）对解码器的第一个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第二个输入；

101、3103）将第三个下采样输出拼接到解码器的第二个输入，

102、对解码器的第二个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第三个输入；

103、3104）将第二个下采样输出拼接到解码器的第三个输入，

104、对解码器的第三个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠得到解码器的第四个输入；

105、3105）将第一个下采样输出拼接到解码器的第四个输入，

106、对解码器的第四个输入，执行一个二倍上采样操作、一个对应编码器层拼接操作、一个卷积核为3×3的卷积层、一个批量归一化层、一个prelu层、一个卷积核为3×3的卷积层与一个批量归一化层、一个prelu层堆叠再经过sigmoid激活函数得到食管癌分割最终输出；

107、311）正向传播，得到合成的增强ct影像和分割概率；

108、312）使用交叉熵损失函数和dice损失函数作为食管癌ct影像粗分割和精细分割的损失函数，对分割概率进行计算得到分割损失，其表达式如下：

109、 ，

110、 ，

111、 ，

112、其中，交叉熵损失函数ce(p,q)中c表示类别数， 为真实值， 为预测值；dice loss公式中a 和 b 分别代表其真实标签和模型预测标签所对应的掩膜矩阵，|a∩b|是a和b之间的交集，|a|和|b|分别表示a和b元素的个数，其中，分子的系数为2，是因为分母存在重复计算a和b之间的共同元素的原因；

113、313）使用生成对抗损失函数作为合成增强ct影像的损失函数，对增强ct影像进行合成，其表达式如下：

114、 <mstyle displaystyle="true" mathcolor="#000000"><msub><mi>loss</mi><mi>gan</mi></msub><mi>=</mi><mi>e</mi><mrow><mo>[</mo><mrow><mi>log</mi><mrow><mo>(</mo><mrow><msub><mi>d</mi><mi>x</mi></msub><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><mo>]</mo></mrow><mo>+</mo><mi>e</mi><mrow><mo>[</mo><mrow><mi>log</mi><mrow><mo>(</mo><mrow><mn>1</mn><mi>−</mi><msub><mi>d</mi><mi>x</mi></msub><mrow><mo>(</mo><mrow><mi>g</mi><mrow><mo>(</mo><mi>x</mi><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><mo>)</mo></mrow></mrow><mo>]</mo></mrow></mstyle>，

115、其中，d表示判别器，g表示生成器；

116、314）使用l1损失函数作为重建ct影像的损失函数对食管癌ct影像进行重建，其表达式如下：

117、 ，

118、其中，表示样本数量，是第个样本的真实标签是第个样本的模型预测值；

119、315）通过损失值反向传播确定梯度向量，更新非配对的食管癌ct影像和增强ct影像合成与分割模型参数；

120、316）判断是否达到设定的训练轮数，若是则完成非配对的食管癌ct影像和增强ct影像合成与分割模型的训练，否则继续训练。

121、有益效果

122、本发明的一种非配对增强合成的食管肿瘤ct图像自适应分割方法，与现有技术相比基于食管ct影像与增强ct影像不配对且影像间对比度差异较大，食管癌区域边界不明显、分辨率不高、有伪影的特点，提出用循环生成对抗网络合成增强ct影像，再使用合成的增强ct影像辅助食管癌的分割，使分割网络能够有效地捕获ct影像和增强ct影像的特征，从而提取到更加丰富的细节特征，以提升边界不明显的食管癌靶区的分割精度，减少医生的勾画时间解决勾画一致性问题。

123、由于食管肿瘤靶区边界模糊、位置多变、解剖结构复杂、个体间有较大的差异，本发明提出的用于重建ct影像和细化分割的双分支卷积神经网络可以有效地利用合成的增强ct影像和粗分割改善肿瘤靶区边界模糊的分割效果，提高模型鲁棒性。本发明使用两个双分支网络，既提升了增强ct的合成效果，又增强了食管癌准确分割的能力。