矩不变对比循环一致性对抗网络的跨域分割方法及系统

本发明涉及图像处理，尤其涉及一种矩不变对比循环一致性对抗网络的跨域分割方法及系统。

背景技术：

1、胰腺是人体第二大外分泌器官，也是人体重要的内分泌腺。胰腺可分为胰头、胰颈、胰体、胰尾。胰腺癌是消化装置常见的恶性肿瘤之一，临床发现晚，恶性程度高，预后差。胰腺癌的5年相对生存率低于10％，是常见恶性肿瘤中最严重的疾病，且呈逐年恶化的趋势。胰腺癌的早期发现是胰腺癌根治性切除和生存的关键。计算机断层扫描(computedtomography，简称ct)和磁共振成像(magnetic resonance imaging，简称mri)是胰腺疾病重要的两种成像方法，ct具有高密度分辨率和可重复性等优点，mri相比ct有着更大的软组织对比度，多用于胰腺肿瘤侵犯血管时、胰腺的肿瘤较小时、胰腺头肥厚等情况。在腹部ct和mr图像中自动分割胰腺可以为胰腺癌的诊断和治疗提供更准确的信息。

2、近年来，卷积神经网络已经迅速证明是处理各种医学图像的最先进的工具。特别是cyclegan在跨域图像分割任务上表现优异。然而对于ct-mr跨域胰腺分割任务来说，ct和mr图像间的风格差异较大，cyclegan对其风格迁移效果不理想。同时胰腺占整个图像的比例小，其大小、形状、位置和结构在不同患者之间差异大、边缘不清晰，在使用cyclegan对图像进行风格迁移时，无法保持胰腺形状和结构的不变，使得跨域胰腺分割的效果不理想。在跨域图像分割阶段，由于生成的风格迁移图和原图存在细微差距，使得训练得到的分割网络的鲁棒性和泛化能力欠佳。

技术实现思路

1、本技术旨在解决上述技术问题，提供一种矩不变对比循环一致性对抗网络(moment-invariant contrastive cycle-consistent adversarial networks，mi-ccyclegan)的跨域分割方法及系统，实现ct图像和mr图像间的跨域分割，解决现有技术中循环对抗网络(cyclegan)风格迁移能力不足和其无法在迁移过程中保持图像的结构信息不变的问题，提高了跨域分割网络的鲁棒性和泛化能力。

2、为了实现上述目的，本发明实施例提供一种矩不变对比循环一致性对抗网络的跨域分割方法，所述方法包括：

3、s1：获取源域图像xs、目标域图像xt以及源域金标准图像ys；

4、s2：将源域图像xs、目标域图像xt以及源域金标准图像ys输入到提前构建好的矩不变对比循环一致性对抗网络模型中，进行图像风格迁移训练，具体包括：在图像风格迁移训练过程中，使用mi-ccyclegan作为图像风格迁移模型，通过计算图像的不变矩并使用对比损失函数lc2对其进行约束，保持图像的结构和形状在风格迁移前后的一致性；

5、s3：选取多个不同图像风格迁移训练过程中生成的图像作为训练数据；

6、s4：将训练数据和源域金标准图像ys输入到提前构建好的分割模型中，进行图像分割训练，基于语义一致性约束得到训练好的分割模型；

7、s5：利用训练好的分割网络模型对ct图像和mr图像中胰腺区域进行跨域分割。

8、优选地，所述mi-ccyclegan的网络结构包括一对生成器gs/gt、一对判别器ds/dt，所述生成器gs/gt用于生成具有源域图像/目标域图像风格的伪图，判别器ds/dt用于对真实图像和生成的伪图进行区分。

9、优选地，在图像风格迁移训练过程中，利用生成器gt、gs将源域图像xs、目标域图像xt生成具有源域图像、目标域图像风格的伪图xs→t、xt→s，将结构特征相同风格特征不同的源域图像xs和生成的伪目标域图像xs→t作为正样本对，将风格特征相同结构特征不同的源域图像xs和生成的伪源域图像xt→s作为负样本对；使用生成器gt中的编码器e作为特征提取器，对正负样本进行特征提取，得到图像的结构特征feas、feas→t和feat→s，并对其进行降维得到隐变量zs、zs→t和zt→s，基于隐变量zs、zs→t和zt→s，使用对比损失函数lc1使编码器e充分提取图像的结构特征，同时剔除冗余的风格特征。

10、优选地，所述得到图像的结构特征feas、feas→t和feat→s，并对其进行降维得到隐变量zs、zs→t和zt→s的方法为：

11、使用全连接层fc分别对其进行降维得到对应的隐变量zs、zs→t和zt→s，计算如下：

12、zs＝fc(e(xs))

13、zs→t＝fc(e(xs→t))

14、zt→s＝fc(e(xt→s))

15、其中，xs表示源域图像，xs→t表示伪目标域图像，xt→s表示伪源域图像。

16、优选地，所述对比损失函数lc1的定义为：

17、

18、其中，使用余弦相似度作为sim函数来计算两个向量之间的相似度，τ表示温度系数，exp表示以自然常数e为底的指数函数。

19、优选地，所述通过计算图像的不变矩并使用对比损失函数lc2对其进行约束，保持图像的结构和形状在风格迁移前后的一致性的方法为：

20、将伪目标域图像xs→t和伪源域图像xt→s输入分割网络中进行分割，得到预测结果ps→t和pt→s，对其和源域金标准图像ys进行不变矩的计算，将各自计算得到的不变矩作为隐变量as，as→t和at→s，基于隐变量as，as→t和at→s，将隐变量as与as→t作为正样本对，as与at→s作为负样本对，使用对比损失函数lc2保证胰腺的形状和结构在图像风格迁移前后的一致性。

21、优选地，将伪目标域图像xs→t和伪源域图像xt→s输入分割网络中进行分割，得到预测结果ps→t和pt→s，对其和源域金标准图像ys进行不变矩的计算，将各自计算得到的不变矩作为隐变量as，as→t和at→s的方法具体包括：

22、首先，将伪目标域图像xs→t和伪源域图像xt→s输入分割网络中进行分割，得到预测结果ps→t和pt→s；

23、然后，将伪目标域图像xs→t的预测结果ps→t与源域金标准图像ys作为正样本对，伪源域图像xt→s的预测结果pt→s作为负样本对；

24、最后，分别对ys、ps→t和pt→s计算七个不变矩，作为隐变量as，as→t和at→s，不变矩计算公式如下所示：

25、

26、

27、

28、

29、

30、

31、

32、

33、

34、其中，ujk是图像的中心矩，其中c和r分别表示图像的长和宽，(x0，y0)表示图像的质心，f(x,y)表示图像在(x,y)处的灰度值，u00表示零阶中心矩，u10和u01表示一阶中心矩，u20、u02和u11表示二阶中心矩，u12、u21、u03和u30表示三阶中心矩，φ1～φ7表示七个不变矩。

35、优选地，所述对比损失函数lc2的定义为：

36、

37、其中，使用余弦相似度作为sim函数来计算两个向量之间的相似度，τ表示温度系数，exp表示以自然常数e为底的指数函数。

38、优选地，将训练数据和源域金标准图像ys输入到提前构建好的分割模型中，进行图像分割训练，基于语义一致性约束得到训练好的分割模型的方法为：

39、将不同的伪目标域图像源域金标准图像ys输入到提前构建好的分割模型中，生成相应的预测结果图pi，使用均方误差损失函数lcon对不同预测结果图pi之间的差异进行约束，得到训练好的分割模型，其中均方误差损失函数lcon的定义如下：

40、

41、其中，t表示输入伪目标域图像的数量，p1是mi-ccyclegan在训练期间的第45个epoch所产生的伪目标域图像所对应的预测结果。

42、本发明实施例还提供了一种矩不变对比循环一致性对抗网络的跨域分割系统，所述系统包括：

43、获取模块，用于获取源域图像xs、目标域图像xt以及源域金标准图像ys；

44、图像风格迁移模块，用于将源域图像xs、目标域图像xt以及源域金标准图像ys输入到提前构建好的矩不变对比循环一致性对抗网络模型中，进行图像风格迁移训练，具体包括：在图像风格迁移训练过程中，使用mi-ccyclegan作为图像风格迁移模型，通过计算图像的不变矩并使用对比损失函数lc2对其进行约束，保持图像的结构和形状在风格迁移前后的一致性；

45、选取模块，用于选取多个不同图像风格迁移训练过程中生成的图像作为训练数据；

46、跨域分割模块，用于将训练数据和源域金标准图像ys输入到提前构建好的分割模型中，进行图像分割训练，基于语义一致性约束得到训练好的分割模型；

47、输出模块，用于利用训练好的分割网络模型对ct图像和mr图像中胰腺区域进行跨域分割。

48、从以上技术方案可以看出，本发明申请具有以下优点：

49、(1)本发明提出了基于矩不变对比循环一致性对抗网络(mi-ccyclegan)，在风格迁移的同时保持图像的结构信息；(2)本发明提出了基于胰腺矩不变的对比损失，保持胰腺解剖结构在风格迁移前后的一致性；(3)本发明提出了基于多个训练周期图像的语义一致性损失，提升了跨域分割网络的鲁棒性及泛化能力。