基于傅里叶特征的跨模态医学图像合成方法、系统及设备

本发明涉及计算机视觉的医学图像合成，尤其涉及一种基于傅里叶特征的跨模态医学图像合成方法、系统及设备。

背景技术：

1、跨模态医学图像合成旨在通过学习给定的源模态图像和目标模态图像之间的关系来合成目标模态医学图像，在现代医学诊断中起着十分重要的作用，因为不同模态的医学图像可以突出不同组织的特征，综合多种模态医学图像信息以进行疾病准确评估诊断已经成为现在智能医疗诊断的流行方法。跨模态医学图像合成任务的广泛应用包括：利用跨模态合成方法生成缺失或受损的图像、利用健康的模态图像合成用于病灶分割的伪健康图像、使用扫描耗时少的图像生成需要消耗大量时间扫描的图像等。

2、早期使用传统机器学习方法做跨模态的医学图像合成，如基于图集的方法等，这些方法在具有明显异常的图像上的表现不佳。最近，基于深度神经网络建模的跨模态医学图像合成方法成为主流，如使用条件gan进行多对比mri图像合成，并通过添加相邻的横断面图像进一步提高合成质量等。然而，现有的工作都以最小化像素或体素强度差异为目标，这种逐像素对应的训练模式可能会造成解剖结构生成异常。例如imt，它增加了输入和输出不匹配的惩罚，保证了低级纹理的量化，但忽略了图像中的结构内容，如纹理或形状。

3、跨模态医学图像的合成是一项具有挑战性的任务，因为它需要模型在转换过程中保持原始图像的病理信息不变。以往的跨模态图像合成算法大多无法突出更重要的疾病相关区域以及局部细节解剖结构。生成图像即使具备可观的图像质量评价指标(psnr，ssim等)，但其中的生成准确性问题(生成的组织结构相比于真实图像存在错误)不可避免地会给放射科医生的诊断带来很大的困惑。如生成图像解剖结构失真、细微结构结构缺失、生成不存在的结构、生成结构不连续、区域特征出现扭曲以及出现白色噪声等。综上所述，现有的合成算法存在忽略图像结构问题，其在图像上的表现不太令人满意。

技术实现思路

1、有鉴于此，本发明提供一种基于傅里叶特征的跨模态医学图像合成方法、系统及设备，改进跨模态医学图像的解剖结构生成出现的异常问题，提高医学图像的准确性。

2、本发明实施例解决其技术问题所采用的技术方案是：

3、一种基于傅里叶特征的跨模态医学图像合成方法，包括：

4、步骤s1，利用伪目标模态生成器ptmg生成源模态图像isource的伪目标模态图像ipt，所述源模态图像isource为具有解剖结构的图像；

5、步骤s2，风格特征提取器estyle从所述伪目标模态图像ipt提取风格特征xstyle，再由多层感知机模块mlp处理所述风格特征xstyle得到风格特征

6、步骤s3，基于shapley值，频率选择模块fss基于所述伪目标模态图像ipt和所述源模态图像isource提取一致的结构信息ts，并利用空间注意力模块sam对所述结构信息ts进行调整；

7、步骤s4，结构特征提取器e从所述源模态图像isource提取结构特征xstruct；

8、步骤s5，将所述结构特征xstruct与调整后的结构信息ts作元素级乘法，得到增强结构特征

9、步骤s6，生成器g合成所述风格特征以及所述增强结构特征生成目标模态图像itarget，

10、较优地，所述步骤s3频率选择模块fss基于所述伪目标模态图像ipt和所述源模态图像isource提取一致的结构信息ts包括：

11、步骤s31，向所述选择模块fss输入所述源模态图像isource和所述伪目标模态图像ipt，其中，isource与ipt的图像大小均为d1×d2；

12、步骤s32，创建频域分量集合和

13、

14、

15、其中，f表示二维余弦变换dct，所述伪目标模态图像ipt变换到频域表示为f(ipt)，所述源模态图像isource变换到频域表示为f(isource)，f(i)(·，·)表示图像i的频率分量，频域分量集合中去除图像的平均值所对应的分量f(i)(0，0)，令频域分量表示为：

16、

17、

18、

19、其中，分别表示二维dct图像；分别表示输入图像；

20、步骤s33，计算所述伪目标模态图像ipt和所述源模态图像isource的结构相似性r(s)：

21、r(s)＝ssim(f-1(ms⊙f(isource))，f-1(ms⊙f(ipt)))

22、其中，f-1表示二维离散余弦变换dct的逆运算，⊙表示hadamard乘积，ms是根据联盟s生成的掩码；

23、ssim的计算公式为：

24、

25、其中，μ1是f-1(ms⊙f(isource))的平均值，μ2是f-1(ms⊙f(ipt))的平均值，σ1是f-1(ms⊙f(isource))的方差，σ2是f-1(ms⊙f(ipt))的方差，σ1，2是f-1(ms⊙f(isource))和f-1(ms⊙f(ipt))的协方差，c1＝(k1l)2，c2＝(k2l)2是用于维持稳定性的常数；l是输入图像像素值的动态范围，k1＝0.01，k2＝0.03；

26、ms的计算公式为：

27、ms(u，v)＝ii[f(i)(u，v)]∈s

28、其中，u为水平方向位置，v为垂直方向位置，ii(·)表示指示函数，当满足f(i)(u，v)∈s时取值为1，当不满足f(i)(u，v)∈s时取值为0；

29、步骤s34，根据所述r(s)计算各个频域分量i的shapley值

30、

31、

32、

33、其中，是在集合中不同排列π下各频域分量i加入组合带来的平均边际贡献，为频域分量集合的所有排列方式的集合，π(i)表示频域分量在排列π中所处的位置；表示在排列π中、排在频域分量i前面的频域分量集合；

34、联盟s获得的奖励定义为：

35、

36、步骤s35，按照从大到小顺序选取前k个所对应的k个频域，将k个频域成分转换为空域，得到结构一致性图像记作ts。

37、较优地，步骤s6以后，还包括：

38、步骤s7，鉴别器d对目标模态图像itarget进行判别，得到损失结果，损失结果用于衡量图像还原效果。

39、本发明还提供一种基于傅里叶特征的跨模态医学图像合成系统，其特征在于，包括：

40、生成模块，利用伪目标模态生成器ptmg生成源模态图像isource的伪目标模态图像ipt，所述源模态图像isource为具有解剖结构的图像；

41、提取模块，利用风格特征提取器estyle从所述伪目标模态图像ipt提取风格特征xstyle，再由多层感知机模块mlp处理所述风格特征xstyle得到风格特征

42、所述提取模块，基于shapley值，利用频率选择模块fss基于所述伪目标模态图像ipt和所述源模态图像isource提取一致的结构信息ts，并利用空间注意力模块sam对所述结构信息ts进行调整；

43、所述提取模块，利用结构特征提取器e从所述源模态图像isource提取结构特征xstruct；

44、计算模块，将所述结构特征xstruct与调整后的结构信息ts作元素级乘法，得到增强结构特征

45、所述生成模块，生成器g合成所述风格特征以及所述增强结构特征生成目标模态图像itarget，

46、由上述技术方案可知，本发明实施例提供的基于傅里叶特征的跨模态医学图像合成方法，首先利用伪目标模态生成器ptmg生成源模态图像isource的伪目标模态图像ipt，源模态图像isource为具有解剖结构的图像；风格特征提取器estyle从伪目标模态图像ipt提取风格特征xstyle，再由多层感知机模块mlp处理风格特征xstyle得到风格特征基于shapley值，频率选择模块fss基于伪目标模态图像ipt和源模态图像isource提取一致的结构信息ts，并利用空间注意力模块sam对结构信息ts进行调整；结构特征提取器e从源模态图像isource提取结构特征xstruct；将结构特征xstrucl与调整后的结构信息ts作元素级乘法，得到增强结构特征生成器g合成风格特征以及增强结构特征生成目标模态图像itarget，本发明利用shapley值将每个频率成分对不同模态mri图像对的亮度、对比度和结构的贡献进行量化。同时，基于不同模态的mri图像应具有相同的解剖结构这一医学先验，根据每个频率的量化贡献值选择不同方式的mri图像表达相同结构的频率进而迭代调整目标方式产生的解剖结构，生成合理的解剖结构图像，因此，本发明的方案可改进跨模态医学图像的解剖结构生成出现的异常问题，提高医学图像的准确性。