一种基于Transformer的灰度医学图像着色方法及系统

本发明涉及图像处理，尤其涉及一种基于transformer的灰度医学图像着色方法及系统。

背景技术：

1、医学图像可以直观地显示病变区域的情况，这是医生诊断的重要依据。值得注意的是，大多数医学图像都是灰度的，生物学研究表明，与灰度图像相比，彩色图像更符合人眼的感知。通过为灰度医学图像添加真实的人体切片颜色，使其与人体的实际相似，有助于医生和研究人员更好地观察和理解解剖结构，并在医学教育和医患交流中发挥有效的作用。

2、为了更好地进行视觉呈现和分析，医学图像着色方法可以自动或半自动地向灰度医学图像中添加颜色信息，广泛应用于医学图像智能处理领域，包括病变定位、分割、病变诊断和分类、医学教育等。现有的医学图像着色技术可分为基于真实物理颜色的和基于伪颜色的着色方法。前者保留原始图像的灰度信息，并添加真实人体切片的物理颜色，以突出其解剖结构、病变区域和功能区域。后者用自然图像颜色为医学图像着色，用丰富的伪彩色反映难以区分的细节，便于医生观察和协助诊断。

3、近年来，随着对医学图像着色技术的进一步探索，研究提出了许多方法，并取得了一定的成果。但仍存在以下挑战：1)经过多次迭代后，内容和结构特征变得不完整；2)着色后的图像不真实；3)着色效果受图像尺度变化的影响。

技术实现思路

1、本发明提供一种基于transformer的灰度医学图像着色方法及系统，解决的技术问题在于：现有的医学图像着色方法还存在问题：1)经过多次迭代后，内容和结构特征变得不完整；2)着色后的图像不真实；3)着色效果受图像尺度变化的影响。

2、为解决以上技术问题，本发明提供一种基于transformer的灰度医学图像着色方法，包括步骤：

3、s1、对灰度医学图像ic进行切割，生成灰色图像补丁序列；对真实人体彩色切片医学图像is进行切割，生成彩色图像补丁序列；

4、s2、对所述灰色图像补丁序列进行线性映射，得到灰图线性特征序列ξc；对所述彩色图像补丁序列进行线性映射，得到彩图线性特征序列ξs；

5、s3、对所述灰图线性特征序列ξc添加内容位置感知编码pca，得到内容特征序列ξc'；对所述彩图线性特征序列ξs添加风格位置感知编码psa，得到风格特征序列ξs'；

6、s4、采用第一transformer编码器对所述内容特征序列ξc'进行编码，得到灰度医学图像特征采用第二transformer编码器对所述风格特征序列ξs'进行编码，得到人体彩色切片图像特征

7、s5、采用transformer解码器对所述灰度医学图像特征和所述人体彩色切片图像特征进行融合，得到融合特征x；

8、s6、采用cnn解码器对所述融合特征x进行解码，得到着色的彩色医学图像io；

9、s7、基于所述灰度医学图像ic、所述真实人体彩色切片医学图像is、所述彩色医学图像io计算总体损失；

10、s8、基于所述总体损失进行反向传播梯度更新所述第一transformer编码器、所述第二transformer编码器和所述transformer解码器所构成的transformer模型的参数。

11、进一步地，在所述步骤s3中，pca的生成过程用公式表示为：

12、

13、plc(xk,yl)＝fpos(avgpooln×n(ξc))

14、plc(xk,yl)为第k行第l列对应灰图线性特征序列(xk,yl)的可学习位置编码，akl为该特征序列(xk,yl)对应的插值权值矩阵，r为相邻补丁的个数，n为补丁的个数，fpos是1×1卷积操作，avgpooln×n是平均池化函数；

15、psa的生成过程与pca的生成过程相同。

16、进一步地，在所述步骤s4中，采用第一transformer编码器对所述内容特征序列ξc'进行编码，具体包括步骤：

17、s41、将ξc'中的ξc作为第一transformer编码器的内容特征输入序列zc＝ξc＝{ξc1,ξc2,...ξcl}，l表示ξc的长度；

18、s42、第一transformer编码器将内容特征输入序列zc编码到查询、键和值中，得到对应的查询qc＝zcwcq，键kc＝zcwck，值vc＝zcwcv，wcq、wck和wcv分别是第一transformer编码器编码到查询、键和值的嵌入权重矩阵；

19、s43、计算内容特征输入序列zc的多头注意力fmsa((qc,kc,vc)+qc)：

20、fmsa((qc,kc,vc)+qc)＝concat[(attention1((qc,kc,vc)+qc)),...,attentionn((qc,kc,vc)+qc)]wo

21、其中，attentioni((qc,kc,vc)+qc)为计算内容特征输入序列zc经过第i个注意力机制后的注意力分布，concat表示将计算得到的n个注意力分布连接起来，wo是可学习权重矩阵；

22、s44、利用残留连接对fmsa((qc,kc,vc)+qc)进行编码得到内容序列yc：

23、yc＝ffnn(y'c)+y'c

24、y'c＝fmsa((qc,kc,vc)+qc)

25、ffnn(y'c)＝max(0,y'cw1+b1)w2+b2

26、其中，y'c表示内容特征输入序列zc的多头注意力分布，ffnn(y'c)表示将y'c输入前馈神经网络中进行操作，max()表示取0和(y'cw1+b1)中的最大值，实现relu函数功能，增强神经网络各层之间的非线性关系，w1、w2分别表示不同的权重矩阵，b1、b2分别表示不同的偏置参数矩阵。

27、s45、将yc＝{yc1,yc2,...,ycl}与ξc'中的pca＝{pca1,pca2,...,pcal}进行拼接，得到灰度医学图像特征

28、进一步地，在所述步骤s4中，采用第二transformer编码器对所述内容特征序列ξc'进行编码，具体步骤与步骤s41～s45相同，得到人体彩色切片图像特征

29、进一步地，所述步骤s5具体包括步骤：

30、s51、采用transformer解码器将灰度医学图像特征编码到查询中，将人体彩色切片图像特征编码到键和值中，得到对应的查询wdq、wdk和wdv分别是transformer解码器编码到查询、键和值的嵌入权重矩阵；

31、s52、transformer解码器计算输出序列即融合特征x：

32、x＝fmsa(x')+x',

33、x'＝fmsa(x”+pca,kd,vd)+x”,

34、x'＝fmsa(qd,kd,vd)+qd,

35、其中，x'表示将初步特征表示x”与内容位置感知编码pca融合后得到的特征表示，fmsa()表示计算多头注意力分布，x”表示特征序列经过多头注意力机制后得到的初步特征表示。

36、进一步地，在所述步骤s6中，利用三层cnn解码器细化所述transformer解码器的输出，每一层的cnn解码器都包括一个3×3的卷积层、一个relu函数层和2个上采样层来扩大规模，输出大小为h×w×3的着色医学图像io，h、w分别表示垂直方向上和水平方向上的像素数，3表示生成融合特征的通道数。

37、进一步地，在所述步骤s7中，所述总体损失由下式计算：

38、l＝λclc+λsls+λid1lid1+λid2lid2

39、其中，lc表示彩色医学图像io和灰度医学图像ic之间的内容差异，ls表示彩色医学图像io与真实人体彩色切片医学图像is之间的风格差异，lid1表示第一恒等映射损失，lid2表示第二恒等映射损失，λc、λs、λid1、λid2是用于平衡不同损失之间的权重；

40、lid1由下式计算：

41、lid1＝||icc-ic||2+||-is||2

42、其中，icc、iss分别表示将灰度医学图像ic、真实人体彩色切片医学图像is放入所述transformer模型后得到的输出图像，||||2表示求2范数；

43、lid2由下式计算：

44、

45、其中，φi()为将相关图像放入预训练的vgg-19模型所提取到的第i层特征，nl为vgg-19模型的层数。

46、进一步地，lc由下式计算：

47、

48、ls由下式计算：

49、

50、其中，μ(·)和σ(·)分别为所提取特征的均值和方差。

51、本发明还提供一种基于transformer的灰度医学图像着色系统，其关键在于：包括图像切割单元、线性映射单元、位置感知编码单元、transformer模型单元、cnn解码器单元和训练单元；

52、所述图像切割单元用于对灰度医学图像ic进行切割，生成灰色图像补丁序列；对真实人体彩色切片医学图像is进行切割，生成彩色图像补丁序列；

53、所述线性映射单元用于对所述灰色图像补丁序列进行线性映射，得到灰图线性特征序列ξc；对所述彩色图像补丁序列进行线性映射，得到彩图线性特征序列ξs；

54、所述位置感知编码单元用于对所述灰图线性特征序列ξc添加内容位置感知编码pca，得到内容特征序列ξc'；对所述彩图线性特征序列ξs添加风格位置感知编码psa，得到风格特征序列ξs'；

55、所述transformer模型单元用于采用第一transformer编码器对所述内容特征序列ξc'进行编码，得到灰度医学图像特征采用第二transformer编码器对所述风格特征序列ξs'进行编码，得到人体彩色切片图像特征还用于采用transformer解码器对所述灰度医学图像特征和所述人体彩色切片图像特征进行融合，得到融合特征x；

56、所述cnn解码器单元用于采用cnn解码器对所述融合特征x进行解码，得到着色的彩色医学图像io；

57、所述训练单元用于基于所述灰度医学图像ic、所述真实人体彩色切片医学图像is、所述彩色医学图像io计算总体损失，并基于所述总体损失进行反向传播梯度更新所述第一transformer编码器、所述第二transformer编码器和所述transformer解码器所构成的transformer模型的参数。

58、具体的，所述位置感知编码单元用于执行上述方法中所述的步骤s3；所述transformer模型单元用于执行上述方法中所述的步骤s4、s5，所述cnn解码器单元用于执行上述方法中所述的步骤s6，所述训练单元用于执行上述方法中所述的步骤s7、s8。

59、本发明提供的一种基于transformer的灰度医学图像着色方法及系统，通过一个非线性的深度transformer结构，给灰色医学图像着真实人体彩色切片图像的颜色，合成保留内容和风格特征的彩色图像。在训练过程中，将图像特征提取表示为生成一个序列的补丁序列，以获取通过transformer传输图像内容和样式过程中的随机依赖性。利用两个不同的transformer编码器分别为灰度医学图像和真实人体彩色切片图像的特征表示序列进行编码，使得图像的特征能充分全面地被提取，并且利用内容和风格感知位置编码，避免了图像尺度变化影响着色结果，使着色过程具有尺度不变性。通过多层transformer解码器对已编码的特征序列进行解码，使得内容和风格特征序列能够更好地融合，更好地集成真实物理彩色图像的风格，实现更真实的着色效果。然后通过cnn解码器将融合后的特征序列解码生成着色后的彩色医学图像。实验表明，本发明能够保证多轮迭代后内容和风格特征不会泄露，与其他方法相比既有效且具有实际适用性。