技术特征:
1.一种用于食管光学相干层析图像生成的方法,其特征在于,包括以下步骤:1)采集食管oct图像并进行预处理,作为训练样本;2)构建对抗变分自编码网络模型v,该网络模型v包括编码器e和生成器g,其中编码器e同时承担判别和编码两种任务;3)利用步骤1)中得到的训练样本对步骤2)构建的抗变分自编码网络模型v进行训练,训练过程中,编码器e和生成器g的优化过程交替进行,收敛后,得到最终的对抗变分自编码网络模型v';4)利用训练后得到的抗变分自编码网络模型v'产生虚拟的食管oct图像。2.根据权利要求1所述的用于食管光学相干层析图像生成的方法,其特征在于,所述步骤2)中的对抗变分自编码网络模型v中,采用l
like
项用于衡量网络的还原程度,采用l
prior
项用于衡量隐含向量与高斯分布的接近程度,采用l
gan
表示网络模型v的对抗损失;采用e1表示编码器的编码输出,e2表示编码器的判别输出;x表示输入的真实样本,x
r
表示生成器g通过编码向量z重构得到的生成数据,如公式(1)所示:公式(1)的含义为:真实样本x通过编码器e后所输出的编码z服从分布q(z|x),隐藏向量z通过生成器g得到的重构样本x
r
服从分布p(x|z);采用z
p
表示从高斯分布采样得到的随机向量,z
p
维度与z一致,x
p
表示生成器g通过z
p
重构得到的采样样本;l
like
项的计算公式为:l
prior
项的计算公式为:l
prior
=d
kl
(q(z∣x)||p(z))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3);其中,d
kl
为kl散度,p(z)=n(0,1)表示标准正态分布;l
gan
项的计算公式为:其中,中,e表示期望,角标表示随机变量为x,该变量x服从样本数据的分布,即x采样自真实样本数据集;中,e表示期望,角标表示z为随机变量,z服从p
z
(z)分布,即采样自正态分布。3.根据权利要求2所述的用于食管光学相干层析图像生成的方法,其特征在于,步骤3)中,对编码器e进行优化的损失函数l
e
的计算公式为:对生成器g进行优化的损失函数l
g
的计算公式为:
其中,为当前使用的生成器,为当前使用的编码器,λ1和λ2为权重参数。4.根据权利要求3所述的用于食管光学相干层析图像生成的方法,其特征在于,步骤3)中,抗变分自编码网络模型v进行训练的步骤具体包括:ⅰ、训练编码器e:
ⅰ‑
1、保持生成器g参数固定,从训练样本中抽取样本组成真实样本x,这些样本通过编码器e得到隐藏向量z,根据样本数据x和隐藏向量z,结合公式(1)和公式(3)得到l
prior
项;
ⅰ‑
2、隐藏向量z通过固定参数的生成器g生成重构样本x
r
,结合公式(2)计算出l
like
项以衡量x与x
r
的相似程度;
ⅰ‑
3、z
p
表示从标准正态分布中采样得到与隐藏向量维度一致的向量,将z
p
输入到生成器g中,生成虚假样本x
p
;其中,编码器e同时承担判别器的任务,能够区分真实样本x、重构样本x
r
和虚假样本x
p
,通过公式(4)计算l
gan
项以衡量编码器e的判别能力;
ⅰ‑
4、最后,按照公式(5)计算得到编码器的损失函数l
e
,通过梯度下降法,最终完成编码器e的优化;ⅱ、训练生成器g:
ⅱ‑
1、保持编码器e参数固定,从训练样本中抽取样本组成真实样本x,通过编码器e得到隐藏向量z,根据样本数据x和隐藏向量z,结合公式(1)和公式(3)得到l
prior
项;
ⅱ‑
2、隐藏向量z通过生成器g生成重构样本x
r
,结合公式(2)计算出l
like
项;
ⅱ‑
3、z
p
表示从标准正态分布中采样得到与隐藏向量维度一致的向量,将z
p
输入到生成器g中,生成虚假样本x
p
;通过公式(4)计算l
gan
项以衡量编码器e的判别能力;
ⅱ‑
4、最后,按照公式(6)计算得到编码器的损失函数l
g
,通过梯度下降法,最终完成生成器g的优化;ⅲ、编码器e和生成器g的优化过程交替进行,收敛后,得到最终的对抗变分自编码网络模型v'。5.根据权利要求1所述的用于食管光学相干层析图像生成的方法,其特征在于,食管oct图像预处理的方法为:先对采集的食管oct图像进行归一化:对于任意图像,将该图像任一像素的灰度值与该图像所有像素的灰度值的均值相减后再与该图像所有像素的灰度值标准差相除;然后设置图像输入尺寸,大于输入尺寸的图像降采样到输入尺寸,小于输入尺寸的图像填零至输入图像尺寸。6.一种用于食管光学相干层析图像生成的系统,其特征在于,其采用如权利要求1-5中任意一项所述的方法生成虚拟的食管oct图像。7.一种存储介质,其上存储有计算机程序,其特征在于,该程序被执行时用于实现如权利要求1-5中任意一项所述的方法。8.一种计算机设备,包括存储器、处理器以及存储在所述存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-5中任意一项所述的方法。
技术总结
本发明公开了一种用于食管光学相干层析图像生成的方法及系统,该方法包括以下步骤:1)采集食管OCT图像并进行预处理,作为训练样本;2)构建对抗变分自编码网络模型V,该网络模型V包括编码器E和生成器G;3)对抗变分自编码网络模型V进行训练,训练过程中,编码器E和生成器G的优化过程交替进行,收敛后,得到最终的对抗变分自编码网络模型V';4)利用训练后得到的抗变分自编码网络模型V'产生虚拟的食管OCT图像。本发明能够生成接近真实图像的虚拟食管OCT图像,其中,编码器同时承担判别和编码两种任务,能简化网络结构,从而使得网络的训练更为高效;本发明能够得到优于PGGAN模型的食管OCT图像生成结果。OCT图像生成结果。OCT图像生成结果。
技术研发人员:甘萌 王聪
受保护的技术使用者:中国科学院苏州生物医学工程技术研究所
技术研发日:2021.10.22
技术公布日:2022/2/8