一种深度学习和谱域空域联合子采样的SS-OCT压缩成像方法与流程

本发明涉及图像处理，具体为一种深度学习和谱域空域联合子采样的ss-oct压缩成像方法。

背景技术：

1、扫频光学相干断层扫描 (ss-oct) 是一种非侵入性体积成像模式，广泛应用于生物医学领域。得益于激光技术的进步，ss-oct成像速率（通常用扫描光源的a线速率来量化）从几赫兹一路提升到几兆赫兹。 对于典型的 200 khz ss-oct来说，如果以 12 位测量2048 个频谱采样点，数据带宽可以超过 800 mb/s。研究者已经提出了各种策略来减轻数据带宽。但是现有方法大多通过采用“子采样和重建”范例来实现降低数据带宽：首先对物体干涉图进行频谱或空间子采样，然后通过信号处理技术重建 oct 图像。

2、上述方法中需要一个固定的子采样掩膜来降低数据带宽，由于固定的子采样掩膜无法与oct图像重建共同优化，导致了重建的oct图像质量不高。

3、针对相关技术中的问题，目前尚未提出有效的解决方案。

技术实现思路

1、针对现有技术的不足，本发明提供了一种深度学习和谱域空域联合子采样的ss-oct图像压缩方法，具备神经网络联合同步优化等优点，解决了固定的子采样掩膜无法与oct图像重建共同优化，导致了重建的oct图像质量不高的问题。

2、为解决上述固定的子采样掩膜无法与oct图像重建共同优化，导致了重建的oct图像质量不高的技术问题，本发明提供如下技术方案：

3、一种结合深度学习和谱域空域联合子采样的ss-oct图像压缩方法，包括以下步骤：

4、步骤一、构建并训练各神经网络；

5、构建掩膜神经网络：

6、掩膜神经网络的输入为随机噪声，通过四层上采样和四层下采样的u-net架构输出两组特征图，其中每层上采样或下采样均包含两层卷积层，最后两组特征图通过gumbesoftmax激活函数生成二维掩膜；

7、其中gumbesoftmax激活函数为：

8、；

9、其中d和分别为掩膜神经网络和gumbel softmax激活函数的输出；随机选择的一个通道作为二维掩膜；g是gumbel(0,1）分布中独立且相同采样的随机噪声，τ是控制gumbel分布密度的值，p和c分别为像素指数和通道指数，代表为通道为c、像素为p下的gumbel softmax激活函数的输出；代表为通道为c、像素为p下掩膜神经网络的输出；代表为通道为k、像素为p下掩膜神经网络的输出；代表为通道为k、像素为p下随机噪声的输出，代表为通道为c、像素为p的随机噪声的输出；

10、构建条纹补全神经网络的方法包括：

11、条纹补全神经网络的输入为欠采样条纹，通过四层下采样和四层上采样的u-net架构输出获得补全后的样本条纹，其中每层上采样或下采样均包含两层卷积层；

12、构建增强神经网络的方法包括：

13、增强神经网络的输入为初步重建的图像，通过四层下采样和四层上采样的u-net架构输出获得增强后的oct图像，其中每层上采样或下采样均包含两层卷积层；

14、训练掩膜神经网络、条纹补全神经网络和增强神经网络直至收敛，得到训练完成的掩膜神经网络、训练完成的条纹补全神经网络和训练完成的增强神经网络；

15、所述收敛时，即为增强后的图像与图像真值的相似度达标时；

16、增强后的图像通过以下步骤得到：向当前次迭代后的掩膜神经网络中输入随机噪声，并输出生成二维掩膜；将二维掩膜与完整的样本干涉条纹对应点相乘得到欠采样条纹；将所述欠采样条纹输入至当前次迭代后的条纹补全神经网络，获得补全后的样本条纹；将补全后的样本条纹经过idft得到初步重建的图像；将初步重建的图像输入至当前次迭代后的增强神经网络，输出获得增强后的图像；

17、步骤二、生成图像采样系统，图像采样系统包括经训练完成后的掩膜神经网络输出生成的二维掩膜、训练完成的条纹补全神经网络、训练完成的增强神经网络以及idft；

18、步骤三：将完整的目标检测干涉条纹输入至所述图像采样系统，获得目标图像。

19、优选地，完整的样本干涉条纹和完整的目标检测干涉条纹的获取方法为：通过oct系统对样本物体和待测物体进行采集，得到完整的样本干涉条纹和完整的目标检测干涉条纹。

20、优选地，图像真值通过以下步骤得到：将完整的样本干涉条纹与经过idft得到初步oct图像，将初步oct图像通过经典后处理算法计算得到图像真值。

21、优选地，训练掩膜神经网络、增强神经网络和条纹补全神经网络的方法包括：

22、在训练框架中，使用的批量大小为1，初始学习率为0.001，使用动量为（0.9,0.999）的adamw优化器对网络进行了30个周期的训练，然后使用余弦衰减策略来降低学习率。

23、优选地，补全后的样本条纹经过idft得到初步重建的图像的方法以及完整的样本干涉条纹经过idft得到初步oct图像的方法分别为：将补全后的样本条纹作为matlab或者python程序中idft（x）命令的输入，经过运算后输出得到初步重建的图像；

24、将完整的样本干涉条纹作为matlab或者python程序中idft（x）命令的输入，经过运算后得到初步oct图像。

25、优选地，将初步oct图像通过经典后处理算法计算得到图像真值的方法为：

26、初步的oct图像首先取对数函数，然后通过阈值化处理和归一化处理得到图像真值。

27、优选地，构建三组损失函数分别对当前次迭代后掩膜神经网络、当前次迭代后增强神经网络、当前次迭代后条纹补全神经网络进行评估，三组损失函数具体为：

28、；

29、其中代表二维掩膜，代表二维掩膜m中的第行和第列；

30、上述公式代表统计二维掩膜中像素点值为1的个数；

31、；

32、其中代表的是干涉条纹，代表干涉条纹中的第行和第列；

33、代表的是干涉条纹真值，干涉条纹真值中的第行和第列；

34、上述公式用来计算补全后的干涉条纹和干涉条纹真值的均方根误差；

35、；

36、其中代表图像增强后的图像，代表图像增强后的图像中的第行和第列；

37、代表图像真值，代表图像真值中的第行和第列；

38、上述公式用来计算图像增强后的图像和图像真值的平均绝对误差；

39、其中， l掩膜用来计算二维掩膜的数据压缩比；

40、 l条纹用来评估当前次迭代后条纹补全网络的效果；

41、 l图像用来评估当前次迭代后图像增强网络的效果；

42、在掩膜神经网络、增强神经网络、条纹补全神经网络训练阶段，将这三组损失函数进行加权求和后反传播其梯度，以对下一次迭代后掩膜神经网络、下一次迭代后增强神经网络和下一次迭代后条纹补全神经网络进行迭代求解，直到当三组损失函数的加权求和的值不再下降的时，则判断增强后的图像和图像真值的相似度达标，获得训练完成的二维掩膜、训练完成的增强神经网络、训练完成的条纹补全神经网络，否则继续训练掩膜神经网络、增强神经网络、条纹补全神经网络。

43、一种深度学习和谱域空域联合子采样的ss-oct压缩成像系统，包括子采样掩膜生成模块、干涉条纹修补模块和图像增强模块，通过子采样掩膜模块对ss-oct系统采集到的完整的干涉条纹进行采样得到欠采样的干涉条纹，随后通过干涉条纹修补模块和图像增强模块得到目标。

44、与现有技术相比，本发明提供了一种深度学习和谱域空域联合子采样的ss-oct压缩成像方法，具备以下有益效果：

45、1、本发明通过将掩膜神经网络与增强神经网络、条纹补全神经网络进行同步进行参数的梯度下降更新，从而达到联合优化二维掩膜和oct图像重建，解决了目前oct图像采样系统中采用经验式的固定二维掩膜导致oct图像重建效果不佳的问题，达到了在相同数据压缩比下，本发明的图像采样系统的oct图像重建质量是最优的。

46、2、本发明通过链式求导的方式，反向传播梯度，同时对掩膜神经网络、增强神经网络、条纹补全神经网络的参数进行梯度下降优化更新，在 l掩膜、 l条纹和 l图像三组损失函数加权求和收敛之后，便可在图像重建质量和数据压缩率之间取得最佳平衡，解决了固定的经验式子采样掩膜，例如中心掩膜和随机掩膜，无法与oct图像重建共同优化，导致了重建的oct图像质量不高的问题。