应用于量子图像传感器的深度学习噪声抑制重构方法

本发明涉及图像处理领域，具体是应用于量子图像传感器的深度学习噪声抑制重构方法。

背景技术：

1、量子图像传感器(qis)是一种单光子感应图像传感器，与传统cmos图像传感器相比，qis具有更高的帧率、更高的分辨率、更低的噪声，其具有时间空间过采样特性，该传感器的输出为三维帧平面序列，序列中每一像素点的值为单比特数据，代表光子的有无，对三维帧平面序列进行重构能够显著地提升特殊场景下的图像获取质量。在高分辨率成像，极微弱光成像、高动态范围成像等领域，qis都拥有广阔的应用前景。

2、qis的时间空间过采样特性使得数据形式为三维帧平面序列，所以需要设计特殊的图像重构算法将三维帧平面序列重构为二维图像以抑制重构图像噪声，提升重构图像质量。目前大多图像重构算法都是基于数学估计的方法进行噪声抑制，例如通过最大似然估计或最大后验估计进行真实光子数估计。但是，这种基于数学估计的方法需要多次迭代计算且对重构图像的噪声抑制能力有限。为提升qis重构图像的噪声抑制水平，考虑基于深度学习的方法进行重构图像噪声抑制。

技术实现思路

1、本发明旨在提出一种基于深度学习的重构图像噪声抑制方法，该方法主要采用结合精准无偏方差稳定变换与融合transformer和卷积神经网络(cnn)框架的深度学习算法，不仅能显著提高qis的重构质量，有效抑制重构图像噪声，而且还能应用于定制化神经网络处理器芯片，提升重构算法的运行速度。

2、为实现上述目的，本发明提供如下技术方案：

3、应用于量子图像传感器的深度学习噪声抑制重构方法，包括如下步骤：

4、(1)输入三维帧平面序列；

5、(2)对三维帧平面序列按时间空间过采样率求和组成块和图像；

6、(3)对块和图像进行方差稳定变换；

7、(4)应用融合transformer和cnn的网络框架；

8、(5)对输出图像进行精准无偏方差稳定逆变换；

9、(1)得到噪声抑制的重构图像。

10、进一步地，所述三维帧平面序列按时间空间过采样分割后形成许多“块”，块内序列的和被称为“块和图像”。

11、进一步地，所述步骤(2)，在对三维帧平面序列按时间空间过采样率求和组成块和图像的步骤中，首先将输入的三维帧平面序列按照时间过采样率划分为不重叠的、具有相同帧数的时间块，其次在各个时间块内按照空间过采样率划分为不重叠的、具有相同大小的空间块，最后把每个块内的二进制数相加，形成块和图像。

12、进一步地，所述步骤(3)，在对块和图像进行方差稳定变换的步骤中，采用方差稳定的anscombe变换，即对上一步骤生成的块和图像中的每个原始数据点应用变换公式，使变换后的数据更接近具有常数方差的高斯分布。

13、进一步地，所述步骤(4)，在应用融合transformer和cnn的网络框架的步骤中，将方差稳定的图像作为网络框架的输入，所述网络框架融合了transformer和cnn，将二者的优势和局限进行互补，利用transformer的全局信息捕捉能力和cnn的局部特征提取能力，实现更好的图像噪声抑制效果；在所述网络框架结构中，还采用了子网络并行技术，子网络中的交叉特征相互作用，广泛搜索像素之间的相关信息，提高网络在不同场景下的去噪适应能力。

14、更进一步地，所述步骤(5)，在对输出图像进行精准无偏方差稳定逆变换的步骤中，采用精准无偏的方差稳定逆变换将数据还原为原始尺度，即先对网络输出图像中的每一个点应用anscombe逆变换公式，使数据更接近原始泊松分布的形式；在无偏方差稳定的anscombe逆变换后，采用最大似然估计方法还原真实的光子数，采取这种精准无偏的方差稳定逆变换进一步抑制泊松噪声，从而增强对重构图像噪声的抑制效果。

15、与现有技术相比，本发明的有益效果是：首先，对三维帧平面序列计算块和图像，便于使用精准无偏的方差稳定变换增强对泊松噪声的抑制能力；其次，该方法基于融合transformer和cnn的网络框架，该框架作为核心去噪器可以利用线性和非线性分量结合的方式深度搜索图像去噪中的关键信息，且子网络并行的技术增强了网络对多种场景去噪能力的适应性；最后，使用精准无偏的方差稳定逆变换，利用最大似然估计还原真实的光子数，从qis成像原理出发，进一步抑制了重构图像中的噪声。所提出的方法能显著抑制qis的重构图像噪声，且该方法有应用于定制化神经网络处理器芯片的潜力，使得该方法能够获得较快的运行速度。

技术特征：

1.应用于量子图像传感器的深度学习噪声抑制重构方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的应用于量子图像传感器的深度学习噪声抑制重构方法，其特征在于，所述三维帧平面序列按时间空间过采样分割后形成许多“块”，块内序列的和被称为“块和图像”。

3.根据权利要求2所述的应用于量子图像传感器的深度学习噪声抑制重构方法，其特征在于，所述步骤(2)，在对三维帧平面序列按时间空间过采样率求和组成块和图像的步骤中，首先将输入的三维帧平面序列按照时间过采样率划分为不重叠的、具有相同帧数的时间块，其次在各个时间块内按照空间过采样率划分为不重叠的、具有相同大小的空间块，最后把每个块内的二进制数相加，形成块和图像。

4.根据权利要求3所述的应用于量子图像传感器的深度学习噪声抑制重构方法，其特征在于，所述步骤(3)，在对块和图像进行方差稳定变换的步骤中，采用方差稳定的anscombe变换，即对上一步骤生成的块和图像中的每个原始数据点应用变换公式，使变换后的数据更接近具有常数方差的高斯分布。

5.根据权利要求4所述的应用于量子图像传感器的深度学习噪声抑制重构方法，其特征在于，所述步骤(4)，在应用融合transformer和cnn的网络框架的步骤中，将方差稳定的图像作为网络框架的输入，所述网络框架融合了transformer和cnn，将二者的优势和局限进行互补，利用transformer的全局信息捕捉能力和cnn的局部特征提取能力，实现更好的图像噪声抑制效果；在所述网络框架结构中，还采用了子网络并行技术，子网络中的交叉特征相互作用，广泛搜索像素之间的相关信息，提高网络在不同场景下的去噪适应能力。

6.根据权利要求5所述的应用于量子图像传感器的深度学习噪声抑制重构方法，其特征在于，所述步骤(5)，在对输出图像进行精准无偏方差稳定逆变换的步骤中，采用精准无偏的方差稳定逆变换将数据还原为原始尺度，即先对网络输出图像中的每一个点应用anscombe逆变换公式，使数据更接近原始泊松分布的形式；在无偏方差稳定的anscombe逆变换后，采用最大似然估计方法还原真实的光子数，采取这种精准无偏的方差稳定逆变换进一步抑制泊松噪声，从而增强对重构图像噪声的抑制效果。

技术总结
本发明公开了应用于量子图像传感器的深度学习噪声抑制重构方法，涉及图像处理领域，首先，对三维帧平面序列计算块和图像，便于使用精准无偏的方差稳定变换增强对泊松噪声的抑制能力；其次，该方法基于融合Transformer和CNN的网络框架，该框架作为核心去噪器可以利用线性和非线性分量结合的方式深度搜索图像去噪中的关键信息，且子网络并行的技术增强了网络对多种场景去噪能力的适应性；最后，使用精准无偏的方差稳定逆变换，利用最大似然估计还原真实的光子数，从QIS成像原理出发，进一步抑制了重构图像中的噪声。所提出的方法能显著抑制QIS的重构图像噪声，且该方法有应用于定制化神经网络处理器芯片的潜力，使得该方法能够获得较快的运行速度。

技术研发人员：王冠杰,聂凯明,徐江涛
受保护的技术使用者：天津大学合肥创新发展研究院
技术研发日：
技术公布日：2024/12/19