一种用于傅里叶叠层显微成像技术的图像增强方法与流程

本发明涉及一种用于傅里叶叠层显微成像技术的图像增强方法，属于显微成像领域。

背景技术：

显微成像技术是利用光学系统或电子光学系统设备，观察肉眼所不能分辨的微小物体形态结构及其特性的技术。在细胞学、生物学、医学等方面应用广泛。在传统显微成像系统中，往往需要在高空间分辨率与大视场之间进行取舍，要实现分辨率提高，就需要缩小视场。文献《wide-field,high-resolutionfourierptychographicmicroscopy》中提出的傅里叶叠层显微成像技术(fpm)通过计算重构的方式突破成像系统的物理限制，是一种能够同时实现大视场、超分辨率成像的显微成像技术。

就目前研究表明，fpm采用亮度一致的照明光提供不同角度的平面波并分别对样品进行照明，理想情况下各个角度的照明光到达样本进的光强大小应一致，恢复出的各子频率分量之间保持样本各部分原有的频率比例关系。但是实际情况下，由于数值孔径的影响，在不同角度照明光下拍摄的图像有明场图像和暗场图像，样本的高频信息一般包含在暗场图像中，但暗场图像的强度值明显低于明场图像强度值，这会导致一些高频信息被淹没在噪声中，此外，不同角度的照明光到达样本光照强度大小不同，入射光线与法线夹角越大，最终到达样本表面的光强越小，这也会破坏高低频区域原有的比例关系，高频区域信息被弱化，以上两种因素都会导致包含样本高频信息的图像信噪比降低，高频部分重构效果较差，图像细节丢失，此外，某些情况下观察者更注重图像高频细节信息，低频信息需要被弱化，上述情况显然不符合该要求。

目前解决上述问题的方法主要是从算法上进行补偿或校正，比如文献《adaptivedenoisingmethodforfourierptychographicmicroscopy》中对采集的图像进行多种去噪处理，文献《adaptivesystemcorrectionforrobustfourierptychographicimaging》中对采集的图像进行光强校正等等，但上述方法都是对采集后的图像进行的预处理或在后续合成算法中进行的优化。没有注重图像采集之前的优化操作。

技术实现要素：

本发明的目的是为了解决采集的原始图像中存在噪声以及照明光强不一致误差的问题，提供一种用于傅里叶叠层显微成像技术的图像增强方法，该方法通过改变不同角度入射光照明光强大小进而改变采集图像的信噪比以及不同频率分量信息的比例，从而能够实现增强重构图像指定频率成分的效果，进而达到图像去噪和校正照明光强不一致误差的目的。

本发明的目的是通过以下技术方案实现的。

本发明提出了一种用于傅里叶叠层显微成像技术的图像增强方法，在fpm技术中，重构的高分辨率频谱扩展范围受噪声的限制，在频域中的某些较高频率范围，信号幅值低于噪声幅值，重构图像的信号信息就会被噪声信息覆盖，对于系统和探测器产生的噪声来说，部分噪声是不随着信号的强弱发生变化的，对于此类噪声，通过增强信号的强度即可提高信噪比，还有部分噪声也会随信号强度的增加，信噪比提升。通过调节fpm系统中的照明光源的亮度，使得所需部分的信号的幅值大于噪声的幅值，即可提高采集图像的信噪比，削弱噪声的影响。

此外，针对fpm系统中出现的照明光强不一致误差，也可以通过调整照明光强进行校正。

在fpm系统中，led阵列或lcd板上每个灯的尺寸远小于灯到样本的距离，符合远场条件，此时，到达样本表面的光照度遵循距离平方反比定理，即点源对微面元的照度与点源的发光强度成正比，与点源到微面元的距离平方成反比。此外，到达样本表面的光照度还与辐射方向的倾角有关，根据上述定理，将入射方向为垂直入射的光到达样本表面的光照度记为i0，将入射方向与法线夹角为θ的入射光到达样本表面的光照度记为i1，计算得出i0与i1满足关系式：

ii＝i0cos³θ(1)

其中，θ与led阵列到样本的垂直距离h、点亮的led灯距离中心led灯的x方向的距离xi和y方向的距离yi有关，他们之间的关系为：

因此，当到达样本表面的照明光强相同时，led阵列上每个led灯的亮度应该不同，将入射方向为垂直入射的入射光对应的led灯记为i0led，将入射方向与法线夹角为θ的入射光对应的led灯记为i1led，二者的关系应满足：

iiled＝i0led/cos³θ(3)

当所述光源为led光源时，可以改变通过led的电流调节led的亮度，但更为方便的调节方式是脉冲宽度调制(pwm)。led灯的亮度与占空比有关，占空比为在脉冲序列中，正脉冲的持续时间与脉冲总周期的比值，当占空比大时，led灯亮度较大，当占空比小时，led灯亮度较小。通过脉冲宽度调制(pwm)的方式调节led的占空比，可以调节led灯的亮度。当所述光源为lcd光源时，也可通过类似的方式改变亮度。

若需要同时实现照明光强不一致误差校正与噪声消除，首先需要调节fpm系统中的照明光源的亮度，使得在频域中所需部分的信号的幅值大于噪声的幅值，即可提高采集图像的信噪比，削弱噪声的影响，下一步是按照公式(3)调整照明光强，使得各入射角度的照明光强在满足频域中所需部分的信号幅值大于噪声幅值的前提下，满足到达样本表面的光强大小一致的要求。

有益效果

1、本发明通过硬件调控不同位置照明光光强大小，代替了算法补偿或图像校正的过程，在采集图像之前提高了包含高频信息的图像的信噪比，防止图像高频信息淹没在噪声中，使扩展频谱突破了噪声的限制，与用算法提高图像信噪比的方式相比，前者得到的图像能保留更多样本的原始高频信息，且方法更为简单。

2、本发明能任意调节不同位置照明光光强大小，可以根据观察者的不同需要增强或抑制图像不同频率成分，能满足不同的观察需求，若观察者更注重图像的高频信息，可以增大与高频信息对应的位置的照明光光强，降低与低频信息对应的位置的照明光光强，使重构图像的高频信息更明显，图像高频信息增强。

3、本发明可以在图像采集之前实现照明光强不一致误差校正，通过构建误差模型，得出照明光入射角度与光源亮度的关系，根据该关系调整入射光亮度，实现了在图像采集之前完成照明光强不一致误差校正，更好地保留了各子频率分量之间保持样本各部分原有的频率比例关系，使重构结果更接近样本的原始真值。

附图说明

图1是led阵列及其控制平台示意图；

图2为led阵列上不同位置led灯照射样本示意图；

图3是图像信噪比未经调整的重构图像；

图4是暗场图像信噪比经过提升的重构图像；

图5是照明光强不一致误差校正前的重构图像；

图6是照明光强不一致误差校正后的重构图像；

图7是包含噪声与照明光强不一致误差的重构图像；

图8是经过噪声消除与照明光强不一致误差校正的重构图像。

其中，1-采集卡，2-led阵列，3-样本。

具体实施方式

为了更好的说明本发明的目的和优点，下面结合附图和实施例对本发明做详细说明。

实施例1：

采用可用于傅里叶叠层显微成像技术的图像增强方法可以实现fpm系统采集的低分辨率图像信噪比提高，使扩展频谱范围突破噪声的限制，增大频谱扩展区域，实现图像高频信息增强。本实施例采用的光源为led阵列。参与照明的led阵列大小为11×11，led灯的间距为4mm，led阵列到样本的距离为90mm，照明光波长为630nm，物镜数值孔径为0.08，图像采集装置为scmos相机，成像的像元尺寸为2.75μm。led阵列上不同位置的led灯采集一张子孔径图像，每个子孔径图像的信噪比都不同，进行傅里叶变换之后，在某些子孔径频谱图中，信号频谱信息被淹没在噪声频谱信息之下，限制了高频频谱信息的扩展，采集的原始图像中包含的主要噪声有两种，分别是高斯噪声和散粒噪声，在采集的原始图像中，暗场图像信号强度值很低，甚至被淹没在噪声信号中，此时，重构图像的高频扩展区域受噪声限制。其中，高斯噪声与入射光强大小无关，所以当提高照明光强时，高斯噪声不变，但是信噪比会提高。此外，散粒噪声会随着入射光强增加而增加，但其信噪比也会提高。采用发明所提出的用于傅里叶叠层显微成像技术的图像增强方法可以选择性提高暗场区域的照明强度，使各个子孔径频谱图中的信号幅值高于噪声幅值，实现频谱高频区域扩展，增强图像高频细节信息。

本实施例公开的可用于傅里叶叠层显微成像技术的图像增强方法，具体步骤如下：

步骤一：选择led阵列为系统的照明光源，选择数据采集卡为控制平台，如图1所示为led阵列与数据采集卡的示意图，保证数据采集卡可以调控led阵列上不同位置led灯的强度大小。

步骤二：根据实验系统的物镜参数计算得出只有中心9张图像是明场图像，其余的都是暗场图像，暗场图像的信号幅值较低，需要进行亮度调整，将这些图像对应的led灯亮度分别提升1.2-1.5倍不等，使得调整后的图像的样本信号幅值高于噪声幅值。

步骤三：按照步骤二的要求控制不同位置照明光光强大小，通过采集卡控制平台利用pwm方法调控led阵列上不同位置led灯的亮度，占空比为在脉冲序列中，正脉冲的持续时间与脉冲总周期的比值，当占空比大时，led灯亮度较大，当占空比小时，led灯亮度较小。对暗场图像通过增大占空比增大其照明亮度，使得每个子孔径图像在频域中信号幅值高于噪声幅值，提高图像信噪比，从而使频谱扩展范围突破噪声的限制。

步骤四：图像采集，led阵列上不同位置的led灯经过步骤三之后完成亮度调制，在调制好的照明光照射下采集多张低分辨率图像。

步骤五：图像重构，对采集的多张低分辨率图像进行fpm算法重构，选用经典的gs相位恢复算法进行超分辨率重构，包括以下几步：

[1]将led阵列上中心led灯拍摄的图像进行插值处理，作为空域初始估计值；

[2]将插值后的图像进行傅立叶变换得到频域初始估计值；

[3]在得到的频谱图中选取一块子区域进行傅里叶逆变换，得到目标复振幅图像，目标复振幅图像包含振幅信息和相位信息；

[4]保持目标复振幅图像相位信息不变，用led阵列上对应位置led灯拍摄的实际图像替换其振幅信息，得到更新后的目标复振幅图像；

[5]将更新后的目标复振幅图像进行傅里叶变换，得到更新后的频谱图，用更新后的频谱图替换初始频谱图的对应子频谱区域；

[6]重复[3]-[5]步骤，完成所有子频谱更新；

[7]重复[3]-[6]步骤使结果收敛，得到图像高频信息增强的高分辨率频谱图像，再进行傅里叶逆变换，得到空域中的高分辨率图像。

步骤六：结果检验，图像信噪比未经调整的重构图像如图3所示，暗场图像信噪比经过提升的重构图像如图4所示，经过对比发现，信噪比经过提升的重构图像中噪声明显减少，质量得到提升。

实施例2：

采用可用于傅里叶叠层显微成像技术的图像增强方法可以实现fpm系统照明光光强大小调整，从而校正照明光强不一致误差，最终实现重构的高分辨率图像高频细节信息增强，重构图像信息更接近原始真值。本实施例采用的光源为led阵列。参与照明的led阵列大小为11×11，led灯的间距为4mm，led阵列到样本的距离为90mm，照明光波长为630nm，物镜数值孔径为0.08，图像采集装置为scmos相机，成像的像元尺寸为2.75μm。led阵列上不同位置led灯照射样本示意图如图2所示，实际实验中，led阵列上不同位置led灯提供强度一致的照明光，由于led阵列上每个led灯与样本的距离不同，到达样本表面的光强大小也不相同。将图2中垂直入射的光到达样本表面的光照度记为ie0，倾斜为θe的入射光到达样本表面的的光照度记为ie1，计算得出ie0与ie1满足关系式：ie1＝ie0cos³θe，可以看出，越偏移中心位置的led灯提供的可成像光强越小，导致采集的包含高频信息的图像信噪比较低，高频信息被弱化。采用发明所提出的用于傅里叶叠层显微成像技术的图像增强方法可以在采集图像之前对不同角度的入射光光强进行调整，使不同角度的入射光到达样本表面的光强大小一致，从而使重构图像各部分频率信息更接近原始样本信息，校正照明光强不一致误差。

本实施例公开的可用于傅里叶叠层显微成像技术的图像增强方法，具体步骤如如下：

步骤一：选择led阵列为系统的照明光源，选择数据采集卡为控制平台，如图1所示为led阵列与数据采集卡的示意图，保证数据采集卡可以调控led阵列上不同位置led灯的强度大小。

步骤二：确定不同位置照明光需改变的光强大小，根据led阵列上led灯的不同位置与成像光强大小关系调整光照亮度，将led阵列上中心led灯发光强度大小记为i0e，将led阵列上照明入射角度与法线成θe夹角的led灯发光强度调整为iie，二者满足iie＝i0e/cos³θe的关系式。即中心led灯亮度为i0e，向外第一圈的led灯亮度为i0e/0.997，向外第二圈的led灯亮度为i0e/0.9883，以此类推。

步骤三：按照步骤二的光强大小关系，控制不同位置照明光光强大小，通过采集卡控制平台利用pwm方法调控led阵列上不同位置led灯的亮度，占空比为在脉冲序列中，正脉冲的持续时间与脉冲总周期的比值，当占空比大时，led灯亮度较大，当占空比小时，led灯亮度较小。按照led阵列上led灯的位置从内向外逐渐增大led灯的占空比，逐渐增大led灯的亮度，并用光强探测器探测验证光强。

步骤四：图像采集，led阵列上不同位置的led灯经过步骤三之后完成亮度调制，在调制好的照明光照射下采集多张低分辨率图像。

步骤五：图像重构，对采集的多张低分辨率图像进行fpm算法重构，选用经典的gs相位恢复算法进行超分辨率重构，包括以下几步：

[1]将led阵列上中心led灯拍摄的图像进行插值处理，作为空域初始估计值；

[2]将插值后的图像进行傅立叶变换得到频域初始估计值；

[3]在得到的频谱图中选取一块子区域进行傅里叶逆变换，得到目标复振幅图像，目标复振幅图像包含振幅信息和相位信息；

[4]保持目标复振幅图像相位信息不变，用led阵列上对应位置led灯拍摄的实际图像替换其振幅信息，得到更新后的目标复振幅图像；

[5]将更新后的目标复振幅图像进行傅里叶变换，得到更新后的频谱图，用更新后的频谱图替换初始频谱图的对应子频谱区域；

[6]重复[3]-[5]步骤，完成所有子频谱更新；

[7]重复[3]-[6]步骤使结果收敛，得到照明光强不一致误差校正后的高分辨率频谱图像，再进行傅里叶逆变换，得到空域中的高分辨率图像。

步骤六：结果检验，照明光强不一致误差校正前的重构图像如图5所示，经过校正后的重构图像如图6所示，经过对比发现，校正后重构图像质量得到提升。

实施例3

采用可用于傅里叶叠层显微成像技术的图像增强方法可以实现fpm系统照明光光强大小调整，可以同时实现照明光强不一致误差校正与噪声消除，最终实现重构的高分辨率图像各部分频率信息更接近真实值，同时高频信息增强。本实施例采用的光源为led阵列。参与照明的led阵列大小为11×11，led灯的间距为4mm，led阵列到样本的距离为90mm，照明光波长为630nm，物镜数值孔径为0.08，图像采集装置为scmos相机，成像的像元尺寸为2.75μm。led阵列上不同位置的led灯采集一张子孔径图像，每个子孔径图像的信噪比都不同，进行傅里叶变换之后，在某些子孔径频谱图中，信号频谱信息被淹没在噪声频谱信息之下，限制了高频频谱信息的扩展，采集的原始图像中包含的主要噪声有两种，分别是高斯噪声和散粒噪声，二者都会随着照明光强提升信噪比提高。在采集的原始图像中，暗场图像信号强度值很低，甚至被淹没在噪声信号中。导致重构的高分辨率图像频谱扩展范围受噪声限制。此外，led阵列上不同位置led灯照射样本示意图如图2所示，实际实验中，led阵列上不同位置led灯提供强度一致的照明光，由于led阵列上每个led灯与样本的距离不同，到达样本表面的光强大小也不相同。越偏移中心位置的led灯提供的可成像光强越小，导致采集的包含高频信息的图像信噪比较低，高频信息被弱化。系统中同时存在照明光强不一致误差与噪声的影响。采用发明所提出的用于傅里叶叠层显微成像技术的图像增强方法可以选择性提高暗场区域的照明光强，使各个子孔径频谱图中的信号幅值高于噪声幅值，实现频谱高频区域扩展，增强图像高频细节信息，在此基础上，继续调整光强，使不同角度的入射光到达样本表面的光强大小一致，从而使重构图像各部分频率信息更接近原始样本信息，校正照明光强不一致误差。

步骤一：选择led阵列为系统的照明光源，选择数据采集卡为控制平台，如图1所示为led阵列与数据采集卡的示意图，保证数据采集卡可以调控led阵列上不同位置led灯的强度大小。

步骤二：根据实验系统的物镜参数计算得出只有中心9张图像是明场图像，其余的都是暗场图像，暗场图像的信号幅值较低，需要进行亮度调整，将这些图像对应的led灯亮度分别提升1.2-1.5倍不等，使得在频域中调整后的图像的样本信号幅值高于噪声幅值。

步骤三：确定不同位置照明光需改变的光强大小，根据led阵列上led灯的不同位置与成像光强大小关系调整光照亮度，将led阵列上中心led灯发光强度大小记为iled0，将led阵列上照明入射角度与法线成θled夹角的led灯发光强度调整为iledi，二者满足iledi＝iled0/cos³θled的关系式。即中心led灯亮度为iled0，向外第一圈的led灯亮度为iled0/0.997，向外第二圈的led灯亮度为iled0/0.9883，以此类推。

步骤四：经过步骤三的调整，检查此时光强是否满足步骤二中所述的频域中调整后的样本信息幅值高于噪声幅值的要求，如不满足，重复步骤二、三，直到满足要求。

步骤五：控制不同位置照明光光强大小，通过采集卡控制平台利用pwm方法调控led阵列上不同位置led灯的亮度，占空比为在脉冲序列中，正脉冲的持续时间与脉冲总周期的比值，当占空比大时，led灯亮度较大，当占空比小时，led灯亮度较小。按照步骤二、三所述关系调控led灯的亮度，并用光强探测器探测验证光强。

步骤六：图像采集，led阵列上不同位置的led灯经过步骤五之后完成亮度调制，在调制好的照明光照射下采集多张低分辨率图像。

步骤七：图像重构，对采集的多张低分辨率图像进行fpm算法重构，选用经典的gs相位恢复算法进行超分辨率重构，包括以下几步：

[1]将led阵列上中心led灯拍摄的图像进行插值处理，作为空域初始估计值；

[2]将插值后的图像进行傅立叶变换得到频域初始估计值；

[3]在得到的频谱图中选取一块子区域进行傅里叶逆变换，得到目标复振幅图像，目标复振幅图像包含振幅信息和相位信息；

[4]保持目标复振幅图像相位信息不变，用led阵列上对应位置led灯拍摄的实际图像替换其振幅信息，得到更新后的目标复振幅图像；

[5]将更新后的目标复振幅图像进行傅里叶变换，得到更新后的频谱图，用更新后的频谱图替换初始频谱图的对应子频谱区域；

[6]重复[3]-[5]步骤，完成所有子频谱更新；

[7]重复[3]-[6]步骤使结果收敛，得到图像高频信息增强同时照明光强不一致误差经过校正的高分辨率频谱图像，再进行傅里叶逆变换，得到空域中的高分辨率图像。

步骤八：结果检验，包含噪声与照明光强不一致误差的重构图像如图7所示，经过校正后的重构图像如图8所示，经过对比发现，校正后重构图像噪声影响明显降低，同时各频率部分的质量得到明显提升。

以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。