基于傅里叶叠层的显微成像方法与流程

本发明属于计算光学显微成像技术，具体为一种基于傅里叶叠层的显微成像方法。

背景技术：

在医学上，对于身体组织的病变问题，医生们需要取一定大小的病变组织制成病理切片，在显微镜下进行诊断，并检查其是属于炎症还是癌变并做出具体的病情分析。通才采用数字病理切片又称虚拟病理切片，是一种现代数字系统与传统光学放大装置有机结合的技术。它将传统的玻璃病理切片通过全自动显微镜或光学放大系统扫描采集得到高分辨数字图像，再应用计算机对得到的图像自动进行高精度多视野无缝隙拼接和处理，获得优质的可视化数据以应用于病理学的各个领域。数字病理系统往往采用放大倍率为40倍以上的高数值孔径的物镜进行成像，这使得系统需要很强的照明光源，来获取极短的曝光时间来获取一副图像，再通过高精度、高速度的机械扫描的方式将整个样品遍历，并在遍历的过程中进行图像拼接。

这种高精度、高速度的机械扫描方式，使得目前市场上的数字病理系统体积庞大，价格昂贵，这大大加重了患者在医疗费用上的支出。究其原因是，传统显微镜在其成像分辨率与成像视场上是鱼和熊掌不可兼得的两方面。随着计算显微成像技术的快速发展，于2013年zheng等人提出傅里叶叠层成像技术可实现使用一个低数值孔径，低放大倍率的物镜，获得大视场和高分辨率的成像结果(zhengg,horstmeyerr,yangc.wide-field,high-resolutionfourierptychographicmicroscopy.naturephotonics.2013；7:739-45.)。该技术通过一块可编程led，每个led单独发出不同角度的照明光对样品进行拍摄，将拍摄到的一系列低分辨率的样品振幅信息在频率域进行合成。其中，每个led拍摄到的低分辨率图在频率域中对应于不同频率孔径的信息，通过这些信息对计算的样品信息进行强度约束，并运用迭代方法进行计算得到一个最终收敛的结果。这些低分辨率图像所对应的孔径位置由led的照明角度相对应，最终可达到的分辨率为照明数值孔径与物镜数字空间共同确定，若采用远大于物镜数值孔径的照明数值孔径就可以大大提高成像分辨率。由于采用的led面阵较为密集，计算和采图过程中耗费时间过长，无法达到现有病理系统的技术指标。如何采用更少的图像和更快捷的计算成为了这一技术应用于数字病理系统的技术难题。

技术实现要素：

本发明的目的在于提供一种基于傅里叶叠层的显微成像方法，不仅能减少采图数量，也能减低计算耗时，并保证计算所获得的图像分辨率不降低。

实现本发明目的的技术解决方案为：一种基于傅里叶叠层的显微成像方法，其特征在于，具体步骤为：

步骤1：获取待测样品的明场图像和暗场图像；

步骤2：确定样品初始复振幅分布对应频率域的高分辨率频谱复振幅分布；

步骤3：利用光学传递函数和样品高分辨率频谱复振幅分布生成非相干明场图像的复振幅分布；

步骤4：将非相干明场图像的复振幅分布中的振幅替换为非相干照明下拍摄的明场图像，并将替换后的非相干明场图像的复振幅分布对应的频谱信息填回步骤2中的频谱复振幅分布；

步骤5：从高分辨率频谱中获取一个与暗场图像对应的子孔径的频谱信息，并对其做逆傅里叶变换生成对应照明角度的低分辨率样品的复振幅分布；

步骤6：将生成的低分辨率样品的复振幅分布中的振幅替换为对应照明角度拍摄的振幅拜尔图像，并得到对应的频谱信息，更新高分辨率频谱复振幅分布和相干传递函数；

步骤7：重复步骤5、6，直到所有子孔径迭代完成；

步骤8：重复步骤3～7，直到高分辨率样品复振幅分布收敛稳定。

优选地，获取待测样品的明场图像和暗场图像的具体方法为：

将环形led面阵(1)、样品(2)、显微物镜(3)、筒镜(4)以及相机(5)置于同一轴线上，所述环形led面阵(1)设置在样品(2)前方，样品(2)设置在显微物镜(3)的前焦面上，筒镜(4)置于显微物镜(3)后方，显微物镜(3)到筒镜(4)距离为二者机械焦距之和，相机(5)位于筒镜(4)的后焦面上；

所述环形led面阵(1)内部设置9颗led灯，环上均匀设置12颗灯；

点亮内部9颗led灯，获得明场图像；

分别点亮环的12颗灯，对应得到12幅暗场图像。

优选地，样品初始复振幅分布具体为：

式中，ibf(r,rgb)为初始振幅分布；

样品初始复振幅分布对应频率域的高分辨率频谱复振幅分布具体为：

s1(u,rgb)＝f{ψh(r，rgb)}。

优选地，利用光学传递函数和样品高分辨率频谱复振幅分布生成的非相干明场图像的复振幅分布具体为：

式中，s1(u，rgb)表示高分辨率频谱复振幅分布o(u,rgb)表示光学传递函数，ilbf(r,rgb)表示非相干明场图像的强度分布，表示生成非相干明场图像的相位分布。

优选地，替换后的非相干明场图像的复振幅分布具体为：

式中，为非相干照明下拍摄的明场图像，表示生成非相干明场图像的相位分布。

优选地，获取的子孔径的频谱信息具体为：

式中，pn(rgb)为相干传递函数，s(u-un，rgb)为样品的高分辨率频谱复振幅分布。

优选地，对应照明角度的低分辨率样品的复振幅分布具体为：

优选地，更新样品的高分辨率频谱复振幅分布和相干传递函数的具体公式为：

式中，α，β为迭代系数；sn(u,rgb)为第n次更新的样品的高分辨率频谱复振幅分布，pn(u,rgb)为第n次更新的相干传递函数；φn(u,rgb)表示与拍摄的暗场图像对应的子区域的频谱信息，φ′n(u,rgb)表示替换振幅后对应子区域的频谱信息。

本发明与现有技术相比，其显著优点：(1)本发明不需任何机械扫描装置，结构简单，造价便宜，可实现快速的大视场超分辨；(2)本发明采用一张明场图像作为明场信息的约束，大大减少了系统图像采集的数量，提高了系统的计算效率，单个视野下的计算和采图时间可以控制在2秒以内；(3)本发明采用的led面阵较为稀疏，制作方便，同时使用寿命相对较长。

下面结合附图对本发明作进一步详细描述。

附图说明

图1为本发明的数字病理系统示意图。

图2为本发明采用的环形led面阵与环形led面阵模型图。

图3为本发明的流程示意图。

图4为对分辨率板进行超分辨率成像的实验结果，其中(a1)(a2)是经典傅里叶叠层显微成像算法重构出的样品频域和空间域信息；(b1)(b2)是本发明拜尔编码的快速傅里叶叠层显微成像算法重构出的样品频域和空间域信息；(c)是随着迭代次数本文方法和经典方法计算结果的均方根误差。

图5为动物肺部切片的观测结果，(a)是中心单科灯照明的拜尔编码图像，(b)是采集到的明场拜尔编码图像，(c)是经典傅里叶叠层方法计算结果，(d)是本发明计算结果。

图6为小鼠肾切片的观测结果，(a)是中心单科灯照明的拜尔编码图像，(b)是采集到的明场拜尔编码图像，(c)是经典傅里叶叠层方法计算结果，(d)是本发明计算结果。

图7为动物肺部切片的观测结果，(a)是中心单科灯照明的图像，(b)是采集到的明场图像，(c)是经典傅里叶叠层方法计算结果，(d)是本发明计算结果。

具体实施方式

如图1～3所示，一种基于傅里叶叠层的显微成像方法，具体步骤如下：

步骤1：获取待测样品的明场图像和暗场图像；

进一步的实施例中，利用数字病理系统获取待测样品的明场图像和暗场图像，所述数字病理系统包括环形led面阵1、显微物镜3、筒镜4和相机5。环形led面阵1、样品2、显微物镜3、筒镜4和相机5位于同一轴线上，环形led面阵1位于样品2前方45cm左右，样品2位于显微物镜的前焦面上，显微物镜3和筒镜4距离为二者机械焦距的和，相机5位于筒镜4的后焦面上。环形led面阵1的具体分布情况如图2所示，是一个82mm×82mm的led面阵，采用的是5050贴片led，环上12颗灯，内部9颗灯，内部9颗灯上方盖有一片毛玻璃片。系统通过环上12颗led灯拍摄暗场图像，内部9颗led灯同时亮起进行明场图像的获取。

先同时点亮内部9颗明场led采集图像为明场图像，再依次点亮12颗暗场led分别拍摄12幅暗场图像。

步骤2：确定样品初始复振幅分布对应频率域的高分辨率频谱复振幅分布；

进一步的实施例中，假设初始化一个高分辨率的样品初始复振幅分布ψh(r,rgb)，令初始化的相位分布选取非相干明场图像ibf(r,rgb)或者非零常数作为初始振幅分布，并求这个高分辨率的样品初始复振幅分布ψh(r,rgb)对应频率域的高分辨率频谱复振幅分布s1(u,rgb)，具体计算公式为：

s1(u,rgb)＝f{ψh(r，rgb)}(1.2)

其中，r表示空间方向矢量，rgb表示三个不同的彩色通道，ψh(r,rgb)表示初始化的高分辨率样品复振幅分布，s1(u,rgb)表示初始化的高分辨率样品频谱分布，ibf(r,rgb)表示非相干明场图像的强度分布，upsample表示上采样，f表示傅里叶变换。

步骤3：利用光学传递函数o(u,rgb)和高分辨率样品频谱分布生成一个低分辨率非相干明场图像的复振幅分布ψlbf(r,rgb)，如式(1.3)所示，亦可写成式(1.4)的形式，其中ilbf(r,rgb)表示生成非相干明场图像的强度分布，表示生成非相干明场图像的相位分布，f^-1表示傅里叶逆变换。

ψlbf(r，rgb)＝f^-1{s1(u，rgb)·on(u，rgb)}(1.3)

步骤4：将生成的低分辨率非相干明场图像的复振幅分布ψlbf(r,rgb)中的振幅替换为非相干照明下拍摄的明场图像替换后得到ψ′lbf(r,rgb)，如式(1.5)所示，将其对应的频谱信息填回原来的高分辨率频谱s1(u,rgb)，如式(1.6)所示：

步骤5：以上两步完成了非相干明场图像对计算结果的约束，接着就与经典的傅里叶叠层显微成像算法相同。选择一块高分辨率频谱s1(u,rgb)的一个子孔径，该区域要与一个拍摄的低分辨率暗场图像对应，并将这个子区域的频谱信息取出来，得到φn(u)，如式(1.7)所示，其中pn(rgb)为相干传递函数。对子区域的频谱信息φn(u)做逆傅里叶变换生成一个对应照明角度的低分辨率样品的复振幅分布ψl(r,rgb)，如式(1.8)所示，亦可写为式(1.9)，其中il(r,rgb)表示生成低分辨率图像的强度分布，表示生成低分辨率图像的相位分布。

φn(u)＝s(u-un,rgb)·pn(rgb)(1.7)

ψl(r,rgb)＝f^-1{φn(u)}(1.8)

步骤6：将生成的低分辨复振幅ψl(r,rgb)中的振幅替换为对应照明角度拍摄的振幅拜尔图像替换后得到ψ′l(r,rgb)如式(1.10)，并得到对应的频谱信息φ′n(u)，如式(1.11)。并对高分辨率样品频谱分布sn(u,rgb)和相干传递函数pn(rgb)进行更新，如式(1.12)和(1.13)所示。

φ′n(u)＝f{ψ′l(r,rgb)}(1.11)

其中，mask(rgb)为拜尔编码的掩膜，应当注意的是在计算过程中如果需要图像插值应当使用没有信息串扰的最邻近插值，其它插值方法由于存在信息串扰则不再适用。

步骤7：接着选着下一个子孔径区域进行计算，该区域要与另一个拍摄的低分辨率暗场图像对应，并重复步骤5和步骤6，直到十二个子孔径迭代完成。应当注意的是相邻两次迭代的子孔径区域应当由足够的重叠率来保证信息的冗余量。

步骤8：最后再重复上述步骤3到步骤7，逐渐得到一个收敛稳定的高分辨率样品复振幅分布ψh(r,rgb)，如式(1.14)所示将高分辨率样品频谱分布sn(u,rgb)进行傅里叶逆变换。

以上是拜尔编码的快速傅里叶叠层显微成像方法，其中包含了稀疏采样傅里叶叠层显微算法和非相干明场图像为约束条件的快速傅里叶叠层显微算法。

本发明用采集到的明场图像进行图像信息频谱的初始化；用拍摄到的明场图像进行约束，恢复图像的明场频谱信息；用拍摄到的暗场图像进行约束，恢复图像的暗场频谱信息；重复约束过程直到图像收敛。

实施例

本实施例采用数值孔径为0.25的十倍物镜以及照明数值孔径为0.5的装置对分辨率板进行成像，实验结果如图4所示，其中(a1)和(a2)是采用高密度矩形led面阵的经典傅里叶叠层显微成像算法进行计算的结果，(a1)为样品的频谱图，(a2)是分辨率板计算结果可达到的最高分辨率10-5；(a1)和(a2)是采用本文方案计算的结果，(b1)为样品的频谱图，(b2)是分辨率板计算结果可达到的最高分辨率10-5，其结果与经典算法相一致，但单个区域的采图及计算时间可缩短为2秒以内，经典方法的采图与计算时间大约在5分钟左右。

本实施例同样对生物组织切片进行实验，实验结果如图5、图6和图7所示。譬如图5是对动物肺部切片的观测结果，(a)是中心单科灯照明的拜尔编码图像，(b)是采集到的明场拜尔编码图像，(c)是经典傅里叶叠层方法计算结果，(d)是本发明计算结果。(c)和(d)的分辨率达到了(b)的两倍以上，同时(d)的结果在区域拼接上更加自然，整体效果更好。