基于压缩感知的超高速结构光照明超分辨显微成像装置

1.本发明涉及结构光照明超分辨显微、压缩感知、孔径编码压缩时域成像领域，尤其是一种基于压缩感知的超高速结构光照明超分辨显微成像装置。通过本发明可以大幅提高超分辨显微系统对动态场景的成像速度，找到一种缓和信噪比和采集速度之间最佳方式。除此之外，这种方式将有望适用于其他超分辨显微技术的高速成像领域，为生物医疗研究者研究和解析复杂的高速生物过程带来全新的帮助。


背景技术：

2.光学显微技术为一种重要的成像技术，把人类的观察能力拓展到微观尺度，实现了对生物医学等领域的准确观测，促进了诸多领域的发展。然而由于受到光学衍射极限的限制，光学显微镜的空间分辨率极限只能达到大约200纳米左右，而生物细胞中大部分亚细胞结构的尺寸都在100纳米左右，所以常规的光学显微镜很难获得细胞内的精细结构。在可视化亚细胞器结构细节的迫切需求的驱动下，各种超分辨率显微技术已经被开发出来，从而打破了常规光学衍射极限的限制。例如，受激发射耗损显微技术将荧光团的受激发射损耗现象引入扫描共聚焦显微镜中，并通过抑制光斑周围环形区域的荧光同时保留一个中心点来发射荧光，来最小化扫描点的大小，在生物样品中实现了约20纳米的空间分辨率。然而，基于逐点扫描的数据采集方式大大限制了受激发射损耗显微镜的成像速度。此外，利用高功率的激光来诱导荧光物质的受激发射损耗，也加剧了光毒性和光漂白。另外单分子定位显微技术是通过对单分子进行定位而不是记录荧光分布的方式来提取荧光团的位置，从而规避了光学衍射极限的限制。然而在单分子定位显微技术中，需要获取数千张稀疏分布的荧光图像来提取单张超分辨率图像，因此成像速度很低，难以观察到生物动态过程。
3.结构光照明显微镜(sim)利用一系列结构化的激发光来照明激发生物样本，通过摩尔纹效应将受到衍射限制的高频信息搬移到低频图像信息中，再通过图像频率分量的分离和调制，最终从采集到的多张sim图像中重构出超分辨率图像。受激发射耗损显微需要逐进行点扫描，单分子定位显微需要采集大量稀疏照明图像，这两种方法都相当耗时。而sim的成像速度相较于其他几种典型的超分辨技术的成像速度要高许多，因为只需9张宽场图像来重构一帧超分辨图像。所有这些优点使sim成为动态超分辨率显微成像的杰出工具。然而由于受到sim中不同结构光模式的多次测量以及采样相机的帧率限制，现有的sim技术仍然难以实现对生物样品中细小结构的超高速动态观察。


技术实现要素：

4.本发明的目的是针对现有结构光照明超分辨显微技术的成像速度不足而提供的一种基于压缩感知的超高速结构光照明超分辨显微成像装置，通过将压缩感知原理引入结构光照明超分辨显微成像技术中，从单次压缩采集图像重构出多帧超分辨图像，实现了对结构光照明超分辨显微成像技术采样速度的大幅度提高，达到了常规sim所不能达到的采样速度。
5.实现本发明目的的具体技术方案是：
6.一种基于压缩感知的超高速结构光照明超分辨显微成像装置，它包括：
7.一个由连续激光器、扩束镜、四分之一波片、第一反射镜及第二反射镜组成的光源与扩束系统；
8.所述光源与扩束系统的连续激光器、扩束镜、四分之一波片、第一反射镜及第二反射镜依次光路连接；
9.一个由第一数字微镜器件、第一透镜、线偏振片、半波片、小孔滤波器、分区半波片、第二透镜、第三透镜、二相色镜、物镜及样品台构成的偏振调制与结构光照明显微系统；
10.所述偏振调制与结构光照明显微系统的第一数字微镜器件、第一透镜、线偏振片、半波片、小孔滤波器、分区半波片、第二透镜、第三透镜、二相色镜反射一路、物镜及样品台依次光路连接；
11.一个由第三反射镜、第四透镜、分束立方、第五透镜、第六透镜、第二数字微镜器件及cmos相机构成的编码孔径时域压缩成像系统；
12.所述编码孔径时域压缩成像系统的第三反射镜、第四透镜、分束立方依次光路连接；分束立方透射的一路与第五透镜、第六透镜、第二数字微镜器件依次光路连接；分束立方反射的一路与cmos相机光路连接；
13.一个由fpga现场可编程阵列构成的同步控制系统；
14.一个由计算机构成的数据处理与重构系统；
15.所述光源与扩束系统的第二反射镜与偏振调制与结构光照明显微系统的第一数字微镜器件光路连接；
16.偏振调制与结构光照明显微系统的二相色镜透射一路与第三反射镜光路连接；
17.同步控制系统的fpga现场可编程阵列分别与偏振调制与结构光照明显微系统的第一数字微镜器件、编码孔径时域压缩成像系统的第二数字微镜器件及cmos相机数据线连接；
18.数据处理与重构系统的计算机分别与编码孔径时域压缩成像系统的cmos相机及同步控制系统的fpga现场可编程阵列数据线连接。
19.所述光源与扩束系统产生激光并对其进行扩束，由偏振调制与结构光照明显微系统对激光进行偏振态调制并依次产生三个不同方向、每个方向三个不同相位的九束结构光对样品台上的待测样品进行九次连续激发照明,产生9t张加载结构光的样品信息图像。
20.所述编码孔径时域压缩成像系统中的透射一路将偏振调制与结构光照明显微系统产生的9t张加载结构光的样品信息图像经过二相色镜投射一路传递到第二数字微镜器件上分别进行编码调制，再反向进入cmos相机，被cmos相机单次曝光接收。
21.所述同步控制系统对第一数字微镜器件、第二数字微镜器件和cmos相机输入触发信号进行控制，以达到对样品进行结构光照明、空间编码与时域压缩接收的同步；最后由数据重构系统对cmos相机采集到的数据，通过cisim算法进行处理和重构，即得到t张超分辨图像。
22.本发明包括光学采样和图像重构算法。光学采样负责对动态目标高分辨信息的高速压缩采集，而图像重构算法负责对采集到的压缩图像进行解码重构获得超分辨图像序列。
23.在光学采样中，样品的荧光团浓度空间分布动态场景d(x,y,t)分别在9种模式的照明光场p(x,y,t,n)下被激发后，由于物镜数值孔径所带来的衍射效应而与光学系统点扩散函数h(x,y)进行卷积，得到9t张sim的条纹图像s(x,y,t,n)。利用高速dmd模块，可以对着条纹图像s(x,y,t,n)进行加载不同模式空间随机编码c(x,y,t,n)。最后，通过单次cmos曝光，将所有的信息累积压缩在单张压缩采集的图像m(x,y)中。本发明的光学传递过程可以简单表示为
[0024][0025]
通过对信息进行离散化，本发明的光学传递过程可以用矩阵形式表示。
[0026][0027]
上式中，荧光团浓度空间分布d(x,y,t)的列向量化，为条纹图像s(x,y,t,n)的列向量化，为压缩采集的图像m(x,y,t,n)的列向量化，表示样品在照明光场p(x,y,t,n)激发下的荧光发射算子，表示荧光信息在物镜数值孔径约束下的图像模糊算子，表示时空孔径编码算子，表示整个光学传递过程算子。
[0028]
本发明的图像重构算法为一种基于即插即用框架的迭代搜寻cisim算法,通过该算法对采集到的单张压缩图像进行重构可获得9t张超分辨图像。该算法的优势在于能够快速方便地切换不同的图像和视频降噪器，如传统图像降噪器tv降噪器、bm3d降噪器、wnnm降噪器，甚至深度学习降噪器ffd-net，在不同的稀疏先验条件下对目标信息进行重构还原。从数值优化的角度，这个图像重构的逆向数学问题可以被描述为下式
[0029][0030]
上式表示，在满足的情况下，达到达到最小值时的即为所求变量，其中‖‖2、‖‖0分别为向量的l2和l0范数算子。利用交叉迭代乘子法admm(alternating direction method of multipliers)，可以将上式分解为如下迭代求解公式
[0031][0032]
在上式中，为引入的迭代变量，便于该优化问题的求解，denoiser
φ
表示稀疏约束图像降噪器，降噪器与稀疏变换算子有关。图像恢复过程中当迭代结果达到预设残差阈值，即约等于时结束迭代，可获得t帧恢复的超分辨图像。
[0033]
本发明采用基于压缩感知和即插即用框架的cisim图像重构算法。通过cisim算法可以将采集到的包含9t张结构光照明样品图像的单张时域编码压缩图像重构出t帧超分辨
图像。
[0034]
本发明具有如下技术优势：
[0035]
不同时刻的场景图像先后被sim中的结构光图案和编码孔径压缩时域成像系统中的随机编码所调制，在单次曝光情况下可以获得多帧超分辨图像的信息。本发明通过基于压缩感知和即插即用框架的图像重建算法，可以从采集到的一张压缩图像中恢复出多帧连续的超分辨率图像，这与传统的sim从多帧图像中恢复出单帧超分辨率图像不同，后者是从多个记录的图像中恢复一帧超分辨率的图像。因此本发明的超分辨成像速度得到大幅度提高。根据模拟结果，与传统的sim相比，本发明可以提高两个数量级的成像速度。
附图说明
[0036]
图1为本发明的结构图；
[0037]
图2为本发明的工作流程图；
[0038]
图3为cisim算法的框架流程图；
[0039]
图4为偏振调制过程结构光偏振态变换示意图；
[0040]
图5为偏振调制与结构光照明显微系统采样图像经过第二数字微镜器件在时域上进行压缩采样示意图；
[0041]
图6为使用本发明进行的生物样本超分辨成像结果图。
具体实施方式
[0042]
参阅图1，本发明为一种基于压缩感知的超高速结构光照明超分辨显微成像装置，它包括：一个由连续激光器101、扩束镜102、四分之一波片103、第一反射镜104及第二反射镜105组成的光源与扩束系统100。
[0043]
所述光源与扩束系统100的连续激光器101、扩束镜102、四分之一波片103、第一反射镜104及第二反射镜105依次光路连接。
[0044]
一个由第一数字微镜器件201、第一透镜202、线偏振片203、半波片204、小孔滤波器205、分区半波片206、第二透镜207、第三透镜208、二相色镜209、物镜210及样品台211构成的偏振调制与结构光照明显微系统200。
[0045]
所述偏振调制与结构光照明显微系统200的第一数字微镜器件201、第一透镜202、线偏振片203、半波片204、小孔滤波器205、分区半波片206、第二透镜207、第三透镜208、二相色镜209反射一路、物镜210及样品台211依次光路连接。
[0046]
一个由第三反射镜301、第四透镜302、分束立方303、第五透镜304、第六透镜305、第二数字微镜器件306依次光路连接及cmos相机307构成的编码孔径时域压缩成像系统300。
[0047]
所述编码孔径时域压缩成像系统300由第三反射镜301、第四透镜302、分束立方303依次光路连接；分束立方303透射的一路与第五透镜304、第六透镜305、第二数字微镜器件306依次光路连接；分束立方303反射的一路与cmos相机307依次光路连接。
[0048]
一个由fpga现场可编程阵列401构成的同步控制系统400。
[0049]
一个由计算机501构成的数据处理与重构系统500。
[0050]
所述光源与扩束系统100的第二反射镜105与偏振调制与结构光照明显微系统200
的第一数字微镜器件201光路连接。
[0051]
偏振调制与结构光照明显微系统200的二相色镜209透射一路与第三反射镜301光路连接。
[0052]
同步控制系统400的fpga现场可编程阵列401分别与偏振调制与结构光照明显微系统200的第一数字微镜器件201、编码孔径时域压缩成像系统300的第二数字微镜器件306及cmos相机307数据线连接。
[0053]
数据处理与重构系统500的计算机501分别与编码孔径时域压缩成像系统300的cmos相机307及同步控制系统400的fpga现场可编程阵列400数据线连接。
[0054]
本发明是这样工作的：
[0055]
参阅图1及图2：本发明由光源与扩束系统100的单频连续激光器101产生的线偏振激光依次经过扩束镜102、四分之一波片103、第一反射镜104、第二反射镜105转换成圆偏振光后照射到偏振调制与结构光照明显微系统200的第一微镜器件201上，由于数字微镜器件上每个镜片都可以发生
±
12
°
的偏转，表示打开和关闭的状态，并与加载的编码相对应，经过第一数字微镜器件201调制后的荧光动态场景会分别沿+12
°
与-12
°
方向出射。通过时序控制系统400的fpga 401连续触发在第一微镜器件上预先加载9张特定的编码图片使得微镜芯片表面成为闪耀光栅，出射为光栅衍射的正1级和负1级主极大两束光线，通过使该两束光线依次经过第一透镜202、线偏振片203、四分之一波片204、小孔滤波器205、分区半波片206、第二透镜207、第三透镜208、二相色镜209反射一路及物镜210打在样品台211上，形成特定方向、特定相位的干涉光条纹对样品进行照明激发；获得的9t张带有sim条纹的图像s(x,y,t,n)反向通过物镜210、二项色镜209透射一路进入编码孔径时域压缩成像系统300。
[0056]
参阅图1、图2、图3及图5，进入编码孔径时域压缩成像系统300的9t张图像经过第三反射镜301、第四透镜302将相进行适度放大，再经过分束立方303透射一路，通过由第五透镜304和第六透镜305组成的光学4f系统将像传递到第二数字微镜器件306表面，分别经过第二数字微镜器件306同步加载的9t张二元伪随机编码图片进行编码调制后，反向经过第六透镜305、第五透镜304、分束立方303反射一路传递到cmos相机307上并被单次曝光接收；后续利用cisim算法通过对采集到的张压缩图像重构，可获得t帧超分辨图像，使得该图像具有比常规宽场成像更高的空间分辨率。
[0057]
参阅图5，sim的条纹图像s(x,y,t,n)经过第二数字微镜器件306按时序加载的二元伪随机编码图像c(x,y,t,n)调制、通过单次cmos曝光，将所有的信息累积压缩在单张压缩采集的图像m(x,y)中。
[0058]
参阅图1，在数据采集的过程中，由同步控制系统400中的fpga401对第一数字微镜器件201、第二数字微镜器件306和cmos相机307输入触发信号进行时序控制，若需要设置图像压缩比为n，若相机曝光时间为δt，则每当同步控制系统400给cmos相机307一个触发信号，则在δt时间段内，分别给第一数字微镜器件201和第二数字微镜器件306触发9t次触发信号，使两个微镜器件每隔δt/9时间段切换一次编码，最后在cmos相机307上时域压缩接收，以达到时间上压缩的目的。
[0059]
参阅图1、图2及图3，数据重构系统500的计算机501会对cmos相机307采集到的数据进行处理和重构，利用基于压缩感知和即插即用框架的cisim图像重构算法进行重构，在算法中，将要恢复重构的目标信息作为迭代变量，利用硬件标定得到的光学传递函数，可以
正向估计出压缩采样的数学期望。算法将基于这个测量期望和测量值之间的误差对迭代变量先进行梯度下降迭代收敛，然后通过用户所选的指定稀疏图像降噪器滤波后的得到新的迭代变量。不断更新迭代变量继续搜寻，直到新的迭代变量于旧的迭代变量之间的差异低于迭代阈值时，跳出迭代停止搜寻，处理输出数据后即可得到t张超分辨图像。
[0060]
参阅图1，本发明同步控制系统400选用的fpga现场可编程阵列401能多路同步控制，能按预设规则触发第一数字微镜器件201和第二数字微镜器件306切换编码、触发cmos相机307进行曝光，能控制触发时序及延时。
[0061]
参阅图1，本发明所用第一数字微镜器件201和第二数字微镜器件306支持2000hz以上高速刷新，且dark time为80～200us。
[0062]
参阅图1，本发明所选用cmos相机307为全局快门相机，支持外触发模式，在选择区域为512*512时，采样帧率为100～300帧每秒。
[0063]
参阅图1及图2，本发明充分利用了第一数字微镜器件201和第二数字微镜器件306的结构特点，数字微镜器件201和306上每个镜片都可以
±
12
°
偏转，其调制后的场景会分别沿+12
°
与-12
°
方向出射。偏振调制与结构光照明显微系统200中的第一数字微镜器件201通过加载预设的特殊编码图片以形成闪耀光栅，使入射光反射后形成多级次衍射光线，实验中采用
±
1级光线最终在样品台211的样品表面形成干涉条纹、编码孔径时域压缩成像系统300的第二数字微镜器件306对得到的9t张sim图片进行编码、调制以实现稀疏压缩采样。
[0064]
参阅图1、图2及图4，本发明的偏振调制与结构光照明显微系统200中，将来自光源与扩束系统100中第二反射镜105的圆偏振光路经过第一数字微镜器件201衍射后形成的两束
±
1级次的光，再依次经过第一透镜202、线偏振片203、半波片204、小孔滤波器205、分区半波片206后被调制成偏振方向平行的角向偏振态，再依次通过由第二透镜207和第三透镜208组成的光学4f系统、二相色镜209透射一路及物镜210后在样品台211的样品表面上干涉形成结构光条纹并激发样品得到9t张带有结构光信息的样品图像。
[0065]
参阅图1及图4，本发明采用三个方向的双光束进行干涉产生结构光，当入射光线为线偏振光，且偏振方向与分区半波片0
°
透振方向平行时，可以使得处于分区半波片每组对角位置的两束出射光具有完全平行的偏振态，这样在三个方向的双光束干涉时都可以获得最大的干涉条纹对比度，从而提高sim图像的调制度和最终重构效果。
[0066]
参阅图2及图3，本发明成像所用的图像数据流为偏振调制与结构光照明显微系统200中设于样品台211上的待测样品经结构光照明形成的9t张sim图像，通过编码孔径时域压缩成像系统300的第二数字微镜器件306的编码调制后最终被cmos相机307接收为单帧图像、最后利用时序控制系统400及数据处理与重构系统500进行计算重构，具体过程为将cmos采集到的单帧图像，其本质为数字矩阵，将其列向量化后作为输入进入到cisim算法中，根据cisim的算法过程迭代结束后，最终输出t帧超分辨图像。
[0067]
参阅图1，本发明所选用的分束立方303的透射反射之比为1∶1。
[0068]
参阅图6，采用本发明装置，选择活体生物样品的图像进行模拟重建结果。(a)，(d)为原图，(b)，(e)为宽场测量图像和(c)，(f)为cisim重建图像。分别为活体昆虫精母细胞的减数分裂和线粒体运动过程，以及带有标记的选定区域强度曲线(g)和(h)。