一种透射式无透镜三维显微重构方法及系统与流程
本发明涉及无透镜显微领域，更具体地，涉及一种透射式无透镜三维显微重构方法及系统。
背景技术：
在显微领域，传统的光学显微镜往往必须借助高倍率的镜片来获取更清晰的图像。而传统的光学显微镜在为了获得更清晰、大视场的图像，通常需要占用较多的图像处理资源或计算资源，进一步地使得光学显微镜的硬件要求较高。
现有技术更多是通过提高镜头倍率或者提高分辨率的方式来提高透镜的使用效率及重构结果，但这种图像获取方式对硬件的要求较高，同时其价格也相对高昂。在较多应用场景下，人们更倾向于选择在满足其使用需求的基础上，价格更为低廉的重构器械。
无透镜显微成像(lenslessmicroscopicimaging,lmi)技术是一种不需要光学透镜，直接将微观物体的投影记录到传感器上的技术。该技术由于具有便携，价格低廉，大视场等优点，在生物医疗等方面具有广泛的应用前景，是传统显微镜的简单和廉价替代品。
光场的空间分布由复函数表示，包含光强与相位信息。目前的光学成像器件如电荷耦合器件(charge-coupleddevice,ccd)或光电倍增管(photomultipliertube,pmt)等只能记录光场的光强信息，造成了其中相位信息的丢失。因此如何从易于测量的强度信息反算出相位信息，从而完成光场的完整重构成为光学领域的一个经典研究问题，进一步的，如何通过无透镜系统对透明样本进行光场的三维重构的是现有技术中所存在的一个问题。
技术实现要素：
本发明旨在克服上述现有技术中存在的问题，提供了一种透射式无透镜三维显微重构方法及系统，解决了如何通过无透镜系统对透明样本进行光场的三维重构的问题。
一种透射式无透镜三维显微重构方法，所述方法包括：
获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅；
对获取的所有图像样本进行图像对齐；
基于图像对齐后的所有图像样本计算物平面预测光场；
使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场。
在无透镜显微领域，对图像样本的重构方式或者重构算法往往对于其最终重构出的结果而言是影响巨大的，本发明提出了一种区别于现有技术且精度更高的重构方法。
在本发明所述方法中，所述图像样本为数字图像，通过数字图像所述方法可以清晰且直观地在不同采集位置获取到重构对象的不同图像样本的振幅及相位。进一步的，通过所述图像样本的振幅及相位，可以通过衍射方程计算并得到所述图像样本衍射到物平面位置时的相位及样本，此时根据其所衍射的结果已经可以通过均值计算重构出重构对象对应的大视场物平面光场了，但若在此时进行重构，往往会导致最终结果出现光信息的不对应或是细节轮廓丢失的问题，进而使得所述结果不具备参考价值，因此若需进一步得到更好的图像，则需要对图像样本进行进一步地处理。
本发明所述方法基于更高的重构需求还设计了以下步骤，首先是基于图像样本衍射至物平面的光场信息进行图像对齐处理，通过图像对齐可以克服由于图像传感器的cmos或ccd平面与样本平面不是完全平行的问题，并以此提升不同采集位置所对应的图像样本之间的关联性以及样本信息的可靠性。在执行初始化步骤之后，本发明所述方法使用迭代对重构对象的相位进行恢复，进而重构出重构对象的物面实际光场。
基于上述步骤，所述方法可以在不借助光学透镜的情况下，重构出重构对象的可用于三维显示的物面实际光场，可以有效去除重构结果中的孪生像、改善信噪比，进而解决了如何通过无透镜系统对透明样本进行光场的三维重构的问题。
优选的，所述获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅包括：
设置图像采集平面在不同水平高度获取完整样本的至少两副数字图像；
根据采集位置的不同将采集的数字图像对应为不同采集位置的图像样本并计算其所对应的样本振幅。
优选的，所述对获取的所有图像样本进行图像对齐：
根据获取的所有图像样本的样本振幅计算其对应的物平面光场；
使用相位相关法对不同采集位置的图像样本所对应的物平面光场进行图像对齐；
其中，所述物平面光场为在物平面位置上的光场，所述物平面位置是固定且预先确定的。
优选的，所述基于图像对齐后的所有图像样本计算物平面预测光场包括：
根据图像对齐的结果确认每个图像样本对应的物平面光场；
将所有图像样本对应的物平面光场进行均值计算得到物平面预测光场。
优选的，所述使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场包括：
根据物平面预测光场推算在不同采集位置对应的样本采集平面并将其记录为新的测算面；
使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面；
通过衍射方程将所有新的记录面的光场信息衍射至物平面位置并对衍射结果进行均值计算；
将均值计算结果记录为新的物平面预测光场；
重复上述迭代过程，直到满足迭代停止条件；
当停止迭代后，将物平面预测光场输出为物平面实际光场。
优选的，所述使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面的具体计算方式为：
其中，
优选的，其中，所述迭代停止条件为：计算新的测算面的振幅相对于图像样本的振幅的均方误差，当所述均方误差的值小于预设阈值时，停止迭代。
一种透射式无透镜三维显微重构系统，所述系统包括：图像传感器、对齐模块、初始化模块及重构模块；
所述图像传感器用于在不同的采集位置上获取到完整样本的数字图像作为图像样本并计算其所对应的振幅；
所述对齐模块用于执行图像对齐以校准图像样本；
所述初始化模块通过校准后的图像样本计算物平面预测光场；
所述重构模块使用图像样本的样本振幅通过迭代恢复的方式将物平面预测光场重构为物平面实际光场。
优选的，其中，所述对齐模块、初始化模块及重构模块都被布置在gpu上运行。
与现有技术相比，本发明的有益效果为：在不使用高倍率的光学透镜的情况下，实现了对样本的高精度显微重构；通过对数字图像的分析及处理，对多个图像样本的相位及振幅信息进行了有效地整合及使用；而且提出了一种用于终止重构迭代的停止算法；同时，设置了一种迭代终止条件使得本发明所述方法在重构效果上优于现有技术。
附图说明
图1为本发明所述的一种透射式无透镜三维显微重构方法的流程图。
图2为本发明所述的一种透射式无透镜三维显微重构系统的框架图。
图3为本发明所述的一种透射式无透镜三维显微重构系统的结构实体图。
图4为本发明所述的一种透射式无透镜三维显微重构方法及系统的效果图。
图5为本发明所述的一种透射式无透镜三维显微重构方法及系统的又一效果图。
图6为本发明所述的一种透射式无透镜三维显微重构方法及系统的又一效果图。
图7为本发明所述的一种透射式无透镜三维显微重构方法及系统的又一效果图。
具体实施方式
本发明附图仅用于示例性说明，不能理解为对本发明的限制。为了更好说明以下实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
实施例1
如图1所示，本实施例提供了一种透射式无透镜三维显微重构方法，所述方法包括：
s1：获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅；
s2：对获取的所有图像样本进行图像对齐；
s3：基于图像对齐后的所有图像样本计算物平面预测光场；
s4：使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场。
在无透镜显微领域，对图像样本的重构方式或者重构算法往往对于其最终重构出的结果而言是影响巨大的，本发明提出了一种区别于现有技术且精度更高的重构方法。
在本发明所述方法中，所述图像样本为数字图像，通过数字图像所述方法可以清晰且直观地在不同采集位置获取到重构对象的不同图像样本的振幅及相位。进一步的，通过所述图像样本的振幅及相位，可以通过衍射方程计算并得到所述图像样本衍射到物平面位置时的相位及样本，此时根据其所衍射的结果已经可以通过均值计算重构出重构对象对应的大视场物平面光场了，但若在此时进行重构，往往会导致最终结果出现光信息的不对应或是细节轮廓丢失的问题，进而使得所述结果不具备参考价值，因此若需进一步得到更好的图像，则需要对图像样本进行进一步地处理。
本发明所述方法基于更高的重构需求还设计了以下步骤，首先是基于图像样本衍射至物平面的光场信息进行图像对齐处理，通过图像对齐可以克服由于图像传感器的cmos或ccd平面与样本平面不是完全平行的问题，并以此提升不同采集位置所对应的图像样本之间的关联性以及样本信息的可靠性。在执行初始化步骤之后，本发明所述方法使用迭代对重构对象的相位进行恢复，进而重构出重构对象的物面实际光场。
基于上述步骤，所述方法可以在不借助光学透镜的情况下，重构出重构对象的可用于三维显示的物面实际光场，可以有效去除重构结果中的孪生像、改善信噪比，进而解决了如何通过无透镜系统对透明样本进行光场的三维重构的问题。
在一种可选的实施方式中，所述获取不同采集位置所对应的图像样本并计算所述图像样本的样本振幅包括：
s101：设置图像采集平面在不同水平高度获取完整样本的至少两副数字图像；
s102：根据采集位置的不同将采集的数字图像对应为不同采集位置的图像样本并计算其所对应的样本振幅。
具体的，图像传感器可通过调整其用于采集图像样本的cmos或ccd平面来采集图像样本，如果是通过调整样本面的水平高度来采集图像样本，那么会导致每一次采集的物平面相互之间都不一定平行，这会导致无法通过本方法所述的衍射方式重构对其进行图像对齐，而对应本发明通过调节图像传感器的高度以获取不同图像样本的方式获取到的图像样本，由于物平面的位置是固定的，因此可以通过将图像样本的衍射至物平面的位置进行图像对齐，同时，通过相位相关法的图像对齐可以有效地将不同位置的图像样本的光学信息关联起来。
具体的，设不同采集位置之间的水平高度差为△z，通过不同采集位置获取到的数字图像的图像样本可被记录为i1,i2,i3,…in，其表示为获取到的图像样本的像素信息所对应二维矩阵，所述二维矩阵的元素取值在0到255之间，进一步的，所述二维矩阵的物理意义为图像样本所对应的强度矩阵，因此可以将图像样本in的振幅矩阵记为
在一种可选的实施方式中，所述对获取的所有图像样本进行图像对齐：
s201：根据获取的所有图像样本的样本振幅计算其对应的物平面光场；
s202：使用相位相关法对不同采集位置的图像样本所对应的物平面光场进行图像对齐；
其中，所述物平面光场为在物平面位置上的光场，所述物平面位置是固定且预先确定的。
具体来说，物平面位置是样本平面的平面位置，由于本发明所述方法的图像采集方式为通过移动图像传感器的方式进行采集的，因此样本平面的位置是可以被确定或固定的。同时，由于样本平面的位置被确定，在图像对齐时便可以通过将图像样本的光场信息通过衍射计算衍射至物平面以计算其所对应的物平面光场信息。另一方面，所述方法是将多个图像样本i1,i2,i3,…in反传到样本平面然后进行对齐，而由于无法保证ccd平面和样本平面不是完全水平，因此通过ccd向下移动采集得到的多幅图像之间会有错位，进而使得本发明通过计算它们之间的相对位(△x,△y)并进行对齐，其中，(x,y)表示离散二维图像的坐标，(△x,△y)表示不同样本的坐标之间的坐标差。
在一种可选的实施方式中，所述基于图像对齐后的所有图像样本计算物平面预测光场包括：
s301：根据图像对齐的结果确认每个图像样本对应的物平面光场；
s302：将所有图像样本对应的物平面光场进行均值计算得到物平面预测光场。
其中，所述物平面光场的确定由图像对齐结果及角谱衍射方程确定，所述角谱衍射方程为：
在一种可选的实施方式中，所述使用所有图像样本的样本振幅的计算结果将物平面预测光场迭代恢复至物平面实际光场包括：
s401：根据物平面预测光场推算在不同采集位置对应的样本采集平面并将其记录为新的测算面；
s402：使用不同采集位置对应的图像样本的样本振幅替代所述新的测算面的样本振幅并将其按采集位置的不同记录为其所对应的新的记录面；
s403：通过衍射方程将所有新的记录面的光场信息衍射至物平面位置并对衍射结果进行均值计算；
s404：将均值计算结果记录为新的物平面预测光场；
s405：重复上述迭代过程，直到满足迭代停止条件；
当停止迭代后，将物平面预测光场输出为物平面实际光场。
在无透镜显微领域，重构方案往往存在不同，其效果亦不相同，本发明所述方法通过对样本进行迭代修正的方式进行恢复，其优点在于使得样本信息可以以一定条件无限趋近于实际样本。在所述方法执行前述步骤得到物面预测光场的初值后，物面预测光场的光场信息中的相位信息可以被认为是重构完成的，在后续重构过程中，所述方法使用相位解包裹的方式对相位信息进行处理：由于计算得到的物平面预测光场相位
在一种可选的实施方式中，所述步骤s402的计算方式具体可表示为：
即可获得
在恢复迭代中，迭代的初始物平面预测光场
相比于现有技术，本发明所述的迭代方式是通过不断的迭代计算，使计算得到的相位值不断接近真实的相位值，从而使用相位值表征相位物体的三维信息。相比于pie和epie等相位恢复方法，本发明所述方法对硬件移动精度要求更低，且其所用算法的特点能更易使用多进程加速。
在一种可选的实施方式中，其中，所述迭代停止条件为：计算新的测算面的振幅相对于图像样本的振幅的均方误差，当所述均方误差的值小于预设阈值时，停止迭代。
所述均方误差的计算方式具体为：
现有技术中，迭代的终止通常是由迭代次数决定的，这便导致了重构结果实际上是不可控的，其重构质量也会随着重构场景的不同而参差不齐，进而使得重构后的结果无法符合使用需求。本法明通过计算所述均方误差的目的在于使物平面预测光场的迭代趋向于实际的物平面预测光场，由于本发明的迭代方式是基于最开始所获取到的图像样本的样本振幅的，因此本发明所述的重构方法对迭代次数能够基于需求较为灵活地变更，且其迭代恢复次数在正常情况下都不会太高。
实施例2
如图2所示，本实施例提供了一种透射式无透镜三维显微重构系统，所述系统包括：图像传感器、对齐模块、初始化模块及重构模块；
所述图像传感器用于在不同的采集位置上获取到完整样本的数字图像作为图像样本并计算其所对应的振幅；
所述对齐模块用于执行图像对齐以校准图像样本；
所述初始化模块通过校准后的图像样本计算物平面预测光场；
所述重构模块使用图像样本的样本振幅通过迭代恢复的方式将物平面预测光场重构为物平面实际光场。
其中，图像传感器通过采集平面采集图像样本。
在一种可选的实施方式中，其中，所述对齐模块、初始化模块及重构模块都被布置在gpu上运行。通过采用gpu计算傅里叶变换以及采用多线程方法加速算法，缩短算法实际耗时，使该方法更具实用性。
在一种可选的实施方式中，所述重构模块还包括迭代单元及终止单元；
所述迭代单元在获取到物平面预测光场的初始值的情况下，执行迭代计算，其迭代公式具体为：
所述终止单元对迭代的结果进行校验，具体为检测当前的物平面预测光场与图像样本的样本振幅之间的均方误差是否小于预设阈值。
实施例3
如图3所示，本实施例提供了一种透射式无透镜三维显微重构装置，所述装置能够用于实现本发明所述方法，所述装置包括：光源1、小孔2、样本玻片4、图像传感器5和gpu；
所述光源1用于对小孔2进行照射；
所述小孔2通过所述光源1的在小孔2一侧的照射使得在小孔2的另一侧形成有效的照射光源3；
所述样本玻片4被所述照射光源3所穿透；
所述图像传感器5通过图像采集平面6对穿透样本玻片4的光信息进行记录；
所述gpu用于根据图像传感器所记录的光信息进行三维重建。
在一种可选的实施方式中，所述图像采集平面为cmos平面或ccd平面。
实施例4
如图4到7所示，一种透射式无透镜三维显微重构方法及系统，为了测试一种透射式无透镜三维显微系统及其重构方法，以usfa分辨率板为样本，通过本发明所述的方法及系统重构出的相位成像结果及其三维显示如图4所示。图4为振幅局部放大图，其分辨率为3.11μm，图5为相位局部放大图，其分辨率为3.11μm。
在一种可选的实施方式中，为了测试一种透射式无透镜三维显微系统及其重构方法。以带有划痕的玻片为样品，重构出的相位成像结果及其三维显示如图6所示。可以明显看出，结合面向大视场相位无透镜显微成像系统，本发明所述方法能够重构出凹槽相位，并用于三维显示。
在一种可选的实施方式中，为了测试一种透射式无透镜三维显微系统及其重构方法。以表面带有附着物的液晶玻璃为样品，重构出的相位成像结果及其三维显示如图7所示。可以明显看出，结合面向大视场相位无透镜显微成像系统，本发明方法能够重构出液晶玻璃表面的细小污染物相位，并用于三维显示。
可以明显看出，结合面向大视场相位无透镜显微成像系统，本发明方法具有实现较高的振幅和相位分辨能力，能够满足现实中大部分使用场景的显微成像需求。
显然，本发明的上述实施例仅仅是为清楚地说明本发明技术方案所作的举例，而并非是对本发明的具体实施方式的限定。凡在本发明权利要求书的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！