基于深度学习的平面波相干衍射成像方法、装置、介质及终端

1.本发明涉及光学衍射成像技术领域，特别是涉及基于深度学习的平面波相干衍射成像方法、装置、介质及终端。


背景技术：

2.x射线自从1895年被伦琴发现以来，由于其优秀的穿透性能，使得成像过程中无需对样品进行切割即可三维成像，与表面研究手段形成了充分的互补，在物理、材料、生物等领域应用愈发广泛。但是在x射线发展初期，实验室使用的x光管亮度低、相干性差、能量范围窄，使用时仍然具有较大的局限性。同步辐射光源技术的发展，大大提高了x射线光源的亮度，尤其是上世纪九十年代第三代同步辐射光源陆续建成，其亮度相较于实验室光源提高了12个量级左右，空间相干性也得到了大幅的提高，基于x射线的表征手段在实验效率和效果才得到了大幅度提升。
3.相干衍射成像(coherent diffraction imaging,cdi)就是得益于同步辐射光源而产生的，其理论最早可以追溯到1952年，但是受限于当时的x射线光源亮度和相干性，一直无法在实验中得以实现。而随着世界范围内第三代同步辐射光源的逐渐建成，高亮度、高相干性的x射线光源为相干衍射成像提供了可行的实验基础，终于在1999年第一次从理论走到了现实。相干衍射成像是一种无透镜的成像技术，以短波长的相干x射线为光源，使得其在根本上避免x射线成像元件的工艺限制，理论上可以达到原子级别的分辨率。同时，x射线的穿透能力较强，在三维成像时无需对样品进行切片处理，可以直接对厚样品进行成像。除此之外，根据x射线与物质相互作用的理论，远场近似下的样品衍射信号即为其电子密度分布的傅里叶变换，使得相干衍射成像最终的成像结果是样品的电子密度，无需染色即可达到高分辨和定量表征的目的。
4.但是，在使用x射线进行高分辨表征时，辐射损伤是不可避免的。尤其是对于细胞、细胞器等弱衍射生物材料，其本身的散射能力较弱，为了达到高信噪比就必须延长曝光时间。而延长曝光时间又会导致辐射损伤，使得样品结构发生变化，因此必须要在信号强度和辐射剂量之间作平衡，在保证样品不发生变化的同时获得高信噪比的实验数据。特别是对线粒体等无支撑结构的细胞器来说，高分辨的成像更加困难。
5.对于相干衍射成像来说，衍射图样的信噪比十分重要。首先，ccd探测器(charge-coupled device，电荷耦合元件)接收到的是样品与x射线相互作用发生散射的光子，组成的衍射图样振幅为样品电子密度的傅里叶变换，而在傅里叶空间越高级次(高频)的衍射信号代表样品越细节的结构。而cdi中的主要噪声来源是泊松噪声，这种噪声的特性就是随着信号的增强噪声也会增加，但是整体的信噪比也是提升的。而傅里叶空间高级次的信号相较于低频信号在强度上甚至会下降几个数量级，使得泊松噪声对其影响极大，对生物样品进行成像时往往会无法接收到高信噪比的高频信号导致最终的成像分辨率大大下降。其次，低信噪比的衍射图样会降低图像重构的稳定性。由于ccd探测器无法记录衍射信号的相位信息，单靠振幅信息无法进行成像，但是基于过采样理论得到的衍射图样的振幅包含足
够的已知信息，可以使用相位恢复算法对其相位进行恢复，从而重构出实空间样品图像。因此相干衍射成像的样品图像重构过程是通过对衍射图样的相位恢复实现的，这些算法通过在实空间和倒易空间施加约束条件，循环迭代地进行恢复相位，最终实现图像重构。当实验得到的衍射图样信噪比过低时，相位恢复算法的稳定性大大下降，在收敛速度下降的同时容易陷入局部最小值，导致最终重构出的实空间图像结构差异较大，即便是相近的重构误差也可能出现结构差异。通常的做法是人为地基于生物学常识对重构结果进行筛选，但是这种作法需要丰富的先验知识，受主观影响较大。另外，目前相干衍射成像的数据集越来越庞大，这种基于人力的手段耗时较长，迫切地需要一种可以智能地对低信噪比成像结果进行区分的方法。
6.深度学习伴随着近几年计算资源的飞速发展迅猛崛起，目前被广泛应用于各个领域，比如：语音识别、语言翻译、图像分类、自动驾驶等等。作为一种数据驱动的方法，深度学习在处理大数据时具有不可比拟的优势。大数据可以为深度神经网络提供更精确的网络权重，而深度神经网络又可以为大数据提供快速、精确的数据分析。也正是这种对大数据的适应性，深度学习拥有为平面波相干衍射成像的重构结果提供分析手段的潜力，然而目前这一领域仍是欠缺的。


技术实现要素：

7.鉴于以上所述现有技术的缺点，本发明的目的在于提供基于深度学习的平面波相干衍射成像方法、装置、介质及终端，用于解决现有技术中衍射成像分辨率低的技术问题。
8.为实现上述目的及其它相关目的，本发明的第一方面提供一种基于深度学习的平面波相干衍射成像方法，包括：采用相干光源照射待成像样品并处理获取样品的衍射图样；采用相位恢复算法对所述衍射图样的相位及缺失部分进行重构以获取多组实空间图像；基于卷积神经网络预训练模型提取所述实空间图像的特征；对所述实空间图像的特征进行降维处理并聚类；基于聚类误差获取最佳类，并从所述最佳类中提取可靠解作为最终成像结果。
9.于本发明的第一方面的一些实施例中，所述衍射图样的获取方式包括：采用相干光源照射获取所述待成像样品的衍射信号；对所述衍射信号进行数据分析以获取正常衍射信号；基于所述正常衍射信号中低频和高频信号之间的重合部分，计算两者之间的差异系数以对所述低频信号和高频信号进行拼接；对拼接后的衍射信号进行中心对称补充以获取中心部分缺失的衍射图样。
10.于本发明的第一方面的一些实施例中，所述平面波相干衍射成像方法包括：采用基于过采样平滑恢复算法和误差最小化算法的联用算法对所述衍射图样进行相位恢复；并在重构过程中将待成像样品的轮廓作为约束边界。
11.于本发明的第一方面的一些实施例中，所述平面波相干衍射成像方法包括：基于主成分分析对所述实空间图像进行特征提取以获取图像主成分；基于所述图像主成分的信息量选取坐标轴以获取对应的散点图；基于所述散点图对不同结构的实空间图像进行分析以获得聚类数；基于所述聚类数，使用k-means算法对所述实空间图像进行聚类；基于所述聚类结果从中选取最佳类。
12.于本发明的第一方面的一些实施例中，所述最佳类包括：误差最小且包含最多实
空间图像的一类。
13.于本发明的第一方面的一些实施例中，所述平面波相干衍射成像方法包括：通过裁剪或者像素加和的方式获取预设尺寸的所述衍射图样；采用相位恢复算法对预设尺寸的所述衍射图样的相位及缺失部分进行重构以获取多组实空间图像。
14.于本发明的第一方面的一些实施例中，所述可靠解的提取方式包括：计算所述最佳类中各个所述实空间图像的误差；选取其中误差最小的预设组数的重构结果并取平均以获取所述可靠解。
15.为实现上述目的及其它相关目的，本发明的第二方面提供一种基于深度学习的平面波相干衍射成像装置，包括：衍射图样获取模块，用于采用相干光源照射待成像样品并处理获取样品的衍射图样；图像重构模块，用于采用相位恢复算法对所述衍射图样的相位及缺失部分进行重构以获取多组实空间图像；特征提取模块，用于基于卷积神经网络预训练模型提取所述实空间图像的特征；聚类模块，用于对所述实空间图像的特征进行降维处理并聚类；成像结果提取模块，用于基于聚类误差获取最佳类，并从所述最佳类中提取可靠解作为最终成像结果。
16.为实现上述目的及其它相关目的，本发明的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述基于深度学习的平面波相干衍射成像方法。
17.为实现上述目的及其它相关目的，本发明的第四方面提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述基于深度学习的平面波相干衍射成像方法。
18.如上所述，本发明提供的基于深度学习的平面波相干衍射成像方法、装置、介质及终端，具有以下有益效果：通过深度学习的聚类算法将相干衍射成像的重构一致性大大提高，使得对生物材料等弱衍射样品进行成像时，无需增加辐射剂量，也无需对重构结果进行主观分析，使得相干衍射的成像分辨率获得提升；在对细胞、细胞器等弱衍射生物样品进行成像时，可以快速有效地提取出相似的重构结果，大大提高重构的一致性，提升了信噪比较低的衍射图样的重构可信度；对弱衍射样品成像无需延长曝光时间，从而降低了辐射损伤的影响；在得到重构结果后无需先验知识和人工筛选，可以直接得到相似度高、可重复性强的重构结果；成像分辨率有了10％～20％的提升，可以对样品更细节的结构进行表征。
附图说明
19.图1显示为本发明一实施例中一种基于深度学习的平面波相干衍射成像方法的流程示意图。
20.图2显示为本发明一实施例中一种平面波相干衍射成像装置的结构示意图。
21.图3显示为本发明一实施例中另一种基于深度学习的平面波相干衍射成像方法的流程示意图。
22.图4显示为本发明一实施例中一种基于深度学习的平面波相干衍射成像装置的结构示意图。
23.图5显示为本发明一实施例中电子终端的结构示意图。
具体实施方式
24.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
25.需要说明的是，在下述描述中，参考附图，附图描述了本发明的若干实施例。应当理解，还可使用其它实施例，并且可以在不背离本发明的精神和范围的情况下进行操作上的改变。下面的详细描述不应该被认为是限制性的，并且本发明的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了描述特定实施例，而并非旨在限制本发明。
26.再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其它特征、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的，或意味着任一个或任何组合。因此，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a、b和c”。仅当元件、功能或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
27.本发明提供了一种基于深度学习的平面波相干衍射成像方法，有效解决了现有衍射成像技术中重构数量不足、重构结果提取效率低、重构一致性不佳、信噪比较低的衍射图样的重构可信度较差等技术问题。
28.为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
29.实施例一
30.如图1所示，本发明实施例提出一种基于深度学习的平面波相干衍射成像方法的流程示意图，具体包括步骤如下：
31.步骤s11.采用相干光源照射待成像样品并处理获取样品的衍射图样。可选的，所述待成像样品的样品粒径在百纳米到十微米不等，包括但不限于：生物细胞、细胞器等弱衍射生物样品、功能材料、无机材料以及金属材料等等。
32.此处以弱衍射生物样品为例，对所述待成像样品的准备过程进行说明：对于生物细胞和细胞器等样品，使用浓度为3.2％的甲醇处理1～3分钟，然后加入12％的戊二醛使得甲醛的浓度稀释至0.25％，最后使用无水乙醇对样品溶液进行梯度脱水，浓度分别为30％、50％、70％、85％、95％和100％，每次脱水在常温静置10～20分钟。而对于粉末、纳米颗粒等样品，通常为溶解分散至无水乙醇或者去离子水中。此时制备好的样品溶液中的样品浓度仍然过高，需要使用无水乙醇或者去离子水进行稀释，使得通过光学显微镜观察时在100μm2内只存在1～3个样品。随后将当前浓度的样品溶液滴至20～200nm厚的氮化硅薄膜上，静置24～48小时使得无水乙醇或者去离子水充分挥发，以备后续实验使用。
33.进一步地，采用相干光源获取所述待成像样品的衍射信号。如图2所示，本实施例
给出一种平面波相干衍射成像装置的结构示意图，其沿光路前进方向分别是：相干x射线21，孔径光阑22，直角狭缝23，样品24，直通光挡板25和ccd探测器26。通过该成像装置获取衍射信号的具体流程如下：
34.将样品24放入样品腔中，根据实验需要，确定样品环境，通常包括充入保护性气体使得真空度不低于10-4
mbar，另外也可以根据样品的特性，使用低温样品台装置，对于细胞，样品台的温度通常不高于110k。x射线21能量通常设置为4～10kev，以能量5kev为例，在实验时，通过调节同步辐射光源波荡器的磁场能量，同时调节晶体单色器至特定的布拉格角度以获得5kev的单色x射线。随后根据样品尺寸，在样品上游0.2～1m处放置直径为10～20μm的孔径光阑22，以获取空间全相干的x射线21照射样品24。在孔径光阑22和样品24之间设置两个直角的硅狭缝23，样品下游0.5～1.5m处使用ccd探测器26接收衍射信号，ccd的单像素尺寸为20
×
20μm2，共包含1340
×
1300个像素。
35.优选的，在ccd前放置一直通光挡板，保护ccd不受到直射光的破坏。通过移动直通光挡板，分别采集低频和高频的信号来拼合成完整的衍射信号，其中低频信号的曝光时间较短，为50～100s；高频信号的较长，为800～4,000s。
36.优选的，在获得了二维单一角度的衍射图样后，可以通过旋转样品台在
±
90
°
之间采集20～140幅不同角度的衍射图样，从而对样品进行三维成像。
37.进一步地，对得到的衍射信号作线扫描，移除ccd接收过程中受到辉光、噪声等影响产生的坏点坏线，保留正确的衍射信号。对低频和高频信号都需要进行相同的操作，得到无异常值的实验数据。然后根据低频和高频的衍射信号之间的重合部分，计算两者之间的差异系数，对信号进行拼接。拼接后的衍射图样在第四象限仍然是缺失的，通过中心对称的方法使用第二象限的信号进行补充，从而得到仅有中心部分缺失的衍射图样。
38.在一些示例中，得到的衍射图样尺寸是1340
×
1300，与ccd探测器的一致。在重构过程中不需要如此庞大的像素尺寸，可使用裁剪或者像素加和的方式对衍射图样缩减为预设尺寸，如可将1340
×
1300大小的衍射图样缩减为400
×
400～800
×
800的尺寸。
39.步骤s12.采用相位恢复算法对所述衍射图样的相位及缺失部分进行重构以获取多组实空间图像。使用相位恢复算法对得到的衍射图样进行相位恢复，相位恢复通常是指将相位和中心的缺失部分都进行重构。针对相干衍射成像发展了多种相位恢复算法，可选的有：混合输入输出算法(hio，hybrid in and out)，差异映射算法(dm，difference map)，松弛平均交替反射算法(raar，relaxed averaged alternating reflections)，误差最小化算法(er，error reduction)以及过采样平滑恢复算法(oss，oversampling smoothness)等等。
40.本实施例较佳实施方式中，选用oss+er的联用算法对衍射图样进行相位恢复，过程分为两部分：准确约束边界的生成和精细样品结构的重构。其中，准确约束边界的生成过程表述如下：使用以矩形为约束边界的oss算法对衍射图样进行重构，在初始时生成多组(如1,000组)相位独立的重构，每组重构迭代多次(如2,000次)，每发生一轮预设次数的迭代后(如200次)，将其中傅里叶误差最小的一组重构作为下一轮重构的输入；重构完成后，使用er算法迭代预设次数(如200次)进一步重构相位；最后，从所述多组相位独立的重构中选取误差最小的n组重构结果取取平均得到粗略的实空间重构结果(如1000组独立相位的重构中取傅里叶误差最小的4～30组重构结果取平均)，将样品轮廓作为最终的准确约束边
界。精细样品结构的重构过程包括：基于生成的准确约束边界，通过oss算法和er算法重构出多组(如1,000组)初始相位独立的实空间图像作为待深度学习分析的数据。
41.步骤s13.基于卷积神经网络预训练模型提取所述实空间图像的特征。所述预训练模型的网络权重可以是经过包含数百万张图像的imagenet数据集预训练获取，但是不限于imagenet数据集，还可使用pascal voc数据集、labelme数据集、coco数据集、sun数据集等等预训练获取模型，本实施例对此不作限定。
42.在一些示例中，仅使用卷积神经网络的特征提取部分，最后的分类部分不使用，在特征提取后会从每张图像中提取出20k～110k个特征。
43.步骤s14.对所述实空间图像的特征进行降维处理并聚类。可选的，特征降维方式包括：线性降维和非线性降维，非线性降维又包括基于核函数降维和基于特征值降维。其中，线性降维又包括：主成分分析(pca，principal components analysis)、独立成分分析(ica，independent component analysis)、线性判别式分析(lda，linear discriminant analysis)等方式。
44.在本实施例较佳的实施方式中，使用主成分分析对特征进行降维，将保留的方差设置为95％～99％。分析完成后的特征点被称为主成分，按照包含信息量的多寡依次排列，每个图像包含100～1000个主成分，数据量下降2～3个数量级。
45.步骤s15.基于聚类误差获取最佳类，并从所述最佳类中提取可靠解作为最终成像结果。
46.在本实施例较佳的实施方式中，基于主成分分析对所述实空间图像进行特征提取以获取图像主成分；基于所述图像主成分的信息量选取坐标轴以获取对应的散点图；基于所述散点图对不同结构的实空间图像进行分析以获得聚类数；基于所述聚类数，使用k-means算法对所述实空间图像进行聚类；基于所述聚类结果从中选取最佳类。
47.在一些示例中，将前三个包含最多信息量的主成分作为坐标轴，可以将1,000组重构结果表现在三维的散点图中，从而观察出本次重构的不同结构数量，通常为3～6类。基于散点图得到的聚类数，使用k-means算法对重构结果进行聚类，将不同结构的图像区分开来。对于每一类重构，包含的重构数和平均的傅里叶误差均可计算，其中误差最小、包含最多重构数的一类会被作为最佳类进行可靠解提取。例如，计算最佳类中每个图像的误差，选取其中误差最小的4～30组重构结果取平均作为最终的成像结果。
48.在一些实施方式中，所述方法可应用于控制器，所述电控单元例如为arm(advanced risc machines)控制器、fpga(field programmable gate array)控制器、soc(system on chip)控制器、dsp(digital signal processing)控制器、或者mcu(microcontroller unit)控制器等等。在一些实施方式中，所述方法也可应用于包括存储器、存储控制器、一个或多个处理单元(cpu)、外设接口、rf电路、音频电路、扬声器、麦克风、输入/输出(i/o)子系统、显示屏、其它输出或控制设备，以及外部端口等组件的计算机；所述计算机包括但不限于如台式电脑、笔记本电脑、平板电脑、智能手机、智能电视、个人数字助理(personal digital assistant，简称pda)等个人电脑。在另一些实施方式中，所述方法还可应用于服务器，所述服务器可以根据功能、负载等多种因素布置在一个或多个实体服务器上，也可以由分布的或集中的服务器集群构成。
49.实施例二
50.如图3所示，本发明实施例提出另一种基于深度学习的平面波相干衍射成像方法的流程示意图，以线粒体这种较难成像的无支撑结构细胞器作为样品，进行高分辨的定量表征。图3中的箭头指向表明其方法的操作顺序，具体方法内容表述如下：
51.步骤31.获取实验数据，其又包括步骤s311～s313，可具体表述如下：
52.步骤s311.准备实验样品。使用浓度为3.2％的甲醇处理1分钟，然后加入12％的戊二醛使得甲醛的浓度稀释至0.25％，最后使用无水乙醇对样品溶液进行梯度脱水，浓度分别为30％、50％、70％、85％、95％和100％，每次脱水在常温静置15分钟。此时制备好的样品溶液中的样品浓度仍然过高，需要使用100％的无水乙醇进行稀释，使得通过光学显微镜观察时在100μm2内只存在1个样品。随后将当前浓度的溶液滴至30nm厚的氮化硅薄膜上，静置24小时使得无水乙醇充分挥发，形成脱水干燥的样品。
53.步骤s312.利用同步辐射光源获取样品的衍射信号。将样品放入常温的样品腔中，持续充入氦气，减少空气对衍射信号的吸收与散射。将x射线的能量设置为5.5kev，在样品上游0.35m处放置直径为10μm的孔径光阑，中间设置两个直角的硅狭缝，样品下游1.496m处使用ccd探测器接收衍射信号，ccd的单像素尺寸为20
×
20μm2，共包含1340
×
1300个像素。在ccd前放置一直通光挡板，保护ccd不受到直射光的破坏。通过移动直通光挡板，分别采集低频和高频的信号来拼接成完整的衍射信号，其中低频信号的曝光时间较短，为80s；高频信号的较长，为960s。
54.步骤s313.得到的衍射信号作线扫描，移除ccd接收过程中受到辉光、噪声等影响产生的坏点坏线，保留正确的衍射信号。对低频和高频信号都需要进行相同的操作，得到无异常值的实验数据。然后根据低频和高频的衍射信号之间的重合部分，计算两者之间的差异系数，对信号进行融合。融合后的衍射图样在第四象限仍然是缺失的，通过中心对称的方法使用第二象限的信号进行补充，从而得到仅有中心部分缺失的衍射图样。这里得到的衍射图样尺寸是1340
×
1300，与ccd探测器的一致。在重构过程中不需要如此庞大的像素尺寸，先使用裁剪的方式将尺寸变为1233
×
1233，再使用3
×
3的像素加和将图样变为411
×
411的尺寸。最终得到所需的实验数据。
55.步骤s32.生成准确的约束边界。具体的，使用oss重构算法对得到的衍射图样进行相位恢复，相位恢复通常是指将相位和中心的缺失部分都进行重构。相位恢复过程分为两部分：生成准确的约束边界和重构精细的样品结构。首先进行的是准确约束边界的生成。使用以矩形为约束边界的oss算法对衍射图样进行重构，在初始时生成1,000组相位独立的重构，每组重构迭代2,000次，每200次其中傅里叶误差最小的一组重构作为下200次重构的输入。重构完成后，使用er算法迭代200次进一步重构相位。最后取这1000组独立相位的重构中傅里叶误差最小的24组重构结果取平均得到粗略的实空间重构结果，将样品轮廓作为最终的准确约束边界。
56.步骤s33.精细化重构。具体的，基于生成的准确约束边界，通过oss算法和er算法重构出1,000组初始相位独立的实空间图像作为待深度学习分析的数据。
57.步骤s34.特征提取。具体的，对得到的实空间图像进行基于深度学习的聚类。首先使用卷积神经网络进行特征点的提取。使用的网络权重是经过包含数百万张图像的imagenet数据集预训练的，仅使用网络的特征提取部分，最后的分类部分不使用。在特征提取后会从每张图像中提取出20k～110k个特征。
58.步骤s35.主成分分析。具体的，使用主成分分析对特征进行降维，将保留的方差设置为95％～99％。分析完成后的特征点被称为主成分，按照包含信息量的多寡依次排列，每个图像包含100～1000个主成分，数据量下降2～3个数量级。将前三个包含最多信息量的主成分作为坐标轴，可以将1,000组重构结果表现在三维的散点图中，从而观察出本次重构的不同结构数量，本次为4类。
59.步骤s36.聚类。具体的，基于散点图得到的聚类数，使用k-means算法对重构结果进行聚类，将不同结构的图像区分开来。
60.步骤s37.获取成像结果。具体的，对于每一类重构，包含的重构数和平均的傅里叶误差均可计算，其中误差最小、包含最多重构数的一类会被作为最佳类进行可靠解提取。最后进行可靠解提取。计算这一类中每个图像的误差，选取其中误差最小的24组重构结果取平均作为最终的成像结果。
61.实施例三
62.本实施例以灰西鲱鱼骨粉末作为样品，进行高分辨的定量表征，包括步骤s41～s46，具体表述如下：
63.步骤s41.准备实验样品。提取来自新鲜鲱鱼的肌内骨，在整个解剖与清洗过程中使用无水乙醇。随后将鱼骨放入液氮中进行冷冻，并研磨至粉末状，溶解于无水乙醇中。此时的样品溶液中的鱼骨粉末浓度仍然过高，需要使用100％的无水乙醇进行稀释，使得通过光学显微镜观察时在100μm2内只存在1个样品。随后将当前浓度的溶液滴至30nm厚的氮化硅薄膜上，静置48小时使得无水乙醇充分挥发，形成脱水干燥的样品。
64.步骤s42.利用同步辐射光源获取样品的衍射信号。将样品放入真空样品腔中，维持不低于10-4
mbar的真空度。将x射线的能量设置为5kev，在样品上游1m处放置直径为20μm的孔径光阑，中间设置两个直角的硅狭缝，样品下游1.26m处使用ccd探测器接收衍射信号，ccd的单像素尺寸为20
×
20μm2，共包含1340
×
1300个像素。在ccd前放置一直通光挡板，保护ccd不受到直射光的破坏。通过移动直通光挡板，分别采集低频和高频的信号来拼合成完整的衍射信号，其中低频信号的曝光时间较短，为75s；高频信号的较长，为3600s。在获得了二维0
°
的鱼骨衍射图样后，旋转样品台在-69.4
°
～+69.4
°
之间采集27幅不同角度的衍射图样，从而对鱼骨进行三维成像。对于不同的角度，低频信号的曝光时间为60～80s；高频信号的曝光时间为2700～3600s。
65.步骤s43.针对步骤s42得到的衍射信号作线扫描，移除ccd接收过程中受到辉光、噪声等影响产生的坏点坏线，保留正确的衍射信号。对低频和高频信号都需要进行相同的操作，得到无异常值的实验数据。然后根据低频和高频的衍射信号之间的重合部分，计算两者之间的差异系数，对信号进行拼接。拼接后的衍射图样在第四象限仍然是缺失的，通过中心对称的方法使用第二象限的信号进行补充，从而得到仅有中心部分缺失的衍射图样。这里得到的衍射图样尺寸是1340
×
1300，与ccd探测器的一致。在重构过程中不需要如此庞大的像素尺寸，通过裁剪的方式将尺寸变为701
×
701。
66.步骤s44.使用oss重构算法对步骤s43得到的衍射图样进行相位恢复，相位恢复通常是指将相位和中心的缺失部分都进行重构。相位恢复过程分为两部分：生成准确的约束边界和重构精细的样品结构。首先进行的是准确约束边界的生成。使用以矩形为约束边界的oss算法对衍射图样进行重构，在初始时生成1,000组相位独立的重构，每组重构迭代2,
000次，每200次其中傅里叶误差最小的一组重构作为下200次重构的输入。重构完成后，使用er算法迭代200次进一步重构相位。最后取这1000组独立相位的重构中傅里叶误差最小的4组重构结果取平均得到粗略的实空间重构结果，将样品轮廓作为最终的准确约束边界。在精细重构时，基于生成的准确约束边界，通过oss算法和er算法重构出1,000组初始相位独立的实空间图像作为待深度学习分析的数据。
67.步骤s45.对步骤s44得到的实空间图像进行基于深度学习的聚类。首先使用卷积神经网络进行特征点的提取。然后使用主成分分析对提取的特征点进行降维，将保留的方差设置为95％～99％。分析完成后的特征点被称为主成分，按照包含信息量的多寡依次排列，每个图像包含100～1000个主成分，数据量下降2～3个数量级。将前三个包含最多信息量的主成分作为坐标轴，可以将1,000组重构结果表现在三维的散点图中，从而观察出本次重构的不同结构数量，本次为3类。基于散点图得到的聚类数，使用k-means算法对重构结果进行聚类，将不同结构的图像区分开来。对于每一类重构，包含的重构数和平均的傅里叶误差均可计算，其中误差最小、包含最多重构数的一类会被作为最佳类进行可靠解提取。最后进行可靠解提取。计算这一类中每个图像的误差，选取其中误差最小的4组重构结果取平均作为最终的成像结果。
68.步骤s46.使用从步骤s43到步骤s45同样的方法对实验得到的27幅衍射图样进行处理，得到27张不同角度的实空间成像结果，使用三维重构算法得到鱼骨最终的三维成像结果。
69.实施例四
70.如图4所示，本发明实施例提出一种基于深度学习的平面波相干衍射成像装置的结构示意图，包括：衍射图样获取模块41，用于采用相干光源照射待成像样品并处理获取样品的衍射图样；图像重构模块42，用于采用相位恢复算法对所述衍射图样的相位及缺失部分进行重构以获取多组实空间图像；特征提取模块43，用于基于卷积神经网络预训练模型提取所述实空间图像的特征；聚类模块44，用于对所述实空间图像的特征进行降维处理并聚类；成像结果提取模块45，用于基于聚类误差获取最佳类，并从所述最佳类中提取可靠解作为最终成像结果。
71.需要说明的是，本实施例提供的模块与上文中提供的方法、实施方式类似，故不再赘述。另外需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，图像重构模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上图像重构模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
72.例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，简称asic)，或，
一个或多个微处理器(digital signal processor，简称dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(central processing unit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
73.实施例五
74.本发明实施例提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前文所述基于深度学习的平面波相干衍射成像方法。
75.本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
76.实施例六
77.如图5所示，本发明实施例提供一种电子终端的结构示意图。本实施例提供的电子终端，包括：处理器51、存储器52、通信器53；存储器52通过系统总线与处理器51和通信器53连接并完成相互间的通信，存储器52用于存储计算机程序，通信器53用于和其它设备进行通信，处理器51用于运行计算机程序，使电子终端执行如上基于深度学习的平面波相干衍射成像方法的各个步骤。
78.上述提到的系统总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其它设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
79.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
80.综上所述，本发明提供基于深度学习的平面波相干衍射成像方法、装置、介质及终端，通过深度学习的聚类算法将相干衍射成像的重构一致性大大提高，使得对生物材料等弱衍射样品进行成像时，无需增加辐射剂量，也无需对重构结果进行主观分析，使得相干衍射的成像分辨率获得提升；在对细胞、细胞器等弱衍射生物样品进行成像时，可以快速有效地提取出相似的重构结果，大大提高重构的一致性，提升了信噪比较低的衍射图样的重构可信度；对弱衍射样品成像无需延长曝光时间，从而降低了辐射损伤的影响；在得到重构结果后无需先验知识和人工筛选，可以直接得到相似度高、可重复性强的重构结果；成像分辨率有了10％～20％的提升，可以对样品更细节的结构进行表征。所以，本发明有效克服了现有技术中的种种缺点而具有高度产业利用价值。
81.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。