连续切片透射电子显微镜图像恢复方法与系统

1.本发明涉及图像恢复技术领域，尤其涉及一种连续切片透射电子显微镜图像恢复方法与系统。


背景技术：

2.电子显微成像技术的发展极大地促进了神经元形态学和连接组学的研究，这对于理解脑智能的工作原理至关重要。在现有的不同的电子显微成像技术中，只有连续切片透射电子显微镜（sstem）能够以足以重建末端树突和突触的分辨率对大量组织进行成像。因此，它被广泛用于分析脑组织样本中的功能连接分析。然而，由于连续切片的样品制备不完善，三维sstem图像不可避免地会出现伪影。在这些伪影中，三种类型的噪声最常见，即缺失帧（ms）噪声、支撑膜折叠（sff）噪声和染色沉淀（sp）噪声。缺失帧噪声是由于在手动切割过程中丢失了整个截面，导致图像空白。支撑膜折叠噪声也是由不完美的切割引起的，但过程更复杂。如图1所示，折叠效应不仅导致当前图像中出现内容缺失的黑线，而且还会引入周围区域的严重形变，从而与相邻图像产生较大的错位。与缺失帧噪声和支撑膜折叠噪声不同，染色沉淀噪声是由不完美染色引起的，这会在噪声图像中产生云状伪影，它通常伴随着大面积的污染和低对比度。此外，染色沉淀伪像经常出现在两个连续的图像上，使噪声更加严重。上述三类噪声导致sstem图像的质量大大降低，严重阻碍了后续的分析和可视化。例如，在神经元分割任务中，一张带有伪影的图像可能会中断许多神经元结构，从而导致错误的神经元重建。
3.为了减轻缺失帧噪声对神经元分割的影响，funke 等人在分割网络训练阶段采用数据增强来模拟缺失帧的发生（j. funke, f. tschopp, w. grisaitis, a. sheridan, c. singh, s. saalfeld, and s. c. turaga,
ꢀ“
large scale image segmentation with structured loss based deep learning for connectome reconstruction,
”ꢀ
ieee transactions on pattern analysis and machine intelligence, vol. 41, no. 7, pp. 1669
–ꢀ
1680, 2018.），但是忽略了其他两种更复杂的噪声：支撑膜折叠噪声和染色沉淀噪声。李等人完全丢弃噪声图像并用相邻图像的副本替换它（p. h. li, l. f. lindsey, m. januszewski, m. tyka, j. maitin-shepard, t. blakely, and v. jain,
ꢀ“
automated reconstruction of a serial-section em drosophila brain with flood-filling networks and local realignment,
”ꢀ
microscopy and microanalysis, vol. 25, no. s2, pp. 1364
–
1365, 2019.），这种替代策略在一定程度上减少了被中断的神经元，但仍然会导致重建不准确。
4.由于二维自然图像中的噪声（相机内部噪声、运动模糊）与sstem图像中的噪声很不一致，这就使得自然图像恢复的方法不能直接用于sstem图像的恢复。另外，sstem噪声图像没有与其对应的真实干净图像，而且目前也没有sstem图像噪声仿真方法，这使得基于深度学习的图像恢复方法不能直接用于sstem图像恢复。


技术实现要素：

5.本发明的目的是提供一种连续切片透射电子显微镜图像恢复方法与系统，可以有效的生成干净-噪声图像对，并结合适用于多种噪声的图像恢复网络，能够提升图像恢复性能。
6.本发明的目的是通过以下技术方案实现的：一种连续切片透射电子显微镜图像恢复方法，包括：根据噪声类型，结合不带噪声的sstem图像的中间帧切片图像合成相应的类型的sstem噪声图像，中间帧切片图像与相应的sstem噪声图像构成干净-噪声图像对；其中，sstem图像表示连续切片透射电子显微镜图像，不带噪声的sstem图像包含不带噪声的前中后多帧切片图像；构建基于深度学习的sstem噪声图像恢复网络，输入不带噪声的sstem图像的前后帧切片图像，得到对sstem噪声图像的初步恢复图像；对于第一噪声类型对应的sstem噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的sstem噪声图像，输入sstem噪声图像和初步恢复图像，通过估计形变光流对sstem噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的sstem噪声图像，输入sstem噪声图像，对sstem噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应的干净-噪声图像对中中间帧切片图像的差异构造损失函数训练所述基于深度学习的sstem噪声图像恢复网络；将待恢复的sstem噪声图像输入至训练后的基于深度学习的sstem噪声图像恢复网络，根据所述待恢复的sstem噪声图像的噪声类型获得最终恢复图像。
7.一种连续切片透射电子显微镜图像恢复系统，包括：图像对构造单元，用于根据噪声类型，结合不带噪声的sstem图像的中间帧切片图像合成相应的类型的sstem噪声图像，中间帧切片图像与相应的sstem噪声图像构成干净-噪声图像对；其中，sstem图像表示连续切片透射电子显微镜图像，不带噪声的sstem图像包含不带噪声的前中后多帧切片图像；网络构建与训练单元，用于构建基于深度学习的sstem噪声图像恢复网络，输入不带噪声的sstem图像的前后帧切片图像，得到对sstem噪声图像的初步恢复图像；对于第一噪声类型对应的sstem噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的sstem噪声图像，输入sstem噪声图像与初步恢复图像，通过估计形变光流对sstem噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的sstem噪声图像，输入sstem噪声图像，对sstem噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应干净-噪声图像对中的中间帧切片图像的差异构造损失函数训练所述基于深度学习的sstem噪声图像恢复网络；图像恢复单元，用于将待恢复的sstem噪声图像输入至训练后的基于深度学习的sstem噪声图像恢复网络，根据所述待恢复的sstem噪声图像的噪声类型获得最终恢复图像。
8.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或
多个处理器实现前述的方法。
9.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
10.由上述本发明提供的技术方案可以看出，（1）提供一种sstem噪声图像仿真方法，能够针对不同噪声类型合成对应的sstem噪声图像，构造出应用网络训练的干净-噪声图像对。（2）构建适用于多种噪声的图像恢复网络，通过挖掘相邻图像之间的关联性并为噪声严重的区域提供一个初步的恢复结果，之后，针对仍然保留生物结构信息的噪声区域进行修复，最后，将前两部分的结果相结合，能够提升图像恢复性能。总而言之，本发明可以有效去除sstem图像中的噪声。
附图说明
11.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
12.图1为本发明背景技术提供的支撑膜折叠噪声图像的示意图；图2为本发明实施例提供的一种连续切片透射电子显微镜图像恢复方法的流程图；图3为本发明实施例提供的合成支撑膜折叠噪声图像的流程图；图4为本发明实施例提供的合成染色沉淀噪声图像的流程图；图5为本发明实施例提供的基于深度学习的sstem噪声图像恢复网络的结构示意图；图6为本发明实施例提供的在合成的支撑膜折叠噪声图像上的恢复效果示意图；图7为本发明实施例提供的在真实的支撑膜折叠噪声图像上的恢复效果示意图；图8为本发明实施例提供的在合成的染色沉淀噪声图像上的恢复效果示意图；图9为本发明实施例提供的在真实的染色沉淀噪声图像上的恢复效果示意图；图10为本发明实施例提供的一种连续切片透射电子显微镜图像恢复系统的示意图；图11为本发明实施例提供的一种处理设备的示意图。
具体实施方式
13.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
14.首先对本文中可能使用的术语进行如下说明：术语“和/或”是表示两者任一或两者同时均可实现，例如，x和/或y表示既包括“x”或“y”的情况也包括“x和y”的三种情况。
15.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它
性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
16.下面对本发明所提供的一种sstem图像恢复方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。本发明实施例中所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
17.实施例一本发明实施例提供一种连续切片透射电子显微镜图像恢复方法，主要分为噪声图像仿真和基于深度学习的统一图像恢复两个部分；噪声图像仿真部分主要是提出一种有效的sstem带噪声图像的仿真方法以构成干净-噪声图像对；基于深度学习的统一图像恢复部分主要是构造一种图像恢复网络，其利用噪声图像仿真部分获得的干净-噪声图像对进行网络训练，能够针对不同噪声准确去除sstem图像中的噪声。如图1所示，本发明主要步骤如下：步骤1、sstem带噪声图像的仿真。
18.本发明实施例中，根据噪声类型，结合不带噪声的sstem图像的中间帧切片图像合成相应的类型的sstem噪声图像，中间帧切片图像与相应的sstem噪声图像构成干净-噪声图像对。
19.本领域技术人员可以理解，sstem图像为三维图像，即包含前中后多帧切片图像。也就是说，不带噪声的sstem图像包含不带噪声的前中后多帧切片图像，本步骤主要是针对中间帧切片图像仿真生成相应的sstem噪声图像，sstem噪声图像的原有前后帧切片图像（即相邻图像）保持不变，在后续步骤将被使用；其中，中间帧为一帧或者连续的多帧（例如，两帧）。例如：当中间帧为一帧时，sstem图像包含三帧，三帧均为不带噪声的图像（干净图像），第2帧被用于生成sstem噪声图像；当中间帧为连续两帧时，四帧均为不带噪声的图像（干净图像），第2与第3帧被用于生成sstem噪声图像。考虑到本发明主要操作对象是不带噪声的sstem图像的中间帧切片图像，因此，为了避免赘述，下面简称为中间帧切片图像。
20.如之前所述，噪声类型主要包括：缺失帧噪声、支撑膜折叠噪声和染色沉淀噪声。对于缺失帧噪声，可以按照现有方案合成相应的类型的sstem噪声图像，例如使用背景技术介绍的方案。本发明主要针对染色沉淀噪声和支撑膜折叠噪声提供相应的sstem噪声图像合成方案。
21.（1）支撑膜折叠噪声图像合成方式。
22.所述的支撑膜折叠噪声图像是指针对支撑膜折叠噪声合成的sstem噪声图像。噪声模拟主要包括：内容形变和损坏。损坏可用黑线表示，内容形变是由支撑膜折叠引起的，表现为图像内容形变且靠近黑线部分的图像内容形变较大。如图3所示，主要包括：合成折叠光流（folded optical flow），生成形变后的图像（deformed image）和生成带有支撑膜折叠噪声的图像（degraded image）。具体如下：（a）合成折叠光流。
23.从中间帧切片图像的边缘随机选择两个位置点，记为：位置点p1，坐标为(x1,y1)，
位置点p2，坐标为(x2,y2)；中间帧切片图像，也即干净的sstem图像（artifacts-free image）。利用两个位置点确定支撑膜折叠噪声图像中黑线的方程：其中，x为直线方程上任一点的横坐标，y为直线方程上任一点的纵坐标。为直线方程的斜率，，为直线方程的截距，。
24.基于对支撑膜折叠噪声图像的统计分析，支撑膜折叠噪声图像的光流主方向与黑线方向相互垂直，且光流大小与距离黑线的距离可近似为线性衰减关系，因此，计算光流方向：。
25.对于中间帧切片图像中的每个位置点(i,j)，计算与黑线的距离：计算光流大小：其中，为光流大小衰减因子，为黑线边界的光流大小，，为设定的黑线宽度，为设定的实际由支撑膜折叠引起的图像形变的宽度，，当时，将置为0；计算每个位置点(i,j)沿水平方向和竖直方向的光流大小，表示为：表示为：其中，h、w分别为中间帧切片图像的高度、宽度，表示位置点(i,j)沿水平方向的光流大小，表示位置点(i,j)沿竖直方向的光流大小，综合所有位置点沿水平方向和竖直方向的光流大小，获得折叠光流。
26.（b）生成形变后的图像和生成带有支撑膜折叠噪声的图像。
27.利用折叠光流对中间帧切片图像进行形变，同时，结合黑线的方程与设定的黑线宽度将中间帧切片图像相应位置使用黑色遮盖，合成支撑膜折叠噪声图像。
28.至此，可以结合中间帧切片图像构建干净-支撑膜折叠噪声图像对（它是干净-噪声图像对的一种）。
29.（2）染色沉淀噪声图像合成方式。
30.所述染色沉淀噪声图像是指针对染色沉淀噪声合成的sstem噪声图像。如图4所
示，主要包括：从真实sstem染色沉淀噪声图像（realspimage）中提取染色沉淀斑块（extractedmasks），提取染色沉淀斑块的轮廓（extractedcontours）并旋转（rotate）、缩放（resize），生成一系列轮廓（generatedcontours），填充轮廓（fillcontours），构建染色沉淀斑块库（maskbank），亮度对比度调整（adjustbrightness&contrast）和从染色沉淀斑块库中选取斑块并覆盖在亮度对比度调整后的图像上。具体如下：为了产生云状噪声，从真实的sstem染色沉淀图像中提取染色沉淀噪声斑块，提取染色沉淀噪声斑块的轮廓。为了进一步增加多样性，对提取出的轮廓进行数据增广操作（进行随机旋转和/或缩放等操作），获得多个染色沉淀噪声斑块的轮廓。需要说明的是，亮度对比度调整中，亮度与对比度这两项之间也是和/或的关系，即可以调整任一项或者两项，图4提供了调整亮度与对比度这两项的示例。
31.为了生成逼真的云状的染色沉淀噪声斑块，根据对真实染色沉淀噪声斑块的统计分析（染色沉淀噪声斑块的平均灰度值随着斑块面积增大而减小，可用三次多项式函数拟合；在单个染色沉淀噪声斑块内，灰度值随着离斑块中心点的距离增大而增大，可用三次多项式函数拟合；）来填充空白染色沉淀斑块轮廓。对于每一染色沉淀噪声斑块的轮廓（空白染色沉淀斑块轮廓），可以确定轮廓面积。根据斑块平均灰度值和染色沉淀斑块面积的关系，可以设置这个染色沉淀噪声斑块的平均灰度值。之后，对于染色沉淀斑块中的每个位置点，可以通过其到斑块中心的归一化距离和斑块的平均灰度值来计算灰度值，按照灰度值填充每个位置点，获得合成的染色沉淀噪声斑块。所有染色沉淀噪声斑块的轮廓都通过以上方式进行填充，可以模拟出大量的染色沉淀斑块，构成一个云状的染色沉淀斑块库。
32.除了云状染色沉淀噪声外，染色沉淀图像还受到低对比度失真的影响。因此，对中间帧切片图像的对比度和/或亮度进行随机调整，获得低对比度图像（low-contrastimage），将随机调整后的图像与从染色沉淀斑块库中随机选择的合成的染色沉淀噪声斑块融合，合成染色沉淀噪声图像（simulatedspimage）。具体来说，在保证染色沉淀噪声斑块不重叠的前提下，随机选择中间帧切片图像中的位置来覆盖斑块。在选定的位置，将选定的斑块与低对比度图像相乘，其他位置则直接采用低对比度图像。通过这种方式，可以合成大量的干净-染色沉淀噪声图像对（它是干净-噪声图像对的一种）。
33.步骤2、构建基于深度学习的sstem噪声图像恢复网络，并进行网络训练。
34.本发明实施例中，构建基于深度学习的sstem噪声图像恢复网络，输入不带噪声的sstem图像的前后帧切片图像，得到对sstem噪声图像的初步恢复图像；对于第一噪声类型（即缺失帧噪声类型）对应的sstem噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型（即支撑膜折叠噪声类型）对应的sstem噪声图像，输入sstem噪声图像和初步恢复图像，通过估计形变光流对sstem噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型（即染色沉淀噪声类型）对应的sstem噪声图像，输入sstem噪声图像，对sstem噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应的中间帧切片图像的差异构造损失函数训练所述基于深度学习的sstem噪声图像恢复网络。
35.如图5所示，为基于深度学习的sstem噪声图像恢复网络的主要结构，主要包括：插帧模块、校正模块与融合模块；其中：所述插帧模块，用于根据不带噪声的sstem图像的前后帧切片图像得到对sstem噪声图像的初步恢复图像。所述校正模块包括两个分支，第一分支
针对第二噪声类型对应的sstem噪声图像（支撑膜折叠噪声图像），通过估计形变光流对sstem噪声图像进行修正；第二分支针对第三噪声类型对应的sstem噪声图像（染色沉淀噪声图像），对sstem噪声图像的亮度和/或对比度进行修正。所述融合模块，针对支撑膜折叠噪声图像与染色沉淀噪声图像，用于将修正后的图像与初步恢复图像融合获得最终恢复图像。下面针对各模块做具体介绍。 （1）插帧模块。
36.本发明实施例中，插帧模块可以基于视频插帧网络（s. niklaus, l. mai, and f. liu,
ꢀ“
video frame interpolation via adaptive separable convolution,
”ꢀ
in ieee international conference on computer vision, 2017, pp. 261
–
270.）实现，视频插帧网络将视频插帧看作一个局部分离卷积，对输入帧使用一组 id 核（paired id kernels），可以减少参数量。
37.本发明实施例中，将不带噪声的sstem图像的前后帧切片图像（即sstem噪声图像的前后帧切片图像）输入至插帧模块，得到对sstem噪声图像的初步恢复图像，表示为：其中，表示sstem噪声图像的前一帧图像，表示sstem噪声图像的后一帧图像，表示插帧模块。
38.对于缺失帧噪声，由于对应的sstem噪声图像不包含任何有利于恢复的生物结构信息，因此，得到的初步恢复图像即为最终恢复结果。对于支撑膜折叠噪声图像和染色沉淀噪声图像，初步恢复图像为后续图像恢复提供帮助。
39.（2）校正模块。
40.对于支撑膜折叠噪声图像（记为），结合对应的初步恢复图像估计形变光流，再利用形变光流对支撑膜折叠噪声图像进行变换（warp），获得修正后的图像（即未折叠图像），表示为：其中，表示校正模块中的第一分支。
41.对于染色沉淀噪声图像（记为），校正模块主要修复染色沉淀噪声图像的亮度和/或对比度，获得修正后的图像，表示为：其中，表示校正模块中的第二分支。
[0042] （3）融合模块。
[0043]
本发明实施例中，融合模块将插帧模块和校正模块的恢复结果结合，以得到更优
的恢复结果。
[0044]
对于支撑膜折叠噪声图像，将校正模块修正后的图像与初步恢复图像在通道维度叠在一起一同输入融合模块获得最终恢复图像（其中融合模块的深度卷积神经网络的输入通道数为2，输出通道数为1），表示为：其中，表示融合模块，表示支撑膜折叠噪声图像的最终恢复图像。
[0045] 对于染色沉淀噪声图像，额外引入轮廓提取法（satoshi suzuki and others. topological structural analysis of digitized binary images by border following. computer vision, graphics, and image processing, 30(1):32
–
46, 1985.）得到的斑块图以引导网络训练，具体的：将轮廓提取法记为，通过轮廓提取法从染色沉淀噪声图像中提取斑块图，此处是先提取空白的斑块轮廓，再使用前文染色沉淀噪声图像合成方式中提供的方式对空白的斑块轮廓进行填充，获得斑块图。再利用斑块图、校正模块修正后的图像和初步恢复图像，获得最终恢复图像，表示为：其中，表示染色沉淀噪声图像的最终恢复图像，上式中的即为图5的r(.)操作。
[0046]
本发明实施例中，融合模块是一个深度学习网络，它的输入为两个通道，即括号中的两个部分，输出为1个通道，即最终恢复图像；此处所涉及的融合操作具体细节可参见常规技术，本发明不做赘述。
[0047]
以上介绍了基于深度学习的sstem噪声图像恢复网络针对各类sstem噪声图像进行图像恢复的流程，训练阶段基于步骤1获得的干净-噪声图像对进行训练，直至损失函数收敛，获得训练好的网络。训练好的网络用于不同类型的数据（即前文提到的三种噪声数据）和测试场景。训练时的损失函数表示为：其中，i表示干净-噪声图像对中的中间帧切片图像，表示最终恢复图像；表示中间帧切片图像i与最终恢复图像的一阶欧式距离。
[0048]
步骤3、sstem图像恢复。
[0049]
本发明实施例中，将待恢复的sstem噪声图像输入至训练后的基于深度学习的sstem噪声图像恢复网络，根据所述待恢复的sstem噪声图像的噪声类型获得最终恢复图像，此处的待恢复的sstem噪声图像为sstem图像的中间帧切片图像，其前后帧图像为不带噪声的切片图像，图像恢复流程与前述训练阶段相同，即如果待恢复的sstem噪声图像为缺
information，信息变差）与arand（adapted rand error，自适应兰德错误）两个指标，用于评价分割是否正确。，voi和arand是实例分割评价指标，用来评价两个实例分割结果的相似性，如果分割结果越相似则voi与arand结果越低。
[0056]
（2）染色沉淀噪声图像恢复。
[0057]
图8展示了在合成的染色沉淀噪声图像上的恢复结果，从左至右的六列中：第一列为合成的染色沉淀噪声图像，第二列为自然图像去噪方法dncnn（k. zhang, w. zuo, y. chen, d. meng, and l. zhang,
ꢀ“
beyond a gaussian denoiser: residual learning of deep cnn for image denoising,
”ꢀ
ieee transactions on image processing, vol. 26, no. 7, pp. 3142
–
3155, 2017.）的恢复结果，第三列为自然图像恢复方法rdn（y. zhang, y. tian, y. kong, b. zhong, and y. fu,
ꢀ“
residual dense network for image restoration,
”ꢀ
ieee transactions on pattern analysis and machine intelligence, vol. 43, no. 7, pp. 2480
–
2495, 2021）的恢复结果，第四列为直接插帧的方法（interp.），第五列为本发明方法的恢复结果，第六列为第一列所示合成的染色沉淀噪声图像对应的不带噪声的sstem图像的中间帧切片图像。从上至下两行分别为两组不同的图像示例。
[0058]
图9展示了在真实的染色沉淀噪声图像上的恢复结果，从左至右的六列中：第一列为真实的染色沉淀噪声图像，第二列为自然图像去噪方法（dncnn）的恢复结果，第三列为自然图像恢复方法（rdn）的恢复结果，第四列为直接插帧的方法（interp.）的恢复结果，第五列为本发明方法的恢复结果，第六列为与染色沉淀噪声图像相邻的下一帧干净图像（subsequent）。从上至下两行分别为两组不同的图像示例。
[0059]
表2展示了在合成的染色沉淀噪声图像上的定量结果。
[0060]
表2：合成的染色沉淀噪声图像上的定量结果通过表2、图8~图9所示的结果可以看到，不论在合成数据集还是真实数据集上，与现有的各类方法相比，本发明提供的方法有更好的图像恢复效果，更高的psnr（峰值信噪比）、ssim（结构相似性）和神经元分割精度。
[0061]
（3）缺失帧噪声图像恢复。
[0062]
表3展示了在多个缺失帧噪声图像数据集中的定量结果，表3中，ms-1与ms-2分别表示缺失中间一帧和缺失中间两帧的图像数据集，cubic表示现有的cubic插值方法，pbfi表示图像插帧方法（s. meyer, o. wang, h. zimmer, m. grosse, and a. sorkine-hornung,
ꢀ“
phase-based frame interpolation for video,
”ꢀ
in proceedings of the ieee conference on computer vision and pattern recognition, 2015, pp. 1410
–ꢀ
1418.）。
[0063]
表3：缺失帧噪声图像数据集中的定量结果
ꢀ
通过表3所示的结果可以看到，与现有的各类方法相比，本发明提供的方法有更好的图像恢复效果，更高的psnr（峰值信噪比）、ssim（结构相似性）和神经元分割精度。
[0064]
实施例二本发明还提供一种连续切片透射电子显微镜图像恢复系统，其主要基于前述实施例一提供的方法实现，如图10所示，该系统主要包括：图像对构造单元，用于根据噪声类型，结合不带噪声的sstem图像的中间帧切片图像合成相应的类型的sstem噪声图像，中间帧切片图像与相应的sstem噪声图像构成干净-噪声图像对；其中，sstem图像表示连续切片透射电子显微镜图像，不带噪声的sstem图像包含不带噪声的前中后多帧图像；网络构建与训练单元，用于构建基于深度学习的sstem噪声图像恢复网络，输入不带噪声的sstem图像的前后帧切片图像，得到对sstem噪声图像的初步恢复图像；对于第一噪声类型对应的sstem噪声图像，所述初步恢复图像即为最终恢复图像；对于第二噪声类型对应的sstem噪声图像，通过估计形变光流对sstem噪声图像进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；对于第三噪声类型对应的sstem噪声图像，对sstem噪声图像的亮度和/或对比度进行修正，将修正后的图像与初步恢复图像融合获得最终恢复图像；利用最终恢复图像与相应干净-噪声图像对中的中间帧切片图像的差异构造损失函数训练所述基于深度学习的sstem噪声图像恢复网络；图像恢复单元，用于将待恢复的sstem噪声图像输入至训练后的基于深度学习的sstem噪声图像恢复网络，根据所述待恢复的sstem噪声图像的噪声类型获得最终恢复图像。
[0065]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0066]
实施例三本发明还提供一种处理设备，如图11所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例一提供的方法。
[0067]
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
[0068]
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；输出设备可以为显示终端；存储器可以为随机存取存储器（random access memory，ram），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。
[0069]
实施例四本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例一提供的方法。
[0070]
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只读存储器（read-only memory，rom）、磁碟或者光盘等各种可以存储程序代码的介质。
[0071]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。