冷冻电镜实空间解码器的训练方法、装置和电子设备与流程

1.本发明涉及冷冻电镜技术领域，尤其是涉及一种冷冻电镜实空间解码器的训练方法、装置和电子设备。


背景技术：

2.单颗粒冷冻电镜是结构生物学领域一项重要的实验技术。该技术使用来自电子显微镜拍摄的生物大分子二维图像来解析该大分子的三维结构，从而帮助生物学家理解生物大分子的功能机理,辅助新药设计。三维重构是单颗粒冷冻电镜技术中的一个核心步骤，它实现了从电镜二维图像到三维分子密度图的转换。
3.传统的冷冻电镜三维重构算法可以分为两大类。第一种是代数类重构算法，第二类是傅立叶变换类算法。基于傅立叶变换类算法在频率空间进行三维重构的算法是当前普遍使用的算法，但是该算法存在以下问题：该类算法需要在频率空间进行插值计算，而这种插值算法很难做到既快又准。常用的快速插值算法会导致因准确性损失而导致的瑕疵以及重构后的三维密度图的分辨率损失。这种缺陷在小数据集上表现的尤为突出，因为小数据集在频率空间缺失的信息更多。频域空间的表示形式只保留了对全局结构的描述，对实空间的局部结构的不规则性不敏感，很难对特定的空间区域做优化。
4.传统的代数类算法虽然可以避免这两个问题，但是这些算法本身计算效率低，且不能直接应用到机器学习的框架下，从而在计算效率上远不如基于机器学习加速的三维重构算法，并且难以和其他机器学习算法结合，例如基于机器学习的电镜图像三维分类等。因此该类方法阻碍了基于机器学习的高效实空间三维重构算法的发展。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种冷冻电镜实空间解码器的训练方法、装置和电子设备，以让冷冻电镜实空间三维重构的优势能够在机器学习的框架下得到充分发挥。
6.第一方面，本发明实施例提供了一种冷冻电镜实空间解码器的训练方法，方法包括：从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息；其中，输入投影图像的标签信息包括：输入投影图像的投影参数和掩膜，投影参数包括投影角度和图像平移；将输入投影图像的投影参数输入解码器中，对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换，输出预测投影图像；其中，机器学习表示形式包括显式表示形式和隐式表示形式；通过掩膜对三维重构目标结构的机器学习表示形式、预测投影图像和输入投影图像进行掩膜处理；基于掩膜处理后的输入投影图像和预测投影图像计算损失值，基于损失值调整解码器的参数；多次执行从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息的步骤，直至满足预设的训练条件，得到训练完成的解码器。
7.在本技术可选的实施例中，上述掩膜包括3d局域掩膜、2d局域掩膜和/或平面前景
背景掩膜。
8.在本技术可选的实施例中，上述3d局域掩膜包括内切球形掩膜或带有权重的掩膜，2d局域掩膜基于3d局域掩膜确定。
9.在本技术可选的实施例中，基于投影参数对3d局域掩膜进行空间变换和投影计算，得到2d局域掩膜。
10.在本技术可选的实施例中，上述平面前景背景掩膜用于区分投影图像的前景区域和背景区域。
11.在本技术可选的实施例中，三维重构目标结构的显式表示形式包括：通过三维格点矩阵的格点编码三维结构的库伦势能值；三维重构目标结构的隐式表示形式包括：用神经网络表征把空间坐标映射到三维结构的库伦势能值的函数。
12.在本技术可选的实施例中，上述将输入投影图像的投影参数输入解码器中的步骤之后，方法还包括：对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换和后续处理，输出预测投影图像。
13.在本技术可选的实施例中，上述基于掩膜处理后的输入投影图像和预测投影图像计算损失值的步骤，包括：基于2d局域掩膜和平面前景背景掩膜对输入投影图像进行掩膜处理，得到掩膜处理后的输入投影图像；基于平面前景背景掩膜对预测投影图像进行掩膜处理，得到掩膜处理后的预测投影图像；基于掩膜处理后的输入投影图像和预测投影图像确定输入投影图像的指定区域的损失值。
14.在本技术可选的实施例中，上述掩膜处理后的输入投影图像包括指定区域和其他区域；得到掩膜处理后的输入投影图像的步骤之后，方法还包括：通过正则化的方式抑制其他区域的噪声。
15.在本技术可选的实施例中，上述方法还包括：将冷冻电镜的第一电镜图像输入投影参数预测编码器，输出第一电镜图像的空间变换参数；其中，空间变换参数表征所示第一电镜图像的投影参数；将空间变换参数输入到冷冻电镜实空间解码器，并进行训练迭代；其中，训练迭代产生的损失值通过机器学习计算图反传给编码器和解码器，并基于训练迭代产生的损失值对编码器和解码器的参数进行更新。
16.第二方面，本发明实施例还提供一种冷冻电镜实空间解码器的训练装置，装置包括：输入投影图像获取模块，用于从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息；其中，输入投影图像的标签信息包括：输入投影图像的投影参数和掩膜，投影参数包括投影角度和图像平移；预测投影图像输出模块，用于将输入投影图像的投影参数输入解码器中，对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换，输出预测投影图像；其中，机器学习表示形式包括显式表示形式和隐式表示形式；掩膜处理模块，用于通过掩膜对三维重构目标结构的机器学习表示形式、预测投影图像和输入投影图像进行掩膜处理；损失值计算模块，用于基于掩膜处理后的输入投影图像和预测投影图像计算损失值，基于损失值调整解码器的参数；解码器训练完成模块，用于多次执行从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息的步骤，直至满足预设的训练条件，得到训练完成的解码器。
17.第三方面，本发明实施例还提供一种电子设备，其特征在于，包括处理器和存储器，存储器存储有能够被处理器执行的计算机可执行指令，处理器执行计算机可执行指令
以实现上述的冷冻电镜实空间解码器的训练方法。
18.第四方面，本发明实施例还提供一种计算机可读存储介质，其特征在于，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述的冷冻电镜实空间解码器的训练方法。
19.本发明实施例带来了以下有益效果：
20.本发明实施例提供的一种冷冻电镜实空间解码器的训练方法、装置和电子设备，适用于机器学习场景，让基于机器学习的电镜实空间下三维重构更能满足实际需求，可专注于三维重构目标结构的重点局部信息，有效分离前景和背景，从而提升重构质量，避免了频域三维重构插值算法的弊端，在图像较少时也能取得较为不错的结果。
21.本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。
22.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
23.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1为本发明实施例提供的一种冷冻电镜实空间解码器的训练方法的流程图；
25.图2为本发明实施例提供的另一种冷冻电镜实空间解码器的训练方法的流程图；
26.图3为本发明实施例提供的一种解码器算法的示意图；
27.图4为本发明实施例提供的一种带有编码器和解码器算法的示意图；
28.图5为本发明实施例提供的一种冷冻电镜实空间解码器的训练装置的结构示意图；
29.图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.单颗粒冷冻电镜是结构生物学领域一项重要的实验技术。该技术使用来自电子显微镜拍摄的生物大分子二维图像来解析该大分子的三维结构，从而帮助生物学家理解生物大分子的功能机理,辅助新药设计。
32.三维重构是单颗粒冷冻电镜技术中的一个核心步骤，它实现了从电镜二维图像到三维分子密度图的转换。本实施例关注的重点问题是在给定电镜三维重构关键参数(空间角度/图像平移)的条件下实现从二维投影图到三维物体的重构。
33.目前，传统的冷冻电镜三维重构算法可以分为两大类。第一种是代数类重构算法
(如sirt、art)，这一类算法在直接利用电镜图像的物理成像原理来估测对应一组电镜投影图的三维体积。第二类是傅立叶变换类算法(如relion、cryosparc电镜软件里用到的方法)。这类算法是建立在傅立叶切片定理的基础上，把投影问题转换成频率空间的插值问题。
34.基于机器学习的三维重构方法(如cryodrgn)的设计普遍基于傅立叶切片定理，用神经网络来拟合一个描述目标物体在频率空间的三维表示形式的函数，从而实现三维重构。
35.然而，基于傅立叶变换类算法在频率空间进行三维重构的算法是当前普遍使用的算法，但是该算法存在以下问题：该类算法需要在频率空间进行插值计算，而这种插值算法很难做到既快又准。常用的快速插值算法会导致因准确性损失而导致的瑕疵以及重构后的三维密度图的分辨率损失。这种缺陷在小数据集上表现的尤为突出，因为小数据集在频率空间缺失的信息更多。频域空间的表示形式只保留了对全局结构的描述，对实空间的局部结构的不规则性不敏感，很难对特定的空间区域做优化。
36.传统的代数类算法虽然可以避免这两个问题，但是这些算法本身计算效率低，且不能直接应用到机器学习的框架下，从而在计算效率上远不如基于机器学习加速的三维重构算法，并且难以和其他机器学习算法结合，例如基于机器学习的电镜图像三维分类等。因此，该类方法阻碍了基于机器学习的高效实空间三维重构算法的发展。
37.基于此，本发明实施例提供的一种冷冻电镜实空间解码器的训练方法、装置和电子设备，具体涉及了一种适用于机器学习的带有掩膜的冷冻电镜实域空间的三维重构解码器。
38.现有的三维重构大部分实在频率空间完成的，受频率空间信号插值算法准确度的限制，频率空间的三维重构结果在高频实空间信号的重构上容易失真，导致重构结果不准确，尤其是在小数据集上。另外，频率空间重构对局部空间结构变化的不规则性不敏感，很难实现对目标体积的局部优化。传统的实空间三维重构算法不经过改动不能直接应用到机器学习框架下。本实施例提供的方法可以避免频率空间三维重构的缺陷，同时也适用于机器学习的场景。
39.为便于对本实施例进行理解，首先对本发明实施例所公开的一种冷冻电镜实空间解码器的训练方法进行详细介绍。
40.实施例一：
41.本发明实施例提供一种冷冻电镜实空间解码器的训练方法，参见图1所示的一种冷冻电镜实空间解码器的训练方法的流程图，该冷冻电镜实空间解码器的训练方法包括以下步骤：
42.步骤s102，从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息；其中，输入投影图像的标签信息包括：输入投影图像的投影参数和掩膜，投影参数包括投影角度和图像平移。
43.本实施例的解码器是能够从电镜投影角度和投影平移预测出投影图的网络，在训练解码器时，需要将冷冻电镜的输入投影图像和输入投影图像的标签信息作为样本进行训练。其中，标签信息包括：输入投影图像的投影角度、图像平移和掩膜。本实施例的掩膜并不一定是单一的掩膜，可以包括多种掩膜，例如：3d局域掩膜、2d局域掩膜、平面前景/背景掩
膜等。
44.步骤s104，将输入投影图像的投影参数输入解码器中，对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换，输出预测投影图像。
45.其中，机器学习表示形式包括显式表示形式和隐式表示形式，解码器可以根据输入的投影参数对三维重构目标结构(3dr)的显式表示形式、隐式表示形式或者投影视野等进行空间变换，解码器可以输出预测投影图像。
46.例如，可以对显式表示形式和隐式表示形式的投影视野进行空间变换，也可以直接对显式表示形式进行空间变换和后续处理，输出预测投影图像。
47.步骤s106，通过掩膜对三维重构目标结构的机器学习表示形式、预测投影图像和输入投影图像进行掩膜处理。
48.本实施例可以通过掩膜对三维重构目标结构的机器学习表示形式、预测投影图像和输入投影图像进行掩膜处理，通过掩膜处理，可以保证预测投影图像和输入投影图像使用相同的区域进行后续计算。
49.步骤s108，基于掩膜处理后的输入投影图像和预测投影图像计算损失值，基于损失值调整解码器的参数。
50.基于预先设置的损失函数，可以计算得到于掩膜处理后的输入投影图像和预测投影图像的损失值，根据损失值可以调整解码器的参数，从而完成一次解码器的迭代。
51.步骤s110，多次执行从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息的步骤，直至满足预设的训练条件，得到训练完成的解码器。
52.本实施例中可以预先设置迭代的总次数(例如3000次)作为训练条件，当迭代次数达到该总次数，可以认为满足预设的训练条件，得到训练完成的解码器。
53.本发明实施例提供的一种冷冻电镜实空间解码器的训练方法，适用于机器学习场景，让基于机器学习的电镜实空间下三维重构更能满足实际需求，可专注于三维重构目标结构的重点局部信息，有效分离前景和背景，从而提升重构质量，避免了频域三维重构插值算法的弊端，在图像较少时也能取得较为不错的结果。
54.实施例二：
55.本实施例提供了另一种冷冻电镜实空间解码器的训练方法，该方法在上述实施例的基础上实现，如图2所示的另一种冷冻电镜实空间解码器的训练方法的流程图，本实施例中的种冷冻电镜实空间解码器的训练方法包括如下步骤：
56.步骤s202，从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息；其中，输入投影图像的标签信息包括：输入投影图像的投影参数和掩膜，投影参数包括投影角度和图像平移。
57.为便于理解，可以参见图3所示的一种解码器算法的示意图，上述解码器算法可以包括训练过程和推理过程。在训练过程中，将电镜图像及其标签信息输入网络进行训练，待训练损失不再下降或达到一定训练迭代次数后终止。
58.训练过程中使用到的输入投影图像及其标签信息，输入投影图像包括实验获取的冷冻电镜投影图像，标签信息包括：输入投影图像的投影角度、图像平移和掩膜等。
59.步骤s204，将输入投影图像的投影参数输入解码器中，对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换，输出预测投影图像。
60.机器学习表示形式包括显式表示形式和隐式表示形式，本实施例中还可以对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换和后续处理，输出预测投影图像。
61.其中，三维重构目标结构的显式表示形式包括：通过三维格点矩阵的格点编码三维结构的库伦势能值；三维重构目标结构的隐式表示形式包括：用神经网络表征把空间坐标映射到三维结构的库伦势能值的函数。
62.显式3dr的一种实现形式是三维格点矩阵，每个格点可以用数值或者带有参数的函数(比如球谐函数)来编码三维结构的库伦势能值。隐式3dr的一种实现方式是用神经网络来代表一个可以计算对应空间中每一个坐标值的三维结构的库伦势能值的函数。
63.如图3所示，训练过程中，网络需要输入一组投影参数，根据该投影角度对3dr做投影，输出该角度上的投影图，并和输入的实验电镜图像计算损失函数。
64.对于显式3dr的二维平面投影计算，可以根据输入的空间变换参数(包含旋转和平移信息)将三维格点矩阵变换到新的空间取向和位置，然后用原始三维格点矩阵的体素信息做插值算法，计算新三维格点矩阵的体素信息。然后在投影方向上做积分或者计算均值。
65.此外，上述显式3dr也可以替换为基于神经网络的隐式表示形式，例如：基于位置编码的神经网络，siren等基于正弦/余弦激活函数的网络，基于gan/vae/diffusion model等生成技术的网络等。
66.在获取投影时，本实施例可以使用旋转三维格点矩阵的方式获得投影，也可以使用其他方式获取投影，例如：不旋转三维格点，直接在对应的旋转角度和平移位置上做投影；通过神经网络，直接预测对应投影参数的投影视野内的三维重构目标物体的库伦势能值并做投影；使用以上方法，对3dr使用前景/背景掩膜、局部掩膜等处理后再进行投影。
67.电镜投影参数可以通过其他专业软件预测；通过数值搜索算法并结合三维重构方法预测；通过适用于图像处理的神经网络预测；在训练过程中使用神经网络预测，并同步优化该预测网络和三维重构网络；通过以上任意一种方法增加修正项预测。
68.步骤s206，通过掩膜对三维重构目标结构的机器学习表示形式、预测投影图像和输入投影图像进行掩膜处理。
69.具体地，本实施例的掩膜包括3d局域掩膜、2d局域掩膜和/或平面前景背景掩膜。其中，3d局域掩膜包括内切球形掩膜或带有权重的掩膜，2d局域掩膜基于3d局域掩膜确定，例如：基于投影参数对3d局域掩膜进行空间变换和投影计算，得到2d局域掩膜。
70.3d局域掩膜有很多设计方案，例如内切球形掩膜，即将3dr边角的掩膜值置零,而将3dr内切球内的掩膜值设成1。3d局域掩膜也可以设置成带有权重的掩膜，即对3dr不同区域设置不同的掩膜权重值(在0到1之间)。
71.2d局域掩膜的设计是基于3d局域掩膜的。一种可能的实现方案是对3d局域掩膜依据输入投影参数做空间变换后进行投影计算来得到。
72.如图3所示，显式的3dr可以由三维格点矩阵构成，隐式的3dr可以由神经网络构成。另外，3dr在旋转/平移变换之前需要经过一个三维掩膜预处理，来避免三维重构过程中在八个立方体边角出现伪信号。本实施例使用的三维掩膜(即3d局域掩膜)可以是三维格点矩阵的内切球，即内切球以内的体素信号保留，内切球意外的体素信号置零。
73.本实施例提供的解码器是完全在实空间的操作，这里的三维掩膜可以根据用户需
要设计成带有权重的三维前景掩膜。比如，如果三维重构的目标物体含有a，b，c三个空间区域，而用户对a区域最感兴趣，对b区域略感兴趣，对c区域不感兴趣。那么这里的三维掩膜可以给a区域设置最高的权重，对b区域设置较低的权重，而对c区域设置很低的权重或者直接将权重置零。
74.三维掩膜可以转换成二维掩膜(即2d局域掩膜)，例如：通过对三维掩膜做与3dr同样的空间变换和投影即可得到二维掩膜。这个二维掩膜可以在后续损失函数计算时对输入的电镜图片进行预处理，来保证预测图片和输入图片使用相同的区域进行相关计算。
75.步骤s208，基于掩膜处理后的输入投影图像和预测投影图像计算损失值，基于损失值调整解码器的参数。
76.具体地，本实施例可以基于2d局域掩膜和平面前景背景掩膜对输入投影图像进行掩膜处理，得到掩膜处理后的输入投影图像；基于平面前景背景掩膜对预测投影图像进行掩膜处理，得到掩膜处理后的预测投影图像；基于掩膜处理后的输入投影图像和预测投影图像确定输入投影图像的指定区域的损失值。
77.此外，本实施例还可以通过正则化的方式抑制其他区域的噪声。
78.如图3所示，平面前景/背景掩膜的设计的目的把前景和背景区分开。这里的前景是指投影图中对应三维重构目标结构的区域，背景是指投影图内的其它区域。
79.在训练过程可以使用二维前景/背景掩膜提升重构质量。具体方法为：在计算损失函数的步骤中，可以对输入和预测投影图进行二维前景/背景掩膜处理，模型只计算全局或局部前景的损失函数，而对背景部分使用正则化方法抑制噪声。
80.前景/背景掩膜可以通过人工设计，可以通过其他专业软件计算，也可以直接通过投影结果预测。通过前景掩膜方法可以在保留信号的同时降低噪声，从而提升模型的性能。
81.对于全局前景掩膜，本实施例设计了一个自动化的二维前景/背景掩膜生成方案。在该方案中，可以对输入图片做平滑处理(比如用高斯滤波器)，如果处理后的输入投影图的像素值超过一定阈值，这些区域就被设定为前景，其它区域设为背景，然后根据这些区域制作二分或者带有权重的前景/背景掩膜。前景和背景的过渡区域可以用平滑的函数(比如sigmoid函数)进行渐变处理。
82.如果要设计带有权重的前景掩膜，权重可以根据平滑后的像素值来进行计算(比如归一化处理或者把这些像素值输入到某个权重生成函数来得到掩膜权重)。局部前景掩膜可以通过前述三维到二维区域掩膜的方式生成。值得强调的是，同一张投影图可以经过多层掩膜处理。
83.在计算损失函数的时候可以对预测投影图像和输入投影图像的比较采用了l2 loss，而对重构的三维体积采用了l1 loss。最终的损失函数包含这两部分。另外，可以对三维体积的l1 loss添加了前置因子beta来优化降低输入图片里的噪声对三维重构的负面影响。优选地，把beta设置成0.05对三维重构效果最好。
84.此外，本实施例中使用的损失函数可以用其它类似的函数替换，包括：smooth l1 loss,huber loss,hinge loss,cross-entropy loss等；正则化项可以用其他正则化损失函数替换，包括：l1 loss,l2 loss,l1+l2 loss,tv loss等。
85.步骤s210，多次执行从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息的步骤，直至满足预设的训练条件，得到训练完成的解码器。
86.本实施例可以采用adamw optimizer进行机器学的迭代。优选地，将adamw optimizer的weight decay参数设置成1.0e-6的重构效果最好。
87.步骤s212，生成与输入投影图数据集相匹配的三维重构结构。
88.在推理过程中，编码器的网路可以直接输出表征三维重构目标结构库伦势能的三维格点矩阵作为重构结果。本实施例的三维重构算法在低端显卡上也可以运行并获得比较好的重构结果。优选地，将batch size设成8就可以完成比较不错的三维重构。把learning rate设成0.1的效果最好。
89.此外，本实施例还可以将冷冻电镜的第一电镜图像输入投影参数预测编码器，输出第一电镜图像的空间变换参数；其中，空间变换参数表征所示第一电镜图像的投影参数；将空间变换参数输入到冷冻电镜实间解码器，并进行训练迭代；其中，训练迭代产生的损失值通过机器学习计算图反传给编码器，并基于训练迭代产生的损失值对编码器和解码器的参数进行更新。
90.其中，空间变换参数包括各种空间变换的表示形式，比如空间变换矩阵，四元数，rodrigues空间旋转向量等，可以参见图4所示的一种带有编码器和解码器算法的示意图。
91.具体地，可以将冷冻电镜的电镜样本图像输入初始编码器，输出空间变换参数；将电镜样本图像的空间变换参数作为三维重构目标结构的投影角度对初始编码器进行训练，直至满足预设的训练条件，得到训练完成的投影参数预测编码器。
92.投影参数可以通过神经网络预测出来，例如：将第一电镜图像输入到角度预测网络，输出为一个空间旋转平移变换参数或者等效表示形式，将该变换参数作为3dr的空间变换参数加入训练过程，实现三维重构网络和投影参数预测网络的联合训练。
93.综上，本实施例提供的上述方法，可以在重构过程中的实空间表示；重构过程中使用了实空间投影算法；实空间掩膜可以在重构过程应用。该方式中，实现了在机器学习的框架下的实空间的可微分电镜三维重构，避免了频率空间三维重构的种种弊端；设计了适用于机器学习的实空间掩膜，用于提升三维重构整体质量和局部特征的重点优化。
94.实施例三：
95.对应于上述方法实施例，本发明实施例提供了一种冷冻电镜实空间解码器的训练装置，参见图5所示的一种冷冻电镜实空间解码器的训练装置的结构示意图，该冷冻电镜实空间解码器的训练装置包括：
96.输入投影图像获取模块51，用于从样本集中获取冷冻电镜的输入投影图像和输入投影图像的标签信息；其中，输入投影图像的标签信息包括：输入投影图像的投影参数和掩膜，投影参数包括投影角度和图像平移；
97.预测投影图像输出模块52，用于将输入投影图像的投影参数输入解码器中，对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换，输出预测投影图像；其中，机器学习表示形式包括显式表示形式和隐式表示形式；
98.掩膜处理模块53，用于通过掩膜对三维重构目标结构的机器学习表示形式、预测投影图像和输入投影图像进行掩膜处理；
99.损失值计算模块54，用于基于掩膜处理后的输入投影图像和预测投影图像计算损失值，基于损失值调整解码器的参数；
100.解码器训练完成模块55，用于多次执行从样本集中获取冷冻电镜的输入投影图像
和输入投影图像的标签信息的步骤，直至满足预设的训练条件，得到训练完成的解码器。
101.本发明实施例提供的一种冷冻电镜实空间解码器的训练装置，适用于机器学习场景，让基于机器学习的电镜实空间下三维重构更能满足实际需求，可专注于三维重构目标结构的重点局部信息，有效分离前景和背景，从而提升重构质量，避免了频域三维重构插值算法的弊端，在图像较少时也能取得较为不错的结果。
102.上述掩膜包括3d局域掩膜、2d局域掩膜和/或平面前景背景掩膜。
103.上述3d局域掩膜包括内切球形掩膜或带有权重的掩膜，2d局域掩膜基于3d局域掩膜确定。基于投影参数对3d局域掩膜进行空间变换和投影计算，得到2d局域掩膜。
104.上述平面前景背景掩膜用于区分投影图像的前景区域和背景区域。
105.上述三维重构目标结构的显式表示形式包括：通过三维格点矩阵的格点编码三维结构的库伦势能值；三维重构目标结构的隐式表示形式包括：用神经网络表征把空间坐标映射到三维结构的库伦势能值的函数。
106.上述预测投影图像输出模块，还用于对解码器内部的三维重构目标结构的机器学习表示形式的投影视野进行空间变换和后续处理，输出预测投影图像。
107.上述损失值计算模块，用于基于2d局域掩膜和平面前景背景掩膜对输入投影图像进行掩膜处理，得到掩膜处理后的输入投影图像；基于平面前景背景掩膜对预测投影图像进行掩膜处理，得到掩膜处理后的预测投影图像；基于掩膜处理后的输入投影图像和预测投影图像确定输入投影图像的指定区域的损失值。
108.上述掩膜处理后的输入投影图像包括指定区域和其他区域；上述中装置还包括：噪声抑制模块，用于通过正则化的方式抑制其他区域的噪声。
109.上述中装置还包括：投影参数预测编码器处理模块，用于将冷冻电镜的第一电镜图像输入投影参数预测编码器，输出第一电镜图像的空间变换参数；其中，空间变换参数表征所示第一电镜图像的投影参数；将空间变换参数输入到冷冻电镜实空间解码器，并进行训练迭代；其中，训练迭代产生的损失值通过机器学习计算图反传给编码器和解码器，并基于训练迭代产生的损失值对编码器和解码器的参数进行更新。
110.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的冷冻电镜实空间解码器的训练装置的具体工作过程，可以参考前述的冷冻电镜实空间解码器的训练方法的实施例中的对应过程，在此不再赘述。
111.实施例四：
112.本发明实施例还提供了一种电子设备，用于运行上述冷冻电镜实空间解码器的训练方法；参见图6所示的一种电子设备的结构示意图，该电子设备包括存储器100和处理器101，其中，存储器100用于存储一条或多条计算机指令，一条或多条计算机指令被处理器101执行，以实现上述冷冻电镜实空间解码器的训练方法。
113.进一步地，图6所示的电子设备还包括总线102和通信接口103，处理器101、通信接口103和存储器100通过总线102连接。
114.其中，存储器100可能包含高速随机存取存储器(ram，random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口103(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。总线102可以是isa总线、pci总线或
eisa总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图6中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
115.处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器100，处理器101读取存储器100中的信息，结合其硬件完成前述实施例的方法的步骤。
116.本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令在被处理器调用和执行时，计算机可执行指令促使处理器实现上述冷冻电镜实空间解码器的训练方法，具体实现可参见方法实施例，在此不再赘述。
117.本发明实施例所提供的冷冻电镜实空间解码器的训练方法、装置和电子设备的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。
118.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和/或装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
119.另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
120.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
121.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、
以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
122.最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。