用于电子冷冻断层扫描重建的系统和方法

本发明总体上涉及图像处理。更具体地，本发明涉及使用编码到机器学习模型中的神经辐射场重建高分辨率图像。

背景技术：

1、电子冷冻断层扫描(cryo-et)是一种技术，其中电子扫描显微镜用于捕获保持在冷冻温度下的样品(例如，生物样品、细胞样品等)的一系列二维图像。在cyro-et下，当样本在电子扫描显微镜下以各种不同角度倾斜时，可由电子扫描显微镜捕获样本的一系列图像。样品的倾斜允许电子扫描显微镜从不同取向或视角捕获样品的图像。然后可以组合这些图像以生成样品的三维渲染。在常规方法下，结合加权反投影(wbp)的同时迭代重建技术(sirt)可以用于基于样本的捕获图像序列来重建样本的三维渲染。然而，这样的方法具有许多缺点。例如，因为sirt使用迭代算法来生成样本的三维渲染，所以当在各种计算系统上执行算法时，可能会很耗时。此外，一般而言，需要高性能计算系统来执行sirt。因此，需要一种从样本的捕获图像序列生成样本的三维渲染的更好方法。

技术实现思路

1、在各种实施例中，本发明描述了被配置为在多个时间从多个取向获得对象的多个图像的系统、方法和非暂时性计算机可读介质。机器学习模型可以被编码以表示将空间坐标映射到密度值的所述对象的连续密度场。所述机器学习模型可以包括变形模块，所述变形模块被配置为根据时间戳和经训练的变形权重来使所述空间坐标变形。所述机器学习模型还可以包括神经辐射模块，所述神经辐射模块被配置为根据所述变形的空间坐标、所述时间戳、方向和经训练的辐射权重来导出所述密度值。可以使用所述多个图像来训练所述机器学习模型。可以基于所述经训练的机器学习模型来构建所述对象的三维结构。

2、在一些实施例中，多个图像中的每个图像可以包括图像标识，并且可以使用位置编码将所述图像标识编码成高维度特征。

3、在一些实施例中，可以使用位置编码将所述空间坐标、所述方向和所述时间戳编码成高维度特征。

4、在一些实施例中，所述对象的所述多个图像可以是通过以不同角度机械地倾斜所述对象而获得的多个cryo-et图像。

5、在一些实施例中，所述变形模块可以包括第一多层感知器(mlp)。

6、在一些实施例中，所述第一mlp可以包括在第四层处具有跳过连接的8层mlp。

7、在一些实施例中，所述神经辐射模块可以包括第二多层感知器(mlp)。

8、在一些实施例中，所述第二mlp可以包括在第四层处具有跳过连接的8层多层感知器(mlp)。

9、在一些实施例中，可以将所述多个图像划分成多个图格。可以从所述多个图格中选择多个第一样本图像。所述多个第一样本图像中的每一个可以选自所述多个图格中的图格。可以使用所述多个第一样本图像来训练所述机器学习模型。

10、在一些实施例中，可以基于所述机器学习模型产生所述多个图像的分段恒定概率分布函数(pdf)。可以根据所述分段恒定pdf从所述多个图像中选择多个第二样本图像。可以使用所述多个第二样本图像进一步训练所述机器学习模型。

11、在参考附图考虑以下描述和所附权利要求时，本文公开的装置、系统、方法和非暂时性计算机可读介质的这些和其他特征，结构的相关元件的操作方法和功能，以及部件的组合和制造经济性将变得更加明显，所有附图形成本说明书的一部分，其中相同的附图标记表示各个附图中的相应部件。然而，应当清楚地理解，附图仅用于说明和描述的目的，并不旨在作为对本发明的限制的定义。

技术特征：

1.一种计算机实现的方法，其特征在于，包括：

2.如权利要求1所述的计算机实现的方法，其特征在于，所述多个图像中的每个图像包括图像标识，并且使用位置编码将所述图像标识编码成高维度特征。

3.如权利要求1所述的计算机实现的方法，其特征在于，使用位置编码将所述空间坐标、所述方向和所述时间戳编码成高维度特征。

4.如权利要求1所述的计算机实现的方法，其特征在于，在所述多个时间戳处从所述多个取向获得所述对象的所述多个图像包括：

5.如权利要求1所述的计算机实现的方法，其特征在于，所述变形模块包括第一多层感知器(mlp)。

6.如权利要求5所述的计算机实现的方法，其特征在于，所述第一mlp包括在所述第四层处具有跳过连接的8层mlp。

7.如权利要求1所述的计算机实现的方法，其特征在于，所述神经辐射模块包括第二多层感知器(mlp)。

8.如权利要求7所述的计算机实现的方法，其特征在于，所述第二mlp包括在所述第四层处具有跳过连接的8层多层感知器(mlp)。

9.如权利要求1所述的计算机实现的方法，其特征在于，使用所述多个图像训练所述机器学习模型包括：

10.如权利要求9所述的计算机实现的方法，其特征在于，还包括：

11.一种存储指令的计算系统的非暂时性计算机可读介质，其特征在于，所述指令在由所述计算系统的一个或多个处理器执行时使所述计算系统执行方法，所述方法包括：

12.如权利要求11所述的非暂时性计算介质，其特征在于，所述多个图像中的每个图像包括图像标识，并且使用位置编码将所述图像标识编码成高维度特征。

13.如权利要求11所述的非暂时性计算介质，其特征在于，使用位置编码将所述空间坐标、所述方向和所述时间戳编码成高维度特征。

14.如权利要求11所述的非暂时性计算介质，其特征在于，在所述多个时间戳处从所述多个取向获得所述对象的所述多个图像包括：

15.如权利要求11所述的非暂时性计算介质，其特征在于，所述变形模块包括第一多层感知器(mlp)。

16.如权利要求15所述的非暂时性计算介质，其特征在于，所述第一mlp包括在所述第四层处具有跳过连接的8层mlp。

17.如权利要求11所述的非暂时性计算介质，其特征在于，神经辐射模块包括第二多层感知器(mlp)。

18.如权利要求17所述的非暂时性计算介质，其特征在于，所述第二mlp包括在所述第四层处具有跳过连接的8层多层感知器(mlp)。

19.如权利要求11所述的非暂时性计算介质，其特征在于，使用所述多个图像训练所述机器学习模型包括：

20.如权利要求19所述的非暂时性计算介质，其中，所述指令在被执行时还使得所述计算系统执行：

技术总结
本发明描述了被配置为在多个时间从多个取向获得对象的多个图像的计算系统的方法和非暂时性计算机可读介质。机器学习模型被编码以表示将空间坐标映射到密度值的对象的连续密度场。机器学习模型包括变形模块，其被配置为根据时间戳和经训练的变形权重使空间坐标变形。机器学习模型还包括神经辐射模块，其被配置为根据变形的空间坐标、时间戳、方向和经训练的辐射权重来导出密度值。使用多个图像训练机器学习模型。基于经训练的机器学习模型来构建对象的三维结构。

技术研发人员：王培豪,张家恺,刘新航,刘志杰,虞晶怡
受保护的技术使用者：上海科技大学
技术研发日：
技术公布日：2024/4/17