基于单一分布和深度学习的超分辨率计量方法与流程

相关申请

本申请要求2017年8月30日提交的序列号为62/551,906和62/551,913的两个美国临时申请的优先权，两者均通过引用并入本文。

本发明涉及使用机器、表示和深度学习方法对几何特征进行光学测量的方法和装置，更具体地，涉及使用投影的单一光分布进行光学测量的方法和装置。

背景技术：

计量是测量技术领域。基于荧光、多光子成像、拉曼散射、光透射、反射或光散射的测量实际上在分辨率上限于ernstabbe在1873中所述的极限。阿贝极限由于用于照射或收集来自样品的光的光学系统的限定孔径的衍射而出现，如下所述。

一些生物和生命科学对象可以数学地建模为基本几何形状。这种模型参数的精确量化是现代生物学和生命科学面临的挑战之一；它将直接或统计地揭示关于生物对象及其功能的隐藏信息。sirat在美国专利第9,250,185号(以下称为“sirat'185专利”)中定义了“发光生物对象”作为物理对象的“地图”，“inthesenseof...generalsemantics”，该专利在此引入作为参考。(sirat'185专利，第18栏，第15-22行)。

测量对象的形状或其他几何属性包括应用参数化形状假设，在本发明中称为数学先验，其针对来自“发光生物对象”的元素和/或重建数据，并从数据中检索形状参数。此外，在数据上存在另一个数学约束，即由于光强度的固有正性而引起的正性。

在现有技术中，数学先验和正性约束都依赖于传统的成像范例。在图像获取和重建之后，作为后处理步骤，必须对所得图像应用数学先验和正性约束。这种成像范例可以追溯到显微术的最早日期，其中形状测量被认为是成像的伴随而本身不是学科。

形状假设是强大的数学先验，并且一旦下面描述本发明，其将极大地减少解的自由度数，并且为解创建嵌入的参数空间。如这里所使用的，术语“数学先验”指的是关于测量结果的任何数学假设，其减少了手头问题的自由度数。如过去所做的，相对于使用一般成像范例采集的数据，在采集和重构过程之后应用数学先验降低了整个计量过程的精度。

历史视角

在对较新的硬件和软件进行了一些培训之后，如果活在1840年到1905年的ernstabbe使用最新一代的用于成像和测量的生物显微镜，他将是舒适的。生物成像和计量方法的持久性首先是由于我们的前身开发的概念的质量，但也是由于难以修改根植的工作程序。

然而，甚至在生物学上，一些新的趋势是摇动嵌入的显微镜观察原型。主要的进展是由于希望以全面的统计方式精确地量化生物对象模型的基本参数，而不是仅基于图像或假设来进行生物观察。

j.shamir在“singularbeamsinmetrologyandnanotechnology”，opt.eng.，第51卷，073605(2012)和美国专利第7,746,469(两者均通过引用并入本文)已经建议使用单一光分布来量化粒度的分布。

就发明人所知，从来没有建议创建这样的空图像，在光本身被成像的情况下，所述空图像使用光子的缺失来实现不可获得的分辨率。特别地，shamir的教导使用弹性相互作用，例如反射、透射和(弹性)散射。获得基于空图像的信息将是有利的，并且下面详细描述的本发明示出了如何执行这种成像。

背景：几何形状参数的测量

虽然在生物学显微术中使用的所有测量系统和方法不需要进行综述，但是理论上，包括描述形状的参数在内的任何参数的测量极限最终由信噪比决定，并且可以使用下面定义的cramerrao下限(crlb)来量化。然而，对于形状相关参数，计算条件很差，并且依赖于由于实际和实验条件而不精确的测量。

例如，gustafsson的“nonlinearstructured-illuminationmicroscopy:wide-fieldfluorescenceimagingwiththeoreticallyunlimitedresolution”，proc.nat.acad.sci，第102卷，13081-86页(2005)(通过引用并入本文)提出了非线性结构化照明显微术、超分辨率技术、耦合非线性饱和效应和结构化照明。gustafsson的技术被显微镜领域的技术人员认为是示例性的，在最好的情况下证明了50nm的分辨率。该测量在校准的、分离的、平面的、相同制造的珠粒上进行，所述珠粒能够维持高能量水平，不易于光漂白或光毒性，所述珠粒由gustafsson选择为具有51nm的精确直径，珠粒尺寸几乎等于分辨率极限。

基于前述数据、珠粒尺寸的影响、通过精确程序计算的形状参数的最简单可能测量(“通过线性去卷积从重建中去除已知的珠粒形状(knownbeadshapewasremovedfromthereconstructionbylineardeconvolution)”)，如下面所定义的，gustafsson2004小于他的实验的“systemruler”的10％。如果进行相同的实验作为量化珠的未知直径值的过程，则相对精度将为5％，为在该理想情况下相对较差的性能。这表明需要一种改进的工具来测量形状参数，如下面根据本发明所述。

深度学习背景

大量文献是关于深层学习的。读者可参见维基百科，https://en.wikipedia.org/wiki/deep_learning，以及其中引用的参考文献。深度学习概念的合成可在lecun等人的“deeplearning”，nature，第521卷，第436-45页(2015)(下文中称为“lecun2015”)中找到，其通过引用并入本文，从而定义下文中使用的若干基本概念。根据lecun2015：

表示学习是允许机器被馈送原始数据并自动发现检测或分类所需的表示的成组的方法。深度学习方法是具有多级表示的表示学习方法，其通过组成简单但非线性的模块来获得，每个模块将一级的表示(从原始输入开始)转换为较高的，稍微更抽象的级的表示。利用足够的这种变换的组合，可以学习非常复杂的函数。对于分类任务，较高层的表示放大了对于区分和抑制无关变化重要的输入方面。例如，图像以像素值阵列的形式出现，并且第一层表示中学习到的特征通常表示图像中特定取向和位置处边缘的存在或不存在。第二层通常通过定位边缘的特定排列来检测图案，而不管边缘位置的小变化。第三层可以将图案组装成对应于熟悉对象的部分的较大组合，并且随后的层将检测作为这些部分的组合的对象。深度学习的关键方面是这些特征层不是由人类工程师设计的：它们是使用通用学习过程从数据学习的。

(lecun2015，第436页，粗体强调是后加的)

当前实践的深度学习网络的原型包括处理获取的图像。图6例示了遵循lecun2015教导的根据现有技术的深度学习网络；由猫画面示出的图像10是网络的输入。第一层11通常获知图像中特定取向和位置处边缘的存在或缺失。使用通用学习程序从数据中学习的由数字12和13示意性表示的附加层能够识别猫物种并且它不是狗。

本文所用的“codim”是指caron等人(2014)所述的圆锥衍射显微术硬件。“conicaldiffractionilluminationopensthewayforlowphototoxicitysuper-resolutionimaging.”，celladhesion&migration，第8卷，第430-439页(2014)，下文称为“caron2014”，通过引用并入本文。如caron2014中所描述的硬件的使用被称为“成像情况”。以下描述为“计量情况”的硬件设置和使用不是现有技术的一部分。在成像情况下，单一光分布被投影在规则网格上，该网格是笛卡尔的，或者单一光分布被投影在作为检索到的数据的函数而优化的网格上。

在深度学习或机器学习网络中应用codim的标准方式是重构图像并将已知算法应用于重构图像。这种方法的限制是在图像重建中需要的时间负担和信息破坏。

sirat'185专利陈述：

测量系统将计算荧光团描述符的评估、测量图。由于噪声，测量条件、系统限制或测量不确定性，该测量图不同于原始图。稍后可以将信息图开发为不同的抽象级别。

(sirat'185专利，第18栏，第37-42行，加粗强调是后加的)

sirat'185专利进一步教导：

原始信息，即一般语义术语中的图，是成组的描述符荧光团及其随时间的演化。生物学和几何信息将仅仅是该原始信息的外推。测量系统将计算荧光团描述符的评估、测量图。

(sirat'185专利，第18栏，第32-37行)

sirat'185假定“[t]hemeasurementsystemwillcalculateanevaluationof...themeasuredmap”(如上所述，斜线强调是后加的)，将测量图视为任何信息收集的先决条件。如sirat'185在同一段中描述的，在要求测量图作为信息收集的先决条件时，sirat'185遵循普遍共识：“测量图”是进一步处理的先决条件，作为几何和生物学水平的抽象。

技术实现要素：

根据本发明的实施例，提供了用于确定表征物理对象的特定维度的几何特征的固有几何参数的值的方法。该方法包括：

a.将以第一波长和奇点位置为特征的单一光分布投影到物理对象上；

b.检测由所述被激发的单一光分布激发的光，所述被激发的单一光分布已经与所述几何特征相互作用并且撞击在检测器上，所述光构成所检测的光；

c.识别并量化单一光分布的一个或多个位置处的返回能量分布作为固有几何参数的量化；以及

d.基于从能量分布检索的参数确定固有几何参数的值。

根据本发明的其他实施例，以检索单个或成组的固有几何参数的方式执行上述方法的连续应用。固有几何参数可以是点对象的尺寸和椭圆度之一。位移的测量可以被确定为横向于线的偏移。

根据本发明的另一实施例，固有几何参数可以是线的宽度，固有几何参数可以基于几何特征的模型形状。检测光可以包括采用像素化检测器。

根据本发明的另一方面，提供了一种用于表示学习的方法，用于将场景分类为静态或动态的至少一个几何形状，所述几何形状由适当的成组的参数量化，每个几何形状对发光对象建模。该方法包括：

a.将光的单一分布投影到场景上；

b.检测光分布，所述光分布在由所述单一光分布照明时由所述场景重新发射，所述单一光分布已经与每个发光对象相互作用并且撞击在检测器上，所检测的光构成所检测的光；

c.在给定位置测量单一分布的至少一个投影，以获得关于场景的成组的测量；以及

d.采用深度学习或神经网络层，使用检测到的光作为神经网络层的直接输入，适于将场景分类为物理或生物的多个对象或静态或动态的几何形状，所述对象或形状是通过学习预先确定或获取的成组的对象或形状的一部分。

根据本发明的其他实施例，所述至少一个几何形状可以是动态的或静态的。该方法还可以包括采集数据，该数据是由codim硬件采集的成像数据，或者是由计量应用硬件采集的计量数据。

根据本发明的另一实施例，该方法可以具有获取作为由codim硬件获取的成像数据的数据的另一步骤，其中所得到的分类信息用于驱动计量硬件来实现该计量方法。进一步的步骤可以包括提供控制硬件和控制过程以驱动计量硬件来实现测量方法。另一步骤还可以包括将数据馈送到已经在不同时间获取的神经网络，并且在神经网络识别过程中包括发光对象的时间相关性。

附图说明

通过参考附图参考以下详细描述，将更容易理解本发明的前述特征，在附图中：

图1示出了与airy图案相比的codim光分布的现有技术调制传递函数(mtf)。

图2a-2d表示在本说明书中用作说明性实例的a型流感病毒(iav)，对于各向同性和非各向同性模型，病毒示意性地表示在图2a中，其三维模型表示在图2b中，其二维模型分别表示在图2c和图2d中。

图3由美国专利第9,250,185号(下文中称为“sirat'185”)复制，并且呈现了使用圆锥衍射可获得的一些不同的单一分布；以及

图4表示根据本发明实施例的月牙形月亮的轨迹的示意图，已知其为螺旋以及在具有不同横向位置的两点处与螺旋交叉的平面a和b。

图5是示出根据本发明实施例的表示学习方法的步骤的流程图；

图6示意性地示出了根据现有技术的深度学习系统的实现。

图7示意性地示出了在codim成像系统上的深度学习系统的实现。

图8示意性地示出了根据本发明的codim成像系统上的直接深度学习网络的实现。

图9示意性地示出了在根据本发明的复合成像系统上的直接深度学习网络的实现。

图10示意性地描绘了对一般对象的直接深度学习网络的实现，出于启发式原因将其表示为猫。中间图像被表示为猫画面的一部分的子图像的事实仅仅是图形技巧。该信息将是非结构化信息，而不是图像的部分视图。

图11描述了根据本发明的codim成像系统上的受控直接深度学习网络的实现。

图12描绘了在一般对象上的受控直接深度学习网络的实现，出于启发式原因将其表示为猫。中间图像被表示为猫画面的一部分的子图像的事实仅仅是图形技巧。该信息将是非结构化信息，而不是图像的局部视图。

具体实施方式

这里提出了新的方法，其中测量过程是单独专用的过程和体系结构，在某些情况下由成像过程初始化，但是完全嵌入在单独的工具(计量工具)中。

下面描述的本发明涉及以最小通量精确地测量几何特征，所述几何特征小于在它们的测量中采用的光的衍射极限。

本发明特别适用于使用非弹性光相互作用测量几何特征，例如但不限于荧光、多光子成像或拉曼散射，其中出射光可以通过简单的方式与入射光分离。

发明的一些实施例涉及用于几何和功能特征和对象的机器学习的方法以及实现它们的硬件系统。这些方法需要对特征和对象进行分类和识别；这些方法不同于基于成像范例和成像之后的进一步处理的实际解决方案。

虽然本发明的一些实施例主要参考在荧光显微术中实现的系统和方法来描述，但是应当理解，对反射光或散射光的扩展是直接的，并且在已经理解本说明书的本领域普通技术人员的知识范围内。此外，尽管在此根据用于生物学中遇到的荧光对象的计量工具的系统和方法描述了本发明，但是它们可以容易地应用于其他成像模态和其他学科和领域，例如但不限于半导体和机器视觉。

在重建过程之前应用数学先验并将其嵌入到获取过程中是有用的，然而从未有任何如何进行的教导，现在将详细描述。根据本发明的实施例，在图像重建之前应用数学先验可以有利地提高形状参数的测量精度，减少测量所需的观测次数并提高整个过程的稳定性和再现性。

根据本发明的实施例描述的方法依赖于泊松定律的特异性，明确地，没有光子噪声——由于量子物理学理论而达到可忽略的数值——在没有光子的情况下，没有任何光子入射和发射在检测器上，而不是后验校正。这种方法需要一种通过过滤操作物理地去除入射光的机构。它不能是数学后处理操作，因为如果噪声已经被引入到系统中，则它不能通过简单的装置被滤除。这是非弹性光相互作用的优点和特异性；在本发明中，非弹性光相互作用是指能够产生(或发射)新光子的任何光相互作用，所述新光子具有将它们与入射光子区分开的物理特性，使得发射的光子可以与入射光子物理分离。假设“滤波器”允许从入射光子分离发射的光子。非弹性光相互作用的明显例子是产生不同波长光子的相互作用；在这种情况下，滤波器将是波长敏感滤波器。非弹性光相互作用的例子是荧光、多光子成像或拉曼散射。弹性光相互作用，例如反射、透射或弹性散射，不允许以简单的方式进行这种区分。

如下所述，本发明的实施例依赖于创建空图像或接近空图像的图像。这样的图像允许附加的分辨率，理论上不受限制，如下所述，通过将abbe定律的漏洞与由于泊松定律引起的噪声的缺乏相结合。先决条件是不存在满足理论条件所需的任何寄生光子。这种条件可以几乎仅使用非弹性光相互作用(如荧光、多光子相互作用和拉曼散射)来满足，其中入射光束可以通过光谱手段完全过滤。

为了启发方便，这里可以通过假设的例子来说明本发明；该实施例仅用于说明，并不代表测试的实验情况。假定特定的生物对象构成发光对象，并且为了说明，假定该生物对象是a型流感病毒(iav)，如图1a所示。已知iav病毒具有80-120nm的典型大小，并且如badham等人在“thebiologicalsignificanceofiavmorphologyinhumanclinicalinfectionsisasubjectofgreatinterest”，filamentousinfluenzaviruses，currentclinicalmicrobiologyreports，第三卷，第155-161页(2016)中所述，其通过引用并入本文。

假定iav病毒在其所有体积中都用合适的荧光蛋白均匀地标记。可以使用三种不同的模型来描述病毒：

a.在现有技术使用的成像范例中，由于病毒尺寸小，在衍射极限下，最好的模型是将病毒表示为发光点，发出荧光；它确实允许准确监控病毒位置。

b.或者，使用例如具有nm或亚nm分辨率的电子显微镜，可以表征病毒的各种细节，包括血凝素201和神经氨酸酶203。

c.根据本发明的教导，采用了一种中间方式，其中病毒被描述为如下定义的点对象，其在三维中被建模为球体(图2b)，或者在二维中被建模为具有给定半径的均匀圆(图2c)，或者被建模为椭圆(图2d)，其中参数是半短轴a、半长轴b和长轴相对于笛卡尔坐标系的角度θ。

根据本发明的进一步的实施例，可以采用深度学习，如下面详细描述的。

根据本发明实施例的方法可以有利地提供测量，该测量需要大于由光学器件施加的衍射极限的分辨率和最小光子通量。

根据本发明的实施例，由形状假设产生的一个或多个数学先验被嵌入到成组的特定的单一光分布中，允许充分利用单一光分布的特性。该耦合基于专用的计量工具，使数学先验和分布组相关；换句话说，特定形状的测量在数学上定义了先验和解域，其本身确定了采集工具的特性和所需分布的类型。

定义：如本文和任何所附权利要求中所用，除非上下文另有要求，否则以下术语将具有以下指定含义：

本文和任何所附权利要求中使用的术语“值”是指表征与参数相关的量的实数。应当理解，在实际情况下，与参数相关联的量可以在构成测量精度的某个范围内表征。在这种情况下，术语“值”可以用作值分布的简写。

“系统标尺”是成像领域的普通技术人员认为表征系统辨别细节的能力的值。

在成像系统中，“瑞利标准”――分离两个相邻点的能力――是通常接受的最小可分辨细节的标准，即使在许多情况下观察到的点或线的fwhm被用作“衍射极限”的实际评估，这是通常用于量化最小可分辨细节的定性术语。在本发明中，我们使用无限细的线的fwhm作为系统标尺。如果该值比系统标尺“小得多”，则该值可以忽略，其中“小得多”被定义为比系统标尺小3倍或更多的因数。

如本文所用，术语“阿贝分辨率极限”在schermellheh等人的“aguidetosuper-resolutionfluorescencemicroscopy”，j.cellbiology，第190卷，第165-75页(2010)(下文称为“schermelleh2010”)中可找到，该文献通过引用并入本文：

阿贝著名的分辨率极限是如此吸引人的，因为它简单地取决于离开对象并被物镜捕获以发送到图像的不同波之间的最大相对角度。它描述了可以用该psf“画笔”成像的最小级别的细节。不可能将小于该最短波长的周期性对象细节转移到图像。

表述“高于阿贝极限”被定义为指包含周期性结构的对象，该周期性结构包含小于系统标尺的任何细节的细节，因此受到阿贝极限的限制。该定义的基本原理是这样的对象包含孔径平面中高于阿贝频率圆的空间频率。

在估计理论和统计中，cramer-rao界(crb)或等效的“cramer-rao下界(crlb)”表示确定性(尽管未知，其是固定的)参数的估计的方差的下界。本文所用的精确定义如下属网址所提供https://en.wikipedia.org/wiki/cram％c3％a9r％e2％80％93rao_bound，其通过引用并入本文。

这里使用的术语“局部”光分布是指能量集中在小域上的光分布。如果半径为3.5*半瑞利标准之外的能量基本上为零，则光分布将被局部化。

本发明描述假设所述光学系统接近于“受限光子噪声”，如https://en.wikipedia.org/wiki/shot_noise中所述，或接近于成为受限光子噪声，即高斯噪声分量小于光子(或shot)噪声的一半。最佳情况实际上是所描述的“受限光子噪声”光学系统和“受限高斯噪声”或“检测器噪声受限”系统将仅收集本发明的部分优点，但仍在本发明的范围内。

“半高全宽”(fwhm)是由自变量的两个极值之间的差给出的函数的范围的表达式，其中自变量等于其最大值的一半，来自维基百科，https://en.wikipedia.org/wiki/full_width_at_half_maximum。

“维数”被定义为长度、面积和体积的三个物理或空间特性中的任何一个。在几何形状中，点被称为具有零维；仅具有长度的图形，例如线，具有一维；平面或表面，二维；以及具有体积，三维的图形。

几何特征的维数是指在几何特征的范围(例如点对象的“直径”或线的“宽度”或涂层的“厚度”)远小于趋于为零的任何其他维数的限度内的相应理想化特征的维数。

这里使用的术语“轨迹”应当表示成组的点(通常是点、线、线段、曲线或表面)，其位置满足一个或多个特定条件或由一个或多个特定条件确定。

“几何参数”是指表征物理空间内的范围的任何可测量的量。因此，例如，距离(在三维欧几里得空间中或沿着表面定义)是几何参数的示例。表面上限定的面积是几何参数的另一个例子。

“几何特征”是被几何地表征或建模为轨迹的物理对象，由一个或多个几何参数量化；例如，线的厚度描述了轨迹，作为轨迹的线，或者也是轨迹的线段的位置和厚度。“嵌入空间”表示由几何参数跨越的参数空间。

“点”是具有零维数和零尺寸的二维或三维几何特征。它是一种过时的简化，它消除了有关真实对象的许多信息，但极大地简化了假设。我们在所有三维中将与system标尺相比尺寸小但不可忽略的对象称为“点对象”。与对于光学系统是衍射极限的系统标尺相比，必须理解术语小或可忽略。点对象由其位置和其尺寸确定，其在二维或三维中可以是各向同性的，也可以不是各向同性的。在衍射受限或超分辨光学系统点状对象的系统标尺中，大多数生物对象是点状对象，并且点状对象携带的信息的先验消除是巨大的损失。点和点对象之间的区别在本发明中是重要的。

“线”(以及类似的其他术语，其指的是理论上为一维的形状)将指几何特征(即，具有长度、宽度和厚度的物理对象)，其中长度是宽度或厚度的至少10倍。“线对象”按照与点对象相同的概念来定义。

这里和任何所附权利要求中使用的术语“固有几何参数”是指表征表面(在n维空间中)的特性的参数，其独立于表面在欧几里得空间中的等距嵌入。因此，例如，尽管给定点的“线”的宽度是线的固有参数，而与空间中的线的任何方向无关

参考抽象空间中的几何元素，当且仅当由该组参数描述的几何元素的表示真实地表示在测量不确定性的限制中的对象的几何类别和参数时，成组的参数将被称为“适当的”。

包括“光学涡旋”作为其最简单示例的“单一光学器件”如今是具有理论和实际应用的新兴光学领域。详细描述可以在nye等人的dispositionsinwavetrains，proceedingsoftheroyalsocietyoflondona，第336卷，第165-90页(1974)，和soskin等人的“singularoptics”，progr.inoptics，第42卷，第219-76页中找到，这两篇文献在此引入作为参考。

“非弹性光学相互作用”是指光和物质之间产生波长不同于入射光束的光子的相互作用。非弹性光学相互作用包括但不限于荧光、多光子相互作用和拉曼散射。

“单一分布的轨迹”是单一分布的强度为零的笛卡尔位置的集合。单一分布的轨迹定义了一系列基本形状，其具有适当的参数，“标称参数”并且位于正确的位置；“标称位置”将不发射(或反射或散射)光。在这种情况下，我们将提出新的概念并表达“单一光分布嵌入形状”。例如，对于在图2中描绘为情形10(或01)的光分布，涡流、轨迹是无限小的点，并且可以使用涡流研究的形状的唯一族是点形状和点对象形状，其也将不产生具有零值半径的能量。对于图2中描述为情形42(或24)的称为“垂直半月”的分布，形状的相关族更加多样化，包括线和线对象，以及点形状和点对象的多个。下面将介绍其他情况。

圆锥折射是由hamilton在“thirdsupplementtoanessayonthetheoryofsystemsofrays”，trans.royalirishacad.，第17卷，第1-144页(1837)中预测的光学现象，并在两个月后由lloyd实验证实，见lloyd，h.(1831)的“onthephenomenonpresentedbylightinitspassagealongtheaxesofbiaxialcrystals”，philos.mag.，第1卷，第112-20页(1831)。上述两篇参考文献均引入本文作为参考。圆锥折射描述光束在双轴晶体光轴方向上的传播。hamilton预测光以空心光锥的形式出现。

在berry的“conicaldiffractionasymptotics:finestructureofpoggendorffringsandaxialspike”，j.opt.a:pureandappliedoptics，第6卷，第289-300页(2004)中提供了描述，该文献在此引入作为参考。sirat2016中描述了用于超分辨率显微术的基于圆锥衍射的现有技术系统。

美国专利第8,514,685号(sirat′685)描述了薄晶体中圆锥衍射的具体性质，并证明了使用圆锥衍射来成形光束。薄双轴晶体将规则入射光束的点扩展函数(psf)转换为广泛的光分布族，分布的选择由输入和输出偏振控制。实际上，通过将双轴晶体封装在可控偏振器之间来实现光束整形；这种简单的光学装置类似于偏振计，具有以微秒或更快的速度从一种模式切换到具有不同拓扑结构的另一种模式的能力。此外，这些图案完全共定位，因为它们由相同的初级光束产生。

codim束整形器可以用作扫描模块的附加装置，并且在样品上扫描分布，对于每个扫描点产生几个微图像。codim系统可从法国巴黎的bioaxialsas获得。

codim光束整形器使用圆锥衍射原理产生紧凑的局部光分布。每个微图像包含大量的高频，接近阿贝极限(与airy模式101相比，达到接近3的因子，如图1所示)。使用本领域普通技术人员公知的算法分析投射到称为“场景”的样本区域上的这些光分布。对于适合于从显微图像获得超分辨图像的示例性算法，读者可参考公开的申请wo2016/092161(英文公开为us2017/0336326，下文称为“sirat'161申请”)，其通过引用并入本文。这允许对于一般对象重建超分辨率图像，分辨率提高到2倍。另外，这些算法利用了正性约束和稀疏性，允许对于足够的样本进一步改进分辨率。

最终，更低的分布峰值功率、高量子产率照相机的使用和更长的照相机曝光时间的结合极大地降低了发送到样品的光的峰值功率和能量。这是这种方法具有非常低的光漂白和光毒性的原因。这也避免了荧光团饱和问题，使得该方法线性和定量。

在本说明书中，术语“能量定律”被定义如下：假设对象已经被建模为数学抽象、几何形状，“能量定律”是作为形状参数的函数的能量和位置之间的参数关系。它创建量化参数空间的能量相关性的关系。能量定律可以包括由具有与几何形状相同的形状的发光对象发射的能量分布。

在本说明书中，假设可以控制光学单一分布，使得从一种类型的分布切换到另一种类型的分布，从预定的分布族切换，并且使用外部装置修改光学单一分布的参数，如sirat'185中所述。存在其他解决方案，不需要控制光学单一分布，并且是本发明的一部分，但是它们将更加麻烦。

使用根据本发明的方法进行的成像可以被称为“化合物成像”，并且也可以被称为编码成像，如在维基百科中定义的。https://en.wikipedia.org/wiki/coded_aperture，或作为“间接成像”，参考其中来自场景的元素数据不是描述对象的sirat'185专利意义上的图像或地图的成像过程。在复合成像过程中，由物理仪器测量的数据称为“中间结果”(在sirat'161申请中使用的术语)，或称为在本说明书中同义使用的元素(或基础)数据，包含可以通过重建过程从其创建重建图像的信息。在本发明中，我们将复合成像过程识别为这样的成像过程，其中不可能假定在特定时间测量的强度或光子数，以及到图像的特定像素或到地图中的元素的特定属性的位置。换言之，光子的强度或数量的复合成像系统不具有到像素数据的直接平移，而是包含与它们中的几个有关的信息。

在超分辨率显微术领域中，codim成像是化合物成像过程以及结构照明显微术(sim)或定位显微术技术、如palm/storm的实例，参见sirat'185专利。

“测量过程”将由成组的“基本单一测量”组成，每个基本单一测量由具有给定参数的预定单一光分布的投影和“光测量”组成，所述预定单一光分布被定位成使得单一分布的轨迹以标称参数嵌入几何形状，所述“光测量”量化从对象入射的光、其强度和可选的其空间分布，如在光检测器上记录的，空间分布被像素化或非像素化。在一些情况下，也可以使用由预定规则光分布的投影组成的“基本规则测量”来完成信息收集。

测量的“输入”是指光学单一分布的位置、其类型和参数。“输出”是测量中记录的光强度和/或光分布。我们假设读者是本领域技术人员并且熟悉“控制理论”。控制理论是工程和计算数学的交叉学科分支，它处理具有输入的动力系统的行为，以及它们的行为如何被反馈修改(来自维基百科)。

“控制装置”是指能够修改输入和能够预见输入值的下一步骤的“控制算法”的成组的控制硬件，所述输入值的下一步骤是以足以精确地检索参数的方式直接或通过连续近似来量化“能量定律”所需的输入值。“逆能量定律”是最佳的或不最佳的配方，其能够从单个单一分布或成组的单一分布的成组的测量中检索形状的参数。将其嵌入控制算法中。它将被选择来优化系统的功能参数、所需的步数、撞击生物对象的总能量或功率、测量速度、上述的任何组合或系统的任何其他功能参数。

在单数分布的上下文中，“接近零的值”是指用于定性地描述投射强度或发射能量的能量，其合理地小于投射光上可用的最大强度或投射光的最大值撞击该点时发射的能量。接近零强度或能量的定量值是投影的强度和分布的最大强度之间或发射的能量和如果以最大强度照射发射的能量之间的6倍因数。值得一提的是，假设泊松噪声，接近零的能量将具有显著更小的噪声值，在最大能量处近乎少2.5倍。类似地，几何形状“接近零”的参数值将具有小于参数除以2.5的整个范围的值。

根据本发明的实施例，可以将观察对象建模为预先已知或假设的特定形状，或者建模为潜在形状列表中的形状。几何形状可以根据以下方面来描述：

a.空间位置，形状的“位置”，指的是在形状中确定的原点的位置，在大多数情况下是光分布的重心。

b.描述“形状参数”的成组的“结构参数”，例如，对于各向同性圆(图2c)是其半径，对于由椭圆表示的对象(图2d)是椭圆半轴轴和角度。

如本文所用，术语“机器学习”是指计算机科学领域，其使用统计技术来给予计算机系统用数据“学习”(例如逐渐改进特定任务上的性能)的能力，而无需明确编程来这样做。

术语“表示学习”和“深度学习”根据上面[0015]段中所述的lecun2015使用。lecun2015一方面清晰绘制“表示学习”和“深度学习”之间的边界，另一方面绘制和标准“机器学习”之间的边界。

术语“表示学习”和“深度学习”在本文中可互换使用，因为本发明的所有实施例适用于这两者。本发明的部分还可以应用于机器学习。

在计量情况下(如上所定义)，在所识别的对象的标称位置处获取数据。当它指的是对象时，“标称位置”应当表示根据先前知识或根据假设假定为对象位置的位置。

出于本说明书的目的，假设已经使用单独的机构来收集对象的标称位置。在本发明的范围内，该机制可以使用任何定位技术，例如在另一成像模态中或直接在照相机上由对象产生的光分布的质心的测量。

本发明的基本原理

本发明引入了用于测量建模为几何形状的生物、生命科学或物理对象的参数的新方法。根据在此详细描述的方法，创建系统以直接访问基本几何形状的参数值；该方法和系统利用了单一光分布的特性，并且既不像成像那样受到衍射的限制，也不像使用成像范例和图像处理工具的参数评估那样受到光子通量的限制。

在此描述的新颖测量方法与首先在此描述的对我们的知识的物理洞察(physicalinsight)相关联，该物理洞察的形式为abbe的分辨率极限对测量的直接应用的特定限制。

实际上，回到schermelleh2010或horstmeyer等人的“standardizingtheresolutionclaimsforcoherentmicroscopy”，naturephotonics10，第68-71页(2016)(在此引入作为参考)所描述的阿贝分辨率法则，所有“带宽外推”技术中，重建高于阿贝极限的信息依赖于先前的知识，假设甚至猜测，在某些情况下可能是错误的。我们在这里仅仅描述了我们了解的情况——在没有先验知识、假设或猜测的情况下的高于阿贝解析定律的测量，这是……黑色(零)图像的情况。

由于正性约束，空图像不包含信号，因此在阿贝极限之下和之上没有空间频率，并且所有的频率内容都完全已知……为零；零图像允许根据衍射受限的光学测量将高于阿贝极限的高频成分量化为零。

这与阿贝定律的自然观点相反，阿贝定律被理解为在阿贝极限之上不能通过光学过程检索信息。在本发明中描述的情况，即使它是非常特殊的，也允许收集高于极限的信息，理论上直到无穷大，因此衍射是无限的。

该条件对于光学器件和类似的单极信号是特定的，并且是由于与衍射极限无关的正性约束，该正性约束是对解的附加物理约束。这些概念不能快速地应用于电信号或类似的双极信号。肯定约束在某种意义上是已知的，以允许附加信息，但是它对信息扩展的贡献在大多数实际情况下是边际的并且没有被很好地表征或量化。在本发明中，正性约束的影响是清楚的和决定性的，允许低于和高于阿贝极限的空间频率的精确量化。

阿贝解析定律的几种表述并存。阿贝解析定律的优选措辞是schermelleh2010的措辞：“没有小于该最短波长的周期性对象细节可能被转移到图像”(schermelleh2010，第166页)。本发明的结果构成阿贝解析定律的推论，而不是例外。

然而，本发明的结果确实是科学文献中阿贝解析定律的一些广泛表述的例外和重建，不太仔细地表述为“在阿贝分辨率极限之上不能测量频率分量”。

在大多数情况下，空图像不包含信息，并且该单一点或例外是无用的和微不足道的，并且在这些情况下的讨论可能看起来是无意义的和空的。然而，只有当尺寸为零时，由位于标称位置的光学涡流照射的具有给定尺寸的孤立点的记录图像才将等于零。在这种特定情况下，图像及其所有频率分量的完全置零是强大的测量，从该测量不仅可以检索点状对象的位置，而且可以检索点状对象的大小，这将在后面解释。

本发明另外引入了一种新的方法，其可以应用于任何复合成像系统，并且在codim成像的情况下更详细地举例说明。它包括对基本数据直接应用直接桥，在大多数情况下是特定的神经网络。在前面的段落中，我们描述了如何在复合成像过程中的元素数据之间应用自然路径(或桥)来指导计量学方法。在本段中，我们描述了如何在复合成像过程中通过将受监督或非受监督的深学习层直接应用于元素数据而将元素数据之间的自然路径(或桥)应用于深学习，而无需任何图像重建算法。另外，该层将能够从多次(在大多数情况下是连续的)测量中收集数据。该层(计量层或对象层)的结果将是进一步处理的直接输入，绕过图像或映射步骤，其仍可用于可视化、鉴定和监视。

这两个过程，直接计量方法和深度学习也可以被复合以创建甚至更强和更有力的获取工具。

根据本发明描述的方法不同于曾经描述或建议过的所有现有技术方法，至少在于，所有现有技术方法将图像采集视为强制性步骤。

sirat'185专利在此没有建议使用深度学习或神经网络层，使用检测到的光作为神经网络层的直接输入，能够将场景分类为静态或动态的多个形状，这些形状是通过学习预先确定或获取的基本形状族的一部分。根据本发明，深度学习层用于将原始数据信息直接构造为具有计量特征和属性的基本对象，这些基本对象是进一步概括的适当基础。在本发明中开发了与深度学习观点一致的这种方法。

应当注意，sirat‘185专利依赖于物理现实，并且为了将所测量的图定义为荧光团的描述符，这种新的定位与生物现实相关联，将生物实体定义为结构化概念，如在我们的例子中的a型流感病毒。

另外，该方法可以被扩展到动态特性，作为时间相关数据被检索，或者优选地作为更高级的动态参数被检索。简而言之，回到我们的例子，中间层能够确定沿着路径以固定速度移动而没有形态改变的110nm的点对象的存在；并且我们将在下一层中假设对象分类层，其是甲型流感病毒。

所提出的体系结构的另一个优点是通过绕过重建步骤来避免重建伪像。即使最好的重建算法也可能易于产生伪像，并且伪像的可能存在是生物学家采用超分辨率技术的障碍之一。更糟糕的是，许多伪像可能被错误地认为是小点或对象，并且分类和量化算法可能被这些伪像破坏。避免重建和对原始数据执行分类和量化完全消除了这个误差源。

如上所述，衍射极限之上的信息存在于计量数据中，并且也可以存在于成像数据中。该无价信息通常被重建过程擦除，不能独立于所有其他信息处理该信息，因此被迫应用为平均数据优化的一般过程，但不适合于这些特定情况。

通过非成像过程的几何和生物信息

sirat'185专利没有建议如何通过非成像过程来学习几何和生物信息。在这种非成像过程中，使用通用学习过程直接从测量的元素数据收集更高级别的信息，而不要求产生(或重建)图像，或以sirat'185专利术语要求量化地图。sirat'185专利没有理解，非成像直接学习可能是以高得多的精度检索信息，如下所述，其具有高计算效率，并且没有数据丢失。此外，这样的学习过程可以具有使用在没有光的情况下存在的数据的能力，如下所述并且被称为阿贝定律漏洞。

一般方法

根据本发明的典型实施例，以下特征是显著的：

-在标称位置处的光分布；选择投射光的波长使得其能够产生与光响应材料的非弹性光相互作用，选择单一分布使得其嵌入几何形状，因此，在标称参数下，由投射光和光响应材料的非弹性相互作用产生的光测量的能量将为零。

-应用算法“逆能量定律”从能量测量中检索参数。

根据本发明的方法可以有利地使用计量硬件和动态地或不动态地控制测量序列的测量过程，以便收集检索形状参数所需的测量集。

光响应材料可以是外源性的，基于例如结合荧光结合，或为内源性的，使用例如一些蛋白质的直接荧光性质，或使用拉曼散射。

为了便于启发，我们按照以上高级语言中的方法的每个一般陈述，通过示例说明；实例是对于点状对象同时测量其位置和尺寸；为了使其更加具有说明性，如前面段落中所解释的那样，根据a型流感病毒来描述点对象。

可以使用病毒的最简单情况来说明一般方法，该病毒被建模为如图2c所示的二维均匀圆。生物对象为病毒；在该实施例中，测量目标是定量80-120nm之间的病毒直径。假定病毒位于二维表面上。

生物对象是通过其位置和病毒的半径r模拟为如图2c所示的点对象的病毒。该测量包括：使用计量硬件在多个位置(xi，vi)投射光涡流，能够激发位于病毒上的荧光分子，该荧光分子嵌入点对象几何形状，该计量硬件包括能够扫描生物样品上的涡流的检流计二维光机械系统，在光检测器上测量能量，并且以最小能量会聚到该位置，使用解析或迭代算法。在这种情况下，逆能量定律非常简单，并且位置是最小值的位置，并且能量在最小值处二次地依赖于半径(等式3)。

通常，根据本发明的测量方法允许使用一个或多个不同的单一分布检索零维、一维和二维轨迹，并且同时检索一个或多个简单参数和多个复杂或复合参数。

点对象尺寸和位置的测量

提出了用于测量形状参数的方法的第一实施例：在二维中测量点对象的位置和尺寸。这是生物对象测量中最常见的情况之一。此外，它可以扩展，比照地扩展到测量线的位置和厚度，这是生物对象测量中的另一个普遍任务。

假设圆形的发光对象(如图2c所示)半径为r，位于原点，荧光团密度均匀，表示为nd，并且假设ne＝ndπr²是发射荧光团的总数，则提供光学系统，例如sirat'185专利中详细描述的光学系统，其适于移动涡流的位置，在平面中以高精度给出为(v,0)。在本文所采用的极坐标符号“(m,n)”中，m是指相对于z轴的指定横向平面中的半径向量，而n是指预定轴(图2c中的x)与半径之间的角度。不失一般性，由于问题的对称性，我们假设涡流位于x轴上，即角度为零。

涡流的强度作为位置的函数通过系数is二次相关地取决于涡流零点和测量强度的位置之间的距离。更具体地，对于v>r(其中r是发光对象的半径)，能量定律将由下式给出：

iv＝πndisr²v²＝nev²，等式(2)

能量定律是两个独立分量的和：

a.iv独立于半径的位置依赖性，其最小值位于原点，如同将作为无穷小点的最小值一样，ne荧光团位于标称位置，以及

b.ir半径相关性，其与位置无关。

在标称位置，在v＝0时，能量由下式(3)给出。逆能量定律与能量成二次方关系。对于散粒噪声受限的系统，由于作为半径的函数的能量的二次相关性，通过最佳成像实验获得的相同的5％特性可以通过仅100个光子达到。

点对象尺寸、位置和椭圆度的测量

在本发明的第二实施例中，可以测量形状参数：点对象的位置、尺寸和椭圆度可以二维测量。这在生物对象的测量中是最不常见的情况，可能是因为不可能使用任何现有范例来执行。

假设

a.椭圆形状的发光对象，图2d，分别具有短半轴a和长半轴b，

b.分布位置由笛卡尔坐标中的(0，y0)给出，而不是由前面段落中的极坐标给出，

c.以nd表示的荧光团的均匀密度，

d.投影图3的半月分布，

e.图3的情况24的半月形分布已经与长轴(图2d中的x轴)的方向对准；

在第一近似中，导致在垂直于长轴方向的y方向上强度分布的二次相关性。可以看出ne＝ndπab是发射荧光团的总数，其中πab是椭圆的面积。

提供了一种光学系统，例如在sirat‘185专利中详细描述的光学系统，该光学系统适于在平面中以高精度移动涡流的位置，位置以(v,0)给出，极坐标符号a是指在相对于z轴的指定横向平面中的半径矢量,而b是指预定轴线(图2c中的x)与半径之间的角度。不失一般性，由于问题的对称性，我们假设涡流位于x轴上，即角度为零。

在假设该分布与主半轴b(图2d的x轴)成角度地对准并且移位y0的情况下，作为位置y的函数的该分布的强度通过系数is与y轴的距离二次相关，与x无关。

椭圆方程如下：

x＝acos(t)且y＝bsin(t)等式(4)

在给定的笛卡尔位置(x,y)，强度是is(y-y0)²，是二次参数。

在给定的x＝a位置处，沿y轴的积分能量由下式给出：

其中a位于椭圆上，如上所述，a＝asin(t)。对x的积分产生两项，第一项是iy0，其二次取决于y0：

再次使用等式(4)及其导数dx＝bsin(t)dt。第一项iy0取决于y0：

这是针对无穷小点获得的能量，位于原点的发射荧光团的总数为ne。第二项ia通过以下等式取决于半轴值：

再次使用等式(4)及其导数dx＝bsin(t)dt。第二项iy0通过下式取决于半轴a：

前述是取决于椭圆的半轴a的能量。使用与短轴(图2d中的y轴)的方向对准的图3的情况24的半月分布的类似测量将产生取决于长轴的项，并且这两个项的比较将允许椭圆度的测量。

位于两个不同平面上的两点位置的评估

根据本发明的进一步的实施例，即使当两个点位于两个不同的平面时，也可以使用这里描述的技术来测量空间中两个点的相对位置。

现在参考图4，从实际的观点来看，位于两个不同平面的两个点的相对位置是困难的问题，并且是半导体处理中最重要的计量步骤之一的核心：覆盖计量。假是设月牙形月亮，如图3的情况02，该单一分布的轨迹是螺旋401。嵌入在该分布中的几何形状包括螺旋形，也包括沿螺旋形定位的多个点。如果两个点在两个不同的平面403和405中，但是在同一螺旋上，则可以沿着螺旋监视一个点相对于另一个点的相对位置，并且可以用理论上无限的分辨率来评估两个不同平面上的两点的位置。

圆锥衍射法的实现

使用caron，j.等人的“conicaldiffractionilluminationopensthewayforlowphototoxicitysuper-resolutionimaging”，celladhesion&migration8(5)：430-439(2014)的教导，也可以有利地使用圆锥衍射来实施根据本发明实施例的方法，所述文献通过引用并入本文。

现在参照图5描述本发明的一个实施例。提供了一种通常由数字500表示的方法，用于确定表征物理对象的特定维度的几何特征的固有几何参数值。为了执行所要求保护的方法，提供如上所述的codim或计量应用硬件(步骤501)，并且将单个光分布投影(503)到物理对象上。当撞击到检测器上时，检测(505)由已经与几何特征相互作用的单一光分布激发的光。在单一光分布的一个或多个位置处识别并量化(507)返回能量分布，作为固有几何参数的量化。最后，基于固有几何参数的值来确定(509)固有几何参数的值。

现在参照图7描述标准深度学习概念在codim成像上的使用。以图形表示为细菌的生物对象20由一系列局部单一分布21照射，由合适的低噪声成像检测器22检测。一系列微图像23(这里也称为“μ图像”)由适当的算法25记录和处理，以产生重构的超分辨率图像10。包括多个层11、12和13的深度学习网络以类似于图6中描述的过程的过程应用于重建图像。控制系统24用于控制和同步采集和处理。

现在参考图8描述在codim成像中的直接深度学习的使用。以图形表示为细菌的生物对象20由一系列局部单一分布21照射，所述由合适的低噪声成像检测器检测，22在本文中也称为“检测器”。该系列μ图像23在没有重建的情况下直接应用于深度学习层26，该深度学习层26可以不同于标准过程中使用的层。在第一层的结果上施加与标准工艺中使用的层不同的附加层12和13。控制系统24用于控制和同步采集和处理。

现在参照图9描述在复合成像系统上使用标准深度学习概念。为了探试方便而图示为猫的一般对象120由一系列由检测器22检测的局部单一或规则分布21照射。在此也被称为“中间图像”的一系列微图像23被表示为猫画面的一部分的子图像，但是它仅仅是图形技巧。通过合适的算法25记录并处理这一系列μ图像23，以产生重建的超分辨图像10。包括多个层11、12和13的深度学习网络以类似于图6中描述的过程应用于重建图像。控制系统24用于控制和同步获取和处理。

现在参照图10描述在一般复合成像情况下的直接深度学习的使用。由猫表示的一般对象120由检测器22检测到的一系列局部单一或规则分布21照射。一系列μ图像23或中间图像被表示为猫画面的一部分的子图像，但是其仅是图形技巧。该系列μ图像无需重建而直接应用于深度学习层26，该深度学习层26可以不同于标准过程中使用的层。在第一层的结果上施加与标准工艺中使用的层不同的附加层12和13。控制系统24用于控制和同步采集和处理。

现在参照图11描述在codim成像中的受控的直接深度学习的使用。以图形表示为细菌的生物对象20由一系列局部单一分布21照射；包括它们的位置、强度、类型、持续时间和定时的分布序列由控制系统基于任何类型的外部信息30和/或来自处理的部分或最终信息来确定。由不同光分布照射的对象发射的光分布由合适的低噪声成像检测器22检测。该系列μ图像23在没有重建的情况下直接应用于深度学习层26，该深度学习层26可以不同于标准过程中使用的层。在第一层的结果上施加与标准工艺中使用的层不同的附加层12和13。控制系统24用于控制和同步采集和处理，并确定分布序列。

现在参照图12描述在一般复合成像情况下的受控直接深度学习的使用。图形表示为猫的一般对象120由一系列局部化的单一或规则分布21照射。一系列μ图像23或中间图像被表示为猫画面的一部分的子图像，但是其仅是图形技巧。包括其位置、强度、类型、持续时间和定时的分布序列由控制系统基于任何类型的外部信息30和/或来自处理的部分或最终信息来确定。由不同光分布照射的对象发射的光分布由检测器22检测。该系列μ图像无需重建而直接应用于深度学习层26，该深度学习层26可以不同于标准过程中使用的层。在第一层的结果上施加与标准工艺中使用的层不同的附加层12和13。控制系统24用于控制和同步采集和处理，并确定分布序列。

使用深度学习对场景进行分类

通常与根据本发明实施例的方法相关联的特征包括：

-由多个发光生物对象组成的物理或生物场景，每个对象被建模为发光几何形状，该几何形状由适当的成组的参数量化，

-硬件设置，诸如caron2014中描述的成像情况或上述计量情况；

-成组的测量，每个测量包括在标称位置处的单一分布的投影，其或者在称为“成像情况”的规则或伪规则网格上，或者在称为“计量情况”的定制网格上；在计量情况下，选择单一分布使得它们嵌入几何形状，因此，利用标称参数，测量的能量将为零。

-从已经与几何特征相互作用并且撞击检测器(像素化或非像素化)的单一光分布检测构成所检测光的光；

-深度学习或神经网络层，直接使用检测到的光作为神经网络层的直接输入，能够将场景分类为静态或动态的多个形状，所述形状是通过学习预先确定或获取的基本形状族的一部分。

根据本发明的其他实施例，直接和动态方法还可以提供控制硬件和控制程序，动态地或不动态地控制测量和检测光的顺序，以便通过标准或深度学习程序分析元素数据来收集检索形状参数所需的成组的改进的测量。

深度学习实施例的细节

根据本发明的实施例，提供了使用深度学习的特异性和优点的方法，来分析通过codim-圆锥衍射显微术(如caron2014中所述)获得的成像和测量数据，或提供了实现上述计量方法的硬件。

在这些方法的基础上，在此描述了用于几何特征的光学测量的新系统，并且更具体地，描述了用于具有大于由光学器件施加的衍射极限的分辨率和最小光子通量的测量的方法。

实施例

本发明的一个实施方案可以通过以下实施例说明；该实施例仅用作说明，并不旨在代表测试的实验情况。假设发光对象是生物对象，并且为了说明，该生物对象是相同的a型流感病毒(iav)，如图2a所示；已知该病毒具有80-120nm的典型大小，并且在大多数情况下也已知是球形的，但是在一些情况下也可以是丝状的。badham等人的“filamentousinfluenzaviruses”，currentclinicalmicrobiologyreports，第3卷，第155-61页(2016)(通过引用并入本文)陈述“在人临床感染中，iav形态的生物学重要性是非常利益相关的主体”。假定iav病毒在其所有体积中都用一些足够的荧光蛋白均匀地标记。可以使用几种模型来描述病毒；病毒被描述为模拟为椭圆(图2d)的点对象，参数是半短轴a、半长轴b和长轴相对于笛卡尔参考系的角度θ。

根据本发明的实施方案，评估病毒位置和形态的动态变化，以便潜在地评估病毒的毒力。

codim实施例

对于使用深度学习的成像，可以应用caron2014中描述的codim系统，而对于测量，优选在测量应用中描述的设置。

根据本发明的实施例，提供了使用深度学习的特异性和优点来分析通过codim-圆锥衍射显微术获得的成像和计量数据的方法，如caron2014中所述。

神经网络实施例

spiliotis等人的“primingfordestruction:septinsatthecrossroadsofmitochondrialfissionandbacterialautophagy”，emboreports，第17卷，第935-37页(2016)(“spiliotis2016”)(通过引用并入本文中)教导了：

线粒体是细胞存活、程序性细胞死亡和自噬的必需细胞器。它们经历裂变和融合循环，它们被感染性病原体破坏并在许多人类疾病中发生改变。spiliotis2016，935页。

pagliuso等人的“aroleforseptin2indrp1-mediatedmitochondrialfission”，emboreports，第17卷，第857-73页(2016)(“pagliusso2016”)，(其通过引用并入本文)显示，

在似乎调节线粒体裂变的多种机制中……

septin2通过介导线粒体收缩而具有重要作用。

pagliuso2016，摘要，斜体强调为后加。

本研究采用生物轴向codim系统采集线粒体图像，并对图像进行重建。

线粒体的重建图像可以用作深层学习网络的输入，以收集关于生物状态的信息，如图10所示；可替换地，所收集的数据可以被直接馈送到深度学习网络，如图11所示。

这里描述的本发明的实施例仅仅是示例性的；变化和修改对于本领域技术人员是显而易见的。所有这些变化和修改都在所附权利要求限定的本发明的范围内。