用于成像设备的控制器和方法与流程

本发明涉及用于成像设备的控制器。本发明进一步涉及用于光谱分解的方法。

背景技术：

1、在荧光显微镜中，光谱分解是指将记录的荧光光谱分解成不同荧光团种类的光谱的一类方法。单个荧光团种类对记录光谱的贡献通常基于荧光团种类的发射光谱的光谱特征被提取。使用荧光团种类的光谱特性的已知方法包括例如线性光谱分解、相量分解和高光谱分解。然而，由于发射光谱之间存在更多的重叠，提取单个荧光团种类的光谱变得越来越困难。此外，分解的结果的质量在很大程度上取决于对荧光团种类的光谱特性的正确理解，特别是对这些光谱特性在给定样本中如何变化的理解。

2、荧光团种类的荧光寿命也可用于分离单个光谱。已知的基于寿命的分解方法包括tauseparation(例如参见m.j.roberti等人，tausense：a fluorescence lifetime-basedtool set for everday imaging，nature methods，2020年9月，基于d.r.james等人，recovery of underlying distributions of lifetimes from fluorescence decaydata，chemical physics letters，126卷，第1期，1986年，7-11页，和/或f.merola等人，picosecond tryptophan fluorescence of thioredoxin:evidence for discretespecies in slow exchange,biochemistry 1989,28,8，3383-3398)，图案拟合分离和相量分离。荧光寿命可以用作附加信息，或者分解可以完全基于荧光寿命。只要荧光团种类具有不同的荧光寿命，使用荧光寿命作为特性特征来分离不同荧光团种类的光谱允许发射光谱的分离，而不管它们的光谱是否重叠。使用基于寿命的分解方法也有缺点。通常，基于寿命的光谱分解方法需要高光子预算，这可能是不可用的。基于寿命的方法还需要对所使用的荧光团种类的荧光寿命的高级确定。

技术实现思路

1、因此，目的是提供用于成像设备的控制器和用于光谱分解的方法，允许进行稳健的光谱分解，并且不需要先验地了解所使用的荧光团种类的荧光寿命。

2、上述目的由独立权利要求的主题实现。有利实施例在从属权利要求和下面的描述中定义。

3、所提出的用于成像设备的控制器被配置为控制成像设备的连续光源发射第一激发光以激发第一荧光团种类，以及控制成像设备的脉冲光源发射第二激发光以激发第二荧光团种类。第一激发光具有第一波长范围，以及第二激发光具有第二波长范围。控制器还被配置为控制成像设备的光学检测单元接收由被激发的第一和第二荧光团种类发射的荧光，并控制成像设备的光学检测单元将接收的荧光分离到至少两个光谱检测通道中。第一光谱检测通道对应于包括第一荧光团种类的发射光谱的至少一部分的第一波段。第二光谱检测通道对应于包括第二荧光团种类的发射光谱的至少一部分的第二波段。控制器还被配置为控制成像设备的光学检测单元检测接收的荧光相对于第二激发光的光脉冲的光子到达时间。控制器进一步被配置为确定第二激发光的脉冲与光子到达时间之间的时间相关性，并基于时间相关性确定在第一和/或第二光谱检测通道中接收的第一数量的光子和第二数量的光子。第一数量对由第一荧光团种类发射的光子进行计数，以及第二数量对由第二荧光团种类发射的光子进行计数。第二激发光的脉冲与光子到达时间之间的时间相关性的确定例如可以按照ep 3 761 010a1中描述的进行，其完整内容通过参考包括在此。可替代地，或另外地，可以通过一个或多个检测通道的适当时间门控设置来实现接收的荧光相对于第二激发光的脉冲的光子到达时间的检测。此外，任何拟合或非拟合寿命分析方法可以作为确定检测到的信号的寿命相关性或不相关性的基础。

4、本文件意义上的连续光源是发出连续的，例如不间断的光的光源。本文件意义上的脉冲光源是发射具有脉冲形状的光或发射连续光，然后该连续光例如通过斩波轮或其他装置被时间上中断光通量以转换成脉冲光的光源。

5、优选地，第一波段被选择为使得第一光谱检测通道捕获由第一荧光团种类发射的大部分荧光。类似地，第二波段被选择为使得第二光谱检测通道捕获由第二荧光团种类发射的大部分荧光。然而，在第一和第二荧光团种类的发射光谱之间不可避免地存在重叠。因此，第一波段可包括由第二荧光团种类发射的荧光和/或第二光谱检测通道可包括由第一荧光团种类发射的荧光。为了分别分离第一和第二荧光团种类对第一和第二光谱检测通道的贡献，需要进行光谱分解。所提出的控制器被配置为执行如下文将解释的光谱分解。

6、控制脉冲光源，使得周期性地发射第二激发光，其中周期包括脉冲光源发射第二激发光的间隔和脉冲光源不发射第二激发光的间隔。第二荧光团种类仅在发射第二激发光的间隔期间被激发。因此，通过第二荧光团种类的荧光发射表现出与脉冲光源发射第二激发光的模式高度相关的周期性模式。因此，荧光的光子的到达时间也与脉冲光源发射第二激发光的模式相关。对连续光源进行控制，使得连续发射第一激发光。因此，第一荧光团种类被连续激发并连续发射荧光。因此，通过第一荧光团种类的荧光发射不表现出与脉冲光源发射第二激发光的模式相关的周期性模式。从噪声不相关的意义上说，通过第一荧光团种类的荧光发射是不相关的。

7、通过确定光子到达时间与脉冲光源的发射模式之间的相关性，控制器可以确定有多少检测到的光子可能由第一荧光团种类发射，即第一数量，以及有多少检测到的光子可能由第二荧光团种类发射，即第二数量。然后可以使用第一和第二数量来分解第一和第二荧光团种类对第一和/或第二光谱检测通道的贡献。所提出的控制器执行的分解不需要使用两个荧光团种类的荧光寿命的先验知识。此外，所提出的控制器执行的分解也具有稳健性，因为它对实验期间可能发生的两个荧光团种类的荧光寿命的变化不敏感。

8、在优选实施例中，控制器被配置为控制成像设备的至少一个附加连续光源发射第三激发光，以便激发第三荧光团种类。第三激发光具有第三波长范围。根据本实施例，控制器还被配置为控制成像设备的光学检测单元将接收的荧光分离到至少三个光谱检测通道中。与第三波段相对应的第三光谱检测通道包括第三荧光团种类的发射光谱的至少一部分和第二荧光团种类的发射光谱的一部分。根据本实施例，控制器进一步被配置为基于时间相关性确定在第三光谱检测通道中接收的第三数量的光子，其中第三数量对第三荧光团种类发射的光子计数。

9、优选地，选择第三波段，使得第三光谱检测通道捕获由第三荧光团种类发出的大部分荧光。然而，由于荧光团种类的发射光谱之间的重叠，第三波段可包括由第二荧光团种类发射的荧光。为了分离荧光团种类对第三光谱检测通道的贡献，需要进行光谱分解。在此实施例中，控制器被配置为在第三光谱检测通道中执行光谱分解。

10、控制器确定在第三光谱检测通道中光子到达时间与脉冲光源的发射模式之间的相关性。通过第二荧光团种类的荧光发射与脉冲光源的发射模式相关，而第三荧光团种类的荧光发射与脉冲光源的发射模式无关。因此，从相关性，控制器可以确定在第三光谱检测通道中计数的光子有多少可能由第二荧光团种类发射，从而确定有多少光子可能由第三荧光团发射，即第三数量。然后，可以使用第三数量来分解第二和第三荧光团种类对第三光谱检测通道的贡献。

11、第三波段还可以包括由第一荧光团种类发射的荧光。在这种情况下需要额外的分解。然而，通过相应地选择第三波段，第一荧光团种类对第三光谱检测通道的贡献可以最小化到可以忽略不计的程度。

12、在另一优选实施例中，控制器被配置为控制成像设备的至少一个附加脉冲光源发射第四激发光，以激发第四荧光团种类。第四激发光具有第四波长范围。根据本实施例，控制器还被配置为控制成像设备的光学检测单元将接收的荧光分离为至少三个、优选四个光谱检测通道。第四光谱检测通道对应于包括第四荧光团种类的发射光谱的至少一部分和第一、第二和/或第三荧光团种类的发射光谱的一部分的第四波段。根据本实施例，控制器还被配置为控制成像设备的光学检测单元检测接收的荧光相对于第四激发光的脉冲的光子到达时间和/或检测接收的荧光相对于第二激发光的脉冲的光子到达时间。控制器进一步被配置为确定第四激发光的脉冲和/或第二激发光的脉冲与光子到达时间之间的时间相关性，并基于时间相关性确定第四光谱检测通道中接收的第四数量的光子。第四数量对第四荧光团种类发射的光子进行计数。

13、优选地，选择第四波段，使得第四光谱检测通道捕获由第四荧光团种类发射的大部分荧光。然而，由于荧光团种类的发射光谱之间的重叠，第四波段可包括由第一、第二和/或第三荧光团种类发射的荧光。为了分离荧光团种类对第四光谱检测通道的贡献，需要进行光谱分解。在此实施例中，控制器被配置为在第四光谱检测通道中执行光谱分解。

14、控制附加脉冲光源使得周期性地发射第四激发光，其中周期包括脉冲光源发射第四激发光的间隔和脉冲光源不发射光的间隔。第四荧光团种类仅在发射第四激发光和用第四种激发光照射荧光团的间隔期间被激发。因此，由第四荧光团种类的荧光发射表现出与附加脉冲光源发射第四激发光的模式高度相关的周期性模式。因此，由第四荧光团种类发射的荧光的光子的到达时间也与附加脉冲光源发射第四激发光的模式相关。与此相反，第一和/或第三荧光团种类的荧光光子的到达时间与附加脉冲光源发射第四激发光的模式不相关。

15、控制器确定第四光谱检测通道中光子到达时间与附加脉冲光源的发射模式之间的相关性。因此，控制器可以确定在第四光谱检测通道中计数的光子有多少可能由第四荧光团种类发射，即第四数量，从而确定有多少光子可能由第一和/或第三荧光团种类发射，因此不应分配给第四数量，而应分配给第一或第三数量。然后，可以使用第四数量来分解第一、第三和第四荧光团种类对第四光谱检测通道的贡献。

16、第四波段可包括由第二荧光团种类发射的荧光。通过相应地选择第四波段，可以将第二荧光团种类对第四光谱检测通道的贡献最小化到可以忽略不计的程度。此外，附加脉冲光源的模式，即周期长度，特别地可以不同于发射第二激发光的脉冲光源的周期长度。换句话说，(第二和第四)脉冲光源的脉冲频率可能不同，和/或(第二和第四)脉冲光源发射的脉冲可以是异步发射或照明荧光团种类。因此，由于与发射第二激发光的脉冲光源的模式的相关性，可以识别第二荧光团种类对第四光谱检测通道的贡献。另一方面，由于与发射第四激发光的附加脉冲光源的模式的相关性，可以识别第四荧光团种类对第四光谱检测通道的贡献。

17、控制器可被配置为控制附加光源发射附加激发光。附加光源可以是脉冲的或连续的。对于每个附加光源，控制器被配置为控制光学检测单元将接收的荧光分离到对应于附加波段的附加光谱检测通道中。附加光谱检测通道中的分解是根据上述相同的原理进行的。

18、激发光的第一、第二、第三和/或第四波长范围可具有至少2nm的宽度，以及例如10nm、20nm或高达50nm的宽度，但可扩展至最多300nm的宽度。可替代地，第一、第二、第三和/或第四波长范围可以包括单个波长。因此，当提及激发光时，术语波长和波长范围在本文件中可互换使用。光谱检测通道的第一、第二、第三和/或第四波段可具有至少2nm的宽度，优选至少10nm，以及至多300nm的宽度。可替代地，第一、第二、第三和/或第四波段可以包括单个波长。

19、光谱检测通道的波段可以被布置为使得主要包括由连续光源激发的荧光团种类发射的荧光的波段后面跟着主要包含由脉冲光源激发的荧光团种类发射的荧光的波段。在这种波段的交替布置中，可以在各个光谱检测通道中识别由一种类型的光源，即连续或脉冲光源，激发的荧光团种类之间的串扰，从而大大减少“不希望的”检测到的串扰在检测期间的贡献，在理想情况下甚至完全清除这些不希望的贡献。这反过来又使它更容易基于光子到达时间和脉冲光源的发射模式之间的时间相关性识别荧光团种类。

20、激发光的波长范围和光谱检测通道的波段可以特别地以交替方式布置。然而，根据使用的荧光团种类的斯托克斯位移的大小，这可能不是理想的布置。特别地，大的斯托克斯位移可能需要波长范围和波段的另一种布置。

21、在另一优选实施例中，控制器被配置为使用机器学习或深度学习确定第一数量和第二数量和/或第三数量和/或第四数量。在本实施例中，控制器使用机器学习或深度学习来区分不同的荧光信号。特别地，控制器使用机器学习或深度学习来确定脉冲光源的激发光的脉冲与光子到达时间之间的时间相关性。使用机器学习或深度学习可以极大地帮助确定第一、第二、第三和/或第四数量，从而提高控制器的可靠性。机器学习技术包括但不限于支持向量机和神经网络。大多数机器学习和深度学习技术需要使用适当的训练数据集进行监督或无监督训练。训练数据集的选择取决于使用的机器学习或深度学习技术的具体任务。用于确定第一、第二、第三和/或第四数量的适当训练数据集可以包括模拟数据，例如通过蒙特卡罗方法生成的模拟数据。

22、本发明还涉及成像设备，包括上述的控制器。成像设备还包括被配置为发射第一激发光的至少一个连续光源，以及被配置为发射第二激发光的至少一个脉冲光源。第一激发光具有第一波长范围，以及第二激发光具有第二波长范围。成像设备进一步包括光学检测单元，光学检测单元被配置为接收由被激发的第一和第二荧光团种类发射的荧光，将接收的荧光分离到至少两个光谱检测通道中，并检测接收的荧光相对于第二激发光的脉冲的光子到达时间。

23、成像设备具有与上述控制器相同的优点，并且可以使用针对控制器的从属权利要求的特征进行补充。

24、成像设备的光学检测单元被配置为检测光子到达时间，即光学检测单元能够对接收的荧光的光子进行时间分辨检测。对接收的荧光的光子的时间分辨检测例如通过为每个检测到的光子分配到达时间来实现。优选地，光学检测单元包括能够将到达时间分配给检测的光子的至少一个检测器元件。

25、在优选实施例中，光学检测单元包括能够进行光子计数的至少一个检测器元件。在本实施例中，光学检测单元被配置为通过能够光子计数的至少一个检测器元件为每个检测到的光子分配到达时间。光子计数可以提高检测器元件的时间分辨率。时间分辨率极大地影响确定激发光的脉冲与光子到达时间之间的时间相关性的质量，从而影响第一、第二、第三和/或第四数量的确定。因此，改善时间分辨率大大改善由成像设备的控制器执行的分解。

26、在另一优选实施例中，光学检测单元包括至少一个物镜，优选为显微镜物镜，用于接收由第一和第二荧光团种类发射的荧光。物镜可以提供放大倍率，使肉眼看不见的小细节得以分辨。因此，例如，可以通过成像设备对样本的较小的结构进行成像。

27、在另一优选实施例中，连续光源和/或脉冲光源包括至少一个激光光源。激光光源可以例如是vis或ir范围内的脉冲激光光源。使用激光激发荧光团种类具有一定的优势。例如，激光具有相干性，因此可以比非相干光更容易聚焦，并且具有更高的功率密度。可替代地或另外地，连续光源和/或脉冲光源可包括其它光源，例如led元件或气体放电灯，诸如氩气灯。

28、在另一优选实施例中，脉冲光源包括被配置为发射超连续谱激光的超连续谱激光光源或白光激光光源。超连续谱激光通常包括一个或多个倍频程的频率范围。因此，超连续谱激光光源或白光激光源可用于激发大范围的荧光团种类，例如，通过从超连续谱激光中提取不同的单一波长范围或单一波长，用作来自超连续谱或白色激光的激发光，例如通过滤波器，特别是可调谐滤波器，诸如声光可调谐滤波器。在此实施例中，使用较少的光源使成像设备更紧凑。

29、在另一优选实施例中，光学检测单元包括至少两个检测器元件和分束装置，分束装置被配置为将接收的具有第一波段内波长范围的荧光引导到能够为检测到的光子分配到达时间的第一检测器元件，以及将接收的具有第二波段内波长范围的荧光引导到能够为检测到的光子分配到达时间的第二检测器元件。在此实施例中，将分束元件和第一、第二检测器元件用作生成第一、第二光谱检测通道的装置。与生成第一和第二光谱检测通道的其他装置相比，使用分束元件和第一和第二检测器元件易于实现，具有成本效益和可靠性。此外，这种光学布置的优点是，由光学检测单元接收的荧光分布在检测器元件之间，因此很少或没有荧光损失。

30、在另一优选实施例中，光学检测单元包括多光谱相机或高光谱相机，其被配置为生成至少两个光谱检测通道并能够为检测的光子分配到达时间。多光谱相机被配置为捕获有限数量的波段，通常小于或约为10。这些波段中的每一个可以是光学检测单元的光谱检测通道。高光谱相机被配置为每像素捕获数十或数百个波段。换句话说，高光谱图像具有非常高的光谱分辨率。更多的波段允许基于其发射光谱对荧光的来源进行更精细的区分，从而提高成像设备的灵敏度和可靠性。

31、在另一优选实施例中，成像设备是显微镜，特别是共焦显微镜。

32、本发明进一步涉及使用成像设备进行光谱分解的方法，方法包括以下步骤：用连续光源发射的第一激发光激发第一荧光团种类，第一激发光具有第一波长范围。用脉冲光源发射的第二激发光激发第二荧光团种类，第二激发光具有第二波长范围。接收被激发的第一和第二荧光团种类发射的荧光。将接收的荧光分离到至少两个光谱检测通道中，第一光谱检测通道对应于包括第一荧光团种类的发射光谱的至少一部分的第一波段，以及第二光谱检测通道对应于包括第二荧光团种类的发射光谱的至少一部分的第二波段。检测接收的荧光相对于第二激发光的脉冲的光子到达时间。确定第二激发光的脉冲与光子到达时间之间的时间相关性。基于时间相关性确定在第一和/或第二光谱检测通道中接收的第一数量的光子和第二数量的光子，其中第一数量对第一荧光团种类发射的光子进行计数，以及第二数量对第二荧光团种类发射的光子进行计数。

33、方法具有与上述控制器和成像设备相同的优点，并且可以使用针对控制器和/或成像设备的从属权利要求的特征进行补充。