显微镜系统及相应的控制系统、方法和计算机程序与流程

1.示例涉及显微镜系统及相应的控制系统、方法和计算机程序，并且更具体地但不排他地 涉及用于确定显微镜系统的可移动样本台的位置的构思。


背景技术：

2.用于工业应用的显微镜通常具有能够沿两个轴(进一步表示为x轴和y轴)移动的可 移动样本台。为了在样本台的各个位置执行成像，可能需要对样本台的精确x-y定位以用 于对象对齐和图像拼接。在许多情况下，使用光学或磁性线性编码器确定样本台的x-y位 置。图像拼接可以使用测量的x-y位置以及图像标志(样本的)来对齐和校勘图像。
3.但是，线性编码器的热膨胀系数可能与样本台不同，从而导致位置读数不准确。此外， 为了在每个期望的x-y位置捕捉图像，样本台可能必须停止。当x-y位置不准确时，以及 当对象具有较弱的可视对比度或重复图案时，图像拼接可能会很困难或不准确。
4.可能期望提供一种用于确定可移动样本台的位置的改进构思。


技术实现要素：

5.该期望通过独立权利要求的主题来解决。
6.本公开的各个示例基于以下发现，即代替使用线性编码器来确定可移动样本台的位置， 可以选择利用可视标记的可视方法，其中可视标记显示在样本台的顶部或下方。由于可视标 记是样本台的一部分，因此样本台和可视标记的热膨胀率可以相同或至少相似。光学成像传 感器用于生成显示可视标记的图像的图像数据，并且分析图像数据以确定样本台的位置。
7.本公开的各个示例涉及显微镜系统。显微镜系统包括配置成生成被布置在样本台上的样 本的图像的显微镜。显微镜系统包括被配置为承载样本的样本台。样本台包括可视标记。显 微镜系统包括光学成像传感器，光学成像传感器被配置为提供显示样本台的可视标记的图像 的图像数据。显微镜系统包括控制系统，控制系统被配置为基于显示可视标记的图像的图像 数据来确定样本台的位置。由于可视标记是样本台的一部分，因此也遵循样本台的热膨胀率， 可以达到更高的准确度。
8.在各个示例中，样本台被配置为沿两个横向维度移动。控制系统可以被配置为确定样本 台相对于两个横向维度的位置。换言之，可以确定样本台的x-y位置。
9.例如，样本台可以是机动化的样本台。机动化的样本台可以用于跨样本台的多个位置自 动记录大样本。
10.在一些示例中，可以通过连续保持样本台移动来增加显微镜的成像产量。例如，样本台 可以连续移动，而不是拍摄每个图像时停止样本台，并且所提出的构思可以用于在样本台移 动时确定样本台的位置。例如，机动化的样本台可以被配置为在显微镜在多个时间点生成多 个图像时连续移动。光学成像传感器可以被配置为在机动化的样本台处于运动中时生成显示 可视标记的图像的图像数据。控制系统可以被配置为基于在机动化的样本
台处于运动中时生 成的显示可视标记的图像的图像数据来确定机动样本台在多个时间点的位置。这可以增加显 微镜系统的产量。
11.为了避免或减少在样本台连续移动情况下的运动伪影，可以使用闪光灯。显微镜系统可 以包括通过光频闪照亮可视标记和/或样本的至少一个照明元件。控制系统可以被配置为触 发照明元件以在多个时间点发出光频闪。光频闪可以比环境光更亮，使得由显微镜的光学成 像传感器记录的和/或由用于确定样本台的位置的光学成像传感器记录的大部分光是由光频 闪引起的。
12.例如，控制系统可以被配置为触发照明元件发出光频闪，使得由显微镜生成的图像的每 个像素和/或显示可视标记的图像的图像数据的样本的每个像素暴露于相同光频闪的反射。 例如，可以对光频闪进行定时，使得当逐行或逐块读取相应的光学成像传感器时，用于生成 图像帧的光学成像传感器的所有行/块都暴露于来自相同频闪的光。
13.在一些示例中，可视标记布置在样本台的底侧并且光学成像传感器布置在样本台下方。 这样，可视标记可能不会被大样本覆盖，并且例如，当显微镜倾斜时，可以在不干扰光学成 像传感器的情况下操纵显微镜。
14.可替换地，可视标记设置在样本台的顶侧，并且光学成像传感器设置在样本台上方。在 这种情况下，用于发射光频闪的相同照明元件可以用于样本和可视标记。
15.在一些示例中，显微镜系统包括两个或更多个光学成像传感器，用于提供显示样本台的 两个或更多个可视标记中的至少一个的两个或更多个图像的图像数据。控制系统可以被配置 为基于显示两个或更多个可视标记中的至少一个的两个或更多个图像的图像数据来确定样 本台的位置。通过使用多个相机和可视标记，可以使用较小的标记和光学成像传感器与可视 标记之间的较短距离，同时仍然允许大的横向移动。
16.例如，可视标记的横向大小可以至少与样本台的最大横向移动一样大。在这种情况下， 可视标记的尺寸使得能够确定样本台的位置。
17.在一些示例中，可视标记具有二维可视图案。二维图案可以用于确定样本台在两个横向 维度中的位置。
18.可替换地或附加地，样本台可以包括与样本台的第一横向移动方向对齐的第一可视标记 和与样本台的第二横向移动方向对齐的第二可视标记。第一标记和第二标记中的每一个可以 具有一维可视图案。在这种情况下，第一可视标记可以用于确定样本台沿第一横向移动方向 的位置，第二可视标记可以用于确定样本台沿第二横向移动方向的位置。
19.在各个示例中，控制系统可以被配置为确定样本台相对于显微镜的位置。这样，样本台 的位置以及因此被记录的样本的位置可以与显微镜拍摄的图像一起记录。例如，控制系统可 以被配置为利用生成图像时样本台的位置来注释由显微镜拍摄的图像。
20.本公开的各个示例涉及用于显微镜系统的相应控制系统。显微镜系统包括配置成生成被 布置在样本台上的样本的图像的显微镜和配置成承载样本的样本台。样本台包括可视标记。 控制系统包括一个或更多个处理器和一个或更多个存储设备。系统被配置为从显微镜系统的 光学成像传感器获得显示样本台的可视标记的图像的图像数据。系统被配置为基于显示可视 标记的图像的图像数据来确定样本台的位置。
21.本公开的各个示例涉及用于显微镜系统的相应方法。显微镜系统包括配置成生成被布置 在样本台上的样本的图像的显微镜和配置成承载样本的样本台。样本台包括可视
标记。方法 包括获得显示样本台的可视标记的图像的图像数据。方法包括基于显示可视标记的图像的图 像数据来确定样本台的位置。
22.本公开的各个示例涉及对应的计算机程序，具有程序代码，用于当计算机程序在处理器 上执行时执行上述方法。
附图说明
23.以下将仅以示例的方式并参考附图描述装置和/或方法的一些示例，其中：
24.图1a示出了显微镜系统的示例的示意图；
25.图1b示出了用于显微镜系统的控制系统的示例的框图；
26.图1c示出了包括控制系统的显微镜系统的示例的示意图；
27.图2示出了闪光灯相对于光学成像传感器的读取的时序图的示例；
28.图3示出了用于显微镜系统的方法的示例的流程图；和
29.图4示出了包括显微镜和计算机系统的系统的示意图。
30.附图标记列表
31.100
ꢀꢀ
显微镜系统
32.110
ꢀꢀ
显微镜
33.120
ꢀꢀ
样本
34.130
ꢀꢀ
样本台
35.140
ꢀꢀ
可视标记
36.150
ꢀꢀ
光学成像传感器
37.160
ꢀꢀ
控制系统
38.162
ꢀꢀ
接口
39.164
ꢀꢀ
处理器
40.166
ꢀꢀ
存储设备
41.170
ꢀꢀ
照明元件
42.210
ꢀꢀ
第一帧
43.211
ꢀꢀ
第一行曝光开始
44.212
ꢀꢀ
最后一行曝光开始
45.213
ꢀꢀ
频闪
46.214
ꢀꢀ
第一行曝光结束
47.215
ꢀꢀ
最后一行曝光结束
48.220
ꢀꢀ
第二帧
49.230
ꢀꢀ
第三帧
50.240
ꢀꢀ
第四帧
51.310
ꢀꢀ
获取图像数据
52.320
ꢀꢀ
确定样本台的位置
53.400
ꢀꢀ
系统
54.410
ꢀꢀ
显微镜
55.420
ꢀꢀ
计算机系统
具体实施方式
56.现在将参考示出了一些示例的附图更全面地描述各种示例。在图中，为了清楚起见，线、 层和/或区域的厚度可能被夸大。
57.图1a示出了显微镜系统100的示例的示意图。显微镜系统100包括显微镜110，显微镜 110被配置为生成布置在样本台上的样本120的图像。一般来说，显微镜是一种光学仪器， 适用于检查太小而不能被人眼(单独)检查的对象。例如，显微镜可以提供对诸如样本120 的样本的光学放大。在现代显微镜中，通常为相机或诸如显微镜110的光学成像传感器的成 像传感器提供光学放大。显微镜110还可以包括用于放大样本视图的一个或更多个光学放大 组件，例如物镜(即透镜)。
58.显微镜有多种不同类型。如果显微镜用于医学或生物领域，则通过显微镜观察的样本可 以是例如布置在培养皿内或存在于患者身体的一部分中的有机组织的样本。例如，显微镜系 统100可以是用于实验室的显微镜系统，例如，用于检查培养皿中的有机组织的样本的显微 镜。可替换地，显微镜系统100可以是用于材料科学和/或质量控制的显微镜系统。特别地， 显微镜系统100可以是通过生成多个图像并将其拼接在一起来生成大样本的高度详细的图 像的显微镜系统。尽管结合显微镜描述了实施例，但它们也可以以更广泛方式应用于任何光 学装置。
59.显微镜系统100的显微镜110与许多附加的可选或强制性组件一起使用。因此，术语“显 微镜系统”也用于涵盖不是实际显微镜(包括光学组件，因此也称为“光学载体”)的一部 分，但与显微镜相结合使用的系统的部分，例如样本台、附加的光学成像传感器和控制系统， 如下所示。
60.显微镜系统还包括被配置为承载样本的样本台(例如，x-y-台)130。样本台包括可视 标记140(其布置在样本台的图案区域处)。显微镜系统还包括光学成像传感器(也表示为 x-y相机)150，光学成像传感器150被配置为提供显示样本台的可视标记的图像的图像数 据。
61.显微镜系统还包括控制系统，控制系统被配置为基于显示可视标记的图像的图像数据来 确定样本台的位置。图1b示出了例如用于图1a的显微镜系统的显微镜系统的控制系统160 的示例的框图。例如，如图1b所示，控制系统160包括一个或更多个处理器164和一个或 更多个存储设备166。可选地，控制系统包括一个或更多个接口162。一个或更多个处理器 耦合到一个或更多个存储设备和可选的接口。通常，控制系统的功能由一个或更多个处理器 提供，例如，结合可选的接口(用于交换信息)和/或一个或更多个存储设备(用于存储数 据)来提供。控制系统160被配置为从显微镜系统的光学成像传感器150(例如通过接口162) 获得显示样本台的可视标记的图像的图像数据。控制系统被配置为基于显示可视标记的图像 的图像数据来确定样本台的位置。
62.在图1c中，示出了包括控制系统160的显微镜系统100的示例的示意图。图1c的显微 镜系统100示出了附加的可选部件，例如至少一个照明元件170。
63.本公开的各种示例提供了用于检测显微镜的样本台的位置的构思，以支持由显微镜生成 的图像的图像拼接。所提出的显微镜系统配备有样本台130，其位置由控制系统确定。因此， 样本台可以相对于显微镜110移动(并且因此是可移动的)。此外，样本台可以相对于光学 成像传感器150移动。换句话说，光学成像传感器可以保持在固定位置，而样本台
相对于光 学成像传感器移动。实际上，如果样本台移动，则显微镜110和光学成像传感器150的位置 可以相对于样本台130移动。在一些示例中，样本台可以手动移动。可替换地，样本台可以 是机动化的样本台。换言之，样本台可以包括用于移动样本台的马达。例如，样本台可以被 配置为根据例如z形图案或根据蛇形图案的预定图案相对于显微镜移动。
64.在各个示例中，样本台可以相对于显微镜110沿着一个或两个横向维度移动。特别地， 在一些示例中，样本台可以被配置为沿着两个横向维度移动(其中一个横向维度垂直于另一 个横向维度)。因此，样本台也可以表示为x-y台，因为它可以沿x横向维度和y横向维 度移动。在一些示例中，样本台可以进一步沿第三维度(即竖直维度或z维度)移动。在这 种情况下，横向(即水平)维度被定义为垂直于重力方向，而竖直维度被定义为平行于重力。
65.样本台包括用于确定样本台的位置的可视标记140。例如，可视标记可以印刷在样本台 上，或者可视标记可以蚀刻到样本台中，例如使用基于激光的蚀刻方法。可替换地，可视标 记可以是样本台的材料所固有的，例如，由用于制造样本台的铸件或工具产生。可替换地， 可视标记可以使用粘合剂或使用用于将可视标记固定到样本台的其他机械手段(例如使用螺 钉或铆钉)而附接到样本台。在各个示例中，可视标记可以被设计为使得镜面反射被减少或 最小化。
66.在一些示例中，如图1a和图1c所示，可视标记140布置在(例如，印刷、蚀刻或附接 到)样本台的底侧，并且光学成像传感器布置(竖直地)在样本台下方。可替换地，可视标 记可以布置在(例如，印刷、蚀刻或附接到)样本台的顶侧，并且光学成像传感器可以布置 在样本台上方(未示出)。在这种情况下，术语样本台的“顶侧”可以是背离地球重心的样 本台的一侧，而样本台的“底侧”可以是面向地球重心的样本台的一侧。类似地，光学成像 传感器被布置在样本台上方意味着光学成像传感器比样本台位于更远离地球重心的位置，或 者至少比样本台的包括可视标记的表面位于更远离地球重心的位置。相应地，光学成像传感 器被布置在样本台下方意味着光学成像传感器比样本台位于更靠近地球重心的位置，或者至 少比样本台的包括可视标记的表面位于更靠近地球重心的位置。这些定义假定显微镜系统以 允许显微镜在样本放置在样本台上的情况下进行操作的方式定向。
67.样本台的位置是通过生成和分析样本台的可视标记的图像数据来确定的。当样本台移动 时，可视标记随着样本台移动。对应地，在样本台也相对于光学成像传感器移动时，在显示 可视标记的图像中可见的可视标记的一部分也随着样本台的移动而改变。当样本台沿一个或 两个横向维度移动时，可视标记也移动，并且可视标记的移动显示在显示可视标记的图像中。
68.这对用于确定样本台在样本台的整个移动范围上的位置的可视标记的大小有影响，可视 标记的一部分可以在样本台的任何(横向)位置显示在由光学成像传感器生成的图像数据的 图像中。因此，可视标记的横向大小(例如，在可视标记的两个最外部分之间沿一个或两个 横向维度的最大横向距离)可以至少与样本台的最大横向移动一样大。换言之，可视标记可 以足够大，使得在样本台的任何横向位置，可视标记的一部分可以显示在由光学成像传感器 生成的图像数据的图像中。在一些示例中，这可以通过使用单个连续的可视标记来实现。可 替换地，样本台可以包括两个或更多个可视标记，两个或更多个可视标记可以由两个或更多 个光学成像传感器记录。换言之，显微镜系统可以包括两个或更多个光学成像传感器，用于 提供显示样本台的两个或更多个可视标记中的至少一个的两个
或更多个图像的图像数据。可 替换地，可以使用单个光学成像传感器以提供显示样本台的两个或更多个可视标记的图像的 图像数据，或者可以使用两个或更多个光学成像传感器以提供显示单个连续可视标记的图像 的图像数据。
69.通常，可视标记可以使用为后续分析提供足够对比度的任何可视图案。例如，可视标记 可以包括(伪)随机图案，例如基于点、矩形、三角形、多边形等的随机图案。可替换地， 可视标记可以是材料表面的固有纹理。在一些示例中，可以使用二维可视图案，因此可以可 靠地跟踪沿两个横向维度的移动。换言之，可视标记可以具有二维可视图案。可替换地，可 以使用各自具有诸如条形码的一维可视图案的两个可视标记。换言之，样本台可以包括与样 本台的第一横向运动方向对准的第一可视标记和与样本台的第二横向运动方向对准的第二 可视标记，其中第一可视标记和第二可视标记中的每一个具有一维(或甚至二维)可视图案。 可以减少或最小化由于图案引起的镜面反射，从而可以可视地跟踪样本台的运动，并因此跟 踪可视标记。
70.在所提出的构思中，控制系统采用光学成像传感器150来生成可视标记的图像数据，控 制系统进而评估可视标记的图像数据以确定样本台的位置。相应地，光学成像传感器150被 配置为生成图像数据。例如，光学成像传感器150和/或显微镜110的光学成像传感器可以 包括或者是基于aps(有源像素传感器)或ccd(电荷耦合器件)的成像传感器。例如， 在基于aps的成像传感器中，使用光探测器和像素的有源放大器在每个像素处记录光。基 于aps的成像传感器通常基于cmos(互补金属氧化物半导体)或s-cmos(科学cmos) 技术。在基于ccd的成像传感器中，入射光子在半导体-氧化物接口处转换为电子电荷，随 后通过成像传感器的控制电路在成像传感器中的电容仓(capacitive bin)之间移动以执行成 像。系统160被配置为从光学成像传感器获得(即，接收或读取)图像数据。可选地，系统 160可以被配置为从显微镜110的光学成像传感器获得进一步的图像数据。可以通过以下方 式获得图像数据：通过从相应的光学成像传感器(例如，经由接口162)接收图像数据，通 过从相应光学成像传感器的存储器(例如，通过接口162)读取图像数据，或者例如，在相 应的光学成像传感器或另一系统或处理器已经将图像数据写入存储设备166后，通过从控制 系统160的存储设备166读取图像数据。
71.光学成像传感器150的图像数据包括显示样本台的可视标记的图像。相应地，光学成像 传感器150可以指向样本台的可视标记，即指向样本台。当可视标记(连同样本台)在光学 成像传感器上方或下方移动时，可视标记的移动由图像数据表示。换言之，在给定时间，图 像数据包括根据样本台的当前位置显示可视标记(例如可视标记的一部分)的图像。例如， 在样本台的每个位置，可视标记的独特部分可以由包括在图像数据中的图像显示。
72.在各个示例中，可以在多个时间点上跟踪样本台的位置。例如，样本台可以连续移动， 而样本的图像由显微镜(或者更确切地说是显微镜的光学成像传感器)在多个时间点生成。 换言之，可以在样本台移动时拍摄样本台和可视标记的图像。对应地，图像数据可以包括显 示可视标记(或者更确切地说是可视标记的多个部分)的多个图像，多个图像示出样本台在 多个时间点的位置。例如，样本台可以连续移动，但移动方向的变化除外。然而，即使在移 动中存在这种不连续性，样本台的移动也可以被认为是连续的。
73.随后，控制系统用于分析图像数据并确定样本台的位置。通常，样本的位置可以相对于 一个或两个横向维度来定义。换言之，控制系统可以被配置为相对于一个或两个横向
维度来 确定样本台的位置。例如，控制系统可以被配置为相对于表示一个或两个横向维度的一维或 二维坐标系来确定样本台的位置。例如，对于一个或二个维度中的每一个，样本台的位置可 以由控制系统确定。
74.在一些示例中，样本台的位置可以相对于显微镜来确定。换言之，控制系统被配置为确 定样本台相对于显微镜的位置。例如，显微镜可以在一维或二维坐标系内具有固定位置，因 此也可以相对于显微镜确定样本台相对于一维或二维坐标系的位置。
75.通常，可以分析显示可视标记的图像中所示的图案以确定样本台的位置。例如，在样本 台的每个位置，图像可以显示可视标记的一部分，而每个部分具有独特的图案。例如，控制 系统可以被配置为将图像中所示的可视标记的部分与可视标记的(整个)图案进行比较，以 确定该部分在可视标记内的位置，并基于该部分在可视标记内的位置确定样本台的位置。可 替换地或附加地，样本台的位置可以被编码在可视标记的图案内。例如，可视标记可以包括 编码在可视标记的图案内的多个位置指示器，多个位置指示器嵌入在可视标记的多个预定义 位置处。例如，控制系统可以被配置为解码图像中所示的一个或更多个位置指示器，以基于 解码的位置指示器确定样本台的位置。例如，如果图像中显示了一个或更多个位置指示器， 则图像内的一个或更多个位置指示器的位置可以用于确定样本台的位置。
76.如上所述，在一些情况下，两个或更多个光学成像传感器可以与布置在样本台的不同位 置的两个或更多个可视标记结合使用。在这种情况下，可以使用相同的方法，取决于两个或 更多个可视标记中的哪一个在给定时间是可见的。例如，控制系统可以被配置为基于显示两 个或更多个可视标记中的至少一个的两个或更多个图像的图像数据来确定样本台的位置。在 任何给定时间，两个或更多个可视标记中的至少一个可以显示在两个或更多个图像中的至少 一个中。因此，控制系统可以被配置为基于在两个或更多个图像中的至少一个中示出的两个 或更多个可视标记中的至少一个来确定样本台的位置。
77.通常，结合图1a至图1c介绍的显微镜系统可以用作生成样本的(高度详细的)合成图 像的显微镜，其通过使用显微镜的光学成像传感器生成样本的多个(部分重叠的)图像并随 后将多个图像拼接在一起来生成合成图像。通过同步x-y相机(即光学成像传感器150)、 显微镜的主相机(即显微镜的光学成像传感器)和它们各自的(闪光)光源，可以在样本台 移动时捕获具有准确xy位置信息的照片。样本台可用于在拍摄图像时相对于显微镜移动样 本。在其他系统中，这个过程可能需要很长时间，因为样本台在位置之间移动，停止，拍摄 图像，确定拍摄图像的位置，然后拍摄下一个位置。在本公开的各个示例中，可以使用所提 出的构思来加速该过程。
78.例如，样本台的移动可以是连续的，而不是在显微镜的光学成像传感器拍摄每个图像时 停止样本台。换言之，机动化的样本台可以被配置为在显微镜在多个时间点生成多个图像时 连续移动，例如，不会停止样本台以便在样本相对于显微镜处于固定位置时曝光显微镜的光 学成像传感器。相应地，光学成像传感器150可以被配置为在机动化的样本台处于运动中时 生成显示可视标记的图像的图像数据。换言之，在样本台处于运动中时，显微镜的光学成像 传感器可以在多个时间点生成图像或者更确切地说生成待拼接在一起而形成样本的合成图 像的多个图像，并且用于确定样本台的位置的光学成像传感器可以在多个时间点生成对应的 图像。控制系统可以被配置为基于在机动化的样本台处于运动中
时生成的显示可视标记的图 像的图像数据来确定机动化的样本台在多个时间点的位置。例如，在多个时间点中的每一个 时间点，显微镜的光学成像传感器和用于确定样本台的位置的光学成像传感器可以生成图 像。可以基于光学成像传感器150在多个时间点拍摄的图像来确定样本台在多个时间点的位 置。
79.如果样本台在显微镜的光学成像传感器和用于确定样本台的位置的光学成像传感器暴 露于从样本和可视标记分别反射的光时移动，则可以在各自的图像中观察到运动伪影。此外， 光学成像传感器通常应用所谓的“卷帘快门”。通常，光学成像传感器可以包括二维像素网 格，包括多行像素和多列像素。读取二维像素网格的内容以生成一帧图像数据。在许多情况 下，一次只读取二维像素网格的像素子集，例如逐行或逐块读取。为了确保所有像素暴露于 相同(或至少相似)量的光，所有像素的像素暴光持续时间可以(基本上)相同。由于某些 像素比其他像素更早被读取，因此这些像素也更早地暴露在光下以保持相同的曝光持续时 间。越晚读取像素，越晚开始像素的曝光。该构思结合图2显示。
80.图2示出了相对于光学成像传感器的读取的闪光灯的时序图的示例。例如，闪光灯时序 与光学成像传感器曝光时序同步。在图2中，x轴表示时间。示出了四个帧，第一帧210、 第二帧220、第三帧230和第四帧240。如图2所示，像素行的曝光和像素行的随后读取是 时移的。图2示出了指示第一帧210的第一行的曝光开始的线211，以及指示第一帧210的 最后一行的曝光开始的另一线212。图2还示出了指示第一行的曝光结束的线214和指示最 后一行的曝光结束的线215。如图2所示，第一帧210的最后一行的曝光结束可能与第二帧 220的第一行(或更确切地说大部分行)的曝光开始重叠。因此，存在时间间隔(在最后一 行的曝光开始212和第一行的曝光结束214之间)，其中光学成像传感器的所有像素都暴露 于相同的光。
81.此时可以使用闪光灯213来照亮样本(和/或可视标记)，使得光学成像传感器记录的光 主要基于闪光灯的反射，从而淹没所记录的除闪光灯的反射之外的光。换言之，为了减少或 最小化卷帘快门失真，并且为了可视图案的一致照明，用于确定样本台的位置的光学成像传 感器和/或显微镜的光学成像传感器可以具有安装在其透镜旁边或周围的同步闪光灯170(如 图1c所示)。显微镜的主要光学成像传感器和光源也可以与用于确定样本台的位置的光学成 像传感器和光源同步，以允许在xy台处于运动中时进行连续拍摄。换言之，显微镜系统可 以包括用于通过闪光灯照亮可视标记和/或样本的至少一个照明元件170。控制系统可以被配 置为触发照明元件以在多个时间点发射光频闪，例如，在帧的生成期间，在像素网格的第一 行停止曝光之前且在像素网格的最后一行开始曝光之后。控制系统可以被配置为触发照明元 件发射光频闪，使得由显微镜生成的图像的每个像素和/或显示可视标记的图像的图像数据 的样本的每个像素暴露于相同光频闪的反射，例如，如果传感器被逐行曝光并读取，在帧的 生成期间，在像素网格的第一行停止曝光之前且在像素网格的最后一行开始曝光之后。因此， 灯/照明元件可以在各个光学成像传感器的最后一行开始曝光之后且在第一行停止曝光之前 发出短暂但强烈的光猝发。实际上，在使用带有电子卷帘快门的图像传感器的情况下，可以 使用闪光光源来消除样本台移动时的图像倾斜。
82.所生成图像的位置分辨率由放大率和信噪比(snr)的组合决定。例如，假设snr足 够高以用于精确的1/4像素精度的运动估计，图像传感器的像素间距为1.55μm，并且所需的 x-y精度为0.4μm。1.55/0.4/4＝0.96875倍放大率或更高的镜头可能就足够了。样本台的最
大 速度可能会受到相机的视野和帧速率的限制，因此可以在相邻帧之间有足够的重叠图像内容 来计算运动。
83.通常，样本台的位置用于将显微镜的光学成像传感器生成的图像拼接在一起以生成合成 图像。例如，有关样本台的位置信息，例如在多个时间点的位置信息，可以存储在控制系统 的存储设备166中，或者提供给外部实体。可替换地或附加地，关于样本台的位置信息可以 与由显微镜的光学成像传感器生成的图像一起存储。例如，控制系统可以被配置为通过生成 图像时样本台的位置来注释由显微镜拍摄的图像。换言之，控制系统可以被配置为从显微镜 系统的光学成像传感器获得包括由显微镜的光学成像传感器拍摄的图像的进一步的图像数 据，并且通过位置信息对由光学成像传感器拍摄的图像进行注释，例如通过为拍摄的每个图 像生成表示样本台的位置的对应的数据单元，例如文件，并将表示位置的数据与所拍摄的图 像文件一起存储或输出。可替换地，位置信息可以包括在由显微镜的光学成像传感器拍摄的 各个图像的元数据中。
84.因此，本发明的各个示例提供了用于确定样本台的位置的构思。例如，在样本台的顶侧 或底侧，可以放置图案块(即可视标记)，其中样本台可以是可以沿两个横向维度x和y移 动的x-y台。图案块可以优选地表现出与样本台本身相似的热膨胀方面的特性。此外，可 视标记的大小可以至少与样本台的x-y移动范围一样大。可替换地，与相同数量的相机耦 合的多个图案块可以分布在样本台的不同区域上以减小样本台尺寸。图案可以是随机的点， 甚至是材料表面的固有纹理。可以减少镜面反射，从而可以可视地跟踪运动。数码相机，例 如用于确定样本台的位置的光学成像传感器，瞄准图案并用于确定样本台的位置。数码相机 将图像数据(例如视频)发送到处理器以分析和跟踪样本台的移动。因为图案在样本台本身 上，所以它的移动准确地表示了样本台的移动，因此也表示了样本台的(x-y)位置。
85.一个或更多个接口112可以对应于用于在模块内、模块之间或不同实体的模块之间接收 和/或发送信息的一个或更多个输入和/或输出，该信息可以是根据指定代码的数字(比特) 值。例如，一个或更多个接口112可以包括被配置为接收和/或发送信息的接口电路。在实 施例中，一个或更多个处理器114可以使用一个或更多个处理单元、一个或更多个处理设备、 任何用于处理的手段来实现，例如处理器、计算机或与相应适配的软件一起可操作的可编程 硬件组件。换言之，一个或更多个处理器114的所述功能也可以通过软件实现，然后该软件 在一个或更多个可编程硬件组件上执行。这样的硬件组件可以包括通用处理器、数字信号处 理器(dsp)、微控制器等。在至少一些实施例中，一个或更多个存储设备116可以包括以 下组中的至少一个元件：诸如磁性或光学存储介质的计算机可读存储介质，例如硬盘驱动器、 闪存、固态驱动器(ssd)、软盘、随机存取存储器(ram)、可编程只读存储器(prom)、 可擦可编程只读存储器(eprom)、电子可擦可编程只读存储器(eeprom)或网络存储装 置。
86.显微镜系统和控制系统的更多细节和方面通过结合所提出的构思或上文或下文描述的 一个或更多个示例(例如图3)来描述。显微镜系统和/或控制系统可以包括对应于所提出的 构思或上文或下文描述的一个或更多个示例的一个或更多个方面的一个或更多个附加可选 特征。
87.图3示出了用于例如图1a至图1c的显微镜系统100的显微镜系统的对应方法的示
例的 流程图。如结合图1a至图1c所示，显微镜系统包括显微镜110和样本台130，显微镜110 被配置成生成布置在样本台上的样本120的图像，样本台130被配置成承载样本120，样本 台包括可视标记140。该方法包括步骤310：获得显示样本台的可视标记的图像的图像数据。 该方法包括步骤320：基于显示可视标记的图像的图像数据确定样本台的位置。
88.如上所述，结合图1a至图1c的显微镜系统100、控制系统160、样本台130、显微镜 110和至少一个照明元件170描述的特征可以同样应用于图3的方法。
89.如本公开所用，术语“和/或”包括一个或更多个相关列出的项目的任何和所有组合， 并且可以缩写为“/”。
90.尽管已经在装置的上下文中描述了一些方面，但显然这些方面也表示对相应方法的描 述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述 的方面也表示对应装置的对应块或项目或特征的描述。
91.一些实施例涉及一种显微镜，显微镜包括结合图1a至图3中的一个或更多个描述的系 统。可替换地，显微镜可以是结合图1a至图3中的一个或更多个描述的系统的一部分或连 接到该系统。图4示出了被配置为执行本公开所描述的方法的系统400的示意图。系统400 包括显微镜410和计算机系统420。显微镜410被配置为拍摄图像并连接到计算机系统420。 计算机系统420被配置为执行本公开所描述的方法的至少一部分。计算机系统420可以被配 置为执行机器学习算法。计算机系统420和显微镜410可以是单独的实体，但也可以一起集 成在一个共同的外壳中。计算机系统420可以是显微镜410的中央处理系统的一部分，和/ 或计算机系统420可以是显微镜410的子组件的一部分，例如显微镜410的传感器、作动器、 相机或照明单元等。
92.计算机系统420可以是具有一个或更多个处理器和一个或更多个存储设备的本地计算 机设备(例如个人计算机、膝上型计算机、平板计算机或移动电话)，或者可以是分布式计 算机系统(例如具有分布在各个位置的一个或更多个处理器和一个或更多个存储设备的云计 算系统，例如，具有在本地客户端和/或一个或更多个远程服务器群和/或数据中心分布的一 个或更多个处理器和一个或更多个存储设备的云计算系统)。计算机系统420可以包括任何 电路或电路组合。在一个实施例中，计算机系统420可以包括可以是任何类型的一个或更多 个处理器。如本公开所用，处理器可以指例如显微镜或显微镜组件(例如相机)的任何类型 的计算电路，例如但不限于微处理器、微控制器、复杂指令集计算(cisc)微处理器、精 简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、图形处理器、数字信号 处理器(dsp)、多核处理器、现场可编程门阵列(fpga)，或可以指任何其他类型的处理 器或处理电路。可以包括在计算机系统420中的其他类型的电路可以是定制电路、专用集成 电路(asic)等，例如用于移动电话、平板电脑、膝上型电脑、双向无线电和类似电子系 统等无线设备的一个或更多个电路(例如通信电路)。计算机系统420可以包括一个或更多 个存储设备，其可以包括适用于特定应用的一个或更多个存储器元件，例如随机存取存储器 (ram)形式的主存储器、一个或更多个硬盘驱动器和/或处理诸如光盘(cd)、闪存卡、 数字视频磁盘(dvd)等的可移动媒体的一个或更多个驱动器。计算机系统420还可以包括 显示设备、一个或更多个扬声器以及键盘和/或控制器，控制器可以包括鼠标、轨迹球、触 摸屏、语音识别设备或允许系统用户向计算机系统420输入信息和从计算机系统420接收信 息的任何其他设备。
93.一些或所有方法步骤可以通过(或使用)例如处理器、微处理器、可编程计算机或电子 电路的硬件装置来执行。在一些实施例中，一个或更多个最重要的方法步骤可以由这样的装 置执行。
94.根据某些实施方式要求，本发明的实施例可以以硬件或软件来实施。可以使用诸如数字 存储介质的非暂时性存储介质来执行该实施方式，数字存储介质包括例如软盘、硬盘驱动器 (hdd)、固态驱动器(ssd)、dvd、蓝光光盘、cd、rom、prom和eprom、eeprom 或闪存，并且其上存储有电子可读控制信号，电子可读控制信号与可编程计算机系统协作(或 能够协作)以执行相应的方法。因此，数字存储介质可以是计算机可读的。
95.根据本发明的一些实施例包括具有电子可读控制信号的数据载体，电子可读控制信号能 够与可编程计算机系统协作，从而执行本公开描述的方法之一。
96.通常，本发明的实施例可以实施为具有程序代码的计算机程序产品，当计算机程序产品 在计算机上运行时，程序代码可操作以用于执行方法之一。例如，程序代码可以存储在机器 可读载体上。
97.其他实施例包括存储在机器可读载体上的用于执行本公开描述的方法之一的计算机程 序。
98.换言之，本发明的实施例因此是具有程序代码的计算机程序。当计算机程序在计算机上 运行时，程序代码执行本公开描述的方法之一。
99.因此，本发明的另一实施例是存储介质(或数据载体，或计算机可读介质)，包括存储 在其上的计算机程序，计算机程序用于在由处理器执行时执行本公开描述的方法之一。数据 载体、数字存储介质或记录介质通常是有形的和/或非暂时的。本发明的另一实施例是如本 公开描述的包括处理器和存储介质的装置。
100.因此，本发明的另一实施例是表示用于执行本公开描述的方法之一的计算机程序的数据 流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接(例如经由互联网) 传输。
101.另一实施例包括例如计算机或可编程逻辑设备的处理手段，处理手段被配置为或适于执 行本公开描述的方法之一。
102.另一实施例包括具有安装在其上的计算机程序的计算机，用于执行本公开描述的方法之 一。
103.根据本发明的另一实施例包括一种装置或系统，其被配置为将用于执行本公开描述的方 法之一的计算机程序传送(例如，电子地或光学地)到接收器。例如，接收器可以是计算机、 移动设备、存储设备等。例如，该装置或系统可以包括用于将计算机程序传送到接收器的文 件服务器。
104.在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本公开描 述的方法的一些或所有功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以执 行本公开描述的方法之一。通常，方法优选地由任何硬件装置来执行。