成像系统、盒和使用其的方法_3

文档序号:9452181阅读:来源:国知局
在步骤508之后,处理进行到步骤510,其中根据在此描述的系统,针对与图像传 感器相关地使用以捕获图像的显微镜物镜的位置来确定最佳聚焦位置。在步骤510之后, 处理进行到步骤512,其中关系到最佳聚焦位置的控制信号被发送到控制显微镜物镜的位 置(z轴)的缓慢聚焦台。步骤512还可以包括向照相机(例如图像传感器)发送触发信号以 捕获在物镜下面的样本部分的图像。触发信号可以是引起图像传感器进行的图像捕获的控 制信号,诸如例如在特定数目的周期(例如如与抖动透镜移动有关)之后。在步骤512之后, 处理进行到测试步骤514,其中确定是否应调整将样本保持在扫描下的XY移动台的速度。 如在此于别处进一步详细讨论的那样,可以使用聚焦视场中的多个区的锐度和/或其它信 息根据先行处理技术作出确定。如果在测试步骤514处,确定要调整XY台的速度,则处理 进行到其中调整XY移动台的速度的步骤516。在步骤516之后,处理返回进行到步骤508。 如果在测试步骤514处,确定将不作出对XY移动台的速度的调整,则处理进行到其中确定 聚焦处理是否将继续的测试步骤518。如果处理将继续,则处理返回到步骤508。否则,如 果处理不继续(例如,当前样本的扫描已完成),则结束聚焦处理并且处理完成。
[0105] 图13是示出根据在此描述的系统的实施例的缓慢聚焦台处的处理的流程图530。 在步骤532,控制显微镜物镜的位置(例如沿着Z轴)的缓慢聚焦台接收具有用于调整正在 检查样本的显微镜物镜的位置的信息的控制信号。在步骤532之后,处理进行到步骤534, 其中根据在此描述的系统,缓慢聚焦台调整显微镜物镜的位置。在步骤534之后,处理进行 到等待步骤536,其中缓慢聚焦台等待接收另一控制信号。在步骤536之后,处理返回进行 到步骤532。
[0106] 图14是示出根据在此描述的系统的实施例的图像捕获处理的流程图550。在步 骤552处,照相机的图像传感器接收触发信号和/或其它指令,其触发用以捕获在经受显微 镜检查的样本的图像的处理。在各种实施例中,根据在此描述的系统,可以从控制系统接收 触发信号,控制系统控制在已在聚焦处理中使用的抖动透镜的运动的特定数目的周期之后 的图像传感器图像捕获处理的触发。替换地,可以基于XY移动台上的位置传感器来提供触 发信号。在实施例中,位置传感器可以是Renishaw线性编码器模型No.T1000-10A。在步 骤552之后,处理进行到步骤554,其中图像传感器捕获图像。如在此详细讨论的那样,根据 在此描述的系统,由图像传感器捕获的图像与聚焦系统的操作相关而可以是合焦的。依照 在此参考的其它技术,可以将所捕获的图像缝合在一起。在步骤554之后,处理进行到步骤 556,其中图像传感器等待接收另一触发信号。在步骤556之后,处理返回进行到步骤552。
[0107] 图15是示出根据在此描述的系统的实施例的用于聚焦处理的替换布置的示意性 图解600。窗口化聚焦传感器可以具有可被偏斜或者以别的方式定位为对角地扫描与成像 传感器帧F0V604的宽度基本上相等的一行的帧视场(F0V)602。如在此所描述那样,可以 使窗口沿着行进方向偏斜。例如,可以使偏斜的聚焦传感器的帧F0V602旋转至45度,其 将在对象(组织)处具有0.94X0. 707=0. 66mm的有效宽度。成像传感器的帧F0V604可 以具有0. 558mm的有效宽度,因此随着保持组织的XY移动台在物镜下运动,偏斜的聚焦传 感器帧F0V602看到图像传感器所观察到的该行的边缘。在视图中,示出了在时间上在中 间位置(0,1,2和3)处被叠加在图像传感器帧F0V604上的偏斜的聚焦传感器的多个帧。 可以在聚焦列中的邻近帧的中心之间的三个点处取聚焦点。使用聚焦位置0,1,2和3来对 用于位置0*处的下一快拍帧的最佳聚焦位置进行外插。用于这种方法的扫描时间将与在 此于别处描述的方法类似。虽然偏斜的聚焦传感器的帧FOV602具有更短的先行,这种情 况下,0.707X(0.94-0. 432)/2=0. 18mm或偏斜的聚焦传感器42%地侵占将要获取的下一 帧,偏斜的聚焦传感器的帧FOV602相对于图像传感器帧FOV604是斜的,在扫描行的边缘 上看到组织,这在某些情况下对提供边缘聚焦信息可能是有利的。
[0108] 图16是示出根据在此描述的系统的另一实施例的用于聚焦处理的替换布置的示 意性图解650。如在图解650中那样,示出了偏斜的聚焦传感器的帧F0V652和图像传感 器的帧F0V654。偏斜的传感器的帧F0V652可以用于获取关于跨组织的向前道次的聚焦 信息。在向后道次中,成像传感器在聚焦台使用在先向前道次的聚焦数据进行调整的同时 对帧进行快拍。如果一个人要在在先方法中在跳过中间位置〇,1,2, 3的每个图像帧处取得 聚焦数据,若假定高速率的聚焦点获取,则XY移动台可以在向前道次中以4x速度移动。例 如,对于20x下的15mmX15mm而言,一列数据是35个帧。因为每秒在120个点处获取聚 焦数据,所以可以在〇. 3秒中执行向前道次(每秒35帧/120个聚焦点)。在该例子中列的数 目为26,因此可以在26X0. 3或7. 6秒中完成聚焦部分。30fps下的图像获取约为32秒。 因此,总扫描时间的聚焦部分仅为20%,这是高效的。此外,如果允许聚焦每隔一个帧跳跃, 则扫描时间的聚焦部分将进一步大大地下降。
[0109] 应注意,在其它实施例中,聚焦传感器的聚焦条可以被定位在视场内的其它位置 处并且在其它取向下,以对邻近的数据列采样来提供可以与在此描述的系统相关地使用的 附加先行彳目息。
[0110] 传递载片的XY移动台可以相对于向后行进上产生的最佳聚焦点重复在向前行进 上产生的那些。对于其中聚焦深度为0. 9微米的20x0. 75NA物镜而言,重复至约0. 1微 米将是理想的。台可以被构造为满足0. 1微米向前/向后可重复性,并且因此,这个要求在 技术上是可行的,如在此于别处进一步讨论的那样。
[0111] 在实施例中,根据在此描述的系统的正在被检查的玻璃载片上的组织或涂片可以 覆盖整个载片或近似25mmX50mm区域。分辨率取决于物镜的数值孔径(NA)、到载片的耦 合介质、聚光器的NA和光的波长。例如,在60x下,对于0.9NA的显微镜物镜、平面复消色 差透镜(平面AP0)而言,在绿光(532nm)下的空气中,显微镜的横向分辨率为大约0.2ym, 具有0.5ym的聚焦深度。
[0112] 与在此描述的系统的操作相关地,可以通过经由线扫描传感器或CCD阵列在所关 心区域上使有限的视场移动并将有限视场或帧或拼接片组装在一起以形成马赛克来获得 数字图像。在观看者跨整个图像操纵时,马赛克看起来是无缝的,没有可见的拼接、聚焦或 辐照不规则是理想的。
[0113] 图17是示出根据在此描述的系统的实施例的用以获取载片上的组织的马赛克图 像的处理的流程图700。在步骤702处,可以获取载片的缩略图像。缩略图像可以是约lx 或2x放大的低分辨率。如果在载片标签上存在条形码,则可以在该步骤处对该条形码解码 并将其附着于载片图像。在步骤702之后,处理进行到步骤704,其中可以使用标准图像处 理工具在载片上找到组织。可以对组织划定界限以将扫描区域缩窄至给定的所关心区域。 在步骤704之后,处理进行到步骤706,其中可以将XY坐标系附着于组织面。在步骤706之 后,处理可以进行到步骤708,其中可以针对组织以规则的X和Y间距生成一个或多个聚焦 点,并且可以使用聚焦技术来确定最佳聚焦,诸如在此于别处讨论的动态即时聚焦技术中 的一个或多个。在步骤708之后,处理可以进行到步骤710,其中可以保存所需的聚焦点的 坐标和/或其它适当的信息并且可以将其称为锚定点。应注意在帧位于锚定点之间的情况 下可以对聚焦点进行内插。
[0114] 在步骤710之后,处理可以进行到步骤712,其中依照在此于别处讨论的技术,将 显微镜物镜定位于最佳聚焦位置处。在步骤712之后,处理进行到步骤714,其中对图像进 行收集。在步骤714之后,处理进行到测试步骤716,其中确定是否整个所关心区域已被扫 描并成像。如果没有,则处理进行到步骤718,其中根据在此于别处所讨论的技术,XY台使 组织沿着X和/或Y方向移动。在步骤718之后,处理返回进行到步骤708。如果在测试步 骤716,确定整个所关心区域已被扫描和成像,则处理进行到步骤720,其中根据在此描述 的系统并使用在此于别处讨论的技术(参考例如美国专利申请公开号N0. 2008/0240613), 将所收集的图像帧拼接或以其它方式组合在一起以创建马赛克图像。在步骤720之后,处 理完成。应注意还可以与在此描述的系统相关地使用其它适当的顺序以获取一个或多个马 赛克图像。
[0115] 为了在此描述的系统的有利操作,z位置可重复性可以可重复至物镜的聚焦深度 的一小部分。在拼接系统(2DCCD或CMOS)中和在线扫描系统的邻近列中,容易地看到由聚 焦电动机返回至z位置中的小的误差。对于60x下的上面提到的分辨率而言,约150纳米或 以下的z峰值可重复性是理想的,并且这样的可重复性将相应地合适于其它物镜,诸如4x, 20x和/或40x物镜。
[0116] 进一步根据在此描述的系统,提供了用于病理学显微术应用的包括XY台的载片 台系统的各种实施例,其可以与用于在此讨论的数字病理成像的特征和技术相关地使用, 包括例如充当与动态即时聚焦技术相关的在此于别处讨论的XY移动台130。根据实施例, 并且如在此于别处进一步详细地讨论的那样,XY台可以包括硬质基座块。该基座块可以包 括被支撑在提高凸台上的扁平玻璃块和被支撑在提高凸台上的具有三角形截面的第二玻 璃块。两个块可以被用作用以引导移动台块的平滑并且笔直的轨道或道路。
[0117] 图18是示出根据在此描述的系统的实施例的XY台的精密台800 (例如Y台部分) 的实施方式的示意性图解。例如,精密台800可以在25mmX50mm区域上实现约150纳 米或以下的z峰值可重复性。如在此于别处进一步讨论的那样,可以与在此于别处讨论的 特征和技术相关地使用精密台800,包括例如与相对于动态即时聚焦技术讨论的XY移动台 130相关地工作。精密台800可以包括硬质基座块810,其中扁平玻璃块812被支撑在提高 凸台上。这些凸台的间距使得简单支撑体上的玻璃块的由于精密台800的重量而引起的下 垂被最小化。具有三角形截面的第二玻璃块814被支撑在提高凸台上。可以用不损伤玻璃 块的半刚性环氧树脂将玻璃块812,814粘性地结合到基座块810。玻璃块812, 814可以是 笔直的并且被抛光至500nm下的光的一个或两个波。可以采用诸如Zerodur的低热膨胀 的材料作为用于玻璃块812,814的材料。还可以与在此描述系统相关地使用其它适当类型 的玻璃。切口 816可以允许来自显微镜聚光器的光照亮载片上的组织。
[0118] 可以使用两个玻璃块812,814作为用以引导移动台块820的平滑并且笔直的轨 道或道路。移动台块820可以包括接触玻璃块的硬塑球形按钮(例如,5个按钮),如在位置 821a_e处所示。由于这些塑料按钮是球形的,所以可以使接触表面局限于由塑料的弹性模 数确定的非常小的区域〈〈〇.5 mm)。例如,可以使用来自英国GGB Bearing技术公司的PTFE 或其它热塑混合物加其它润滑剂添加剂并被浇铸成约3 mm直径的接触按钮的形状。在实施 例中,塑料按钮与抛光玻璃之间的摩擦系数应尽可能低,但是避免使用液体润滑剂以节省 仪器维护可能是理想的。在实施例中,可以在无润滑运转的情况下易于实现在〇.1和〇.15 之间的摩擦系数。
[0119] 图19A和19B是根据在此描述系统的实施例的移动台块820的更详细的视图,示 出在位置821a_e处接触玻璃块810,812的球形按钮822a_e。可以将按钮布置在允许沿除 驱动方向(Y)之外的所有方向的优良硬度的位置上。例如,两个塑料按钮可以彼此面对以接 触三角形玻璃块814的侧面(即4个按钮822b-e)并将一个塑料按钮822a定位为接触扁平 玻璃块812。移动台块820可以包括将轻重量并被成形为将重力中心放在由塑料支撑按钮 822a-e的位置形成的三角形的质心826处的一个或多个孔824。以这种方式,三角形828 的拐角处的每个塑料按钮822a-e可以在台800的运动期间的所有时间具有相等的重量。
[0120] 返回参考图18,经由嵌套832中的弹簧加载臂830夹住载片801。可以将载片801 手动地放置在嵌套832中和/或用辅助机构以机器人方式放置在嵌套832中。硬质悬臂 840支撑并刚性地夹紧可以由高疲劳强度钢制成的小直径挠曲杆842的端部。在一个例子 中,此直径可以是0. 7 mm。可以将杆挠曲部分842的另一端部附着于移动台820上的质心 位置826。可以将悬臂840附着于可以在硬化钢导轨852上经由再循环承载设计运行的承 载块850。可以将导引螺钉组件854附着于承载块850并且可以由步进式电动机856来使 导引螺钉组件854旋转。用于上面提及的元件的合适的组件可以是通过诸如日本的THK的 几家公司获得的。导引螺钉组件854在导轨852上驱动承载块850,其经由杆挠曲部分842 拉动或推动移动台块820。
[0121] 杆挠曲部分842的弯曲劲度可以是小于其塑料垫片上的移动台块820的硬度(这 是与跟沿z方向的移动台的面正交的力相反的硬度)大于6000x的因数。这有效地将移动 台块820与由承载噪声产生的承载块850/悬臂840的上下运动隔离。
[0122] 在此描述的精密台800的设计中的精细的质量平衡和对几何结构的注意使将产 生小的摇摆运动的移动台块820上的力矩最小化。另外,由于移动台块820在抛光玻璃上 行进,所以移动台块820具有小于足以用于60x放大下的扫描的150纳米峰值的z位置可 重复性。由于60x条件是最严格的,所以诸如20x和40x的其它更低放大的高NA物镜也示 出与在60x条件下获得的性能类似的合适的性能。
[0123] 图20示出根据在此讨论的精密台特征并且包括根据在此描述的系统的实施例的 Y台920, X台940和底板960的整个XY混合台900的实施方式。在该情况下,用于Y台920 的基座块变成作为沿X方向的移动台的X台940。用于X台940的基座块是可以被紧固至 底面的底板960。根据在此描述的系统,XY混合台900提供约150纳米的沿Z方向的可重 复性以及沿X和Y方向的约1-2微米(或以下)的可重复性。如果台经由带刻度包括反馈位 置,诸如由英国Gloucestershire的Renishaw生产的那些,则根据在此描述的系统,可以实 现亚微米精确度。
[0124] 根据在此描述的系统的台设计可以优越于球形承载支撑的移动台,因为根据在此 描述的系统的XY台不遭受由于非球形滚珠承载或非圆筒形交叉辊子承载而引起的可重复 性误差。另外,在重复循环承载设计时,不同大小滚珠处的新滚珠补充可以引起非可重复运 动。在此描述的实施例的附加益处是台的成本。玻璃元件利用标准研磨和抛光技术并且不 是过于昂贵的。承载块和导引螺钉组件不需要是特别高的质量,因为杆挠曲部分将移动台 从承载块解耦。
[0125] 进一步根据在此描述的系统,减少数字病理载片的扫描期间的扫描时间和/或以 其它方式使其最小化是有利的。在临床环境中,理想的工作流程是将载片的支架放置到机 器人载片扫描显微镜中,关闭门并命令系统扫描载片。理想的是在扫描所有载片之前不需 要用户干预。批量大小可以包括多个载片(例如,160个载片)且扫描所有载片的时间称为 批量时间。载片吞吐量是每小时处理的载片的数目。周期时间是准备好观看的每个可用载 片图像之间的时间。
[0126] 在获取图像中周期时间可能受到以下步骤的影响:(a)以机器人方式拾取载片; (b)创建载片组织区域和标签的缩略图或概图图像;(c)计算限定载片组织的所关心区域; (d)对有界组织区域进行预扫描以找到组织上的最佳聚焦点的规则阵列;(e)根据台和/或 传感器的移动来扫描组织;(f)创建准备好观看的压缩输出图像;以及(g)存放载片,准备 下一个载片。应注意如果根据在此描述的系统来执行动态聚焦或"动态即时"聚焦,则步骤 (d)可能不是必需的,并且其中相应地,由于使用动态即时聚焦技术,可以减少扫描/图像 获取时间。
[0127] 在此描述的系统可以进一步牵涉消除或明显地缩短用以执行步骤(a)、(b)、(c)和 (g)的时间。根据在此描述系统的各种实施例,这些增益可以例如通过使用缓存概念来实 现,其中用于一个载片的上面提到的步骤(a)、(b)、(c)和(g)在时间上与用于另一载片的 步骤(d)、(e)和(f)重叠,如在此进一步详细讨论的那样。在各种实施例中,用于一个载片 的步骤(a)、(b)和(c)与用于另一载片的步骤(d)、(e)和(f)的重叠与其中用于一个载片 的步骤(a)、(b)和(c)与用于另一载片的步骤(d)、(e)和(f)不重叠的系统相比可以提供 10%、25%或者甚至50%的增益。
[0128] 图21是示出根据在此描述系统的实施例的载片缓存装置1000的示意性图解。可 以将载片拾取头1002定位为拾取载片1001。拾取头1002可以使用机械装置和/或真空装 置来拾取载片1001。载片1001可以是批量中的载片集合中的一个,例如一批160个载片。 可以将载片的此集合设置在载片支架1003中。拾取头1002被附着于在钢轨1005上行进 的承载车或块1004。承载块1004被旋转导引螺钉1006移动。可以用旋转编码器1007来 检测电动机计数并将其转换成线性行进以控制沿Y方向的载片位置。元件1002 - 1007可 以包括称为载片加载器/卸载器1008的移动组件。载片加载器/卸载器1008还在导轨 1010上沿x方向在电动承载车或块1009上运动,这允许载片加载器/卸载器1008沿X和 Y方向两者运动。
[0129] 在操作中,可以将仍被保持在拾取头1002上的载片放置在低分辨率照相机1011 下面以获得载片组织区域和标签的缩略图或概图(例如,上述步骤(b))。一旦此操作完成, 则可以执行步骤(c)并将载片放置到载片缓冲器1012上的位置上。载片缓冲器1012可以 包括两个(或更多)缓冲器槽或位置1018a、1018b,并且被示出为在缓冲器位置1018a中包 括载片1017。
[0130] 在实施例中,混合XY台1013可以包括沿Y方向运动且被安装到沿x方向运动的 板1015的台板1014。XY台1013可以具有与在此于别处所讨论的类似的特征和功能,包括 例如在此讨论的混合XY台900的特征。台板1014还可以包括附加载片拾取头1016。拾取 头1016可以类似于上述拾取头1012。拾取头1016可以使用机械装置和/或真空装置来拾 取载片。
[0131] 混合XY台1013的拾取头1016可以移动至缓冲器位置1018a并拾取载片1017。载 片1017现在可以继续至上面提到的步骤中的一个或多个,包括步骤:(d)预扫描,(e)扫描 和(f)创建输出图像步骤。在正在执行此处理的同时,载片加载器/卸载器1008可以拾取 另一载片(例如载片1001),使用照相机1011来获得载片1001的缩略视图,并将载片1001 放置在用虚线1001'示意性地示出的载片缓冲器1012中的空位置1018b上。当在前一载 片(载片1017)上完成扫描时,XY混合台1013的载片拾取头1016可以将载片1017放置到 缓冲器位置1018a上并从缓冲器位置1018b拾取准备好进行扫描的下一载片(载片1001)。 混合XY台1013可以依照在此于别处讨论的特征和技术在高分辨率光学系统显微镜光学器 件和照相机1019下面以规则的来回扫描模式运动以获取生物组织的高分辨率图像。应进 一步注意可以由控制系统中的一个或多个处理器来控制混合XY台1013和/或载片加载器 /卸载器1008的运动和载片选择。
[0132] 载片加载器/卸载器1008可以移动至缓冲器位置1018a并拾取载片1017且将载 片1017存放至载片支架1003中。此载片1017已完成上述列举的所有步骤。载片加载器/ 卸载器1008然后可以继续拾取另一载片并将其加载至载片缓冲器1012中,并最后拾取载 片1001并将其返回至载片支架1003。与上面所描述的类似的处理可以继续直到在载片支 架1003中的所有载片已被扫描。
[0133] 根据在此描述系统的载片缓存技术提供有利时间节省。例如,在20x15mmX15 mm场处的系统中,拾取时间为约25秒,缩略图获取为约10秒,预扫描时间为约30秒且扫 描时间为90秒。输出文件生成与扫描过程同时地完成且可以增加约5秒。载片的存放为 约20秒。将所有这些时间加在一起指示180秒周期时间。XY混合台仍需要时间以拾取并 存放已扫描载片,其可以占约10秒。因此,扫描时间的减少因此为约
当前第3页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1