使用通道编码板坯进行OCT正面病理学分割的制作方法

使用通道编码板坯进行oct正面病理学分割
技术领域
1.本发明总体上涉及一种分析光学相干断层扫描数据(optical coherence tomography data)以识别目标病理的方法。更具体地说，本发明涉及分析光学相干断层扫描数据以识别地图样萎缩(geographic atrophy)(ga)。


背景技术：

2.年龄相关性黄斑变性(amd)是一种在老年人群中最常见的眼部疾病，由导致中心视力丧失的黄斑损伤引起。一些患有年龄相关性黄斑变性(amd)的患者会出现地图样萎缩(ga)，这是指细胞消退和死亡的视网膜区域。地图样萎缩(ga)是黄斑出现在非渗出性黄斑变性晚期的一种病症。ga具有由光感受器层、视网膜色素上皮(rpe)和脉络膜毛细血管的缺失引起的特征性外观。ga通常首先出现在中心凹旁位置并在中心凹周围进展，然后通过中心凹而丧失中心视力。虽然目前还没有已知的治疗方法有效地延迟或逆转ga的影响，但表征和监测受ga影响的黄斑区域对于患者诊断、监测和管理以及治疗研究目的而言是必需的。
3.已在反射(彩色)眼底成像、自体荧光成像以及最近在光学相干断层扫描(oct)成像中研究了ga外观(例如使用2d形貌成像技术)。ga区域在oct中有效地可视化，不是通过直接观察rpe中断，而是通过利用这种中断对通过脉络膜传输的光的影响。rpe是用于oct信号的非常高的反射层，光(oct信号)在发生萎缩的脉络膜中的渗透增加允许在正面(en face)亚rpe图像中可视化ga存在，例如可以通过从rpe(或略高于rpe)延伸到rpe下方并进入脉络膜的oct数据的子容量(例如板坯)的轴向投影来形成。oct图像中ga的存在可以被识别为正面亚rpe图像内的较亮区域。oct图像中ga的这种特性可以称为亚rpe超反射率。
4.可能对监测这种病况有价值或有意义的ga属性的量化(例如区域大小或到中央凹中心的距离，可以在正面亚rpe图像或其它2d正面图像中查看)取决于黄斑内ga区域的描绘或分割。然而，手动分割oct数据中的ga区域是一项具有挑战性且耗时的任务。
5.尽管亚rpe超反射率仍然是可视化oct数据中ga的合理方法，但ga的存在是推断的(例如基于反射率的变化)而不是直接观察到的。因此，这种方法可能会受到其它可能影响反射率的因素的影响，例如产生阴影的浅表或脉络膜血管的存在、可能的视网膜混浊作为高反射灶、或完整rpe内脉络膜信号增加的区域。由于这些困难，迄今为止，亚rpe区域的正面(例如正面、平面视图)图像还不够，并且有必要通过b扫描检查对疑似ga区域进行仔细的b扫描检查，以确认ga的存在。b扫描提供一个区域的轴向切片(或侧面)视图(例如通过视网膜层切片)，并且可以通过注意rpe层的可验证损失和视网膜变薄或塌陷来确认ga的存在。
6.最常见的自动ga分割方法基于对单个亚rpe正面图像中的亚rpe超反射率的分析，并且受到上述困难和可能的错误的影响。迄今为止，检查和纠正可能的错误需要仔细的b扫描检查，因为单个亚rpe正面图像不能提供所有需要的信息。
7.需要一种用于识别ga存在的方法，该方法考虑来自整个oct卷的信息，但与使用亚rpe正面图像的传统方法一样简单。
8.本发明的一个目的是提供一种用于与oct一起使用的更准确的ga检测系统。
9.本发明的另一个目的是提供一种基于oct的ga检测方法，该方法考虑多种类型的oct信息，例如可以从正面图像和b扫描图像的组合中获得的信息。
10.本发明的进一步目的是提供一种基于oct的系统，其提供基于oct的数据、非oct图像数据和/或非图像数据的组合的正面图像表示。
11.本发明的又一个目的是提供一种系统/方法，其在考虑来自不同类型成像模式的图像信息和非图像信息的情况下识别/分割正面oct图像中的ga区域。


技术实现要素：

12.上述目的在用于分析光学相干断层扫描(oct)数据以识别/分割正面图像中目标病理(例如地图样萎缩)的方法/系统中得到了满足。本发明将oct容量信息的不同方面集成到单个图像的不同图像通道(例如颜色通道)中，以产生改进的ga检测、分析和分割工具。本方法在单个图像中提供了更好的ga可视化，这可用于分割算法中以提供更准确的分割(例如ga分割)，或用于查看和编辑分割结果。与专注于显示和表征与可能存在的ga相关的单个因素(例如亚rpe反射率)的现有技术不同，本方法将oct容量的多个不同方面集成到附加通道(例如像素/体素通道)中，附加通道可以结合起来以更准确地分析和分割ga。例如，附加信息可包括对rpe完整性或视网膜变薄(例如特定视网膜层变薄)的分析或相关数据，这在以前需要对单个b扫描进行分析。
13.通过结合附图参考以下描述和权利要求，其它目的和成就以及对本发明的更全面理解将变得显而易见和理解。
14.为了便于理解本发明，本文可能引用或提及若干出版物。本文引用或提及的所有出版物均通过引用整体并入本文。
15.本文所公开的实施方式仅是示例，并且本公开的范围不限于它们。在一个权利要求类别(例如系统)中提及的任何实施方式特征也可以在另一个权利要求类别(例如方法)中要求保护。仅出于形式原因选择所附权利要求中的从属关系或引用关系。然而，也可以要求保护由有意回引到任何先前权利要求而产生的任何主题，从而公开了权利要求及其特征的任何组合并且可以要求保护，而不管在所附权利要求中选择的从属关系如何。
附图说明
16.在附图中，相同的参考符号/字符指的是相同的部分：
17.图1显示了三种不同成像模式的图像中的ga的三个示例。
18.图2提供了通过ga区域的b扫描的示例。
19.图3示出了本发明的一个实施方式。
20.图4a示出了亚rpe板坯投影，其可传统上用于识别候选ga区域。
21.图4b示出了根据本发明的通道编码图像(多通道合成图像)，其中每个图像通道(例如颜色通道)体现了不同的病理特异性特征。
22.图5示出了一个替代实施方式，其中多通道合成图像由不同成像模式的图像和可选的非图像数据组成。
23.图6示出了本发明的一般工作流程，包括概念验证实施的u-net架构。
24.图7示出了本概念验证实施的定性结果。
25.图8示出了本概念验证实施的定量测量。
26.图9提供了本发明的概要概述。
27.图10示出了用于测试患者视野的视野测试仪器(周界)的示例。
28.图11示出了用于对眼底进行成像的狭缝扫描眼科系统的示例。
29.图12示出了适合与本发明一起使用的用于收集眼睛的3d图像数据的广义频域光学相干断层扫描系统。
30.图13示出了人眼的正常视网膜的示例性oct b扫描图像，并且说明性地识别了各种典型的视网膜层和边界。
31.图14示出了正面脉管系统图像的示例。
32.图15示出了脉管系统(octa)图像的示例性b扫描。
33.图16示出了多层感知器(mlp)神经网络的示例。
34.图17示出了由输入层、隐藏层和输出层组成的简化神经网络。
35.图18示出了示例卷积神经网络架构。
36.图19示出了示例u-net架构。
37.图20示出了示例计算机系统(或计算设备或计算机)。
具体实施方式
38.地图样萎缩(ga)是指视网膜中细胞消耗和死亡(萎缩)的区域。这些萎缩区域通常会导致人的视野出现盲点。因此，监测和表征受ga影响的视网膜区域是患者诊断和管理的基础。各种成像模式已被证明可用于检测和表征ga，例如眼底成像(包括自发荧光和荧光素血管造影)、光学相干断层扫描(oct)、oct血管造影(octa)等。
39.眼底成像(例如可以通过使用眼底照相机获得的)通常提供通过眼瞳看到的眼底的正面平面视图。眼底成像可以使用不同频率的光，例如白色、红色、蓝色、绿色、红外线等来对组织成像，或者可以使用选择的频率来激发某些组织中的荧光分子(例如自发荧光)或激发注射到患者体内的荧光染料(例如荧光素血管造影)。下面提供了对不同眼底成像技术的更详细讨论。
40.oct是一种非侵入性成像技术，它使用光波产生视网膜组织的横截面图像。例如，oct允许人们查看视网膜的独特组织层。通常，oct系统是干涉成像系统，其通过检测从样品反射的光和参考光束的干涉来确定样品沿oct光束的散射分布，从而产生样品的三维(3d)表示。深度方向(例如z轴或轴向)上的每个散射分布可以单独重建为轴向扫描或a扫描。当oct光束扫描/移动通过样品上的一组横向(例如，x轴和y轴)位置时，可以从获得的多个a扫描构建横截面、二维(2d)图像(b扫描)以及扩展的3d容量(c扫描或立方体扫描)。oct还允许构建组织容量的选定部分(例如视网膜的目标组织板坯(子容量)或目标组织层)的平面正面视图(例如正面)2d图像。octa是oct的扩展，它可以识别(例如以图像格式渲染)组织层中血流的存在或缺乏。octa可以通过识别同一视网膜区域的多个oct图像中随时间的差异(例如对比度差异)来识别血流，并将满足预定义标准的差异指定为血流。下面提供了对oct和octa的更深入讨论。
41.每种成像模式可能会不同地表征ga。图1示出了三种不同成像模式的图像中的ga
的三个示例。图像11是反射率(彩色)眼底图像并且图像13是自发荧光图像(使用2d地形成像技术获得)。图像15是亚-rpe、oct、正面图像。在图像11、13和15中，ga被识别为区域17。ga通常会导致一些视网膜层(例如光感受器层、视网膜色素上皮(rpe)和脉络膜毛细血管)的丧失或变薄。正面视图中的可疑区域可以至少部分通过由ga引起的这些视网膜层的丧失/减少的影响来识别。如在眼底、oct和/或octa图像中所见，这些层的减少可能导致视网膜正面平面视图中的特征颜色、强度或纹理变化。例如，在健康的视网膜中，这些层，尤其是rpe，往往会反射oct信号并限制其渗透到视网膜中。然而，在ga区域，由于这些层变薄或丧失，oct信号往往会更深入地穿透视网膜，导致特征性的亚-rpe超反射率，如图像15所示。尽管这种超反射率可能有助于识别可能是ga的候选/可疑区域，但它不是ga的直接检测，因为其它因素也可能影响oct信号反射率。
42.查看ga的更直接方法是使用b扫描，它提供ga区域的切片视图，并显示各个视网膜层。图2提供了通过ga区域的b扫描的示例。如所示，ga区域19可以通过rpe和其它层的变薄、rpe层下方的反射率/亮度的增加、和/或视网膜的整体变薄或塌陷来识别。因此，搜索ga的一种更直接的方法是检查单个b扫描，但检查容量中的每个b扫描是否存在ga通常是耗时的。因此，用于检测ga的更快方法是检查眼底/视网膜的单个正面平面视图并识别可疑区域，如图1中的图像11、13或15所示，然后检查遍历可疑区域的单个b扫描(一个接一个)。
43.oct数据中的ga检测、表征和分割传统上是通过分析从rpe中断衍生的脉络膜中增加的信号在亚rpe正面板坯/图像中完成的。这种方法的例子可以在qiang chen et al."semi-automatic geographic atrophy segmentation for sd-oct images,"biomed.opt.express 4,2729-2750(2013)和在sijie niu et al.,"automated geographic atrophy segmentation for sd-oct images using region-based c-v model via local similarity factor,"biomed.opt.express 7,581-600(2016)中找到。然而，这种方法可能会遇到困难并且受到任何许多因素的限制，这些因素可能会影响亚-rpe正面图像中观察到的信号(例如反射率)。因此，已知基于这种方法的商业自动ga分割工具提供的结果不是最佳的，需要通过b扫描检查进行后续b扫描以确认可能的ga存在。
44.ji z.et al.，“retinal layers:a deep voting model for automated geographic atrophy segmentation in sd-oct images”，transl vis sci technol,2018；7(1)中描述了另一种方法。这种方法基于神经网络，并且直接采用单个b扫描进行ga分割。然而，由于需要注释单个b扫描，此过程可能会很复杂，并且可能会在相邻的b扫描中产生不连续的结果。此外，这种方法并没有解决需要通过b扫描进行后续b扫描来确认ga分割结果的问题。
45.因此，基于oct的ga表征方法传统上专注于分析正面图像中的亚rpe反射率，而忽略了重要信息，例如rpe完整性或视网膜变薄的直接分析。为了考虑这些信息，以前需要对多个图像(例如来自不同成像模式)或多个oct b扫描的额外检查。
46.本发明从多个不同的图像视图(和/或成像模式)收集ga特征信息，并将信息组合/合并成单一定制的视网膜正面图像，该图像通过呈现多个信息源允许更准确地识别ga区域。也就是说，本发明将这几个信息源呈现在单个图像中，可用于手动判断ga的存在或用于自动或半自动的ga分割工具。不同的特征信息可以被存储(或编码)到图像的附加通道(例如颜色通道)中，例如基于像素(或体素)。将不同特征(例如ga相关信息)组合到单个图像的
不同通道中允许对ga区域进行更准确和有效的表征和分割。
47.总之，本发明的第一示例性实现使用例如一组具有不同定义的正面图像(来自形成正视图2d图像的oct容量的地形投影)，并将它们的信息堆叠在单一图像的不同通道中(例如颜色通道)以生成通道编码图像，其中表征ga(或其它目标病理)存在的不同属性被编码在不同的通道中。初步步骤可以是在oct容量内分割一组视网膜层，以帮助正面创建(例如帮助选择可能是目标病理学特征性的(例如与之相关)层并用于定义要从中创建正面图像的板坯)。然后，使用分割的层和/或一组板坯定义创建一组不同的正面图像。然后可以将正面图像堆叠(或组合)在不同通道(例如像素/体素颜色通道)中。所得的堆叠板坯组可用于可视化ga(或其它特定病理)和其它视网膜标志(例如如果堆叠三个不同的板坯代替典型颜色图像的各个红色、绿色、蓝色(rgb)颜色通道)，和/或用于使用在不同通道中编码的信息自动分割ga。
48.图3示出了本发明的一个实施方式。第一步是获取oct数据21(例如视网膜相同区域的一个或多个数据卷)。可选地，可以将oct数据21提交给视网膜层分割过程。作为该过程的一部分或除此之外，oct数据21中的每个a扫描都被处理以提取一系列度量23，其中每个度量被选择来测量(或强调例如按权重)特定目标病理(例如ga)的特征。也就是说，提取的度量可以与相同的病理类型相关联，使得每个度量为相同的病理类型提供不同的标记。将提取的度量分类或以其它方式收集到相应的度量组(度量-1组至度量-n组)，可选地具有一对一的对应关系。oct数据21可以包括oct结构数据和/或octa流数据，并且提取的度量可以包括从oct结构数据中提取的基于oct的度量，例如视网膜层厚度、特定a扫描到特定视网膜结构的距离(例如到中央凹中心的距离)、层完整性(例如特定层的丧失)、亚rpe反射率、内部rpe反射率、整个视网膜厚度和/或光学衰减系数(oac)。
49.光学衰减系数(oac)是介质的光学特性，它决定了相干光束穿过(例如混浊的)介质(例如组织)传播的功率如何由于散射和吸收而沿其路径衰减。lambert-beer定律给出了穿过(例如均匀)介质传播的相干光束的辐照度(每单位面积的功率)：l(z)＝l0e-μz
，其中l(z)是光束穿过介质距离z后的辐照度，l0是入射光束的辐照度且μ是光学衰减系数。大的衰减系数导致相干光束的辐照度随深度的快速指数下降。由于oac是介质的光学特性，因此确定oac提供有关该介质组成的信息。申请人提出，提供oac(每次a扫描)作为提取的度量之一可能有利于识别特定的病理(例如ga)，特别是因为它可以指示组织在特定a扫描位置的当前状态(例如光衰减状态)。k.a.vermeer et al.,“depth-resolved model-based reconstruction of attenuation coefficients in optical coherence tomography”,biomedical optics express,vol.5,issue 1,pp.322-337(2014)中提供了可以如何确定/计算oac的示例。utka baran et al.,“in vivo tissue injury mapping using optical coherence tomography based methods”,applied optics,vol.54,no.21,2015年7月20日中可以找到oac先前应用的讨论。
50.提取的度量还可以包括从octa流量数据中提取的基于octa的度量，例如在一个或多个层(例如脉络膜毛细血管、sadler层、haller层等)内的位置处的流量测量(例如血流)和从流量数据到中央凹中心的距离等。以这种方式，每个度量组可以描述不同的病理特征，并且可以使用多个度量组(度量-1组至度量-n组)来定义多个对应的病理特征图像(pci-1至pci-n)，每个突出了不同的病理特征。每个病理特征图像pci-1至pci-n可以定义一个正
面图像。然后可以使用不同的病理特征图像来定义不同的像素通道(ch1到chn)并组合(如框25所示)以定义多通道合成图像(例如通道编码图像)27。可选地，多通道合成图像27的维度可以低于oct数据21，例如正面图像(和/或b扫描图像)，其中合成图像27的每个像素位置基于oct数据21的相应a扫描位置。以这种方式，每个度量可以用作合成图像27中不同的对应通道的基础。然后，可以将得到的多通道合成图像27提交给机器学习模型29，该模型被训练以基于单个图像通道中体现的病理特征数据(例如度量组)来识别目标病理(例如ga)。然后可以显示或存储所识别的病理以供将来在计算设备31中处理。
51.例如，概念验证实施使用三个度量组来定义分配给图像的三个典型红色、绿色和蓝色(rgb)颜色通道的三个不同板坯(病理特征图像)。应当理解的是，通道编码图像可以可选地具有更多(或更少)通道。图4a示出了亚rpe板坯投影，如传统上可用于识别候选ga区域，并且图4b示出了根据本发明的通道编码图像(多通道合成图像)，其中每个图像通道(例如颜色通道)体现了不同的病理学特定特征(体现了不同的度量组)。在本示例中，红色通道(或黑白单色图像中的中灰色)包含亚rpe反射率数据。为了收集用于红色通道的度量，在rpe层外部和脉络膜附近定义300μm的板坯，在rpe层分别加上50μm和350μm偏移量之间指定了表面限制。该板坯中的oct信号经过滤波以去除噪声，然后进行处理，因此每个a扫描位置处的信号随着深度的增加具有不断减小的函数，填充信号中的“谷”。也就是说，对于a扫描中的每个特定像素，该值被设置为在这种a扫描中记录的从所考虑的像素到定义的板坯限制内的增加深度的最高值。设置此操作以消除源自脉络膜血管存在的较低值信号。通过对每个a扫描的板坯限制定义内的像素值进行平均，将得到的数据投影到正面图像中。然后将正面图像的结果值归一化至在0和1之间的范围内。该板坯的目标是表征ga区域脉络膜中存在的增加的反射率。
52.在本示例中，绿色通道(例如黑白单色图像中的浅灰色)包含内部rpe反射率。为了收集用于绿色通道的度量，在rpe-fit层内部定义了20μm的板坯(在rpe中心线水平上设置的bruch膜曲率的估计)，在rpe-fit层分别与负50μm和负30μm偏移之间指定了表面限制。该板坯内的oct信号经过滤波以去除噪声，然后进行处理，因此每个a扫描位置处的信号具有随着深度的增加而不断增加的函数，填充信号中的“谷”。也就是说，对于a扫描中的每个特定像素，该值被设置为在此a扫描中记录的从内部板坯限制到所考虑像素的最高值。设置此操作以消除由其它完整rpe中较高不透明度结构(例如血管、玻璃疣或超反射病灶)的阴影引起的较低值信号。通过对每个a扫描的板坯限制定义内的像素值进行平均，将结果数据投影到正面图像中。正面图像的结果值被归一化为在0和1之间的范围内。该板坯的目标是表征具有光感受器和rpe丧失的位置中的较低反射率。
53.在本示例中，蓝色通道(或黑白单色图像中的深灰色)包含视网膜厚度。为了收集用于蓝色通道的度量，针对每个a扫描位置测量ilm层和rpe-fit层之间的距离(视网膜厚度)，并将其投影到正面图像中。然后以反向线性操作对记录的值进行缩放以取从0到1的值，使得100μm的视网膜厚度取值为1，而350μm的厚度取值为0。该板坯的目标是表征ga存在的视网膜变薄和塌陷特征的局部区域。
54.图5示出了一个替代实施方式，其中多通道合成图像(即彩色编码或单色编码图像)27由不同成像模式的图像和可选的非图像数据组成。在本实施方式中，获取或以其它方式存取oct数据21。oct数据21可以是由多个a扫描和/或存取的b扫描组成的立方体扫描，并
且可以可选地包括在时间上分开的相同区域的多个扫描。在这种情况下，可以从oct数据21确定octa数据22，如虚线箭头24所示。或者，可以单独获取/存取octa数据22。然后可以从每个oct数据21和octa数据22中提取一系列度量，并且可以从提取的度量(例如度量组)定义一组病理特征图像(或图)。在本示出中，图像oct1至oct4是基于从oct数据21中提取的度量定义的，并且图像octa1至octa3是基于从octa数据22中提取的度量定义的。例如，图像oct1至oct4可以分别表示正面亚rpe图像、选择层的厚度图(例如光感受器层、视网膜色素上皮(rpe)和/或脉络膜毛细血管，并且可以进一步定位中央凹，例如通过使用自动中央凹定位算法)、层完整性图(例如通常会从多个b扫描中确定)和oac图。在本示例中，图像octa1至octa3可以分别表示脉络膜毛细血管流的正面octa图像、sattler层的图像(例如位于下方的bruch膜、脉络膜毛细血管和haller层之间，以及上方的脉络膜上层)和/或与中央凹位置相关的其它选择层的流动图。
55.如上所解释的，ga可能导致视力进行性丧失，尤其是中心视力。然而，ga可能从中心区域以外的视力丧失开始，并随着时间的推移向中心发展。因此，结合来自视野测试结果fv的信息是有利的。视野测试是一种测量个人整个视野范围的方法，例如他们的中央和周边(侧)视力。视野测试是一种单独映射每只眼睛的视野的方法，可以检测盲点(暗点)以及更微妙的视力模糊区域。视野测量器或“视野计”是一种专用机器/设备/系统，用于对患者进行视野测试。下面提供了对视野计和视野测试的更深入讨论。视野测试的所有或选择的部分(例如映射到相应视网膜位置的vf灰度或数值灰度)可以合并到本多通道合成图像27中。
56.额外的成像模式可以包括一种或多种眼底图像fi(例如白色、红色、蓝色、绿色、红外、自发荧光等)和荧光素血管造影图像fl。
57.上述不同数据类型中的每一个可以表示不同的病理特征图像，并且如框25所示被组合以定义多通道合成图像27。如所示，每个像素(示为圆圈px1)可以包括来自每一个上述源的数据(例如度量)。例如，每个像素可以定义(对于相应的视网膜位置)由多个数据字段组成的数据记录，每个合并的病理特征图像各一个数据记录。每个像素可以包括视野测试数据字段(vf-1)、眼底图像数据字段(fi-1)、荧光素血管造影图像数据字段(fl-1)、来自每个对应oct结构图像的oct结构数据字段(oct1-1、oct2-1、oct3-1和oct1-4)以及来自每个对应的octa流图像的octa流数据字段(octa1-1、octa2-1和octa3-1)。
58.然后，可以将合成图像27提交给用于处理或训练的机器学习模型27，如下所述。如在图5的实施方式中，来自机器学习模型27的输出可以提交给计算设备(未示出)以显示或存储。可选地，非图像数据28也可以通过虚线箭头26a间接地或通过虚线框箭头26b直接地提交给机器模型29进行处理。也就是说，非图像数据28可以通过框25最佳地结合到合成图像27中。非图像数据28可以包括患者人口统计数据(例如年龄、种族等)和/或病史数据(例如先前开具的药物和诊断出的与所寻求的病理相关的疾病等)，例如可以从电子病历(emr)系统获得。
59.本发明的概念验证应用将机器学习模型29实现为神经网络架构，其被训练用于合成图像27中(例如在生成的通道编码图像中)的ga区域的自动分割。下面提供了对神经网络的一般讨论。用于定义合成图像27的所有存取的图像(和/或地图)可以被归一化并且尺寸调整为256
×
256
×
3像素。然后，将每个图像分成九个重叠的块，像素大小为128
×
128
×
3，
在两个方向上有64个像素重叠(50％)。
60.图6示出了本发明的一般工作流程，包括概念证明实施的u-net架构。如所示，存取/获取oct数据21，并且从oct数据21定义多个病理特征图像pci，如上所述。例如，病理特征图像pci可包括如上文参考图3和4描述的亚-rpe反射率图像、内rpe反射率图像、视网膜厚度和/或光学衰减系数(oac)。可选地，也可以使用其它病理特征图像，例如如上文参考图5所述的特定视网膜层厚度或层完整性的正面图像/图、octa流动图像(例如脉络膜毛细血管处或附近内的流动)、和/或其它病理特征数据。然后，将病理特征图像组合成通道编码图像27的不同(例如彩色或单色值)通道，然后将其提交给机器学习模型29，机器学习模型29在本文中使用u-net架构来实现。下面提供了对u-net架构的讨论。
61.在本示例性u-net架构中，收缩路径由四个卷积神经网络(cnn)块组成。收缩路径中的每个ccn块可以包括两个(例如3
×
3)卷积，如星号符号“*”所指示的，以及激活函数(例如整流线性(relu)单元)，可选地使用批量归一化。收缩路径中每个cnn块的输出被下采样，例如通过2
×
2最大池化，如向下箭头所指示的。收缩路径的输出馈入瓶颈bn，此处显示它由两个卷积层组成(例如带有批量标准化和可选的0.5退出)。扩张/扩展路径遵循瓶颈bn，并且此处由五个cnn块组成。在扩展路径中，每个块的输出提供转置卷积(或去卷积)以对图像/信息/数据进行上采样(例如上转换)。在本示例中，上转换以2
×
2内核(或卷积矩阵)为特征，如向上箭头所指示的。相应的下采样块和上采样块之间的复制和裁剪链接cc1至cc4复制一个下采样块的输出并将其连接到其相应上采样块的输入。在扩展路径的末端，最后一个上采样块的输出被提交给另一个卷积操作(例如1
×
1输出卷积)，如虚线箭头所指示的，然后产生其输出u-out。例如，神经网络可能在刚到达1
×
1输出卷积之前每个像素具有多个特征，但1
×
1卷积在逐像素级别上将这些多个特征组合成每个像素的单个输出值。
62.二元交叉熵和骰子系数损失的组合用于训练。最后一层使用“蛋糕上的糖霜”来微调模型。“蛋糕上的糖霜”是一种在普通训练完成后只对最后一层进行(重新)训练的方法。训练使用了250个黄斑立方体(58个像素大小为512
×
128
×
1024；和192个像素大小为200
×
200
×
1024)，其是使用cirrus
tm hd-oct 4000和5000(zeiss,dublin,ca)从155名患者获得。专家在正面图像中手动绘制ga轮廓分割，同时查看rpe下方的超反射率以及可用正面图像和b扫描中可能的rpe中断。对于每个黄斑立方体，生成一个3-通道正面图像，如上文所述(例如参考图3和4a)。自定义生成的正面图像的训练和测试集分别由225只眼睛(187只含有ga；19只含有无ga的玻璃疣；且19只来自健康受试者)和25只眼睛(11只含有ga，5只含有无ga的玻璃疣；且9只来自健康受试者)组成。
63.在操作中，经过训练的u-net基于图像21中的通道编码输出ga分割33，如图6所示。可以将输出ga分割33提交给阈值操作(和其它已知的分割清理操作)以产生分割输出35。
64.使用定性和定量测量(例如面积、bland-altman和pearson的相关性)将测试集中的本算法的分割与手动标记进行比较。图7显示了本概念验证实施的定性结果(例如本提出的算法)，并且图8显示了本概念验证实施的定量测量。在图7中，a)列显示了获得的oct正面图像，b)列显示了生成的3-通道编码图像，用于输入到当前训练的u-net机器模型，c)列显示了基本真实图像(即人类专家注释的ga区域，d)列显示了当前提出的算法产生的输出，且e)列显示了当前cirrus
tm hd-oct检查软件中可用的“高级rpe分析”工具的输出。如图8所示，由所提出的算法生成的ga区域和专家手动标记之间的绝对面积和分数面积差异分别为
0.11
±
0.17mm2和5.51
±
4.7％，而高级rpe分析工具为0.54
±
0.82mm2和25.61
±
42.3％。使用i7@2.90ghz cpu的推理时间为1183ms每张正面图像。所提出的算法生成的ga面积与专家手动标记的相关性以及高级rpe分析工具生成的ga面积与手动标记的相关性分别为0.9996(p-值《0.001)和0.9259(p-值《0.001)。手动标记和使用提议的算法生成的分割之间的bland-altman图显示出比使用现有高级rpe分析工具生成的分割更强的一致性。
65.图9提供了本发明的概要概述。用于分析光学相干断层扫描(oct)数据以识别特定病理(例如ga)的本方法可以从存取oct数据(步骤s1)开始，该oct数据可以包括octa数据(或octa数据可以源自存取的oct数据)。也就是说，存取的数据(例如使用oct系统捕获的、从先前捕获/处理的oct数据的数据存储中读取等)可以包括oct结构数据和octa流数据。
66.可选地，本方法还可以包括存取基于非-oct的数据(步骤s2)，包括不同于oct的成像模式的成像数据。例如，本系统可以存取眼底图像、荧光素血管造影图像、视野测试图和/或非图像数据(例如患者人口统计数据、疾病和用药史等)。
67.在步骤s3中，从存取的oct数据(和可选地来自步骤s2中提取的其它数据)中提取一系列度量。提取的度量可以包括从oct结构数据中提取的基于oct的度量和/或从octa流数据提取的基于octa的度量。度量可以针对特定的视网膜层，和/或可以包括与从当前位置到预定义视网膜界标的距离有关的信息。例如，可以从每个单独的a扫描中提取度量，并且度量可以包括相对于中央凹、相对于特定的视网膜层区域或相对于其它视网膜界标的当前a扫描位置(或当前a扫描内的轴向位置)的信息。
68.在步骤s4中，创建了一组图像，其中每个图像定义或突出了病理特异性(例如ga)特征信息。也就是说，创建的图像可以表征(例如关联)相同的病理类型。创建的图像可以基于提取的度量，或者基于在步骤s2中存取的任何其它数据类型。例如，来自每个a扫描的提取度量可以被分类到相应的度量组中(例如具有一一对应的关系)，并且可以基于每个相应的度量组来创建不同的图像。从基于oct的数据创建的图像可以是正面图像，而从基于非oct的数据创建的图像可以是平面的、正面视图图像。例如，创建的图像可以包括亚-rpe反射率、内部rpe反射率、正面视网膜厚度、脉络膜毛细血管流动、sattler层的图像、haller层的图像的正面图像，以及包括眼底图像(例如白光、红光、蓝光、绿光、红外光、自发荧光等)、荧光素血管造影图像、视野测试图和/或非图像数据(例如患者人口统计数据)的2d分布。
69.在步骤s5中，定义了该组图像的多通道图像。例如，多通道图像可以为每个像素定义多个“颜色”通道，其中每个创建的图像定义了单独的颜色通道。换言之，多通道图像可以包括分别基于多个成像模式的多个图像通道。可选地，创建的图像的组合可以定义单个颜色通道。
70.在步骤s6中，将定义的多通道图像提交给机器学习模型(例如具有u-net架构的神经网络)，该模型被训练以基于单个图像通道的病理特征数据识别一种或多种病理(优选地被训练以识别目标病理)。机器模型可以通过在正面oct图像上勾画/分割病理来识别目标病理。也就是说，可以将各个图像通道位置映射到一般的oct正面图像，并可以将识别的多通道图像中存在病理的区域(基于由多通道图像的每个像素的各个通道提供的病理特征数据的组合)映射回一般的oct正面图像。
71.在步骤s7中，将所识别的病理显示或存储在计算设备中以供将来参考。
72.下文提供了适用于本发明的各种硬件和架构的描述。
73.视野测试系统
74.本文所述的改进可以与任何类型的视野测试仪/系统(例如视野计)结合使用。一个此类系统是“碗状”视野测试仪vf0，如图10所示。受试者(例如患者)vf1被示为观察半球形投影屏幕(或其它类型的显示器)vf2，其通常形状为碗状，测试仪vf0被称为碗。通常，指示受试者注视半球形屏幕vf3的中心点。受试者将他/她的头靠在患者支架上，该患者支架可以包括腮托vf12和/或前额托vf14。例如，受试者将他/她的头靠在腮托vf12上并且将他/她的前额靠在前额托vf14上。可选地，腮托vf12和前额托vf14可以一起移动或彼此独立地移动以正确固定/定位患者的眼睛，例如相对于试验镜片支架vf9，其可以保持受试者可以通过其观看屏幕vf2的镜片。例如，腮托和头靠可以在垂直方向上独立移动以适应不同的患者头部尺寸，并在水平和/或垂直方向上一起移动以正确定位头部。然而，这不是限制性的，并且本领域技术人员可以设想其它布置/移动。
75.在处理器vf5控制下的投影仪或其它成像设备vf4在屏幕vf2上显示一系列测试刺激(例如任何形状的测试点)vf6。受试者vf1通过启动用户输入vf7(例如按下输入按钮)表示他/她看到了刺激vf6。该受试者响应可以由处理器vf5记录，其可以用于基于受试者的响应来评估眼睛的视野，例如确定受试者vf1不再能看到测试刺激vf6的大小、位置和/或强度，并且从而确定测试刺激vf6的(可见)阈值。相机vf8可用于在整个测试过程中捕捉患者的注视(例如注视方向)。注视方向可用于患者对齐和/或确定患者是否遵守正确的测试程序。在本示例中，相机vf8位于相对于患者眼睛(例如相对于试验镜片支架vf9)的z轴上和在碗(屏幕vf2的)的后面，用于捕获患者眼睛的实时图像或视频。在其它实施方式中，该相机可以位于该z轴之外。来自凝视相机vf8的图像可以可选地在第二显示器vf10上显示给临床医生(在本文中也可以互换地称为技术人员)，以帮助患者对齐或测试验证。相机vf8可以在每次刺激呈现期间记录和存储眼睛的一个或多个图像。这可能导致每次视野测试收集数十到数百张图像，具体取决于测试条件。或者，相机vf8可以在测试期间记录和存储全长影视，并提供指示何时呈现每个刺激的时间戳。此外，还可以在刺激呈现之间收集图像，以提供有关受试者在整个vf测试期间的整体注意力的详细信息。
76.试验镜片支架vf9可以放置在患者眼前，以纠正眼睛的任何屈光不正。可选地，镜片支架vf9可以携带或保持液体试验镜片(参见例如美国专利号8,668,338，其内容通过引用整体并入本文)，其可用于为患者vf1提供可变屈光矫正。然而，应当注意的是，本发明不限于使用液体试验镜片进行屈光校正，并且也可以使用本领域已知的其它常规/标准试验镜片。
77.在一些实施方式中，一个或多个光源(未示出)可以定位在受试者vf1的眼睛前面，其产生来自诸如角膜等眼表的反射。在一种变型中，光源可以是发光二极管(led)。
78.虽然图10显示了投影型视野测试仪vf0，但本文描述的发明可以与其它类型的设备(视野测试仪)一起使用，包括通过液晶显示器(lcd)或其它电子显示器生成图像的那些设备(参见例如美国专利号8,132,916，在此通过引用并入)。其它类型的视野测试仪包括例如平面屏幕测试仪、小型化测试仪和双目视野测试仪。这些类型的测试仪的示例可以在美国专利号8,371,696、美国专利号5,912,723、美国专利号8,931,905、美国设计专利d472637中找到，其每一个都通过引用整体并入本文。
79.视野测试仪vf0可以包含使用硬件信号的仪器控制系统(例如运行算法，其可以是
软件、代码和/或例程)和电动定位系统以自动地将患者的眼睛定位在所需位置，例如镜片支架vf9处的屈光矫正镜片的中心。例如，步进电机可以在软件控制下移动腮托vf12和前额托vf14。可以提供摇臂开关，使主治技术人员能够通过使腮托和前额步进电机运行来调整患者的头部位置。手动可移动的折射镜片也可以放置在镜片支架vf9上的患者眼前，尽可能靠近患者的眼睛，而不会对患者的舒适度产生不利影响。可选地，仪器控制算法可以在腮托和/或前额马达运动正在进行时，如果这样的运动会中断测试执行，则暂停视野测试执行。
80.眼底成像系统
81.用于眼底成像的两类成像系统是泛光照明成像系统(或泛光照明成像器)和扫描照明成像系统(或扫描成像器)。泛光照明成像器同时用光泛光照射样本的整个目的视野(fov)，例如通过使用闪光灯，并使用全画幅相机(例如，具有足够尺寸的二维(2d)光传感器阵列的相机以整体捕获所需fov)捕获样本(例如眼底)的全画幅图像。例如，泛光照明眼底成像器用光照射眼睛的眼底，并在相机的单个图像捕获序列中捕获眼底的全画幅图像。扫描成像器提供在受试者(例如眼睛)上扫描的扫描束，并且当扫描束在受试者上扫描时，扫描束在不同的扫描位置成像，从而产生一系列可以重建(例如蒙太奇)以创建所需fov的合成图像的图像片段。扫描光束可以是点、线或二维区域，例如狭缝或宽线。美国专利8,967,806和8,998,411中提供了眼底成像器的示例。
82.图11示出了用于对眼底f成像的狭缝扫描眼科系统slo-1的示例，眼底f是与眼睛晶状体(或晶状体)cl相对的眼睛e的内表面，并且可以包括视网膜、视盘、黄斑、中央凹和后极。在本示例中，成像系统处于所谓的“扫描-去扫描”配置中，其中扫描线光束sb穿过眼睛e的光学组件(包括角膜cm、虹膜irs、瞳孔ppl和晶状体cl)扫描眼底f。在泛光眼底成像器的情况下，不需要扫描仪，并且一次将光应用于整个所需的视野(fov)。其它扫描配置在本领域中是已知的，并且具体的扫描配置对本发明来说不是关键。如所描绘的，成像系统包括一个或多个光源ltsrc，优选多色led系统或激光系统，其中光学扩展量(etendue，展度，集光率)已被适当地调整。可选的狭缝slt(可调节或静态)位于光源ltsrc的前面，并且可用于调节扫描线光束sb的宽度。此外，狭缝slt在成像期间可以保持静止，或者可以调整到不同的宽度，以允许不同的共焦水平和不同的应用，无论是用于特定扫描还是在用于抑制反射的扫描期间。可选的物镜objl可以放置在狭缝slt的前面。物镜objl可以是现有技术中的任何一种透镜，包括但不限于折射、衍射、反射或混合透镜/系统。来自狭缝slt的光通过光瞳分裂镜sm并被导向扫描仪lnscn。可取的是使扫描平面和光瞳平面尽可能靠近，以减少系统中的渐晕。可以包括可选的光学器件dl以操作两个组件的图像之间的光学距离。光瞳分裂镜sm可以将来自光源ltsrc的照明光束传递到扫描仪lnscn，并且将来自扫描仪lnscn的检测光束(例如从眼睛e返回的反射光)反射向相机cmr。光瞳分裂镜sm的任务是分裂照明和检测光束并帮助抑制系统反射。扫描仪lnscn可以是旋转振镜扫描仪或其它类型的扫描仪(例如压电或音圈、微机电系统(mems)扫描仪、电光偏转器和/或旋转多边形扫描仪)。取决于在扫描仪lnscn之前或之后是否进行光瞳分裂，可以将扫描分为两个步骤，其中一个扫描仪在照明路径中，且单独的扫描仪在检测路径中。在美国专利号9,456,746中详细描述了特定的光瞳分裂布置，该专利通过引用整体并入本文。
83.从扫描仪lnscn，照明光束穿过一个或多个光学器件，在这种情况下是扫描透镜sl和眼科或目镜ol，其允许眼睛e的瞳孔成像到系统的图像光瞳。通常，扫描透镜sl以多个扫
描角(入射角)中的任何一个接收来自扫描仪lnscn的扫描照明光束，并产生具有基本上平面焦平面(例如准直光路)的扫描线光束sb。然后眼科透镜ol可以将扫描线光束sb聚焦到要成像的物体上。在本示例中，眼科透镜ol将扫描线光束sb聚焦到眼睛e的眼底f(或视网膜)上以对眼底成像。以这种方式，扫描线光束sb产生一条横穿眼底f的横贯扫描线。这些光学器件的一种可能配置是开普勒型望远镜，其中选择两个透镜之间的距离以产生近似远心中间眼底图像(4-f配置)。眼科透镜ol可以是单个透镜、消色差透镜或不同透镜的排列。如本领域技术人员所知，所有透镜可以是折射的、衍射的、反射的或混合的。眼科透镜ol、扫描透镜sl的焦距以及光瞳分裂镜sm和扫描仪lnscn的大小和/或形式可以根据所需的视野(fov)不同而不同，并因此可以设想一种布置，其中多个组件可以切换进出光束路径，例如通过使用翻转光学元件、电动轮或可拆卸光学元件，具体取决于视野。由于视野变化导致瞳孔上的光束大小不同，因此也可以结合fov的变化来改变光瞳分裂。例如，45
°
到60
°
的视野是眼底相机的典型或标准fov。更高的视野，例如60
°‑
120
°
或更大的宽视野fov，也可能是可行的。对于宽线眼底成像仪(blfi)与另一成像模式(例如光学相干断层扫描(oct))的组合，可能需要宽视野fov。视野的上限可以由可达的工作距离结合人眼周围的生理条件来确定。由于典型的人类视网膜具有140
°
水平和80
°‑
100
°
垂直的fov，因此可能需要具有不对称的视野以获得系统上的最高可能fov。
84.扫描线光束sb穿过眼睛e的瞳孔ppl并指向视网膜或眼底表面f。扫描仪lnscn1调整光在视网膜或眼底f上的位置，使得在眼睛e上横向位置范围被照亮。反射或散射光(或在荧光成像的情况下发射的光)沿与照明相似的路径被引导回来，以在到相机cmr的检测路径上定义收集光束cb。
85.在本示例性狭缝扫描眼科系统slo-1的“扫描-去扫描”配置中，从眼睛e返回的光在其到达光瞳分裂镜sm的途中被扫描仪lnscn“去扫描”。即，扫描仪lnscn扫描来自光瞳分裂镜sm的照明光束以定义横过眼睛e的扫描照明光束sb，但由于扫描仪lnscn也在同一扫描位置接收来自眼睛e的返回光，扫描仪lnscn具有将返回光去扫描的效果(例如取消扫描动作)以定义从扫描仪lnscn到光瞳分裂镜sm的非扫描(例如稳定或静止)收集光束，这将收集光束折叠到相机cmr。在光瞳分裂镜sm处，反射光(或在荧光成像的情况下发射的光)从照明光中分离到指向相机cmr的检测路径上，该相机可以是具有用于捕获图像的光传感器的数码相机。成像(例如物镜)透镜imgl可以定位在检测路径中以将眼底成像到相机cmr上。与物镜objl的情况一样，成像透镜imgl可以是本领域已知的任何类型的透镜(例如折射、衍射、反射或混合透镜)。pct公开号wo2016/124644中描述了额外的操作细节，特别是减少图像中伪影的方法，其内容通过引用以其整体并入本文。相机cmr捕获接收到的图像，例如它创建图像文件，该图像文件可以由一个或多个(电子)处理器或计算设备(例如图20的计算机系统)进一步处理。因此，收集光束(从扫描线光束sb的所有扫描位置返回)由相机cmr收集，并且全画幅图像img可以例如通过蒙太奇由单独捕获的收集光束的合成构建。然而，也可以考虑其它扫描配置，包括照明光束在眼睛e上扫描并且收集光束在相机的光传感器阵列上扫描的配置。pct公开wo 2012/059236和美国专利公开号2015/0131050(通过引用并入本文)描述了狭缝扫描检眼镜的若干实施方式，包括其中返回光扫过相机的光传感器阵列和其中返回光不扫过相机的光传感器阵列的各种设计。
86.在本示例中，相机cmr连接到处理器(例如处理模块)proc和显示器(例如显示模
块、计算机屏幕、电子屏幕等)dspl，两者都可以是图像系统本身的一部分，或者可以是单独的专用处理和/或显示单元的一部分，例如计算机系统，其中数据通过电缆或计算机网络(包括无线网络)从相机cmr传递到计算机系统。显示器和处理器可以是多合一的单元。显示器可以是传统的电子显示器/屏幕或触摸屏类型，并且可以包括用于向仪器操作员或用户显示信息和从仪器操作员或用户接收信息的用户界面。用户可以使用本领域已知的包括但不限于鼠标、旋钮、按钮、指针和触摸屏在内的任何类型的用户输入设备与显示器交互。
87.在进行成像时，可能需要患者的注视保持固定。实现这一点的一种方式是提供可以引导患者凝视的固视目标。固视目标可以在仪器内部或外部，具体取决于要对眼睛的哪个区域进行成像。图11中示出了内部固视目标的一个实施方式。除了用于成像的主要光源ltsrc之外，可以定位第二可选光源fxltsrc，例如一个或多个led，以便使用透镜fxl、扫描元件fxscn和反射器/镜子fxm将光图案成像到视网膜。固视扫描仪fxscn可以移动光图案的位置，并且反射器fxm将光图案从固视扫描仪fxscn引导到眼睛e的眼底f。优选地，固视扫描仪fxscn的位置使其位于系统的光瞳平面，使得视网膜/眼底上的光图案可以根据所需的固视位置移动。
88.狭缝扫描检眼镜系统能够在不同的成像模式下操作，取决于所采用的光源和波长选择过滤元件。当使用一系列彩色led(红色、蓝色和绿色)对眼睛进行成像时，可以实现真彩色反射成像(类似于临床医生使用手持式或裂隙灯检眼镜检查眼睛时观察到的成像)。每种颜色的图像可以在每个扫描位置打开每个led时逐步建立，或者可以作为整体单独拍摄每种颜色的图像。可以组合三色图像以显示真彩色图像，或者它们可以单独显示以突出视网膜的不同特征。红色通道最能突出脉络膜，绿色通道突出视网膜，且蓝色通道突出视网膜前层。此外，特定频率的光(例如单个彩色led或激光)可用于激发眼睛中的不同荧光团(例如自发荧光)，并且可以通过滤除激发波长来检测产生的荧光。
89.眼底成像系统还可以提供红外反射图像，例如通过使用红外激光(或其它红外光源)。红外(ir)模式的优势在于眼睛对ir波长不敏感。这可以允许用户在不干扰眼睛的情况下连续拍摄图像(例如在预览/对齐模式下)以在仪器对齐期间帮助用户。此外，ir波长增加了穿透组织的能力，并可提供改善的脉络膜结构可视化。此外，荧光素血管造影(fa)和吲哚菁绿(icg)血管造影成像可以通过在将荧光染料注入受试者血流后收集图像来完成。例如，在fa(和/或icg)中，可以在将光反应染料(例如荧光染料)注射到受试者的血流中后捕获一系列延时图像。值得注意的是，必须小心，因为荧光染料可能会在部分人群中导致出现危及生命的过敏反应。使用选定的特定光频率来激发染料捕获高对比度、灰度图像。当染料流过眼睛时，眼睛的各个部分会发出明亮的光(例如荧光)，使得可以辨别染料的进程，并因此可以辨别流过眼睛的血流。
90.光学相干断层成像系统
91.通常，光学相干断层扫描(oct)使用低相干光来产生生物组织的二维(2d)和三维(3d)内部视图。oct能够对视网膜结构进行体内成像。oct血管造影(octa)产生血流信息，例如来自视网膜内的血管流动。美国专利6,741,359和9,706,915中提供了oct系统的示例，并且在美国专利9,700,206和9,759,544中可以找到octa系统的示例，所有这些都通过引用整体并入本文。本文提供了示例性oct/octa系统。
92.图12示出了广义频域光学相干断层扫描(fd-oct)系统，其用于收集适合与本发明
imaging by line field spectral domain optical coherence tomography,”optics express,15(12):7103 2007；blazkiewicz et al,“signal-to-noise ratio study of full-field fourier-domain optical coherence tomography,”applied optics,44(36):7722(2005))。在时域系统中，参考臂需要具有可调节的光延迟以产生干涉。平衡检测系统通常用于td-oct和ss-oct系统，而光谱仪用于sd-oct系统的检测端口。本文描述的发明可以应用于任何类型的oct系统。本发明的各个方面可以应用于任何类型的oct系统或其它类型的眼科诊断系统和/或多个眼科诊断系统，包括但不限于眼底成像系统、视野测试设备和扫描激光旋光仪。
95.在傅立叶域光学相干断层扫描(fd-oct)中，每次测量都是实值光谱干涉图(sj(k))。实值光谱数据通常经过多个后处理步骤，包括背景减除、色散校正等。处理后的干涉图的傅立叶变换产生复值oct信号输出图的傅立叶变换产生复值oct信号输出这个复杂的oct信号的绝对值|aj|揭示了不同路径长度的散射强度分布，以及因此作为样品中深度(z方向)的函数的散射。类似地，也可以从复值oct信号中提取相位作为深度函数的散射分布称为轴向扫描(a扫描)。在样品中相邻位置测量的一组a扫描会产生样品的横截面图像(断层图或b扫描)。在样品上不同横向位置收集的b扫描集合构成数据卷或立方体。对于特定的数据卷，术语快轴是指沿单个b扫描的扫描方向，而慢轴是指沿其收集多个b扫描的轴。术语“集群扫描”可以指为了分析运动对比度而在相同(或基本相同)位置(或区域)重复采集所生成的单个单元或数据块，其可用于识别血流。集群扫描可以由在样品上大致同一位置以相对较短的时间间隔收集的多个a扫描或b扫描组成。由于集群扫描中的扫描属于同一区域，因此静态结构在集群扫描内的各扫描间保持相对不变，而符合预定标准的扫描之间的运动对比度可被识别为血流。
96.在本领域中已知产生b扫描的多种方式，包括但不限于：沿水平或x-方向，沿垂直或y-方向，沿x和y的对角线，或以圆形或螺旋形图案。b扫描可以是在x-z维度上，但可以是包括z维度的任何横截面图像。图13中示出了人眼的正常视网膜的示例oct b扫描图像。视网膜的oct b扫描提供了视网膜组织结构的视图。出于说明目的，图13标识了各种典型的视网膜层和层边界。已识别的视网膜边界层包括(从上到下)：内界膜(ilm)lyer1、视网膜神经纤维层(rnfl或nfl)layr2、神经节细胞层(gcl)layr3、内丛状层(ipl)layr4、内核层(inl)layr5、外丛状层(opl)layr6、外核层(onl)layr7、光感受器外段(os)和内段(is)之间的连接点(由参考字符layr8表示)、外部或外界膜(elm或olm)layr9、视网膜色素上皮(rpe)layr10和bruch膜(bm)layr11。
97.在oct血管造影或功能性oct中，分析算法可应用于在相同时间或者在不同时间(例如集群扫描)在样品上相同或大致相同的位置收集的oct数据，以分析运动或流动(参见例如美国专利公开号2005/0171438、2012/0307014、2010/0027857、2012/0277579和美国专利号6,549,801，所有这些都通过引用整体并入本文)。oct系统可以使用多种oct血管造影处理算法(例如运动对比算法)中的任何一种来识别血流。例如，运动对比度算法可以应用于从图像数据中导出的强度信息(基于强度的算法)、来自图像数据的相位信息(基于相位的算法)或复数图像数据(基于复数的算法)。正面图像是3d oct数据的2d投影(例如通过平均每个单独a扫描的强度，以便每个a扫描定义2d投影中的一个像素)。类似地，正面脉管系
统图像是显示运动对比度信号的图像，其中通常通过对数据的全部或孤立部分进行求和或积分(参见例如美国专利号7,301,644，其全部内容以引用的方式并入本文)将对应于深度的数据维度(例如沿a扫描的z方向)显示为单个代表值(例如2d投影图像中的像素)。提供血管造影成像功能的oct系统可称为oct血管造影(octa)系统。
98.图14示出了正面脉管系统图像的示例。在使用本领域已知的任何运动对比度技术处理数据以突出运动对比度之后，可以将与距视网膜中内界膜(ilm)表面的给定组织深度相对应的像素范围相加，以生成脉管系统的正面(例如正视图)图像。图15显示了脉管系统(octa)图像的示例性b扫描。如图所示，结构信息可能很好定义，因为血流可能穿过多个视网膜层，使得它们的定义不如结构octb扫描中的分明，如图13所示。尽管如此，octa为视网膜和脉络膜的微脉管系统成像提供了一种非侵入性技术，这对于诊断和/或监测各种病理可能至关重要。例如，octa可用于通过识别微动脉瘤、新生血管复合物和量化中心凹无血管区和非灌注区来识别糖尿病性视网膜病变。此外，octa已被证明与荧光素血管造影(fa)具有良好的一致性，这是一种更传统但更隐蔽的技术，需要注射染料来观察视网膜中的血管流动。此外，在干性年龄相关性黄斑变性中，octa已被用于监测脉络膜毛细血管层流动的普遍减少。类似地，在湿性年龄相关性黄斑变性中，octa可以提供脉络膜新生血管膜的定性和定量分析。octa还被用于研究血管闭塞，例如评估未灌注区域以及浅表和深部神经丛的完整性。
99.神经网络
100.如上所讨论的，本发明可以使用神经网络(nn)机器学习(ml)模型。为了完整起见，本文提供了对神经网络的一般性讨论。本发明可以单独地或组合地使用任何下述神经网络架构。神经网络或神经网是互连神经元的(节点)网络，其中每个神经元代表网络中的一个节点。神经元组可以分层排列，一层的输出前馈到在多层感知器(mlp)排列中的下一层。mlp可以理解为是将一组输入数据映射到一组输出数据上的前馈神经网络模型。
101.图16示出了多层感知器(mlp)神经网络的示例。其结构可能包括多个隐藏(例如内部)层hl1到hln，它们将输入层inl(接收一组输入(或向量输入)in_1到in_3)映射到输出层outl，输出层outl产生一组输出(或矢量输出)，例如out_l和out_2。每个层可以具有任何给定数量的节点，这些节点在本文中示例性地显示为每个层内的圆圈。在本示例中，第一隐藏层hl1有两个节点，而隐藏层hl2、hl3和hln各有三个节点。通常，mlp越深(例如mlp中隐藏层的数量越多)，其学习能力就越大。输入层inl接收向量输入(示出为由in_1、in_2和in_3组成的三维向量)，并且可以将接收到的向量输入应用到隐藏层序列中的第一隐藏层hl1。输出层outl从多层模型中的最后一个隐藏层(例如hln)接收输出，处理其输入，并产生向量输出结果(示例性地显示为由out_l和out_2组成的二维向量)。
102.通常，每个神经元(或节点)产生单个输出，该输出被前馈到紧随其后的层中的神经元。但隐藏层中的每个神经元都可以接收多个输入，这些输入要么来自输入层，要么来自紧接前一隐藏层中神经元的输出。通常，每个节点都可以对其输入应用一个函数来为该节点生成一个输出。隐藏层(例如学习层)中的节点可以将相同的函数应用于它们各自的输入以产生它们各自的输出。然而，一些节点，例如输入层inl中的节点仅接收一个输入并且可能是被动的，这意味着它们只是将其单个输入的值中继到其输出，例如它们提供其输入的副本到它们的输出，如输入层inl的节点内的虚线箭头所示。
103.为了说明的目的，图17示出了由输入层inl’、隐藏层hl1’和输出层outl’组成的简化神经网络。输入层inl’显示为具有两个输入节点i1和i2，它们分别接收输入input_l和input_2(例如层inl’的输入节点接收二维输入向量)。输入层inl’前馈到具有两个节点h1和h2的一个隐藏层hl1’，后者又前馈到两个节点o1和o2的输出层outl’。神经元之间的互连或链接(示出为实线箭头)具有权重w1到w8。通常，除了输入层，节点(神经元)可以接收其紧接前一层中节点的输出作为输入。每个节点可以通过将每个其输入乘以每个输入相应的互连权重、将其输入的乘积相加、添加(或乘以)由可能与该特定节点相关联的另一权重或偏差定义的常数来计算其输出(例如节点权重w9、w10、w11、w12分别对应节点h1、h2、o1和o2)，然后对结果应用非线性函数或对数函数。非线性函数可以称为激活函数或传递函数。多个激活函数在本领域中是已知的，并且特定激活函数的选择对于本讨论不是关键的。然而，需要注意的是，ml模型的操作或神经网络的行为取决于权重值，可以学习这些权重值以便神经网络为给定输入提供所需的输出。
104.在训练或学习阶段，神经网络学习(例如被训练以确定)适当的权重值以实现给定输入的期望输出。在训练神经网络之前，可以为每个权重单独分配初始(例如随机和可选非零)值，例如随机数种子。分配初始权重的各种方法在本领域中是已知的。然后，训练(优化)权重，以便对于给定的训练向量输入，神经网络产生接近所需(预定)训练向量输出的输出。例如，可以通过称为反向传播的技术在数千个迭代周期中逐步调整权重。在反向传播的每个循环中，训练输入(例如向量输入或训练输入图像/样品)通过神经网络前馈以确定其实际输出(例如向量输出)。然后，基于实际神经元输出和该神经元的目标训练输出(例如对应于当前训练输入图像/样品的训练输出图像/样品)计算每个输出神经元或输出节点的误差。然后，一个通过神经网络传播回来(在从输出层回到输入层的方向上)，根据每个权重对整体误差的影响来更新权重，以便神经网络的输出更接近期望训练输出。然后重复这个循环，直到对于给定的训练输入，神经网络的实际输出在期望训练输出的可接受误差范围内。如可以理解的，每个训练输入在达到期望的误差范围之前可能需要多次反向传播迭代。通常，一个历元(epoch)是指所有训练样品的一次反向传播迭代(例如一次前向传递和一次后向传递)，因此训练神经网络可能需要许多历元。一般来说，训练集越大，训练的ml模型的性能就越好，因此可以使用各种数据增强方法来增加训练集的大小。例如，当训练集包括对应的训练输入图像和训练输出图像对时，可以将训练图像划分为多个对应的图像片段(或补丁)。来自训练输入图像和训练输出图像的对应补丁可以被配对以从一个输入/输出图像对定义多个训练补丁对，这扩大了训练集。然而，在大型训练集上进行训练对计算资源提出了很高的要求，例如内存和数据处理资源。可以通过将大型训练集划分为多个小批量来减少计算需求，其中小批量大小定义了一次前向/后向传递中的训练样本数量。在这种情况下，一个历元可能包括多个小批量。另一个问题是nn可能会过度拟合训练集，从而降低其从特定输入泛化到不同输入的能力。过度拟合的问题可以通过创建神经网络集合或在训练期间随机丢弃神经网络中的节点来缓解，这有效地从神经网络中去除丢弃的节点。本领域已知各种丢弃调节方法，例如逆丢弃等。
105.需要注意的是，经过训练的nn机器模型的操作不是操作/分析步骤的直接算法。事实上，当经过训练的nn机器模型接收到输入时，该输入并没有进行传统意义上的分析。相反，无论输入的主题或性质如何(例如定义实时图像/扫描的向量或定义某些其它实体的向
量，例如人口统计描述或活动记录)，输入都将受到与经过训练的神经网络相同的预定义架构构造(例如相同的节点/层排列、训练的权重和偏差值、预定义的卷积/反卷积操作、激活函数、池化操作等)，并且可能不清楚训练网络的架构结构如何产生其输出。此外，经过训练的权重和偏差的值不是确定性的，并且取决于许多因素，例如神经网络用于训练的时间量(例如训练中的历元数)、在训练开始之前权重的随机起始值、训练nn的机器的计算机架构、训练样本的选择、训练样本在多个小批量中的分布、激活函数的选择、选择修改权重的误差函数，并且即使训练在一台机器上中断(例如具有第一计算机架构)并且在另一台机器(例如具有不同的计算机架构)上完成。关键是，经过训练的ml模型达到某些输出的原因尚不清楚，并且目前正在进行大量研究，以试图确定ml模型输出所基于的因素。因此，神经网络对实时数据的处理不能简化为简单的步骤算法。相反，它的操作取决于它的训练架构、训练样本集、训练序列以及ml模型训练中的各种情况。
106.总之，nn机器学习模型的构建可以包括学习(或训练)阶段和分类(或操作)阶段。在学习阶段，神经网络可以针对特定目的进行训练，并且可以提供有一组训练示例，包括训练(样品)输入和训练(样品)输出，并且可选地包括一组验证示例来测试训练的进展。在这个学习过程中，与神经网络中的节点和节点互连相关的各种权重被增量调整，以减少神经网络的实际输出和期望的训练输出之间的误差。以这种方式，多层前馈神经网络(例如上面讨论的)可以使得能够将任何可测量的函数接近至任何期望的准确度。学习阶段的结果是已经学习(例如训练)的(神经网络)机器学习(ml)模型。在操作阶段，可以将一组测试输入(或实时输入)提交给经学习的(经过训练的)ml模型，该模型可以应用所学到的来基于测试输入产生输出预测。
107.就像图16和17的常规神经网络，卷积神经网络(cnn)也由具有可学习权重和偏差的神经元组成。每个神经元接收输入，执行操作(例如点积)，并且可选地跟随非线性。然而，cnn可能会在一端(例如输入端)接收原始图像像素，并在另一端(例如输出端)提供分类(或类别)分数。由于cnn期望图像作为输入，因此它们针对容量进行了优化(例如图像的像素高度和宽度以及图像的深度，例如颜色深度，例如由三种颜色定义的rgb深度：红色、绿色和蓝色)。例如，cnn的层可以针对3维排列的神经元进行优化。cnn层中的神经元也可以连接到其前一层的小区域，而不是连接到全连接nn中的所有神经元。cnn的最终输出层可以将完整图像缩减为沿深度维度排列的单个向量(分类)。
108.图18提供了示例卷积神经网络架构。卷积神经网络可以定义为两个或更多个层的序列(例如第1层到第n层)，其中层可以包括(图像)卷积步骤、(结果的)加权和步骤和非线性函数步骤。可以通过应用滤波器(或内核)对其输入数据执行卷积，例如在跨输入数据的移动窗口上，以生成特征图。每个层和层的组件可以具有不同的预定滤波器(来自滤波器组)、权重(或加权参数)和/或函数参数。在本示例中，输入数据是具有给定像素高度和宽度的图像，其可以是图像的原始像素值。在本示例中，输入图像被示为具有三个颜色通道rgb(红色、绿色和蓝色)的深度。可选地，输入图像可以进行各种预处理，并且可以输入预处理结果来代替或补充原始输入图像。图像预处理的一些示例可包括：视网膜血管图分割、颜色空间转换、自适应直方图均衡化、连通分量生成等。在层内，可以在给定的权重和它们在输入容量中连接到的小区域之间计算点积。配置cnn的许多方式在本领域中是已知的，但是作为示例，层可以配置为应用逐元素激活函数，例如在零处的max(0,x)阈值。可以执行池化函
数(例如沿x-y方向)以对容量进行下采样。全连接层可用于确定分类输出并产生一维输出向量，该一维输出向量已被发现可用于图像识别和分类。然而，对于图像分割，cnn会需要对每个像素进行分类。由于每个cnn层都倾向于降低输入图像的分辨率，因此需要另一个阶段将图像上采样回其原始分辨率。这可以通过应用转置卷积(或反卷积)阶段tc来实现，该阶段通常不使用任何预定义的插值方法，而是具有可学习的参数。
109.卷积神经网络已成功地应用于许多计算机视觉问题。如上所解释的，训练cnn通常需要大量的训练数据集。u-net架构基于cnn，并且通常可以在比传统cnn更小的训练数据集上进行训练。
110.图19示出了示例u-net架构。本示例性u-net包括接收任何给定大小的输入u-in(例如输入图像或图像补丁)的输入模块(或输入层或阶段)。出于说明目的，任何阶段或层的图像大小都在表示图像的框内指出，例如输入模块包围数字“128
×
128”以指示输入图像u-in由128
×
128像素组成。输入图像可以是眼底图像、oct/octa正面b扫描图像等。然而，应当理解的是，输入可以是任何大小或维度。例如，输入图像可以是多通道图像(例如rgb彩色图像)、单色图像、容量图像等。输入图像经过一系列处理层，每个处理层都以示例性大小进行说明，但这些大小仅用于说明目的，并且将取决于例如图像的大小、卷积滤波器和/或池化阶段。本架构由收缩路径(本文示例性地由四个编码模块组成)和之后的扩展路径(本文中示例性地由四个解码模块组成)以及相应模块/阶段之间的复制和裁剪链接(例如cc1至cc4)组成，相应的模块/阶段复制收缩路径中一个编码模块的输出并将其连接到(例如将其附加到)扩展路径中的相应解码模块的上转换输入(的后面)。这产生了特征性的u形，该架构从该u形得到它的名字。可选地，例如出于计算考虑，“瓶颈”模块/阶段(bn)可以定位在收缩路径和扩展路径之间。瓶颈bn可由两个卷积层组成(具有批量归一化和可选的丢弃)。
111.收缩路径(contracting path)类似于编码器，并且通常通过使用特征图来捕获上下文(或特征)信息。在本示例中，收缩路径中的每个编码模块可以包括两个或更多个卷积层，由星号符号“*”说明性地指示，并且其后面可以是最大池化层(例如下采样层)。例如，输入图像u-in被说明性地显示为经历两个卷积层，每个卷积层具有32个特征图。可以理解的是，每个卷积内核都产生特征图(例如来自具有给定内核的卷积操作的输出是通常称为“特征图”的图像)。例如，输入u-in经历第一次卷积，其应用32个卷积内核(未显示)以产生由32个相应特征图组成的输出。然而，正如本领域已知的，由卷积操作产生的特征图的数量可以被调整(向上或向下)。例如，可以通过平均特征图组、丢弃一些特征图或其它已知的特征图减少方法来减少特征图的数量。在本示例中，该第一个卷积之后是第二个卷积，其输出限制为32个特征图。设想特征图的另一种方式可以是将卷积层的输出视为3d图像，其2d维度由列出的x-y平面像素维度(例如128
×
128像素)给出，并且其深度由特征图的数量给出(例如32个平面图像深度)。按照这个类比，第二个卷积的输出(例如收缩路径中第一编码模块的输出)可以描述为128
×
128
×
32图像。然后，来自第二个卷积的输出经历池化操作，这会减少每个特征图的2d维度(例如x和y维度可以分别减少一半)。池化操作可以体现在下采样操作中，如向下箭头所示。本领域中已知多种池化方法，例如最大池化，并且具体的池化方法对本发明来说不是关键。每次池化时，特征图的数量可能会翻倍，从第一个编码模块(或块)中的32个特征图开始，第二个编码模块中为64个，依此类推。因此，收缩路径形成了由多个编码模块(或阶段或块)组成的卷积网络。作为典型的卷积网络，每个编码模块可以提供至
少一个卷积阶段，然后是激活函数(例如整流线性单元(relu)或s形层)(未显示)以及最大池化操作。通常，激活函数将非线性引入层中(例如以帮助避免过拟合问题)，接收层的结果，并确定是否“激活”输出(例如确定给定节点的值是否满足预定义标准以将输出转发到下一层/节点)。总之，收缩路径通常会减少空间信息，同时增加特征信息。
112.扩展路径类似于解码器，并且除其它外，可以为收缩路径的结果提供定位和空间信息，尽管在收缩阶段执行了下采样和任何最大池化。扩展路径包括多个解码模块，其中每个解码模块将其当前的上转换输入与相应编码模块的输出连接。以这种方式，特征和空间信息通过一系列上卷积(例如上采样或转置卷积或反卷积)和与来自收缩路径的高分辨率特征的连接(例如经由cc1至cc4)在扩展路径中组合。因此，反卷积层的输出与来自收缩路径的相应(可选地裁剪的)特征图相连接，然后是两个卷积层和激活函数(带有可选的批量归一化)。
113.从扩展路径中最后一个扩展模块的输出可以馈送到另一处理/训练块或层，例如分类器块，它可以与u-net架构一起训练。替代地或附加地，最后一个上采样块的输出(在扩展路径的末端)可以在产生其输出u-out之前提交给另一个卷积(例如输出卷积)操作，如虚线箭头所示。可以选择输出卷积的内核大小以将最后一个上采样块的维度减小到所需大小。例如，就在到达输出卷积之前，神经网络的每个像素可有多个特征，这可以提供1
×
1卷积操作以在逐像素级别上将这些多个特征组合成每个像素的单个输出值。
114.计算设备/系统
115.图20示出了示例计算机系统(或计算设备或计算机设备)。在一些实施方式中，一个或多个计算机系统可以提供本文描述或示出的功能性和/或执行本文描述或示出的一种或多种方法的一个或多个步骤。计算机系统可以采用任何合适的物理形式。例如，计算机系统可以是嵌入式计算机系统、片上系统(soc)、单板计算机系统(sbc)(诸如例如模块上的计算机(com)或模块上的系统(som))、台式计算机系统、膝上型计算机或笔记本计算机系统、计算机系统网格、移动电话、个人数字助理(pda)、服务器、平板计算机系统、增强/虚拟现实设备或这些中两种或更多种的组合。在适当的情况下，计算机系统可以驻留在云中，其可以包括一个或多个网络中的一个或多个云组件。
116.在一些实施方式中，计算机系统可以包括处理器cpnt1、内存cpnt2、存储器cpnt3、输入/输出(i/o)接口cpnt4、通信接口cpnt5和总线cpnt6。计算机系统还可以可选地包括显示器cpnt7，例如计算机监视器或屏幕。
117.处理器cpnt1包括用于执行指令的硬件，例如构成计算机程序的那些指令。例如，处理器cpnt1可以是中央处理单元(cpu)或图形处理单元上的通用计算(gpgpu)。处理器cpnt1可以从内部寄存器、内部高速缓存、内存cpnt2或存储器cpnt3检索(或获取)指令，解码和执行指令，并将一个或多个结果写入内部寄存器、内部高速缓存、内存cpnt2或存储cpnt3。在特定实施方式中，处理器cpnt1可以包括一个或多个用于数据、指令或地址的内部高速缓存。处理器cpnt1可以包括一个或多个指令高速缓存、一个或多个数据高速缓存，例如用于保存数据表。指令高速缓存中的指令可以是内存cpnt2或存储器cpnt3中的指令的副本，并且指令高速缓存可以加速处理器cpnt1对这些指令的检索。处理器cpnt1可以包括任何合适数量的内部寄存器，并且可以包括一个或多个算术逻辑单元(alu)。处理器cpnt1可以是多核处理器；或包括一个或多个处理器cpnt1。尽管本公开描述和示出了特定处理器，
但本公开考虑任何合适的处理器。
118.内存cpnt2可以包括用于存储指令的主内存，以供处理器cpnt1在处理期间执行或保存临时数据。例如，计算机系统可以将指令或数据(例如数据表)从存储器cpnt3或从另一个来源(例如另一个计算机系统)加载到内存cpnt2。处理器cpnt1可以将指令和数据从内存cpnt2加载到一个或多个内部寄存器或内部高速缓存。为了执行指令，处理器cpnt1可以从内部寄存器或内部高速缓存中检索和解码指令。在指令执行期间或之后，处理器cpnt1可以将一个或多个结果(可以是中间或最终结果)写入内部寄存器、内部高速缓存、内存cpnt2或存储器cpnt3。总线cpnt6可以包括一个或多个内存总线(其可以各自包括地址总线和数据总线)并且可以将处理器cpnt1耦合到内存cpnt2和/或存储器cpnt3。可选地，一个或多个内存管理单元(mmu)促进处理器cpnt1和内存cpnt2之间的数据传输。内存cpnt2(可以是快速易失性存储器)可以包括随机存取存储器(ram)，例如动态ram(dram)或静态ram(sram)。存储器cpnt3可包括用于数据或指令的长期或大容量存储。存储器cpnt3可以在计算机系统的内部或外部，并且包括磁盘驱动器(例如硬盘驱动器、hdd或固态驱动器ssd)、闪存、rom、eprom、光盘、磁光盘、磁带、通用串行总线(usb)可获取驱动器或其它类型的非易失性存储器中的一种或多种。
119.i/o接口cpnt4可以是软件、硬件或两者的组合，并且包括用于与i/o设备通信的一个或多个接口(例如串行或并行通信端口)，这可以实现与人(例如用户)通信。例如，i/o设备可以包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静物照相机、触控笔、平板电脑、触摸屏、轨迹球、摄像机、其他合适的eo设备、或这些中两个或更多个的组合。
120.通信接口cpnt5可以提供用于与其它系统或网络通信的网络接口。通信接口cpnt5可以包括蓝牙接口或其它类型的基于数据包的通信。例如，通信接口cpnt5可以包括网络接口控制器(nic)和/或无线nic或用于与无线网络通信的无线适配器。通信接口cpnt5可以提供与wi-fi网络、自组织网络、个域网(pan)、无线pan(例如蓝牙wpan)、局域网(lan)、广域网(wan)、城域网(man)、蜂窝电话网络(例如全球移动通信系统(gsm)网络)、互联网或这些中两种或多种的组合。
121.总线cpnt6可以提供计算系统的上述组件之间的通信链路。例如，总线cpnt6可以包括加速图形端口(agp)或其它图形总线、增强型工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、infiniband总线、低引脚数(lpc)总线、内存总线、微通道架构(mca)总线、外围组件互连(pci)总线、pci-express(pcie)总线、串行高级技术附件(sata)总线、视频电子标准协会本地(vlb)总线或其它合适的总线或这些中两种或更多种的组合。
122.尽管本公开描述和示出了特定布置中具有特定数量的特定组件的特定计算机系统，但是本公开设想了任意合适布置中具有任何合适数量的任何合适组件的任何合适计算机系统。
123.在本文中，一种或多种计算机可读非暂时性存储介质可以包括一个或多个基于半导体的或其它集成电路(ic)(例如如现场可编程门阵列(fpga)或专用ic(asic))、硬盘驱动器(hdd)、混合硬盘驱动器(hhd)、光盘、光盘驱动器(odd)、磁光盘、磁光驱动器、软盘、软盘驱动器(fdd)、磁带、固态驱动器(ssd)、ram驱动器、安全数字卡或驱动器、任何其它合适的计算机可读非暂时性存储介质或这些中两种或更多种的任何合适组合(在适当的情况下)。
在适当的情况下，计算机可读非暂时性存储介质可以是易失性、非易失性或者易失性和非易失性的组合。
124.尽管已经结合多个具体实施方式描述了本发明，但是对于本领域技术人员显而易见的是，根据前述描述，许多进一步的替代、修改和变化将是显而易见的。因此，本文描述的本发明意在包括可能落入所附权利要求的精神和范围内的所有这样的替代、修改、应用和变化。