用于显示生物标本的多个图像的图像处理系统和方法
1.本技术是申请日为2016年8月25日，申请号为201680050177 .x并且发明名称为“用于显示生物标本的多个图像的图像处理系统和方法”申请的分案申请。
技术领域
2.本主题公开内容涉及用于医学诊断的成像。更特别地，本主题公开内容涉及视场（fov）图像的一致显示和变换。
背景技术：
3.在诸如组织切片、血液、细胞培养物等等之类的生物标本的分析中，利用染色剂的一个或多个组合给生物标本染色，并且查看结果产生的试验物或者对该试验物成像以用于进一步分析。观测该试验物实现了各种各样的过程，包括疾病的诊断、对治疗反应的评估和用来抵御疾病的新药的研制。试验物包括与抗体结合的一种或多种染色剂，该抗体与标本中的蛋白质、蛋白质片段或其他感兴趣的对象（在下文中被称为目标或目标对象）结合。抗体或使标本中的目标与染色剂结合的其他化合物被称为该主题公开内容中的生物标记物。一些生物标记物具有与染色剂的固定关系（例如常常使用的复染色苏木精），然而对于其他生物标记物来说，染色剂的选取可以被用来开发和产生新的试验物。在染色之后，可以对试验物成像以用于组织样本的含量的进一步分析。整个载片的图像通常被称为全载片图像，或简单地称为全载片。
4.通常，在免疫评分计算中，科学家使用包括对一片组织进行染色的多重试验物或包括对邻近连续组织切片进行染色的单一试验物来检测或量化例如同一组织块中的多种蛋白质或核酸等等。在被染色的载片可用的情况下，可以从肿瘤组织样本估计免疫学数据（例如免疫细胞的类型、密度和位置）。据报告，该数据可以被用来预测结肠直肠癌的患者存活期并且显示重要的预后作用。
5.在对于免疫评分计算的传统工作流程中，作为初始步骤，诸如病理学家或生物学家之类的专家读者通过在显微镜下检查载片或读取已经被扫描/数字化在显示器上的载片的图像来手动选择具有代表性的视场（fov）或感兴趣的区域（roi）。当组织载片被扫描时，由独立的读者来查看已扫描的图像并且基于读者的个人偏好来手动标记fov。在选择fov之后，计算机经由自动算法产生每个fov中的免疫细胞的计数，或者病理学家/读者对所选fov内的免疫细胞进行手动计数。fov的手动选择和计数对读者来说是高度主观并且存在偏见的，因为不同读者可能选择不同的fov来计数。因此，免疫评分研究不再是可重现的。通过使视场的选择自动化，应用一种降低独立读者的主观性的统一方法。用来执行fov选择的低分辨率图像的使用进一步提高了计算效率，从而允许分析人员迅速进行组织区域的分析。
6.通常的情况是组织样本的任何单个视图都可能导致几种可能的疾病状态诊断。几种不同视图的繁琐检查必须依赖于专家读者的记忆以便将焦点限制在任何特定诊断上。
7.现有技术包括例如graham等人的us2003/0210262，其通常教导在显微镜载片上显示同一区域的彼此相邻的至少两个视图，在这里各视图提供不同的照明条件，并且查看设
备提供类似的直线平移。
8.最后，ruddle等人的us2012/0320094通常教导以不同放大率在查看屏幕上显示同一区域的彼此相邻的至少两个显微镜载片图像。
9.在us 62/005,222中公开了fov的自动识别，并且通过对pct/ep2015/062015的引用将其整体合并于此。
技术实现要素：
10.本发明提供如在独立权利要求1和9中要求保护的一种用于显示生物组织区域的多个图像的图像处理方法和相应的图像处理系统。在其他独立权利要求和从属权利要求中提供本发明的实施例以及本发明的其他方面。
11.如在本文中理解的
‘
组织样本’是从组织区域获得的任何生物样本，诸如从用于解剖病理学的人类或动物身体获得的外科活检标本。该组织样本可以是前列腺组织样本、乳房组织样本、结肠组织样本或从另一器官或身体区域获得的组织样本。
12.如在本文中理解的
‘
多通道图像’包括从生物组织样本获得的数字图像，在该生物组织样本中利用特定的荧光染料同时对诸如核和组织结构之类的不同生物结构进行染色，该特定的荧光染料中的每一个都在不同的光谱带中发荧光由此构成多通道图像的各通道中的一个。可以用多个染色剂和/或用染色剂和复染剂来对生物组织样本染色，后者也被称为“单标记物图像”。
13.如在本文中理解的
‘
去混合图像’包括针对多通道图像中的一个通道而获得的灰度值或标量图像。通过对多通道图像进行去混合，每个通道获得一个去混合图像。
14.如在本文中理解的
‘
颜色通道’是图像传感器的一个通道。例如，该图像传感器可以具有三个颜色通道，诸如红色（r）、绿色（g）和蓝色（b）。
15.如在本文中理解的
‘
热图’是将包含在矩阵中的个体值表示为颜色的数据的图形表示。
16.如在本文中理解的
‘
阈值化’包括预定义阈值的应用或局部极大值的分类以提供分类列表并且从分类列表的顶部选择预定数目的局部极大值。
17.如本文中理解的
‘
空间低通滤波’包括使用对图像像素的邻域执行低通滤波操作（特别地线性或非线性操作）的空间滤波器的空间滤波。特别地，可以通过应用卷积滤波器来执行空间低通滤波。空间滤波比如现有技术中已知的那些（参考数字图像处理，第三版，rafael c. gonzalez, richard e. woods, 第145页,第 3.4.1章）。
18.如本文中所理解的
‘
局部最大滤波’包括如果像素等于子图像区中的最大值则将该像素视为局部最大值的滤波操作。可以通过应用所谓的最大滤波器来实施局部最大滤波（参考数字图像处理，第三版，rafael c. gonzalez, richard e. woods, 第326页,第5章）。
19.如在本文中所理解的
‘
视场（fov）’包括具有预定尺寸和形状（诸如矩形或圆形形状）的图像部分。
20.根据本发明的实施例，癌症活检组织样本的组织区域被切片成邻近的组织切片。可以用单个或多个染色剂来标记该组织切片以用于相应生物特征的识别。借助于具有许多颜色通道的图像传感器（诸如rgb图像传感器）从被标记的组织切片中的每一个获取数字图
像。
21.关于所获取的多个数字图像来执行图像配准算法。如从现有技术已知的各种适当的图像配准算法可以被用来执行图像配准（参考https://en.wikipedia.org/wiki/image_registration和http://tango.andrew.cmu.edu/~gustavor/42431-intro-bioimaging/readings/ch8.pdf）。特别地，仿射变换可以被利用来执行图像配准。
22.该图像配准算法生成与图像的对应点对准的几何变换。可以以映射的形式来提供几何变换，在这里每个映射都将各图像中的一个的点映射至各图像中的另一个的对应点。
23.根据图像配准来使图像对准。换言之，将由图像配准算法生成的几何变换应用于图像以用于将图像对准，以便将已对准的图像以二维平面方式显示在显示器上。因此，显示器示出在配准和对准之后的多个图像以使得以该二维平面方式显示的各图像中的每一个都示出匹配的组织区域。
24.可以诸如通过在图像上执行鼠标点击、旋转鼠标滚轮或执行经由触敏显示屏输入的手势经由图形用户界面来输入关于所显示的图像中的一个的图像变换命令。例如，该图像变换命令是用来诸如通过选择视场来放大或缩小、旋转或执行另一图像变换的命令。
25.响应于用来变换所显示的图像中的一个的图像变换命令的输入，以相同的方式同时对其他图像进行变换。这使用已经通过图像配准算法而生成的几何变换（诸如映射）来完成。因此，响应于在所有图像中的图像变换命令，统一执行图像变换。
26.本发明的实施例是特别有利地，因为诸如病理学家之类的用户可以以促进执行诊断任务的直观方式容易地查看并处置从组织区域的组织切片获得的图像。
27.根据本发明的实施例，为了获取多通道图像，用多个染色剂来标记组织切片中的至少一个。多通道图像是去混合的以提供一组去混合图像。该去混合图像不需要关于彼此配准或者关于多通道图像配准，因为它们所有都基于通过光学传感器从各组织切片中的一个获取的完全相同的数据集。该多通道图像被选择为用于执行关于除了该组去混合图像之外的多个图像的图像配准算法的参考图像。这提供除了去混合图像之外的多个图像中的每一个到参考图像的映射。
28.将多通道图像使用作为参考图像对于图像配准来说是有利的，因为它降低了执行图像的图像配准和图像的对准的计算成本，因为对于去混合图像不需要图像配准和对准。
29.根据本发明的实施例，图像变换命令是使用手势识别经由图形用户界面接收的放大或缩小命令。例如，所输入的通过其来放大或缩小图像变换命令的用户手势是通过将两个手指放在所显示的图像中的一个上来执行的捏手势。由此接收关于用户将他或她的手指放置在其上的所显示的图像中的一个的图像变换命令并且关于该图像并且还同步关于其他所显示的图像执行该图像变换命令。
30.根据本发明的另一实施例，所获取的多个图像被存储在服务器计算机上。经由电信网络将图像从服务器计算机传送至移动电池供电的电信设备（诸如智能电话或移动计算机）以便将图像显示在电信设备的显示器上。这为图像的访问和查看提供了最大程度的灵活性。
31.根据本发明的实施例，至少由服务器计算机来实行图像配准算法的执行并且将结果产生的几何变换（诸如映射）连同图像一起从服务器计算机传送至电信设备。这可以是有利的，因为图像配准算法可能要求大量的计算处理能力。将图像配准算法作为预处理步骤
由服务器计算机来执行而不是在移动电池供电的电信设备上执行具有节省电池功率和减少用户所经历的延迟时间的优点。
32.根据本发明的实施例，在各图像的一个或多个中自动限定一个或多个视场。可以显示诸如矩形框之类的图形符号以便指示视场在各图像中的一个中的位置。用户可以通过选择相应图形符号（诸如通过触摸触敏显示器上的图形符号）来输入关于视场的图像变换命令。响应于图形符号的选择，可以关于视场且同步地关于其他图像中的已对准图像部分执行放大图像变换。
33.还可以由服务器计算机来执行视场的自动限定以便降低电信设备的计算负担，由此增大电池寿命并且减小延迟时间。在该实例中，由服务器计算机来生成描述所限定的视场的元数据并且经由网络传送该元数据连同图像以便使得该电信设备能够显示指示由服务器计算机限定的视场的位置的图形符号。
34.根据本发明的另一方面，提供了被配置成执行本发明的方法的图像处理系统。
35.本发明令人惊讶地有效地允许对在单个观看屏幕上示出彼此相邻的同一组织区域的多重诊断图像的协调检查。所有图像都被对准并且缩放到共同参照系，并且可以一起平移和缩放它们，从而每一个都示出组织学的一个重要方面。这实现重要状况的更有指导性和更明确的诊断，在这里任何单一图像都可能仅支持来自专家读者的更初步的结论。
36.本发明至少具有以下有利特征和鲁棒性性：1. 选取共同显示参考系并将其用于图像可视化。
37.2. 通过为生物组织样本的每个预处理的图像构建目标视图来将生物组织样本的该经过预处理的图像转换至共同显示参考系。
38.3. 接受用户手势以便动态改变共同显示参考帧。例如，可以同时平移、旋转或按放大率缩放图像。
39.4. 当每个图像都示出不同的染色以突出生物组织样本的重要方面时，同时的视图提供比依靠专家读者的记忆对这些相同图像进行连续检查所能得到的组织状况的更多的某些诊断。
40.本发明进一步适应于从连续显微镜用薄片切片机切片得到的图像，在这里除了平移之外它们可以要求旋转以便对准感兴趣的共同特征。而且，本发明可能涉及利用元数据来对图像加标签以描述它们在组织切片中的位置并且该信息被用于仿射变换的构建以便将图像调整到用于显示的共同参考系。另外，本发明允许在相同标度同时缩放所有图像的放大率。
41.在一个实施例中，该主题公开内容表征一种同时显示生物组织样本的同一区域的多个视图的系统。该系统可以包括处理器和耦合至该处理器的存储器。该存储器可以存储当被处理器执行时促使该处理器执行操作的计算机可读指令。
42.在另一实施例中，该主题公开内容表征一种同时显示生物组织样本的同一区域的多个视图的方法。该方法可以由成像分析系统来实施并且可以被存储在计算机可读介质上。该方法可以包括由处理器执行以实行操作的逻辑指令。
43.在一些实施例中，该操作可以包括接收生物组织样本的多个经过预处理的图像，选取被用于图像可视化的共同显示参考系，通过为多个经过预处理的图像的每个经过预处理的图像构建目标视图来将多个经过预处理的图像转换到共同显示坐标系以产生多个可
显示的图像，将多个可显示的图像布置成用于在显示屏上查看的显示图样，在显示屏上显示多个可显示的图像，以及接受用户手势以动态改变共同显示参考系。
44.在又一些实施例中，该操作可以进一步包括响应于来自接口设备的输入手势在显示屏上统一平移、旋转以及放大和缩小多个图像以提供所成像的生物组织样本的期望视图，从显示屏上的多个图像移除一个或多个图像以整理显示屏，将新模式图像添加在显示屏上，重新布置显示图样以形成备选的显示图样，堆叠两个或更多图像模式以加强图像特征，以及将当前检查的显示图样保存为保存模板以供将来检查。
45.在本专利的一个实施例中，可能通过fov分析来提供预配准的图像的收集。在这里描述fov分析的示例。利用描述图像关于共同参考系的个体放置、旋转和放大率的元数据来对该图像加标签。该元数据连同任何新的参考系一起可以限定图像的原始参考系和新系之间的仿射映射。
46.可以通过将新系中的目标像素映射回到其在图像的源系中的对应位置，并且将该像素值或周围源像素值的插值选取为目标像素值来完成对新系的重新成像。以这种方式，可以将任何图像平移、旋转、拉伸或收缩到在对于同时显示的准备中被所有其他图像共享的新的参考系。
47.决定对于诊断医生来说哪些布置是重要的可能完全基于专家读者的最佳判断。一些视图可能被认为对手头的情形来说是不重要的，而还有一些视图可能因为对诊断更为重要而被添加到选集中。
48.本发明的实施例是特别有利的，因为提供用来在避免病理学家或生物学家在多通道图像中手动标记视场的繁琐努力并且因此还消除了主观性判断和人类误差的同时识别多通道图像中的视场的自动且可靠技术。由于空间低通滤波，可以以高处理速度来执行局部最大滤波和阈值化操作，可以使用户所经历的计算开销和延迟时间最小化。这归因于视场的限定不是直接在多通道图像上执行的而是基于实现高处理速度的经过滤波和阈值化的图像而执行的事实。
49.要指出，在全分辨率多通道图像上并且没有在经过空间低通滤波的去混合图像上执行步骤f中的分析。这保证所有的可用图片信息都可以被用于执行分析，而滤波操作（即步骤b、c和d）仅仅用来识别要在那里执行全分析的相关视场。
50.根据本发明的另一实施例，去混合图像中的一个被处理用于限定上述视场，而去混合图像中的另一个被分割用于组织区域的识别。可以从单个染色剂图像（2通道，例如具有染色剂和复染剂的图2的实施例）或从多重图像（多于2两个通道）生成去混合图像。
51.适当的分割技术是比如从现有技术已知的那些（参考数字图像处理，第三版，rafael c. gonzalez, richard e. woods, 第10章，第689页和医学成像、处理和分析手册，isaac n. bankman，学术出版社，2000，第2章）。借助于分割移除了非组织区域，因为非组织区域不是该分析所感兴趣的。
52.该分割提供了通过其来移除那些非组织区域的掩模。可以在空间低通或局部最大滤波或阈值化操作之前或之后以及在视场被限定之前或之后将结果得到的组织掩模应用于去混合图像上。在早前阶段应用问题掩模以便进一步降低处理负荷可能是有利的，诸如在执行空间低通滤波之前。
53.根据本发明的一个实施例，从表示作为由根据权利要求1的步骤b-e处理的去混合
图像表示的染色剂的复染剂的一种染色剂的通道获得被分割用于提供组织掩模的去混合图像中的另一个。
54.根据本发明的一个实施例，对于去混合图像中的至少两个来限定视场。如果在两个不同去混合图像中限定的视场位于相同或几乎完全相同的图像位置则可以合并它们。对于可以被共定位以使得单个视场产生识别常见（common）生物结构的共定位的染色剂的染色剂，这是特别有利的。通过合并这样的视场，进一步降低处理负荷并且仅需要对合并的视场执行一次步骤f中的分析。此外，病理学家或生物学家的认知负担也减少了，因为只给出了一个分析结果而不是两个相关的结果。依据实施方式，如果视场的空间叠加程度高于叠加阈值则两个视场可以合并。
55.根据本发明的实施例，通过在所考虑的视场内的多通道图像中示出的生物细胞的细胞计数来执行视场的分析。可以通过使用在视场上应用的适当图像分析技术来执行细胞计数。特别地，可以借助于图像分类技术来执行细胞计数。
56.根据本发明的另一些实施例，借助于训练的常规神经网络来执行视场的分析，诸如通过将视场或从视场取得的图像块输入到用于确定生物特征分别在视场或图像块内存在的概率的常规神经网络中。可以通过首先识别视场内感兴趣的对象并且然后提取含有该感兴趣的对象的图像块来从视场提取图像块以用于输入到常规神经网络中。
57.根据本发明的另一实施例，在步骤f中在视场上将该分析执行为数据分析，诸如聚类分析或统计分析。
58.根据本发明的另一方面，提供一种用于分析从被多个染色剂染色的生物组织样本获得的多通道图像的图像处理系统，其被配置成执行本发明的方法。
59.该主题公开内容表征用于基于每个细胞标记物在全载片图像中的密度的自动视场（fov）选择的预处理系统和方法。本文中描述的操作包括从去混合多重载片或从异常染色的载片读取对于个体标记物的图像，以及根据个体标记物图像来计算组织区域掩模。
60.可以通过对在个体标记物图像通道上应用低通滤波器并且将来自热图的最前面k个最高强度区域选择为对于每个标记物的候选fov来确定每个标记物的热图。来自个体标记物图像的候选fov被合并到一起。该合并可以包括如下中的一个或二者：基于输入偏好或选择来通过首先将所有个体标记物图像配准到共同坐标系并且通过形态操作进行合并来将所有fov一起添加到同一坐标系中或仅添加来自所选标记物图像的fov。在这之后，使用逆配准来将所有所识别的fov转移回到原始图像以便以高分辨率获得对应的fov图像。
61.在一些实施例中，使用低分辨率图像来加速fov的计算。因为图像的分辨率较低，所以在计算上来讲计算热图和组织区域掩膜要快得多。这允许使得fov的选择成为自动化且快速的，这允许组织样本的更快分析。
62.组织载片图像包含许多特征，它们中的仅一些是任何特定的研究都感兴趣的。这些感兴趣的区域可能具有由选择性染色剂摄取所带来的特定的颜色。它们还可以具有宽的空间范围。重要的是，不感兴趣的区域可能具有通过空间频率滤波的方式来使它们从图像移除的某些具体空间频率。这样的滤波器包括但不限于低通、高通和带通滤波器。更仔细地，调谐空间频率滤波器可以是被称为匹配滤波器的那些。空间频率滤波器的非限制性示例包括但不限于低通滤波器、高通滤波器、带通滤波器、多带通滤波器和匹配滤波器。这样的滤波器可以是静态定义的，或自适应生成的。
63.在定位感兴趣的区域的过程中，因此首先通过去混合过程选择适当的颜色是有帮助的，这可以被视为应用于原色通道（图像的r、g和b）的线性算子。还应用空间频率滤波来优先考虑图像中感兴趣的特征。可以以任何顺序来应用这些操作，因为它们二者都是线性算子。
64.与该区域选择并行地，可以存在通过使用完全不同调谐的空间频率滤波器来仅选择例如组织所存在于的载片图像的总区域并且丢弃空的区域而形成的更广阔的分割掩模。因此，可以将多个不同空间频率滤波器应用于相同的组织载片图像。
65.一旦经过滤波，就可以通过应用局部最大滤波器（一种形态非线性滤波器）来确定感兴趣区域的位置，这通过使结果的每个像素保存来自位于最大滤波器内核下面的源图像的最大像素值的值来产生图像。该内核是任意形状和尺寸的几何掩模，但将是为了具有大约感兴趣的特征的尺寸的这个目的而构造的。来自局部最大滤波器的输出图像将趋向具有比如内核的岛形并且具有等于该区域中的最大像素值的常数值。
66.在一些实施例中，在具有局部最大滤波器图像的目前构造的情况下，可以通过将为1的二进制掩模值指定为阈值以上的对应滤波器图像像素并且将为0的值指定为阈值以下的对应滤波器图像像素来应用阈值以便将滤波器图像转换成二进制掩模。结果将是可以被标记为区域的1的团迹，并且具有可测量的空间范围。这些区域标记、位置和空间范围一起提供感兴趣的区域（roi）或视场（fov）的记录。
附图说明
67.图1a-1b分别描绘根据该主题公开内容的一个示例性实施例的用于自动fov选择的系统和工作流程。
68.图2描绘根据该主题公开内容的一个示例性实施例的热图计算。
69.图3描绘根据该主题公开内容的一个示例性实施例的组织掩模计算。
70.图4描绘根据该主题公开内容的一个示例性实施例的候选fov。
71.图5a-5b分别描绘根据该主题公开内容的一个示例性实施例的来自所有标记物和来自所选标记物的fov的合并。
72.图6a-6b描绘根据该主题公开内容的一个示例性实施例对fov进行整合；图6c示出形态学操作。
73.图7描绘根据该主题公开内容的一个示例性实施例的用于使用所有标记物视图的图像分析的用户界面。
74.图8描绘根据该主题公开内容的一个示例性实施例的用于使用个体标记物视图的图像分析的用户界面。
75.图9描绘根据该主题公开内容的一个示例性实施例的用于免疫评分计算的数字病理工作流程。
76.图10描绘对于本发明的一个示例性实施例的过程流程图。
77.图11a和11b描绘对于以单染色剂标记物图像开始的本发明的一个示例性实施例的过程流程图。
78.图12描绘以多重载片开始的本发明的一个示例性实施例的过程流程图。
79.图13描绘以单个染色剂图像开始的本发明的一个示例性实施例的过程流程图。
80.图14描绘根据本发明的一个实施例的用于同时显示多个视图的示例性过程流程图。
81.图15描绘根据本发明的一个实施例的用于选取共同显示参考系的示例性过程流程图。
82.图16描绘根据本发明的一个实施例的用于转换预处理的图像以产生可显示图像的示例性过程流程图。
83.图17描绘根据该主题公开内容的一个示例性实施例的用户界面上的图像的已平移视图。
84.图18描绘根据该主题公开内容的一个示例性实施例的用户界面上的图像的已旋转视图。
85.图19描绘根据该主题公开内容的一个示例性实施例的从用户界面上删除的两个图像。
86.图20描绘根据该主题公开内容的一个示例性实施例的用户界面上的图像的重新布置的显示图样。
87.图21描绘根据该主题公开内容的一个示例性实施例的用户界面上的图像的放大视图。
88.图22描绘根据该主题公开内容的一个示例性实施例的用户界面上的两个图像的堆叠视图。
89.图23描绘图示本发明的实施例的示意图。
90.图24描绘使用捏手势来放大或缩小的本发明的一个实施例。
具体实施方式
91.本发明表征同时显示生物标本（例如组织样本）的同一区域的多个视图的系统和方法。在一些实施例中，该系统可以包括处理器和耦合至该处理器的存储器。该存储器可以存储当被处理器执行时促使该处理器执行操作的计算机可读指令。
92.在其他实施例中，该方法可以由成像分析系统来实施并且可以被存储在计算机可读介质上。该方法可以包括由处理器执行以实行操作的逻辑指令。
93.如在图14中所示，用于本文中所述的系统和方法的操作可以包括但不限于，接收生物组织样本的多个经过预处理的图像（2100），选取被用于图像可视化的共同显示参考系（2110），通过为多个经过预处理的图像的每个经过预处理的图像构建目标视图来将多个经过预处理的图像转换到共同显示坐标系以产生多个可显示的图像（2120），将多个可显示的图像布置成用于在显示屏上查看的显示图样（2130），在显示屏上显示多个可显示的图像（2140），以及接受用户手势以动态改变共同显示参考系（2150）。不希望将本发明限于特定的理论或机制，本发明允许在单个查看屏幕上邻近彼此示出的多个图像的协调检查。
94.在一些实施例中，显示多个可显示的图像（2140）可以允许所成像的生物组织样本的不同方面的同时动态查看。重复转换过程（2120）可以促使所有可显示的图像同时执行显而易见的协调平移、旋转或放大率改变。
95.在一些实施例中，每个经过预处理的图像都可以示出生物组织样本的同一区域的一个视图模式，并且每个预处理的图像都可以具有描述图像参考系关于全局标准参考系的
元数据。每个预处理的图像的元数据都可以描述局部参考系（pl-lrf）关于全局标准参考系（gsrf）的经过预处理的图像。例如，该元数据可以描述经过预处理的图像关于全局标准参考系的空间位置、定向和放大率。作为另一示例，该元数据描述每个图像关于标准参考系的平移、旋转和放大率。在已知共同显示参考系的情况下，创建仿射变换以将源图像像素与针对图像模式视图所显示的像素相关联。如本文中所使用的，仿射变换或备选地仿射映射可以被定义为线性变换，可表达为针对增强的位置向量的矩阵算子，其可以表示这些向量的任意平移、旋转和放大率。仿射变换是本领域普通技术人员已知的。
96.在一些实施例中，预处理的图像局部参考系（pl-lrf）是被用来描述像素在经过预处理的图像中的位置的二维参考系。
97.在其他实施例中，该全局标准参考系是用来描述像素位置空间的约定的固定二维参考系，并且其允许通过定义每个图像局部参考系（i-lrf）和全局标准参考系之间的仿射映射来理解不同图像之间的空间关系。在一些实施例中，每个预处理的图像的元数据都描述经过预处理的图像关于gsrf的空间位置、定向和放大率。例如，该元数据可以定义图像参考系和全局标准参考系之间的第一仿射映射。
98.在一些实施例中，如图15中所示，选取共同显示参考系（2110）的操作可以进一步包括创建二维显示图像像素网格（2111），构建用于描述显示图像像素网格中的像素位置的二维显示图像局部参考系（di-lrf）（2112），选取di-lrf关于gsrf的位置、定向和放大率（2113），以及计算将di-lrf中的像素位置映射到gsrf中的位置的仿射变换（2114）。该网格交叉点可以表示像素位置。该构建可以充当显示图像模板并且可以为显示图像的制作提供仿射部分映射（partial mapping）。
99.在一些实施例中，如在图16中所示，将多个经过预处理的图像转换到共同显示坐标系（2120）的操作可以进一步包括构建cdrf显示图像模板的工作拷贝和仿射部分映射（2121），利用针对经过预处理的图像的第一仿射映射组成仿射部分映射以产生将显示图像的di-lrf中的像素位置变换为经过预处理的图像的pi-lrf中的位置的复合映射（2122），以及通过对每个显示图像像素执行操作来绘出显示图像（2123）。在一些实施例中，显示图像模板的工作拷贝包括用来保存显示图像的像素值存储器单元。
100.用于绘出显示图像的操作可以包括但不限于：利用从显示图像像素的di-lrf位置至经过预处理图像的pi-lrf中的位置的复合仿射变换进行映射（2124），在该被映射位置周围的经过预处理的图像中的相邻像素之间内插像素值（2125），以及递送作为在处于显示图像像素的显示图像中使用的像素值的内插的像素值（2126）。通过为每个显示图像像素执行这些操作，可以将每个经过预处理的图像变换成用于显示屏上的表示的显示图像。
101.在一些实施例中，可以通过为其值简单地选取最近像素或者通过在四个最近相邻像素之间使用双线性内插来执行相邻像素之间的内插（2125）。在其他实施例中，当源图像和目标图像之间的放大率改变时，可能需要更精巧的方法（诸如空间低通滤波）来避免样本混叠或成像伪影，因为这等同于采样率转换。
102.在其他实施例中，转换多个经过预处理的图像（2120）的操作可以对多个经过预处理的图像执行非线性校正以移除光学畸变。示例性非线性校正可以包括枕形或桶形畸变、散焦、彗差或象散的移除。
103.在一些实施例中，如本文中提到的二维参考系中的任一个（诸如二维局部参考系
（pi-lrf和di-lrf）以及约定的固定二维参考系（gsrf））可以是正交笛卡尔参考系。在其他实施例中，如本文中提到的二维参考系中的任一个可以是非正交和/或非笛卡尔参考系。
104.在一些实施例中，通过预处理生物组织样本的图像来产生多个图像。该图像的预处理可以利用诸如如本文中描述的fov方法之类的方法。然而，要理解可以用其他适当的方法来预处理图像。
105.在一些实施例中，该显示图样可以处于行和列的形式。该显示图样可以表征“m”个行和“n”个列，在这里“m”和“n”可以是任何自然数。例如，显示图样可以具有2行和3列。在其他实施例中，该显示图样可以是环或正方形。在另外的实施例中，该显示图样可以是角锥体。
106.在其他实施例中，该操作可以进一步包括响应于来自接口设备的输入手势在显示屏上一致地平移多个图像，响应于来自接口设备的输入手势在显示屏上一致地旋转多个图像，以及响应于来自接口设备的输入手势在显示屏上一致地放大和缩小多个图像。如在图17-19中所示的，多个图像的平移、旋转和缩放的操作可以提供被成像的生物组织样本的期望透视图。例如，平移多个图像可以包括在线性方向上滑动该图像。可以以顺时针或逆时针方向来执行多个图像的旋转。关于多个图像的放大可以提供生物组织样本的区域的更靠近视图。多个图像的缩小可以提供生物组织样本的远景。
107.在一些实施例中，如在图20中所示，该操作可以进一步包括从显示屏上的多个图像移除一个或多个图像以整理显示屏。例如，如果图像示出生物组织样本的不合需要的或无关的视图，则该图像可以被移除。在其他实施例中，该操作可以进一步包括将新模式图像添加到显示屏上。可以和其他图像模式联合地查看该新模式图像。
108.可在其中查看图像的模式的非限制性示例可以包括各种各样的颜色通道、图像滤波状态或边缘检测状态。一般地，可能存在突出某些特性的原始图像的有用改动，它可以提供包含专家读者感兴趣的诊断的重要特征的同时存在的视图。
109.在一些实施例中，如在图21中所示的，该操作可以进一步包括重新布置显示图样以形成备选显示图样。该备选显示图样可以将图像模式汇集在一起以用于更靠近检查。在其他实施例中，如在图22中所示的，该操作可以进一步包括堆叠两个或更多模式以加强图像特征。两个或更多图像模式的堆叠可以响应于来自接口设备的输入手势。在一些实施例中，该两个或更多图像模式可以是半透明的。
110.在其他实施例中，该操作可以进一步包括将当前检查的显示图样保存为保存模板以促进另外多个图像在将来检查中的显示。
111.在本发明的一个实施例中，专家读者可以通过在图像中的仅一个上调用动作来同时影响所有图像以使得所有图像都联合地响应。非限制示例性输入手势和接口设备可以包括但不限于鼠标、触觉传感器、眼睛传感器和电子相机。例如，专家读者可能使用鼠标点击来激活各图像中的一个，并且然后旋转鼠标滚轮来影响图像的缩放放大率。被激活图像内的鼠标点击和拖动可能在相同方向上拖动所有图像。作为另一示例，触觉传感器可能被用来执行所选图像改变。该触觉传感器可以提供可能比简单计算机鼠标更精巧的旋转、平移、缩放、堆叠等等。
112.眼睛传感器可以检测专家读者的眼睛姿势，诸如改变视力注意力的中心、眨眼等等。电子相机可以见证指示图像平移、旋转、放大率、显示重新布置、图像堆叠和在堆叠期间
半透明度的控制等等的操作员的具体姿势，诸如手运动。在其他实施例中，可以使用与设备(诸如计算机)进行交互的任何充分且有效的方式，其中倾向于最简单且最直接的交互以实现专家读者的目标。
113.在备选实施例中，同时显示同一区域的多个视图的方法可以被用在针对遥感应用或针对战场管理的多光谱地表影像的检查中。
114.实施在显示屏上同时显示生物组织样本的同一区域的多个视图的方法的非限制性示例可以表征如下：1.加载针对生物组织样本的数据。
115.2.从文件列表选择文件。
116.3.以3列乘2行的显示图样来显示来自所选文件的六个图像。
117.4.选择重要的标记物。
118.5.显示针对图像样本的标记物的热图。
119.6.在原始视图、热图视图或个体标记物视图之间切换。
120.7.显示图像样本的热点。
121.8.对准到同一坐标系。
122.9.旋转、平移、或放大和缩小图像。
123.10.合并fov。
124.11.向被成像的样本的区域指定标记。
125.12.对图像重命名。
126.13.添加或删除图像。
127.14.保存文件。
128.图像的预处理在一些实施例中，本发明可以利用用于对生物载片图像进行预处理的系统和方法。要理解，可以使用任何适当的系统或方法来预处理图像。在一个实施例中，预处理系统或方法的非限制性示例可以表征为基于全载片图像中的每个细胞标记物的密度的自动视场（fov）选择。本文中描述的操作包括但不限于从去混合多重载片或从异常染色的载片读取个体标记物的图像，以及从该个体标记物图像计算组织区域掩模。可以通过在个体标记物图像通道上应用低通滤波器并且将来自热图的最前面k个最高强度区域选择为对于每个标记物的候选fov来确定每个标记物的热图。然后来自个体标记物图像的候选fov可以被合并到一起。该合并可以包括如下中的一个或二者：基于输入偏好或选择来通过首先将所有个体标记物图像配准到共同坐标系并且通过形态操作进行合并来将所有fov一起添加到同一坐标系中或仅添加来自所选标记物图像的fov。随后，使用逆配准来将所有所识别的fov转移回到原始图像以便以高分辨率获得对应的fov图像。不希望将本发明限于任何理论或机制，本发明的系统和方法可以提供诸如可重现、对人类读者没有偏见以及更有效的优点。
129.在一些实施例中，用于自动化全载片分析的质量控制的系统包括图像获取系统（102）、处理器（105）、和耦合至该处理器的存储器（110）。该存储器被配置成存储计算机可读指令，当该计算机可读指令被处理器执行时促使该处理器执行包括以下各项的以下操作中的一个或多个（但不限于以下操作）：从图像获取系统（102）读取高分辨率输入图像（231）；计算高分辨率输入图像的低分辨率版本；从图像获取系统（102）读取多个低分辨率
图像标记物图像，其中每个图像标记物图像具有低分辨率输入图像的单个颜色通道（232）；计算对应于低分辨率输入图像的组织区域掩模（233）；计算每个图像标记物图像（114）的经过低通滤波的图像（234）；为每个图像标记物图像（113）生成经过掩模滤波的图像，在这里该经过掩模滤波的图像是与经过低通滤波的图像相乘的组织区域掩模；识别每个经过掩模滤波的图像（116）内的多个候选视场（fov）；将对于每个图像标记物图像（117）的多个候选fov的子集合并成多个合并fov；以及在输入图像上描绘多个候选视场的合并部分。
130.在一些实施例中，可以为经过掩模滤波的图像计算热图。在一些实施例中，该热图包括向经过掩模滤波的图像应用颜色，其中低强度区域被指定为蓝色并且更高强度区域被指定为黄橙色和红色。任何其他适当的颜色或颜色的组合都可以被用来指定低强度区域和高强度区域。
131.在一些实施例中，组织区域掩模的生成包括以下操作中的一个或多个（包括但不限于以下操作）：计算低分辨率输入图像（336）的照度（337），产生照度图像（338），将标准偏差滤波器应用于照度图像（339），产生经过滤波的照度图像（340），以及将阈值应用于经过滤波的照度图像（341）以使得具有高于给定阈值的照度的像素被设置成1，并且低于阈值的像素被设置成0，从而产生组织区域掩模（342）。
132.在一些实施例中，从高分辨率输入图像直接计算组织区域掩模。在这种情况下，可以在对经过滤波的图像掩模图像应用之前将组织区域掩模转换成更低分辨率图像。
133.在一些实施例中，通过对多重载片去混合（111）来获得图像标记物图像，在这里去混合模块使用参考颜色矩阵（112）来确定哪些颜色对应于个体颜色通道。在其他实施例中，从单个染色剂载片获得图像标记物图像。
134.在一些实施例中，该图像配准过程包括选择一个图像标记物图像来充当参考图像，以及计算每个图像标记物到参考图像的坐标系的变换。用于计算每个图像到参考图像的变换的方法是本领域技术人员公知的。在其他实施例中，如果通过对多重参考载片去混合来获得图像，则不需要配准，因为所有去混合图像已经在同一坐标系中了。
135.该主题公开内容提供用于自动视场（fov）选择的系统和方法。在一些实施例中，该fov选择基于全载片图像中的每个细胞标记物的密度。本文中描述的操作包括从去混合多重载片或从异常染色的载片读取对于个体标记物的图像，以及根据个体标记物图像来计算组织区域掩模。可以通过在个体标记物图像通道上应用低通滤波器并且应用组织区域掩模来确定每个标记物的经过掩模滤波的图像。将来自经过掩模滤波的图像的最前面k个最高强度区域选择为对于每个标记物的候选fov。来自个体标记物图像的候选fov被合并在一起。该合并可以包括如下中的一个或二者：基于输入偏好或选择来通过首先将所有个体标记物图像配准到共同坐标系并且通过形态操作进行合并来将所有fov一起添加到同一坐标系中或仅添加来自所选标记物图像的fov。在这之后，使用逆配准来将所有所识别的fov转移回到原始图像以便以高分辨率获得对应的fov图像。不希望将本发明限于任何理论或机制，本发明的系统和方法可以提供诸如可重现、对人类读者没有偏见以及更有效的优点。因此，根据该主题公开内容的用于自动fov选择的数字病理工作流程包括基于计算机的fov选择算法，其自动提供可以由病理学家或其他评估者进一步分析的候选fov。
136.为了示例性目的，已经结合免疫细胞的识别并且为了在免疫评分计算中使用描述了本文中描述的操作。然而，该系统和方法可以适用于细胞或生物标本的任何类型的图像，
并且适用于确定任何类型的细胞或细胞群的类型、密度和位置。如在本文中所使用的，术语“生物标本”和“生物组织样本”可以被可互换地使用。此外，除了癌组织和免疫标记物之外，该主题公开内容可适用于任何疾病或非疾病状态的任何生物标本或瘤，以及已经历任何类型的染色的生物样本的图像（诸如已经利用荧光和非荧光染色剂染色的生物标本的图像）。而且，本领域的普通技术人员将会认识到步骤的顺序可以与在本文中描述的那些不同。
137.图1a-1b分别描绘根据该主题公开内容的一个示例性实施例的用于自动fov选择的系统100和工作流程。参考图1a，系统100包括存储器110，其存储由耦合至计算机101的处理器105执行的多个处理模块或逻辑指令。来自图像获取系统102的输入可以触发多个处理模块中的一个或多个的执行。除了处理器105和存储器110之外，计算机101还包括用户输入和输出设备，诸如键盘、鼠标、触控笔和显示器/触摸屏。如将在下面的讨论中解释的，处理器105执行存储在存储器110上的逻辑指令，包括自动识别已经用一个或多个染色剂（例如荧光团、量子点、试剂、酪胺、dapi等等）染色的切片（包含生物标本，诸如组织样本）的图像中的一个或多个fov。
138.图像获取系统102可以包括检测器系统（诸如ccd检测系统）、或扫描仪或相机（诸如光谱相机）、或显微镜或者具有显微镜和/或成像部件的全载片扫描仪上的相机（图像获取系统不限于前面提到的示例）。例如，扫描仪可以扫描生物标本（其可以被放置在诸如载片的基底上），并且图像可以作为数字化图像保存在系统的存储器中。从图像获取系统102接收到的输入信息可以包括关于目标组织类型或对象的信息，以及染色和/或成像平台的识别。例如，可能已经借助于包含与用于明场成像的发色染色剂或用于荧光成像的荧光团相关联的一种或多种不同生物标记物的染色试验的应用对该样本进行染色。染色试验可以使用用于明场成像的发色染色剂、有机荧光团、量子点、或与用于荧光成像的量子点在一起的有机荧光团、或染色剂、生物标记物的任何组合，以及查看或成像设备。此外，可以在将染色试验应用于样本自动化染色/试验平台中处理典型样本，从而产生染色样本。输入信息可以进一步包括哪些以及有多少具体抗体分子与组织上的某些结合位点或目标（诸如瘤标记物或具体免疫细胞的生物标记物）结合。生物标记物和/或目标的选择可以被输入系统中，从而实现要被应用于试验的染色剂的最优组合的确定。输入至系统100的附加信息可以包括与染色平台有关的任何信息，包括在染色中使用的化学物质的浓度、染色中应用于的组织的化学物质的反应时间、和/或组织的预分析条件（诸如组织年龄、固定方法、持续时间、样本被如何嵌入、切割等等）。可以直接传送或者可以经由网络或经由用户操作计算机101来提供图像数据和其他输入信息。
139.例如如果图像是多重图像则可以执行去混合模块111以便对图像去混合。去混合模块111将图像去混合到个体标记物颜色通道中。去混合模块111可以从参考颜色矩阵数据库112读取以获得参考颜色矩阵并且使用参考颜色矩阵来执行去混合操作。如果图像是单染色载片的，则可以将该图像直接用于fov选择。在任一种情况下，都可以执行热图计算模块113以评估对于每个个体标记物图像或单个染色图像的热图。热图映射全载片图像上的各种结构或生物标记物的密度。为了完成这一点，热图计算模块113可以执行诸如对被低通滤波器模块114处理的低通滤波图像指定颜色之类的操作。还可以将组织区域掩模应用于经过低通滤波的图像。热图根据像素的相应密度图示像素，并且因此对应于每个图像中细胞分布的密度。例如，该热图将通过以比用于较低密度像素的颜色更温暖的颜色图示更高
密度像素来区分高密度像素和低密度像素。可以执行局部最大滤波器模块115来将局部最大滤波器应用于经过低通滤波的图像以获得图像的局部极大值。随后，可以执行最前面k fov选择模块116以便从经过局部最大滤波的图像选择具有最高密度的最前面k个区域。最前面k个区域被指定为对于每个图像的候选fov。例如，细胞可以一起群集在高密度区域中，而它们在低密度区域则更分散。通过合并fov模块117将来自每个图像的fov合并在一起，该合并fov模块117执行诸如取得所有fov或仅取得来自所选标记物中fov并合并它们之类的操作。调用配准模块118来将所有图像转移至同一坐标系，以使得在同一坐标系中fov的坐标可以被直接加起来。
140.如上面描述的，模块包括由处理器105执行的逻辑。如在本文中使用且遍及该公开内容的“逻辑”指的是具有可以被应用以影响处理器的操作的指令信号和/或数据的形式的任何信息。软件是此类逻辑的一个示例。处理器的示例是计算机处理器（处理单元）、微处理器、数字信号处理器、控制器和微控制器等等。逻辑可以由存储在计算机可读介质（诸如存储器110）上的信号来形成，在一个示例性实施例中该存储器110可以是随机存取存储器（ram）、只读存储器（rom）、可擦除/电可擦除可编程只读存储器（eprom/eeprom）、闪存存储器等等。逻辑还可以包括数字和/或模拟硬件电路，例如包括逻辑与、或、异或、与非、或非以及其他逻辑运算的硬件电路。逻辑可以由软件和硬件的组合来形成。在网络上逻辑可以被编程在服务器上或服务器的复合体上。特定逻辑单元不限于网络上的单个逻辑位置。此外，不需要以任何具体顺序来执行模块。当需要被执行时，每个模块可以调用另一模块。
141.在图1b中描绘了用于fov选择的一个示例性工作流程。在图1b中，n表示应用于载片的标记物的数目。对于多重载片121，例如根据在2013年6月3日提交的专利申请61/830,620且题为“image adaptive physiologically plausible color separation”的wo 2014/195193 a1中公开的去混合方法来执行颜色去混合122，通过引用将该申请的公开内容以其整体合并于此。在2014年2月21日提交且题为“group sparsity model for image unmixing”的专利申请61/943,265且在2014年12月18日提交的pct/ep2014/078392中公开的方法（通过引用将该方法以其整体合并于此）是被利用来获得对于每个标记物的图像123的示例性实施例。否则，如果图像是单个染色剂载片，则对于每个标记物的单个染色剂载片的扫描图像124被利用作为自动fov选择系统（诸如在图1a中描绘的系统）的输入。例如，可以执行热图计算操作以从每个标记物的图像计算热点125以便为每个标记物生成最前面的候选fov 126。该候选fov 126可以被整合127以生成最终fov列表128。最终fov列表128包括用于由病理学家选择以便利用来评估生物标本（例如免疫细胞）的可能fov的列表。
142.如在本文中使用且遍及该公开内容的，热点是包含高密度的被标记（即被染色）细胞的区域，例如热点可以是来自不同类型的图像和标记物（诸如ish、ihc、荧光灯、量子点等等）的细胞。该主题公开内容使用ihc图像中的免疫细胞作为示例来证明该特征（如先前所讨论的，本发明不限于ihc图像中的免疫细胞）。鉴于该主题公开内容，本领域普通技术人员可以使用各种算法来找到热点并且使用自动热点选择作为免疫评分计算中的模块。该主题公开内容的示例性实施例利用本文中描述的自动fov选择操作来解决避免有偏见手动选择的fov的问题。为了自动识别病理学家或其他评估者可能感兴趣的fov，基于低分辨率图像（例如5倍放大图像）计算对于每个标记物或表示单个标记物的图像的热图。
143.图2描绘根据该主题公开内容的一个示例性实施例的热图计算。图2中描述的操作
图示如何利用热图计算来识别热点。例如，给定输入图像231的单标记物通道232，经过低通滤波的图像234被用来生成热图235，其基本上采用经过低通滤波的图像234作为输入并且将颜色映射应用于其顶上以达到可视化目的。例如，红色可以对应于经过低通滤波的图像中的高强度像素并且蓝色可以对应于低强度像素。鉴于该公开内容，颜色和/或强度的其他描绘对于本领域普通技术人员来说可以是显然的。可以通过识别组织区域并且排除背景区域来创建组织区域掩模233。可以通过诸如边缘检测等等之类的图像分析操作来实现该识别。组织区域掩模233被用来移除图像中的非组织背景噪声，例如非组织区域。
144.在关于图2考虑的实施例中，借助于提供两个通道（即fp3通道和htx通道）的染色剂以及其相应复染剂来对输入图像231染色。两通道图像231是去混合的，这分别提供fp3和htx通道的去混合图像232和238。
145.然后借助于提供经过低通滤波的图像234的空间低通滤波器来对去混合图像232进行低通滤波。接下来，可以将热图235添加至经过低通滤波的图像234以达到可视化目的。
146.然后通过图3中描述的方法来将去混合图像238用于计算组织区域掩模233。
147.然后对具有或不具有所添加的热图235的经过低通滤波图像234进行局部最大滤波，这提供经过局部最大滤波的图像236。该经过局部最大滤波的图像236包括许多局部极大值239，如图2中所描绘的在这里考虑的示例中包括五个局部极大值239.1-239.5。接下来，诸如通过在经过局部最大滤波的图像236上应用阈值来在经过局部最大滤波的图像236上执行阈值化操作以使得该阈值化操作仅仅不会移除超过该阈值的局部极大值239.1和239.4。
148.备选地，在分类的列表中对局部极大值239分等级并且仅仅从该列表中取得许多k个最上面的局部极大值，其中为了解释性目的这里考虑的实施例中k是2，结果产生局部极大值239.1和239.4。局部最大值239中的每一个都由一组邻近像素组成。
149.该阈值化操作提供阈值化图像237。阈值化图像237中的局部极大值239.1和239.4中的每一个都可以分别限定相应视场240.1和240.2的位置。依据实施方式，这些视场240.1和240.2可以是用于测试这些视场是否可以与如下面关于图6描述的后续处理操作中的其他视场合并的候选视场。借助于阈值化图像237以及其局部极大值来限定视场240.1和240.2的位置。然而，从原始多通道图像231内的相应图像区取得视场的内容以便利用全图片信息内容来执行相应视场的图像分析。
150.图3描绘根据该主题公开内容的一个示例性实施例的组织掩模计算，诸如借助于分割技术来从去混合图像238计算组织掩模233。计算组织rgb图像的rgb通道336的线性组合337以创建灰度级照度图像338。基于不同应用使对于r、g和b通道的组合权重（例如337中的0.3、0.6、0.1）经历改变。将3像素乘3像素标准偏差滤波器339应用于照度图像338，结果产生经过滤波的照度图像340。在这里基于不同应用使滤波器尺寸（例如3乘3、5乘5）经历改变。组织掩模342是从对经过滤波的照度图像340进行阈值化341而获得的二进制图像。例如，组织掩模342可以包括具有大于1.5的像素强度值的区域。可以基于不同应用来改变阈值化参数maxlum（例如1.5、2.0、3.0）。
151.图4描绘根据该主题公开内容的一个示例性实施例的候选fov。候选fov 443是从热图的最前面k个最高密度区域（也被称为热点）选择的。例如，k可以从5、10、15、20等等中选择。将局部最大滤波器应用于具有添加的热图235的经过低通滤波的图像234（参考图2）
以便提供经过局部最大滤波的图像236。要指出，热图235不是处理所必需的而是用作可视化目的。局部最大滤波器是一种用来识别像素与全部都具有较低值的外部边界像素的恒定值连接区域的函数。它可以使用用于2d图像的4个或8个连接邻域。可在matlab得到该功能的实现(http://www.mathworks.com/help/images/ref/imregionalmax.html)。
152.获得作为连接区域内的平均强度的局部最大值。对该局部最大值分类以提供分类列表以便产生热点的等级且报告最前面的k个热点因此使经过局部最大滤波的图像阈值化。备选地，将预定义的阈值应用于经过局部最大滤波的图像以使得报告高于阈值的所有热点。局部最大滤波器计算模块所返回的区域是本地最大值的位置。
153.如本文中描述的，可以获得对于从多重载片的去混合或从单个染色剂载片结果产生的不同标记物图像的不同fov。对fov进行整合以确保对于被诊断的每个患者跨不同的标记物参考同一组fov。存在用来对fov进行整合的若干可能选项。图5a-5b分别描绘根据该主题公开内容的一个示例性实施例的来自所有标记物和来自所选标记物的fov的合并。例如，如在图5a中所描绘的，来自不同标记物图像的所有候选fov都可以被合并。在该备选中，可以选择对于不同标记物图像的不同fov并且将它们合并，如在图5b中所描绘的。
154.此外，可以基于用户的需要来独立分析对于不同标记物图像的不同fov。图6a-6b描绘根据该主题公开内容的一个示例性实施例对fov进行整合。参考图6a，选择所有fov，并且参考图6b，仅选择对应于具体标记物的fov。每个圆圈661都表示对于标记物的可能fov。每个圆圈661中的每个点662都表示对于每个fov的局部最大点。每个圆圈661都可以包围不同标记物。线663对应于瘤区域和非瘤区域之间的间隔。瘤区域之外的fov 664被形态学操作（诸如并和交）排除。最终fov（即被选择用于分析的fov）是来自每个标记物的所有fov的联合，如由图5a和5b的方法所描绘的。
155.在一些实施例中，fov可以是关于局部极大值的矩形。在其他实施例中，fov可以是任意形状。在一些实施例中，fov可以是高强度区域周围的边界。
156.图6b描绘为由用户给定的问题指定最重要的标记物以及基于所选标记物来合并fov。例如，假设pf3和cd8是最重要的标记物。可以使用图像配准将单个标记物的所有图像对准到同一坐标系（例如参考坐标可以是在组织块中间的载片切片或具有具体标记物的载片）。因此每个图像可以从其旧的坐标系对准到新的参考坐标系。可以将来自个体标记物图像的所选标记物（例如fp3和cd8）的fov对准到共同空间并且使用诸如并和交之类的形态学操作来合并以获得合并fov（图6b中的fov 665）。图6c示出形态学操作。假设a是来自cd8图像的fov并且b是来自fp3的fov。我们首先将a和b叠加在同一坐标系中并且通过计算a和b的交集来获得叠加区域c。我们然后评估c的面积和a（或b）的面积的比。如果该比大于阈值9（0.6、0.8等等），则我们选择该fov，否则我们丢弃该fov。可以使用逆配准（即将新坐标系中的配准图像对准回到其原始旧坐标系）将合并的fov映射回到所有单个标记物图像以供将来分析。排除瘤区域之外的fov 664。
157.图7和8描绘根据该主题公开内容的示例性实施例的用于使用所有标记物视图和个体标记物视图的图像分析的用户界面。在这些示例性实施例中，可以利用与计算设备相关联的用户界面来执行fov选择。该用户界面可以具有所有标记物功能（图7）和单个标记物功能（图8）。可以通过从用户界面的顶部上的标签进行选择来访问标记物功能。当使用如图7中所示的所有标记物功能时，可以查看所有标记物并且可以执行热图计算、fov选择、关键
标记物选择、配准和逆配准。在所有标记物视图（即并排图示所有标记物的视图）中，可以提供诸如加载图像文件夹的列表771（a）的选项，其中每个文件夹都包含所有图像，其包括对于相同情况的多重和单个染色剂。允许列表中所有图像的批处理。特征面板772中提供的其他选项可以包括链接对于所有图像的轴线以对图像同时放大和缩小以便查看对应的区域（b），选择多个fov（c），将图像对准到共同坐标系（d），以及允许用户拾取最重要的标记物以用于整合fov（e）。可以描绘指示fov所来自于的标记物的颜色。所提供的其他选项可以包括允许用户在热图视图和ihc视图之间切换774，以及计算773每个图像的热图。
158.图8描绘显示对于每个标记物的最终所选fov的个体标记物视图或单个标记物视图。在该视图中提供的特征可以包括显示全载片图像的缩略图881，其中在缩略图图像中用框注释fov并且框附近的文本编号指示fov的索引。其他特征可以包括允许用户从fov列表883选择以使用复选框来删除不需要的fov，显示所选fov 882的高分辨率图像，将每个fov的图像以原始分辨率保存在本地文件夹中（d），以及允许用户向每个fov指定标记（e）。该标记可以是与fov相关联的区域，诸如外围区域、瘤区域和淋巴细胞等等。本领域普通技术人员将会认识到，这些示例性界面可能随着各种应用且跨各种计算技术而不同，并且可以使用界面的不同版本，只要鉴于该公开内容能够实现本文中描述的新颖特征。
159.因此，本文中公开的系统和方法提供自动fov选择，并且已被发现对分析生物样本很重要，并且在计算组织分析评分（例如在免疫评分计算）中有用。本文中公开的操作克服现有技术中已知的缺点（诸如fov选择是不可重现的并且在人类读者手动fov选择中存在偏见），因为自动fov选择能够在不依赖人类读者的手动选择的情况下经由计算机来提供fov。当与自动免疫细胞计数和数据分析组合时，所公开的操作允许将一个或多个扫描图像或图像数据作为输入并且输出最终临床结果预测的完整自动工作流程。本文中公开的系统和方法提供自动fov选择，并且已被发现对分析生物样本很重要，并且在计算组织分析评分（例如在免疫评分计算）中有用。本文中公开的操作克服现有技术中已知的缺点（诸如fov选择是不可重现的并且在人类读者手动fov选择中存在偏见），因为自动fov选择能够在不依赖人类读者的手动选择的情况下经由计算机来提供fov。当与自动免疫细胞计数和数据分析组合时，所公开的操作允许将一个或多个扫描图像或图像数据作为输入并且输出最终临床结果预测的完整自动工作流程。
160.图9描绘根据该主题公开内容的一个示例性实施例的用于免疫评分计算的数字病理工作流程。该实施例图示在免疫评分计算工作流程中可以如何利用本文中公开的自动fov选择方法。例如，根据本文中公开的操作在载片被扫描991且已经选择fov 992之后，可以执行每个fov中不同类型的细胞的自动检测993。例如根据2014年5月23日提交的美国专利申请序列号62/002,633和题为“deep learning for cell detection”的pct/ep2015/061226中公开的方法（通过引用将该方法以其整体合并于此）的自动细胞检测技术是被利用来以获得检测细胞的一个示例性实施例。此外，可以提取994与针对每个生物标本（例如组织样本等等）检测的一个或多个细胞有关的特征（例如与被识别的细胞的数目和/或类型有关的特征）。该特征可以是与组织图像中的不同区域（诸如瘤区域和外围区域）有关的不同fov中的不同类型的细胞的数目和细胞的比。这些特征可以被用来训练995分类器（诸如随机森林与支持向量机）并且将每种情况分类为不同的结果类别（例如复发的可能性或不复发）。
161.图10描绘对于本发明的一个示例性实施例的过程流程图。从图像获取系统接收输入图像（1001）。此外，从图像获取系统接收一系列低分辨率标记物图像（1004）。可以通过高分辨率图像的去混合来导出该标记物图像或者可以接收该标记物图像作为单个染色剂载片图像。低分辨率输入图像被用来计算组织区域掩模（1003），其指示图像的哪些部分包含感兴趣的组织。使低分辨率图像标记物图像经过低通滤波器以产生经过滤波的图像标记物图像（1005）。然后将组织区域掩模应用于经过低通滤波的图像以阻挡不感兴趣的区域（将其降至0）。这为每个标记物产生经过掩模滤波的图像（1006）。将局部最大滤波器应用于经过最大滤波的图像以识别局部极大值（1007）。选择最前面k个局部极大值（1008），并且对于每个局部极大值限定视场（1009）。然后通过将所有图像转移至共同坐标系并进行叠加并且组合任何叠加的视场来合并针对每个图像的fov（1010）。然后将合并的视场转移回到原始图像坐标系，从高分辨率输入图像提取区域以用于分析。
162.图11示出对于本发明的另一示例性实施例的不同过程流程。该过程流程被分成如在图11a中所示的fov生成步骤（1100），以及如在图11b中所示的视场合并步骤（1124）。在fov生成步骤中，从图像获取系统接收单个染色剂图像（1101）。该图像被低通滤波（1102）。在一些实施例中，可以将图像转换成更低分辨率（1103），这会加速处理。在一些实施例中，如果还没有被降至单个颜色通道，则可以应用去混合步骤（1104）以从单个染色剂载片提取感兴趣的颜色通道，从而产生单个标记物图像（1108）。在一些实施例中，还可以生成htx图像（1105）。然后对单个标记物图像进行分割以识别感兴趣的特征。从被分割的图像生成组织区域掩模（1110）。在一些实施例中，可以通过向单个标记物图像中不同强度的区域指定颜色使用热图（1107）来使单个标记物图像可见。然后将组织区域掩模（1110）应用于单个标记物图像（1111），从而产生仅在感兴趣的组织区域中显示标记物图像的强度的前景图像（1112）。使该前景图像经过局部最大滤波器（1113）以识别强度中的峰值。将候选fov坐标识别为经过局部最大滤波的图像的最前面k个峰值（1114）。最后，限定每个候选fov坐标周围的区域（1115）以获得候选fov的列表（1116）。针对每个单个染色剂载片执行这些操作。
163.在fov合并步骤（1124）中，获得对于各种单个染色剂载片的所有候选fov列表（1117）。通过将一个图像选择为参考图像并且变换其他图像以匹配该参考图像来将图像配准到单个坐标系（1118）。然后相应地对候选fov坐标进行变换以获得对准的候选fov列表（1119）。然后将该fov叠加且合并（1120）以获得对于所有图像的统一fov列表（1121）。然后执行逆配准（1122）以便将统一fov变换回到原始单个染色剂图像的原始坐标系中的每一个（1123）。然后可以在原始单个染色剂载片上显示fov。
164.图12示出将多重载片用作输入（1201）的本发明的一个备选实施例的过程流程。在fov生成步骤中，从图像获取系统接收多重载片（1201）。该图像被低通滤波（1202）。在一些实施例中，可以将图像转换成更低分辨率（1203），这加速处理。在该实施例中，应用去混合步骤（1204）以从多重载片提取感兴趣的颜色通道，从而产生多个单个标记物图像（1208）。在一些实施例中，还可以生成htx图像（1205）。然后对第一单个标记物图像进行分割（1209）以识别感兴趣的特征。从被分割的图像生成组织区域掩模（1210）。在一些实施例中，可以通过向单个标记物图像中不同强度的区域指定颜色以使用热图（1207）来使单个标记物图像可见（1265）。然后将组织区域掩模（1210）应用于单个标记物图像（1210），从而产生仅在感兴趣的组织区域中显示标记物图像的强度的前景图像（1212）。使该前景图像经过局部最大
滤波器（1213）以识别强度中的峰值。将候选fov坐标识别为经过局部最大滤波的图像的最前面k个峰值（1214）。最后，限定每个候选fov坐标周围的区域（1215）以获得候选fov的列表（1216）。针对每个单个染色剂载片按顺序执行这些操作。fov合并步骤如在图11b中那样进行。
165.图13示出将单个染色剂图像（1301）用作输入的本发明的一个备选实施例的又一过程流程。该图像被低通滤波（1302）。在一些实施例中，可以将图像转换成更低分辨率（1303），这加速处理。在一些实施例中，如果还没有被降至单个颜色通道，则可以应用去混合步骤（1304）以从单个染色剂载片提取感兴趣的颜色通道，从而产生单个标记物图像（1308）。在一些实施例中，还可以生成htx图像（1305）。在其他实施例中，可以通过向单个标记物图像中不同强度的区域指定颜色以使用热图（1307）来使单个标记物图像可见（1306）。在一个实施例中，对更低分辨率图像进行分割（1309）以识别感兴趣的特征。从被分割的图像生成组织区域掩模（1310），并且然后将掩模操作应用于（1311）被分割的图像，从而产生仅在感兴趣的组织区域中显示标记物图像的强度的前景图像（1312）。在另一实施例中，将掩模操作（1311）应用于单标记物图像（1308），从而产生前景图像（1312）。在任一实施例中，使该前景图像（1312）经过局部最大滤波器（1313）以识别强度中的峰值。将候选fov坐标识别为经过局部最大滤波的图像的最前面k个峰值（1314）。最后，限定每个候选fov坐标周围的区域（1315）以获得候选fov的列表（1316）。针对每个单个染色剂载片执行这些操作。fov合并步骤如在图11b中那样进行。
166.为了示例性目的，已经结合免疫细胞的识别并且为了在免疫评分计算中使用描述了根据本发明的用于自动fov选择的计算机实施的方法。然而，根据本发明的用于自动fov选择的计算机实施的方法可适用于任何类型的细胞图像或生物标本图像，并且适用于确定任何类型的细胞或细胞群的类型、密度和位置。此外，除了诸如解剖或临床病理、前列腺癌/肺癌诊断等等之类的医学应用之外，可以执行相同的方法来分析其他类型的样本诸如地质或天文数据等等的遥感。本文中公开的操作可以通过端口输入硬件图形处理单元（gpu），从而实现多线程并行实现。
167.图23示出已从患者的组织区域获得的活检组织样本10。该组织样本10被切片成邻近组织切片，诸如如在图23中图示的组织切片1、2、3和4。该组织切片可以具有处于微米范围的厚度，诸如在1
µmꢀ‑
10
µ
m之间，例如6
µ
m。
168.利用单个染色剂、染色剂和复染剂或多个染色剂对该组织切片进行染色。以这种方式获得例如被染色剂和复染剂染色的图像231（参考图2）以及多通道图像5。
169.可以从被多个染色剂（例如可以承载组织切片中的一个的图1b的多重载片121）染色的组织切片1、2、3和4获得多通道图像5。此外，可以从被染色的组织切片（诸如单个染色剂图像6和7）获取其他图像。这些图231、5、6和7可以被存储在图像处理系统的电子存储器中（诸如计算机101的电子存储器中（参考图1a）），该图像处理系统可以是服务器计算机。
170.可以关于多个图像中的一个或多个（诸如关于图像231）执行自动视场限定，这产生在其中由根据图2的实施例的相应矩形框来指示视场240.1和240.2的阈值化图像237。对图像5去混合，这提供一组去混合图像5.1、5.2和5.3，在不限制一般性的情况下假设n=3（参考图1b）。要指出，去混合图像5.1、5.2和5.3完全共享同一坐标系，因为它们都是从同一多通道图像5获得的以使得不需要关于该组图像的图像配准或图像对准。附加图像6和7可以
经历或不经历图像处理操作。
171.然后使用图像配准算法使图像231/237、5、6和7配准且对准。例如，将多通道图像5选择为用于执行图像配准算法的参考图像。该图像配准算法生成其他图像（即图像231/237、6和7）中的每一个关于多通道图像5的几何变换。使用多通道图像5作为用于配准的参考图像具有在这里考虑的示例中仅需要执行3个对准操作的优点。在比较中，当例如已将图7选择为参考图像时，将需要5个对准操作来变换图像231/237、5.1、5.2、5.3和6以便与图像7对准。因此，将多通道图像5选择为参考大幅减小了计算负担并且降低用于图像对准的延迟时间。
172.例如，为其他图像231/237、6和7中的每一个至参考图像5生成映射，诸如用于将图像231/237的每个像素映射至图像5中的相应像素的映射，用于将图像6的每个像素映射至多通道图像5中的相应像素的映射，等等。在这里考虑的示例中，这产生三个映射。要指出可以使用图像231或图像237来获得用于将图像231/237映射至多通道图像5的映射，因为归因于根据图2执行的去混合步骤这两个图像共享同一坐标系。
173.然后利用作为图像配准的结果而获得的几何变换（即在这里考虑的示例中的映射）来使图像237、6和7关于参考图像（即多通道图像5/去混合图像5.1、5.2和5.3）对准。
174.在显示器8（诸如计算机101的显示器（参考图1的实施例））或运行例如android或ios操作系统的移动电池供电的电信设备（诸如智能电话）的显示器上显示这些已对准图像。在后者的情况下，经由例如根据gsm、umts、cdma或长期演进标准的电信网络（诸如移动蜂窝数字电信网络）将图像237、5.1、5.2、5.3、6、7和从图像配准获得的几何变换（例如映射）和指示视场240.1和240.2的元数据传送至移动电池供电的电信设备。该显示器8可以是触敏的，其使得能够借助于手势识别经由计算机101或电信设备的图形用户界面输入命令。
175.在一个实施例中，用户可以通过触摸用符号表示视场的相应几何对象（即矩形框）来选择视场中的一个。如在图23中所图示的，仅通过示例的方式这可以是用户将他或她的手指14中的一个放置在其上的视场240.1。响应于该手势，通过放大视场（也如在图23中所图示的）来执行图像变换中的放大。
176.关于其他图像5.1、5.2、5.3、6和7同步执行完全相同的放大变换。视场240.1分别对应于图像5.1、5.2、5.3、6和7中的图像部分9、10、11、12、13。由从图像配准获得的相应几何变换（即映射）给出这些图像部分9至13。响应于用户的手势（即利用手指14触摸视场240.1），还关于图像部分9至13同步执行关于视场240.1执行的放大图像变换。
177.图24示出利用捏手势来放大或缩小的一个备选实施例。用户可以通过将两个手指14和15放置在显示器8上由此限定矩形区域16来选择各图像中的一个（诸如图像5.1）的一部分。该矩形区域16分别对应于由从图像配准获得的几何变换（即映射）给出的其他图像237、5.2、5.3、6和7中的共定位的图像区域17至21。区域18和19与区域16完全相同，因为图像5.1、5.2和5.3共享完全相同的坐标系。
178.通过如在图24中所图示的使手指15和14远离，关于提供已放大图像部分16’的区域16执行并且还关于提供已放大区域17’、 18’、 19’、 20’和21’的其他共定位区域17-21同步执行放大。可以通过减小手指14和15的距离来类似地执行缩小。
179.计算机通常包括已知部件，诸如处理器、操作系统、系统存储器、存储器存储设备、输入-输出控制器、输入-输出设备和显示设备。相关领域中的普通技术人员还将理解，存在
许多可能计算机配置和部件并且还可以包括高速缓冲存储器、数据备份单元和许多其他设备。输入设备的示例包括键盘、光标控制设备（例如鼠标）、麦克风、扫描仪等等。输出设备的示例包括显示设备（例如监视器或投影仪）、扬声器、打印机、网络卡等等。显示设备可以包括提供视觉信息的显示设备，通常可以在逻辑上和/或在物理上将该信息组织为像素阵列。还可以包括界面控制器，其可以包括用于提供输入和输出界面的各种各样已知或将来的软件程序中的任一个。例如，界面可以包括通常被称为“图形用户界面”（常常被称为gui）的那些，该图形用户界面向用户提供一个或多个图形表示。界面通常使得能够使用相关领域中的普通技术人员已知的选择或输入方式来接受用户输入。该界面还可以是触摸屏设备。在相同或备选实施例中，计算机上的应用程序可以采用界面，其包括被称为“命令行界面”（常常被称为cli）的那些。cli通常提供应用程序和用户之间的基于文本的交互。通常，命令行接口通过显示设备以文本行的形式呈现输出和接收输入。例如，一些实施方式可以包括被称为“壳”（诸如相关领域中的普通技术人员已知的unix shell或采用诸如microsoft.net框架之类的面向对象类型的编程架构的microsoft windows powershell）的那些。
180.相关领域中的普通技术人员将会认识到该界面可以包括一个或多个gui、cli或其组合。处理器可以包括商业上可得到的处理器，诸如由因特尔公司制造的celeron、core或pentium处理器、由sun微系统制造的sparc处理器、由amd公司制造的athlon、sempron、phenom或opteron处理器，或者它可以是可得到或将变成可得到的其他处理器中的一个。处理器的一些实施例可以包括被称为多核处理器和/或使得能够在单或多核配置中采用并行处理技术的那些。例如，多核架构通常包括两个或更多处理器“执行核”。在本示例中，每个执行核可以执行为实现多个线程的并行执行的独立处理器。此外，相关领域中的普通技术人员将会认识到可以在通常被称为32或64位架构的架构或者现在已知或将来可以开发的其他架构配置中配置处理器。
181.处理器通常执行操作系统，其可以是例如来自微软公司的windows类型操作系统；来自苹果计算机公司的mac os x操作系统；从许多供应商可得到或被称为开源的unix或linux类型的操作系统；另一或将来的操作系统；或其某种组合。操作系统以公知的方式与固件和硬件接合并且在协调并执行可以以各种各样编程语言编写的各种计算机程序的功能中促进处理器。通常与处理器合作的操作系统协调并执行计算机的其他部件的功能。操作系统还提供所有都根据已知技术的调度、输入-输出控制、文件和数据管理、存储器管理以及通信控制和有关服务。
182.系统存储器可以包括可被用来存储期望信息并且可被计算机访问的各种各样已知或将来存储器存储设备中的任一个。计算机可读介质可以包括以用于存储信息（诸如计算机可读指令、数据结构、程序模块或其他数据）的任何方法或技术实施的易失性和非易失性、可移动和非可移动介质。示例包括任何商业上可得到的随机存取存储器（ram）、只读存储器（rom）、电可擦除可编程只读存储器（eeprom）、数字多功能盘（dvd）、磁介质（诸如常驻硬盘或磁带）、光学介质（诸如读取和写入压缩盘）、或其他存储器存储设备。存储器存储设备可以包括各种各样已知或将来设备中的任一个，包括压缩盘驱动器、磁带驱动器、可移动硬盘驱动器、usb或闪存驱动器或磁盘驱动器。这种类型的存储器存储设备通常相应地从诸如压缩盘、磁带、可移动硬盘、usb或闪速驱动器或软磁盘之类的程序存储介质读取和/或写入到该程序存储介质。这些程序存储介质或者现在使用中的或可以稍后开发的其他程序存
储介质中的任一个都可以被认为是计算机程序产品。如将会认识到的，这些程序存储介质通常存储计算机软件程序和/或数据。计算机软件程序（也被称为计算机控制逻辑）通常被存储在系统存储器和/或结合存储器存储设备使用的程序存储设备中。在一些实施例中，描述包括其中存储有控制逻辑（计算机软件程序，包括程序代码）的计算机可用介质的计算机程序产品。当被处理器执行时，控制逻辑促使该处理器执行本文中描述的功能。在其他实施例中，主要使用例如硬件状态机以硬件方式来实施一些功能。对相关领域中的技术人员来说将显而易见的是，实施硬件状态机以便执行本文描述的功能。输入-输出控制器可以包括用于从用户（不管是人类还是机器，不管是本地还是远程）接受并处理信息的各种各样的已知设备中的任一个。这样的设备包括例如调制解调器卡、无线卡、网络接口卡、声卡或用于各种各样已知输入设备中的任一个的其他类型的控制器。输出控制器可以包括用于向用户（不管是人类还是机器，不管是本地还是远程）呈现信息的各种各样已知显示设备中的任一个的控制器。在目前描述的实施例中，计算机的功能元件经由系统总线彼此通信。计算机的一些实施例可以使用网络或其他类型的远程通信与一些功能元件通信。如对于相关领域中的技术人员来说显然的，仪器控制和/或数据处理应用程序（如果以软件来实施的话）可以被加载到系统存储器和/或存储器存储设备中并且从系统存储器和/或存储器存储设备来执行。仪器控制和/或数据存储应用程序的所有或部分也可以驻留在只读存储器或存储器存储设备的类似设备中，此类设备不需要首先通过输入-输出控制器来加载仪器控制和/或数据处理应用程序。相关领域中的技术人员将会理解，如对执行有利的，可以由处理器以已知的方式将仪器控制和/或数据处理应用程序或它的部分加载到系统存储器或高速缓冲存储器或这二者中。而且，计算机可以包括一个或多个库文件、实验数据文件和存储在系统存储器中的互联网客户端。例如，实验数据可以包括与一个或多个实验或试验有关的数据（诸如所检测的信号值或与通过合成（sbs）实验或过程的一个或多个测序相关联的其他值）。此外，因特网客户端可以包括使得能够使用网络来访问另一计算机上的远程服务的应用程序，并且可以例如包括通常被称为“网络浏览器”的那些。在本示例中，一些通常采用的网络浏览器包括可从微软公司得到的microsoft internet explorer、来自mozilla公司的mozilla firefox、来自苹果计算机公司的safari、来自谷歌公司的google chrome、或本领域中当前已知或将来开发的其他类型的网络浏览器。而且，在相同或其他实施例中，互联网客户端可以包括使得能够经由网络来访问远程信息的专用软件应用程序（诸如用于生物应用的数据处理应用程序）或者可以是该专用软件应用程序中的一个元素。
183.网络可以包括本领域中的普通技术人员公知的许多各种类型的网络中的一个或多个。例如，网络可以包括可采用通常被称为tcp/ip协议组的用来通信的局域或广域网。网络可以包括包含通常被称为互联网的互连计算机网络的世界性系统的网络，或者还可以包括各种内联网架构。相关领域中的普通技术人员还将认识到联网环境中的一些用户可能优选采用用来控制去到和来自硬件和/或软件系统的信息业务的通常被称为“防火墙”（有时也被称为分组过滤器或边界保护设备）的那些。例如，防火墙可以包括硬件或软件元件或者其某一组合并且通常被设计成实施由用户（诸如例如网络管理员等等）落实的安全策略。
184.为了说明和描述的目的已经给出了本主题公开内容的示例性实施例的前述公开内容。这不意图成为详尽的或者将该主题公开内容限制成所公开的确切形式。鉴于上面的公开内容，本文中描述的实施例的许多变化和修改对本领域普通技术人员来说将是显而易
见的。该主题公开内容的范围仅由其所附的权利要求以及由它们的等同物来限定。
185.此外，在描述本主题公开内容的代表性实施例中，该说明书可能已将本主题公开内容的方法和/或过程呈现为特定步骤序列。然而，就该方法或过程不依赖于本文中阐述的步骤的特定顺序来说，该方法或过程不应该被限于所述的步骤的特定顺序。如本领域普通技术人员将认识到的，步骤的其他顺序也可以是有可能的。因此，该说明书中阐述的步骤的特定顺序不应该被解释为对权利要求的限制。此外，针对本主题公开内容的方法和/或过程的权利要求不应该被限于按书写的顺序执行它们的步骤，并且本领域技术人员可以容易认识到序列可以改变并且仍保持在本主题公开内容的精神和范围内。