用于生物样本的分屏显示和用于捕捉其记录的系统和方法
【专利说明】用于生物样本的分屏显示和用于捕捉其记录的系统和方法
[0001]本申请根据美国法典第35条119 (e)款要求2013年10月11日提交的美国临时专利申请序列号61/889,802,2013年5月30日提交的美国临时专利申请序列号61/828，875、以及2012年12月6日提交的美国临时专利申请序列号61/734，028的优先权，其整体内容由此通过引用被清楚地结合在本文中。
【背景技术】
[0002]已被处理成揭示生物标记物的表达的组织样本的检查是用于生物研究和临床学习的已知工具。一个这样的处理涉及抗体或抗体替代物诸如抗体片段的使用，该抗体或抗体替代物对关注的生物标记物(通常蛋白质)是特定的。这样的抗体或抗体替代物能够用在适合的条件下能够生成信号的部分(moiety )直接或间接地标示。比如，焚光部分能够被附着到抗体以针对荧光来询问处理的组织。得到的信号通常指示存在的生物标记物的出现和数量两者。
【发明内容】
[0003]依据一个示范性实施例，提供用于启用和提供生物样本的视场的分屏显示的计算机实施的方法。取决于显示的视场的分辨率，该视场可以示出生物样本的图像的所有或部分。方法包含:在计算装置的视觉显示装置上再现图形用户界面，并且在该图形用户界面上再现图像面板，该图像面板显示对应于生物样本的图像的所有或部分的第一视场的第一图像。该图像面板包含用于分别表示第一视场的第一和第二部分的第一和第二图像子面板，第一图像子面板被配置为显示在第一视场的第一部分中的第一生物标记物的表达水平，并且第二图像子面板被配置为显示在第一视场的第二部分中的第二生物标记物的表达水平。方法包含:确定第一组数据，该第一组数据选择性地对应于在第一视场的第一部分中的第一生物标记物的表达水平；并且确定第二组数据，该第二组数据选择性地对应于在第一视场的第二部分中的第二生物标记物的表达水平。方法也包含:为第一和第二组数据请求储存生物标记物表达数据的远程服务器，并且从该远程服务器接收该第一和第二组数据。方法进一步包含:在第一图像子面板中表示基于第一组数据的在第一视场的第一部分中的第一生物标记物的表达水平，并且在第二图像子面板中表示基于第二组数据的在第一视场的第二部分中的第二生物标记物的表达水平。
[0004]依据另一个示范性实施例，提供用于启用和提供生物样本的视场的分屏显示的计算机实施的方法。取决于显示的视场的分辨率，该视场可以示出生物样本的图像的所有或部分。方法包含:在计算装置的视觉显示装置上再现图形用户界面，并且在该图形用户界面上再现图像面板，该图像面板显示对应于生物样本的图像的所有或部分的第一视场的第一图像。该图像面板包含用于分别表示第一视场的第一和第二部分的第一和第二图像子面板，第一图像子面板被配置为显示在第一视场的第一部分中的第一生物标记物的表达水平，并且第二图像子面板被配置为显示在第一视场的第二部分中的一个或多个形态学特征。方法包含:确定第一组数据，该第一组数据选择性地对应于在第一视场的第一部分中的第一生物标记物的表达水平；并且确定第二组数据，该第二组数据选择性地对应于在第一视场的第二部分中的一个或多个形态学特征。方法也包含:为第一和第二组数据请求储存关于生物样本的数据的远程服务器，并且从该远程服务器接收该第一和第二组数据。方法进一步包含:在第一图像子面板中表示基于第一组数据的在第一视场的第一部分中的第一生物标记物的表达水平，并且在第二图像子面板中表示基于第二组数据的在第一视场的第二部分中的一个或多个形态学特征。
[0005]依据另一个示范性实施例，提供用于启用和提供生物样本的视场的分屏显示的计算机实施的方法。取决于显示的视场的分辨率，该视场可以示出生物样本的图像的所有或部分。方法包含:在计算装置的视觉显示装置上再现图形用户界面，并且在该图形用户界面上再现图像面板，该图像面板显示对应于生物样本的图像的所有或部分的第一视场的第一图像。该图像面板包含用于分别表示第一视场的第一和第二部分的第一和第二图像子面板，第一图像子面板被配置为显示在第一视场的第一部分中的第一组一个或多个形态学特征，并且第二图像子面板被配置为显示在第一视场的第二部分中的第二组一个或多个形态学特征。方法包含:确定第一组数据，该第一组数据选择性地对应于在第一视场的第一部分中的第一组一个或多个形态学特征；并且确定第二组数据，该第二组数据选择性地对应于在第一视场的第二部分中的第二组一个或多个形态学特征。方法也包含:为第一和第二组数据请求储存关于生物样本的数据的远程服务器，并且从该远程服务器接收该第一和第二组数据。方法进一步包含:在第一图像子面板中表示基于第一组数据的在第一视场的第一部分中的第一组一个或多个形态学特征，并且在第二图像子面板中表示基于第二组数据的在第一视场的第二部分中的第二组一个或多个形态学特征。
[0006]示范性实施例也提供计算机系统，该计算机系统提供生物样本的视场的分屏显示。取决于显示的视场的分辨率，该视场可以示出生物样本的图像的所有或部分。示范性计算机系统包含用于再现图形用户界面的视觉显示装置和被耦合到该视觉显示装置并且被编程以执行在本文中描述的任何方法的计算机处理器。
[0007]示范性实施例进一步提供一个或多个非瞬态计算机可读介质，该一个或多个非瞬态计算机可读介质在其上编码了一个或多个计算机可执行指令，该一个或多个计算机可执行指令当在计算装置上被执行时执行在本文中描述的任何方法。
【附图说明】
[0008]示范性实施例的前述和其它目标、方面、特征、和优点通过参考下面连同附图进行的描述将变为更明显并且可以被更好理解，在附图中:
图1A-1C图解用于储存生物标记物表达数据的示范性数据结构。
[0009]图2图解用于显示生物样本的一个或多个视场的示范性用户界面。
[0010]图3图解图2的用户界面，该用户界面显示在主图像面板中在视场中的生物标记物的表达水平。
[0011]图4图解图3的用户界面，该用户界面显示分成相对于彼此水平设置的两个图像子面板的主图像面板。
[0012]图5图解图3的用户界面，该用户界面显示分成相对于彼此垂直设置的两个图像子面板的主图像面板。
[0013]图6图解图4的用户界面，该用户界面显示在其中左子面板示出在视场的左部分中的生物标记物的表达水平并且右子面板示出在视场的右部分中的形态学特征的图像。
[0014]图7图解图6的用户界面，该用户界面显示可以被用来调节两个或更多个图像子面板的尺寸的滑块组件。
[0015]图8是用于提供生物样本的视场的分屏显示的示范性计算机实施的方法的流程图。
[0016]图9A和9B图解用于储存对显示图4的图像子面板所要求的图像数据的示范性数据结构。
[0017]图10图解用于显示主图像面板和包含生物标记物表达数据的一个或多个缩略图像的生物标记物面板的用户界面。
[0018]图11图解图10的用户界面，该用户界面显示在主图像面板中处于不同缩放水平的不同视场。
[0019]图12图解图10的用户界面，其中关注的形态学特征落在主图像面板中的关注区域选择组件的边界的外部。
[0020]图13图解图12的用户界面，其中关注的形态学特征落在主图像面板中的关注区域选择组件的边界的内部。
[0021]图14图解用于显示主图像面板和包含生物标记物表达数据的一个或多个缩略图像的生物标记物面板的用户界面。
[0022]图15是用于显示在生物样本的视场中的一个或多个生物标记物的表达水平的示范性计算机实施的方法的流程图。
[0023]图16图解用于显示生物样本的视场的分屏视图和包含对应于该视场的区域的生物标记物表达数据的一个或多个缩略图像的生物标记物面板的用户界面。
[0024]图17是在示范性实施例中可使用的示范性网络环境的框图。
[0025]图18示出图解在被编程以执行在本文中描述的任何用户界面的客户端计算装置和平铺式图像数据服务器之间的交互的示范性流程图。
[0026]图19示出可以由客户端计算装置生成的图像度量请求的示例。
[0027]图20示出对图19的图像度量请求的基于XML的响应的示例。
[0028]图21示出可以由客户端计算装置生成的平铺图像请求的示例。
[0029]图22是图解在被编程以执行在本文中描述的任何用户界面的客户端计算装置和平铺式图像数据服务器之间的交互的流程图。
[0030]图23是在示范性实施例中可使用的示范性计算装置的框图。
[0031]图24描绘本发明的替换查看器。
[0032]图25描绘对图24的查看器的部分图像以10倍放大率获得的在载片上的样品的分子H&E图像。
[0033]图26描绘在图24的查看器上的⑶30的mDAB图像的10倍显示。
[0034]图27示出在查看面板中呈现缩略图像的这个功能性。
[0035]图28描绘以40倍分辨率获取的多个单色图像的颜色混合。
[0036]图29进一步描绘在图28的查看面板的部分视图上的由本发明提供的混合界面。
[0037]图30描绘本发明的数字棱镜的替换实施例。
[0038]图31描绘在图28的查看面板的部分视图上的在一个面板上的mDAB⑶30图像和在相邻面板中的mDAB Pax5图像的选择。
[0039]图32描绘图31的两个图像的可选择的定向。
[0040]图33描绘用于对被选择用于在图28的查看面板的部分视图上查看的两个图像进行区分的条的一个可选择的位置。
[0041]图34示出使用本发明的快照捕捉特征来捕捉的两个不同关注区域，如在主显示上在两个框中显出轮廓的。
[0042]图35描绘本发明允许所有缩略图像使用本发明的快照特征来捕捉。
[0043]图36描绘本发明允许整个场使用本发明的快照特征来捕捉。
[0044]图37描绘使用本发明的注释标签对捕捉的缩略图像的显示。
[0045]图38描绘以列表格式对捕捉的图像的显示。
[0046]图39描绘病理学家将所有捕捉的图像上载到病例报告中的能力。
【具体实施方式】
[0047]在本文中公开的实施例包含用于选择性地可视化生物样本和组织和对应于生物样本的数据(比如一个或多个生物标记物的表达水平、一个或多个形态学特征、一个或多个图像分析方法的结果等等)的方法、系统、和装置。示范性实施例能够实现生物样本的结构化的、更快速的、灵活的和用户友好的显示，该显示促进生物研究应用并且允许病理学家得出客观和可重复的诊断以及疾病或状况模型。
[0048]特定示范性实施例提供用于同时查看生物样本的选择的视场的不同部分的分屏显示。取决于显示的视场的分辨率，本发明意图视场可以示出生物样本的图像中的所有或部分。意图在本发明的大多数应用中下述将是所期望的:选择仅是生物样本图像的部分或更小关注区域的视场，使得允许在图像面板中的生物样本图像的那个部分的更高放大率显示。因而，当视场被认为‘对应于生物样本’时，本发明意图该视场表示生物样本的图像或图像的部分。在分屏显示中的图像面板可以包含或被分成用于显示视场的两个或更多个邻接部分的两个或更多个不交叠的图像子面板，从而子面板显示视场的单个部分并且从而两个或更多个图像子面板的集合协同地显示整个视场。视场的部分在子面板的边界处被精确地并且无缝地对准。不同显示类型可以被用来显示在子面板中视场的部分。不同显示类型可以包含但不被限制到:一个或多个生物标记物的表达、一个或多个形态学特征的显示、一个或多个分析结果的显示、以及作为一个或多个可视化类型的显示。
[0049]特定示范性实施例提供:用户界面，包含用于显示生物样本的视场的图像面板；和生物标记物面板，用于显示用于同时查看在视场内的区域的不同方面(例如，在区域中的不同生物标记物的表达水平)的缩略图像。在选择或更新视场的选择的区域时，缩略图像可以相应地自动更新以显示新选择的区域。图像面板可以包含用于描绘在视场内的区域的关注区域选择组件。该关注区域选择组件可以被覆盖在主图像面板中显示的视场的部分之上，并且可以被用户用来选择或更新在生物标记物面板中显示的视场内的区域。
[0050]示范件组织成像抟术在本文中教导的实施例使用生物图像数据，该生物图像数据对应于可以通过已知的技术(诸如染色-漂白-再染色)生成的复用的生物标记物图像。一般地，这个技术涉及:用荧光团标示的探针对生物样本染色以生成用于一个或多个探针结合的生物标记物的信号、化学地漂白这些信号、并且对样本再染色以生成用于一些额外的生物标记物的信号。化学漂白步骤是方便的，因为存在仅有限数目的能够被容易地彼此区分的信号，所以仅有限数目的生物标记物能够在特定步骤中被检查。利用漂白，组织样品可以在多个步骤内被重探查和重评估。这个循环方法可以在福尔马林固定石蜡包埋组织(FFPE)样品和细胞上使用。样本的数字图像在每个染色步骤之后被收集。样本的相继的图像能够使用形态学特征诸如DAPI染色的细胞核而被方便地保存在记录簿中，该DAPI染色的细胞核的信号未被化学漂白方法修改。前述是复用技术的一个示例，并且用来染色、漂白样品并且使样品成像的系统是复用平台的示例。
[0051]另一个方案包含通过下述来检查冷冻的生物样本:反复地对它们染色并且在应用下组染色剂之前光漂白来自之前染色步骤的标签。与被评估的每个生物标记物相关联的荧光信号的强度随后从适合的图像提取。
[0052]生成的图像可以通过在细胞的更大组织样品内的个别细胞来图解一个或多个生物标记物的表达。组织样品可以是来自器官、肿瘤、或损伤的细胞培养或样品的一组细胞。组织样品也可以是来自不同对象(被称为群(cohort))的类似组织的一组样本的部分。这些组组织样品可以表示一个或多个疾病或状况模型、在疾病或状况模型内的不同阶段、或对疾病或状况的处理的一个或多个响应。
[0053]组织处理和检查的技术已被改善，从而在特定细胞或甚至给定细胞的隔室诸如细胞核、细胞质或细胞膜中的给定生物标记物的表达的水平能够被定量地确定。作为整体的细胞或这些隔室的边界使用已知的组织学染色剂被定位。通常，处理的组织用数字成像来检查并且从不同生物标记物发出的不同信号的水平因此能够容易地被量化。
[0054]生物样本的每个染色的视场的图像使用已知的技术诸如利用耦合到适合的显微镜的数字相机和适合的质量控制例程来生成。自动化的图像配准和分析也可以被用来针对个别描绘的细胞、细胞的集合或甚至子细胞隔室(诸如细胞核、细胞质和细胞膜)来量化生物标记物表达水平。从细胞或子细胞隔室的复用和图像分析产生的数据值可以被单独储存或连同进一步分析例如分裂分析的结果一起被储存。数据库可以保存包含源样本的识别和在组织(从该组织取样本)内的位置的识别的生物标记物的表达水平(例如，作为数据的不同通道)。识别的位置可以指示从其得到特定测量的特定细胞和/或组织，并且也可以包含与测量相关联的隔室、细胞核、细胞质或细胞膜的识别。相关联的数据值可以被储存在数据库中，该数据库可以被保持在储存装置中或在联网的服务器中。
[0055]以下参考绘图描述示范性实施例。本领域一位普通技术人员将意识到示范性实施例不被限制到图解的实施例，并且示范性系统、装置和方法的部分不被限制到以下描述的图解的实施例。
[0056]用于储存生物图像数据的示范性数据结构示范性实施例可以以下述方式来储存关于生物样本的图像数据:允许以不同分辨率生成图像用于在图形用户界面上显示。生物样本的复用的图像可以被计算装置处理以隔离数据的不同通道，该数据的不同通道对应于用来形成复用的图像的不同标记物。这些标记物可以是表达在生物样本中的形态学特征(例如，细胞核、细胞膜、细胞质)的生物标记物和/或染色剂。
[0057]在示范性实施例中，对应于在复用的图像中的每个通道的像素级图像数据可以被储存在合适于流送数据的平铺的多分辨率或平铺的锥体数据结构中。在这个数据结构中，对应于图像数据的相同通道的不同分辨率的多个图像以增大或减小分辨率的次序被储存在锥体格式中。在每个分辨率水平，图像的像素级数据被划分成多个块或片。平铺的多分辨率格式最大化数据访问和传输的速度和效率。个别图像片可以用最小的服务器开销以任何分辨率被迅速地访问和流送，这在访问高分辨率图像数据时是特别重要的。就是说，对应于一个或多个片的序列的数据可以从数据存储器被发送并且被数据请求实体接收。既然数据以不同分辨率是可获得的，那么图像处理不必要使图像数据符合分辨率的被请求的水平。
[0058]在创建平铺的多分辨率数据结构时，对应于数据的单通道(例如单个生物标记物)的图像可以被计算装置处理从而以不同分辨率生成相同图像的两个或更多个版本。用于生成图像的较低分辨率版本的任何传统技术可以被使用。对应于数据的单通道的图像可以随后以增大或减小分辨率的次序被储存在锥体格式中。图1A图解用于储存在生物样本中的第一生物标记物的表达数据的平铺的锥体数据结构102 ;图1B图解用于储存在生物样本中的第二生物标记物的表达数据的平铺的锥体数据结构104 ;并且图1C图解用于储存在生物样本中的第三生物标记物的表达数据的平铺的锥体数据结构106。图1A的示范性数据结构102包含四个图像108、110、112、114，该四个图像108、110、112、114对应于关于以增大分辨率来排序的处于四个不同分辨率水平的在相同生物样本中的相同标记物表达或形态学的数据。
[0059]—旦针对数据的单通道生成锥体数据结构，关于处于不同分辨率水平的每个图像的像素级数据被划分成块或片。图像可以被划分成任何合适数目的片。比如，图像可以被划分成512像素宽乘512像素高的片。储存平铺的多分辨率数据结构的储存装置可以唯一地识别用于基于请求的快速访问的每个数据结构和在数据结构中的每个片。比如，在数据结构中的每个片能够在锥体中在每个层处被索引化和/或二维坐标能够与在锥体中在每个层处的每个片相关联。
[0060]尽管连同平铺的多分辨率数据储存结构来描述示范性实施例，但是本领域一位普通技术人员将意识到其它合适的储存结构也可以被使用或以替选方式被使用。
[0061 ] 在一个实施例中，提供如在本文中描述的任何用户界面的计算装置可以包含用于在平铺的多分辨率数据结构中储存关于生物样本的图像数据的储存装置。
[0062]在另一个实施例中，提供如在本文中描述的任何用户界面的计算装置可以从储存平铺的多分辨率数据结构的远程服务器访问图像数据。在这个情形中，运行用户界面的计算装置可以确定针对它的目的被选择性要求的数据的片，并且可以从服务器请求仅选择性的片。就是说，在一些实施例中关于整个生物样本的图像数据可以不被请求或不被预加载到用户界面中；但是相反地，可以从服务器请求在给定时间所要求的仅那些组图像数据。这在服务请求中最小化服务器开销并且减少针对它的用户界面需要被传输到计算装置的图像数据的量，由此使用户界面快速和高效以及对用户输入和请求高度反应灵敏。响应于对数据的请求，服务器可以访问数据的被请求的片，并且在一些情形中，执行数据的分析或确认。服务器可以随后将数据的片以流送方式传输到计算装置。就是说，对应于一个或多个片的序列的数据可以被服务器发送并且被请求数据的计算装置接收。
[0063]牛