处理电子图像以确定数字病理学中的凸显信息的系统和方法
1.相关申请本技术要求2020年5月8日提交的美国临时申请63/021,955的优先权，该美国临时申请的全部公开内容特此全文以引用方式并入本文。
技术领域
2.本公开的各种实施方案总体上涉及基于图像的特征识别和相关图像处理方法。更具体地，本公开的特定实施方案涉及用于基于处理组织试样的图像来识别诊断特征的系统和方法。
背景技术：
3.病理学是一种包括对形态学图案和组织学图案进行专业解读的视觉学科。病理学试样的全切片图像(wsi)由病理学家必须审视的成千上万个像素组成。尽管并不是所有像素均包含相关信息，但病理学家可能需要审视整个wsi才能做出诊断。本公开描述允许病理学家将其注意力聚焦在相关区上以快速、完整并且正确地做出诊断的可视化。
4.根据本公开中的一个或多个实施方案，可利用来自为了识别病理学组织的全切片图像上的特定特征而开发的系统的输出，从而通过将病理学家的注意力集中到全切片图像上与特定问题或诊断相关的区域上来节约病理学家的时间。
5.另外，本公开描述了用于将在数字化病理学图像的全切片图像上(例如，除在所有所识别关注区之上的热图之外)识别到的关注癌症病灶可视化的额外方法。
技术实现要素：
6.根据本公开的某些方面，公开了用于识别数字化病理学图像的诊断特征的系统和方法。
7.一种用于识别数字化病理学图像的诊断特征的方法，所述方法包括：接收病理学试样的一个或多个数字化图像和医疗元数据，所述医疗元数据包括图像元数据、试样元数据、临床信息和/或患者信息中的至少一者；应用机器学习模型以基于医疗元数据来预测多个相关诊断特征，所述机器学习模型已使用已处理图像和预期患者数据的档案而开发；以及确定所述相关诊断特征中的至少一个相关诊断特征以输出到显示器。
8.一种用于识别数字化病理学图像的诊断特征的系统包括：存储器，所述存储器存储指令；以及至少一个处理器，所述至少一个处理器执行所述指令以执行包括以下操作的过程：接收病理学试样的一个或多个数字化图像和医疗元数据，所述医疗元数据包括图像元数据、试样元数据、临床信息和/或患者信息中的至少一者；应用机器学习模型以基于医疗元数据来预测多个相关诊断特征，所述机器学习模型已使用已处理图像和预期患者数据的档案而开发；以及确定所述相关诊断特征中的至少一个相关诊断特征以输出到显示器。
9.一种存储指令的非暂时性计算机可读介质，所述指令在由处理器执行时使得所述处理器执行用于识别数字化病理学图像的诊断特征的方法，所述方法包括接收病理学试样
的一个或多个数字化图像和医疗元数据，所述医疗元数据包括图像元数据、试样元数据、临床信息和/或患者信息中的至少一者；应用机器学习模型以基于医疗元数据来预测多个相关诊断特征，所述机器学习模型已使用已处理图像和预期患者数据的档案而开发；以及确定所述相关诊断特征中的至少一个相关诊断特征以输出到显示器。
10.应理解，前述大致描述和以下详细描述仅是示例性和阐释性的，并不限制要求保护的所公开实施方案。
附图说明
11.并入本说明书中并构成本说明书的一部分的附图示出了各种示例性实施方案并且与描述一起用于阐释所公开实施方案的原理。
12.图1a示出根据本公开的示例性实施方案的用于识别图像的诊断特征的系统和网络的示例性框图。
13.图1b示出根据本公开的示例性实施方案的疾病检测平台100的示例性框图。
14.图2是根据本公开的示例性实施方案的用于开发特征识别工具的示例性方法的流程图。
15.图3是根据本公开的示例性实施方案的用于开发特征识别工具的示例性方法的流程图。
16.图4是示出根据本公开的示例性实施方案的示例十字准线输出的图。
17.图5是示出根据本公开的示例性实施方案的关注视场输出的示例输出的图。
18.图6绘示可执行本文呈现的技术的示例系统。
具体实施方式
19.现在将详细参考本公开的示例性实施方案，示例性实施方案的示例在附图中示出。将尽可能在整个图式中使用相同的参考编号来指代相同或相似的部分。
20.通过示例并且参考图详细地描述了本文所公开的系统、装置和方法。本文中所论述的示例仅作为示例并且是为了帮助阐释本文所述的设备、装置、系统和方法而提供。图式中所示或下文所述的特征或部件均不应被视为这些装置、系统或方法中的任一者的任何特定实施方式所必需的，除非特别指出是必需的。
21.此外，对于所述的任何方法，不论所述方法是否是结合流程图来描述，均应理解除非上下文另有规定或要求，否则在执行方法时执行的步骤的任何明确或隐含次序并不意味着这些步骤必须按照所呈现的次序执行，而是可按照不同次序执行或并行执行。
22.如本文所使用，术语“示例性”是在“示例”意义上而非“理想”意义上使用。此外，术语“一个/种”在本文中不意指限制数量，而是意指存在所提及项目中的一者或多者。
23.识别关注区域是一个时间密集型过程，此过程包括专家的视觉解读。随着全世界病理学家数量减小，要审视的病理学试样的量不断增加，这导致医生过劳和误诊。
24.分析患者病例中的所有玻片的整个wsi的过程可完全依靠人工，这极其耗时并且易出错。关注区可包括作为整个组织的一部分的特征(例如，微米级大小)。在学术医疗中心，受训的病理学家(例如，研究生)将在病理学家审视之前人工审视患者病例。在审视期间，研究生将标记关注区域并且预写诊断以供病理学家进行最终的审视和诊断。在此方法
中，基于实习生的初始评估将病理学家引导到病例的特定部分。如果病理学家不确定最终诊断和/或差别诊断，其可以选择将材料发送给不同的病理学家以寻求第二种观点。可仅向转诊病理学家发送特定问题的代表性玻片，在此情况下，病理学家的注意力聚焦到特定问题和病灶。
25.本公开使用人工智能(ai)技术，所述ai技术检测可用于病理学诊断和治疗决策的关注特征(例如，生物标记物、癌症、组织学等)。这可在病例、部位、块级和/或玻片级上进行。经由任何用户界面(例如，通过数字病理学查看系统、报告或实验室信息系统等)聚合并且即刻提供数据和预测。
26.图1a示出根据本公开的示例性实施方案的用于识别图像的诊断特征的系统和网络的示例性框图。
27.具体地，图1a示出可连接到医院、实验室和/或医生办公室等处的服务器的电子网络120。例如，医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和实验室信息系统125等可各自通过一个或多个计算机、服务器和/或手持式移动装置连接到电子网络120，诸如互联网。根据本技术的示例性实施方案，电子网络120还可连接到服务器系统110，服务器系统110可包括被配置成实施疾病检测平台100的处理装置，疾病检测平台100包括特征识别工具101，根据本公开的示例性实施方案，特征识别工具101用于识别与数字病理学图像相关的诊断特征并且使用机器学习来识别所述诊断特征。示例性机器学习模型可包括但不限于神经网络、卷积神经网络、随机森林、逻辑回归和/或最近邻中的任一者或任何组合。
28.医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可形成或以其他方式获得一个或多个患者的细胞学试样、肿瘤学试样、细胞学/肿瘤学试样的玻片的图像、细胞学/肿瘤学试样的玻片的数字化图像或其任何组合。医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125还可获得患者特定信息(诸如年龄、医疗历史、癌症治疗历史、家族病史、过去的活体组织检查或细胞学信息等)的任何组合。医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可通过电子网络120将数字化玻片图像和/或患者特定信息传输到服务器系统110。服务器系统110可包括一个或多个存储装置109以用于存储从医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的至少一者接收到的图像和数据。服务器系统110还可包括处理装置以用于处理存储在存储装置109中的图像和数据。服务器系统110还可包括一种或多种机器学习工具或能力。例如，根据一个实施方案，处理装置可包括用于疾病检测平台100的机器学习工具。另选地或除此之外，本公开(或本公开的系统和方法的部分)可在本地处理装置(例如，膝上型计算机)上执行。
29.医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和实验室信息系统125指代病理学家用于审视玻片的图像的系统。在医院环境中，组织类型信息可存储在实验室信息系统125中。
30.图1b示出用于使用机器学习来识别与数字病理学图像相关的诊断特征的疾病检测平台100的示例性框图。
31.具体地，图1b绘示根据一个实施方案的疾病检测平台100的部件。例如，疾病检测
平台100可包括特征识别工具101、数据获取工具102、玻片推入工具103、玻片扫描仪104、玻片管理器105、存储器件106和查看应用工具108。
32.根据示例性实施方案，下文所述的特征识别工具101指代用于识别与数字病理学图像相关的诊断特征并且使用机器学习来识别所述诊断特征的过程和系统。
33.根据示例性实施方案，数据获取工具102指代用于促进将数字病理学图像传送到用于对所述数字病理学图像进行分类和处理的各种工具、模块、部件和装置的过程和系统。
34.根据示例性实施方案，玻片推入工具103指代用于扫描病理学图像并将其转换成数字形式的过程和系统。可利用玻片扫描仪104来扫描玻片，并且玻片管理器105可将玻片的图像处理成数字化病理学图像并将所述数字化图像存储在存储器件(诸如，存储器件106和/或存储装置109)中。
35.根据示例性实施方案，查看应用工具108指代用于向用户(例如，病理学家)提供与数字病理学图像相关的试样性质信息或图像性质信息的过程和系统。所述信息可通过各种输出接口(例如，屏幕、监视器、存储装置和/或网页浏览器等)来提供。
36.特征识别工具101及其部件中的每一者可通过电子网络120将数字化玻片图像和/或患者信息传输到服务器系统110、医生服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125和/或接收所述数字化玻片图像和/或患者信息。此外，服务器系统110可包括存储装置以用于存储从特征识别工具101、数据获取工具102、玻片推入工具103、玻片扫描仪104、玻片管理器105和/或查看应用工具108中的至少一者接收到的图像和数据。服务器系统110还可包括处理装置以用于处理存储在所述存储装置中的图像和数据。服务器系统110还可包括一个或多个机器学习工具或能力，例如由于处理装置。另选地或除此之外，本公开(或本公开的系统和方法的部分)可在本地处理装置(例如，膝上型计算机)上执行。
37.以上装置、工具和模块中的任一者可位于可通过一个或多个计算机、服务器和/或手持式移动装置连接到电子网络120(诸如，互联网或云服务提供商)的装置上。
38.图2是示出根据本公开的示例性实施方案的开发用于识别数字化病理学图像的诊断特征的工具的示例性方法的流程图。例如，示例性方法200 (例如，步骤202至206)可由特征识别工具101自动执行或响应于来自用户(例如，病理学家、患者、肿瘤学家等)的请求执行。
39.示例性特征识别工具开发：用于开发特征识别工具的示例性方法200可包括以下步骤中的一者或多者。在步骤202中，所述方法可包括接收病理学试样(例如，组织学)的一个或多个数字化图像和医疗元数据，所述医疗元数据包括图像元数据、试样元数据(例如，试样类型、可用部分、粗略描述等)、临床信息(例如，诊断、生物标记物信息、实验室结果等)和/或患者信息(例如，人口统计学资料、性别等)中的至少一者。所述方法可包括开发将已处理图像和预期患者数据归档的管道。另外，可将数据存储在数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中。在步骤204中，所述方法可包括应用机器学习模型以基于医疗元数据来预测多个相关诊断特征，所述机器学习模型已使用已处理图像和预期患者数据(例如，组织类型、试样类型、污点类型、病理学家等)的档案而开发。在步骤206中，所述方法可包括确定相关诊断特征中的至少一个相关诊断特征以输出到显示器。可根据用户的类型(例如，病理学家、患者、肿瘤学家等)将预测结果转换成视觉输出，并且可基
于用户的类型和用例(例如，交互、结构化、模板化、静止等)以某一格式显示所述结果。
40.图3是示出根据本公开的示例性实施方案的使用工具来识别数字化病理学图像的诊断特征的示例性方法的流程图。例如，可由特征识别工具101自动地或响应于来自用户(例如，病理学家、患者、肿瘤学家等)的请求执行示例性方法300(例如，步骤302至306)。
41.示例性特征识别工具使用：使用特征识别工具的示例性方法300可包括以下步骤中的一者或多者。在步骤302中，所述方法可包括将病理学试样(例如，组织学)的一个或多个数字化图像、相关病例和患者信息(例如，试样类型、病例和患者id、病例内的部分、粗略描述等)以及来自临床系统的信息(例如，指派的病理学家、可用于测试的试样等)接收到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中。在步骤304中，可将预测、建议和其他数据传输到电子存储装置，并且可通知用户(例如，病理学家、肿瘤学家、患者等)可能存在关注病灶。病理学家可选择审视可视化或报告。在步骤306中，可以十字准线的形式(参见图4)在一个或多个关注点(有或没有描述符或其他工具)上和/或以视场形式(参见图5)在一个或多个关注区域(有或没有描述符或其他工具)上显示关注病灶的可视化。还可显示其他视觉指示符，诸如可具有不规则形状、非几何形状或多边形形状的关注区域的轮廓。病理学家可与病灶交互并编辑所述病灶和/或按照优先级次序或各种其他类型的次序查看每个关注区。例如，可自动地修改显示器以放大或以其他方式指示具有最高诊断相关性概率的第一关注区。在接收到指示(诸如，来自病理学家的点击)时，显示器可自动地修改以将显示的焦点放在具有第二最高诊断相关性概率的第二关注区，以此类推。可在临床报告系统内记录输出和可视化区作为病历的一部分。
42.示例性癌症检测工具开发：用于开发癌症检测工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括接收病理学试样(例如，组织学)的一个或多个数字化图像、相关信息(例如，试样类型、可用部分、粗略描述等)、临床信息(例如，诊断)和/或患者信息(例如，人口统计学资料、性别等)的步骤。所述方法可包括开发将已处理图像和预期患者数据归档的管道的步骤。所述方法可包括将数据存储到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中的步骤。所述方法可包括生成二进制输出的步骤，所述二进制输出指示是否存在目标特征。所述方法可包括如果存在所述特征(例如，存在癌症)则生成全切片图像的所有点上均存在癌症的概率的步骤。所述方法可包括将预测结果转换成可针对用户(例如，病理学家、患者、肿瘤学家等)可视化并且可由用户解读的形式的步骤。另外，可根据用户和用例(例如，交互、结构化、模板化、静止等)以各种有效格式显示结果。
43.示例性癌症检测工具使用：使用癌症检测工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括将病理学试样(例如，组织学)的一个或多个数字化图像、相关病例和患者信息(例如，试样类型、病例和患者id、病例内的部分、粗略描述等)和/或来自临床系统的信息(例如，指派的病理学家、可用于测试的试样等)接收到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中的步骤。所述方法可包括将系统的预测、建议和数据输出到电子存储装置的步骤。可使得用户(例如，病理学家、肿瘤学家、患者等)意识到可能存在关注病灶和/或关注区。病理学家可选择审视可视化和/或报告。关注病灶的可视化可呈以下形式：示出指示隐匿癌症的统计可能性最高的区的一个位置；示出指示隐匿癌症的统计可能性最高的区的前n个位置(例如，基于用户偏好)；示出具有用于确定所述
特征是否是癌症的决策边界附近的值的区的一个或多个位置(例如，上方的三个点和下方的三个点)；和/或示出对玻片上的每个片组织(例如，个别淋巴结)的预测。可为可视化提供描述符(例如，统计可能性等)和其他工具(例如，编辑、删除、移动等)。病理学家可与病灶交互并编辑所述病灶。可按照优先级次序或基于其他类型的次序将病理学家引导到每个关注区。可在临床报告系统内记录输出和可视化区作为病历的一部分。
44.示例性细胞特征工具开发：并不是检测单个特征(例如癌症)，而是使用一个或多个实施方案依据输入图像来预测多个细胞特征。用于开发细胞特征工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括接收病理学试样(例如，组织学)的一个或多个数字化图像、相关信息(例如，试样类型、可用部分、粗略描述等)、临床信息(例如，诊断)和/或患者信息(例如，人口统计学资料、性别等)的步骤。所述方法可包括开发将已处理图像和预期患者数据归档的管道的步骤。可将数据存储到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中。所述方法可包括生成二进制输出的步骤，所述二进制输出指示是否存在每个目标特征。所述方法可包括针对存在的每个特征识别每个特征存在于全切片图像中的所有相关区域的步骤。所述方法可包括计算可用于报告中的每个特征的总得分的步骤。所述方法可包括将预测结果转换成可针对用户(例如，病理学家、患者、肿瘤学家等)可视化并且可由用户解读的形式的步骤。可根据用户和用例(例如，交互、结构化、模板化、静止等)以各种有效格式显示所述结果。
45.示例性细胞特征工具使用：使用细胞特征工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括将病理学试样(例如，组织学)的一个或多个数字化图像、相关病例和患者信息(例如，试样类型、病例和患者id、病例内的部分、粗略描述等)和/或来自临床系统的信息(例如，指派的病理学家、可用于测试的试样等)接收到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中的步骤。所述方法可包括将系统的预测、建议和数据输出到电子存储装置的步骤。可使用户(例如，病理学家、肿瘤学家、患者等)意识到可能存在关注病灶和/或关注区。病理学家可选择审视可视化和/或报告。关注病灶的可视化可呈以下形式：示出含有最高密度的关注特征(例如，有丝分裂、腺/管差异、核多形性、基底细胞等) (用户可选择示出或隐藏哪些特征)的一个位置；示出指示隐匿癌症的统计可能性最高的区的前n个位置(例如，基于用户偏好)；和/或示出具有用于确定所述特征是否是癌症的决策边界附近的值的区的一个或多个位置(例如，上方的三个点和下方的三个点)。所述方法可包括立刻或单独示出多个特征的指示符的步骤。可为可视化提供描述符(例如，统计可能性等)和其他工具(例如，编辑、删除、移动等)。病理学家可与病灶交互并编辑所述病灶。可按照优先级次序或基于其他类型的次序将病理学家引导到每个关注区。可在临床报告系统内记录输出和可视化区作为病历的一部分。
46.示例性癌症分级工具开发：用于开发癌症分级工具的示例性方法可包括以下步骤中的一者或多者。在此实施方案中，描述了一种用于如果存在特定癌症等级则将用户的注意力引导到全切片图像中的特定癌症等级的方法。所述方法可包括接收病理学试样(例如，组织学)的一个或多个数字化图像、相关信息(例如，试样类型、可用部分、粗略描述等)、临床信息(例如，诊断)和患者信息(例如，人口统计学资料、性别等)的步骤。所述方法可包括开发将已处理图像和预期患者数据归档的管道的步骤。可将数据存储到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中。所述方法可包括生成二进制输出的步
骤，所述二进制输出指示是否存在目标特征。所述方法可包括如果存在所述特征(例如，癌症等级)则识别每个特征存在于全切片图像中的所有相关区域的步骤。所述方法可包括计算可用于报告中的每个特征的总得分的步骤。所述方法可包括将预测结果转换成可针对用户(例如，病理学家、患者、肿瘤学家等)可视化并且可由用户解读的格式的步骤。可根据用户和用例(例如，交互、结构化、模板化、静止等)以各种有效格式显示所述结果。
47.示例性癌症分级工具使用：使用癌症分级工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括将病理学试样(例如，组织学)的一个或多个数字化图像、相关病例和患者信息(例如，试样类型、病例和患者id、病例内的部分、粗略描述等)和来自临床系统的信息(例如，指派的病理学家、可用于测试的试样等)接收到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中的步骤。所述方法可包括将系统的预测、建议和数据输出到电子存储装置的步骤。使用户(例如，病理学家、肿瘤学家、患者等)意识到可能存在关注病灶和/或关注区。病理学家可选择审视可视化和/或报告。关注病灶的可视化可呈以下形式：示出含有表示特定癌症等级(例如，前列腺癌的gleason 3级、4级、5级；乳腺癌的1级、2级、3级；肺癌的1级、2级、3级、4级等)的最高统计可能性的一个位置；示出指示表示或隐匿癌症分级的统计可能性最高的区的前n个位置(例如，基于用户偏好)；和/或示出具有用于确定所述特征是否是癌症的决策边界附近的值的区的一个或多个位置(例如，上方的三个点和下方的三个点)。所述方法可包括立刻或单独示出多个特征的指示符的步骤。可为可视化提供描述符(例如，统计可能性等)和其他工具(例如，编辑、删除、移动等)。病理学家可与病灶交互并编辑所述病灶。可按照优先级次序或基于其他类型的次序将病理学家引导到每个关注区。可在临床报告系统内记录输出和可视化区作为病历的一部分。
48.示例性癌症分型工具开发：用于开发癌症分型工具的示例性方法可包括以下步骤中的一者或多者。一些组织可能会出现多种形式的癌症(例如，小叶乳腺癌和导管型乳腺癌)。根据一个实施方案，用户注意力可被吸引到图像中存在的癌症类型。所述方法可包括接收病理学试样(例如，组织学)的一个或多个数字化图像、相关信息(例如，试样类型、可用部分、粗略描述等)、临床信息(例如，诊断)和患者信息(例如，人口统计学资料、性别等)的步骤。所述方法可包括开发将已处理图像和预期患者数据归档的管道的步骤。可将数据存储到数字存储装置(例如，硬盘驱动器、网络驱动器，云存储器件、ram等)中。所述方法可包括生成二进制输出的步骤，所述二进制输出指示是否存在目标特征。所述方法可包括如果存在所述特征(例如，癌症的子类型)则识别每个特征存在于全切片图像中的所有相关区域的步骤。所述方法可包括计算可用于报告中的每个特征的总得分的步骤。所述方法可包括将预测结果转换成可针对用户(例如，病理学家、患者、肿瘤学家等)可视化并且可由所述用户解读的形式的步骤。可根据用户和用例(例如，交互、结构化、模板化、静止等)以各种有效格式显示所述结果。
49.示例性癌症分型工具使用：使用癌症分型工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括将病理学试样(例如，组织学)的一个或多个数字化图像、相关病例和患者信息(例如，试样类型、病例和患者id、病例内的部分、粗略描述等)和来自临床系统的信息(例如，指派的病理学家、可用于测试的试样等)接收到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中的步骤。所述方法可包括将系统的预测、建议和数据输出到电子存储装置的步骤。可使用户(例如，病理学家、肿瘤学家、患者等)意识到
可能存在关注病灶和/或关注区。病理学家可选择审视可视化和/或报告。关注病灶的可视化可呈以下形式：示出含有表示癌症的子类型(例如，导管型小叶乳腺癌、皮肤癌的黑色素瘤等)的最高统计可能性的一个位置；示出指示表示或隐匿癌症子类型的统计可能性最高的区的前n个位置(例如，基于用户偏好)；示出具有用于确定所述特征是否是癌症子类型的决策边界附近的值的区的一个或多个位置(例如，上方的三个点和下方的三个点)。所述方法可包括立刻或单独示出多个特征的指示符的步骤。可为可视化提供描述符(例如，统计可能性等)和其他工具(例如，编辑、删除、移动等)。病理学家可与病灶交互并编辑所述病灶。可按照优先级次序或基于其他类型的次序将病理学家引导到每个关注区。可在临床报告系统内记录输出和可视化区作为病历的一部分。
50.示例性非癌症特征工具开发：用于开发非癌症特征工具的示例性方法可包括以下步骤中的一者或多者。根据一个实施方案，一种方法包括识别其他非癌症特征(例如乳腺组织中的钙化)或识别膀胱组织样本中的固有肌层。所述方法可包括接收病理学试样(例如，组织学)的一个或多个数字化图像、相关信息(例如，试样类型、可用部分、粗略描述等)、临床信息(例如，诊断)和患者信息(例如，人口统计学资料、性别等)的步骤。所述方法可包括开发将已处理图像和预期患者数据归档的管道的步骤。可将数据存储到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中。所述方法可包括生成二进制输出的步骤，所述二进制输出指示是否存在目标特征。所述方法可包括如果存在所述特征(例如，非癌症但可疑的特征)则识别每个特征存在于全切片图像中的所有相关区域的步骤。所述方法可包括计算可用于报告中的每个特征的总得分的步骤。所述方法可包括将预测结果转换成可针对用户(例如，病理学家、患者、肿瘤学家等)可视化并且可由所述用户解读的形式的步骤。可根据用户和用例(例如，交互、结构化、模板化、静止等)以各种有效格式显示所述结果。
51.示例性非癌症特征工具使用：使用非癌症特征工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括将病理学试样(例如，组织学)的一个或多个数字化图像、相关病例和患者信息(例如，试样类型、病例和患者id、病例内的部分、粗略描述等)以及来自临床系统的信息(例如，指派的病理学家、可用于测试的试样等)接收到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中的步骤。所述方法可包括将系统的预测、建议和数据输出到电子存储装置的步骤。可使用户(例如，病理学家、肿瘤学家、患者等)意识到可能存在关注病灶和/或关注区。病理学家可选择审视可视化和/或报告。关注病灶的可视化可呈以下形式：示出含有表示特定癌症等级的最高统计可能性的一个位置(例如，真皮样本中的真菌、结肠样本中的细菌等)；示出指示表示或隐匿临床病理学特征的统计可能性最高的区的前n个位置(例如，基于用户偏好)；和/或示出具有用于确定所述特征是否可疑的决策边界附近的值的区的一个或多个位置(例如，上方的三个点和下方的三个点)。所述方法可包括立刻或单独示出多个特征的指示符的步骤。可为可视化提供描述符(例如，统计可能性等)和其他工具(例如，编辑、删除、移动等)。病理学家可与病灶交互并编辑所述病灶。可按照优先级次序或基于其他类型的次序将病理学家引导到每个关注区。可在临床报告系统内记录输出和可视化区作为病历的一部分。
52.示例性浸润工具开发：在癌症病理学中，病理学家的任务之一是确定是否存在浸润。用于开发浸润工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括接
收病理学试样(例如，组织学)的一个或多个数字化图像、相关信息(例如，试样类型、可用部分、粗略描述等)、临床信息(例如，诊断)和患者信息(例如，人口统计学资料、性别等)的步骤。所述方法可包括开发将已处理图像和预期患者数据归档的管道的步骤。可将数据存储到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中。所述方法可包括生成二进制输出的步骤，所述二进制输出指示是否存在目标特征。所述方法可包括如果存在所述特征(例如，癌症浸润)则识别每个特征存在于全切片图像中的所有相关区域的步骤。所述方法可包括计算可用于报告中的每个特征的总得分的步骤。所述方法可包括将预测结果转换成可针对用户(例如，病理学家、患者、肿瘤学家等)可视化并且可由所述用户解读的形式的步骤。可根据用户和用例(例如，交互、结构化、模板化、静止等)以各种有效格式显示所述结果。
53.示例性浸润工具使用：使用浸润工具的示例性方法可包括以下步骤中的一者或多者。所述方法可包括将病理学试样(例如，组织学)的一个或多个数字化图像、相关病例和患者信息(例如，试样类型，病例和患者id、病例内的部分、粗略描述等)以及来自临床系统的信息(例如，指派的病理学家，可用于测试的试样等)接收到数字存储装置(例如，硬盘驱动器、网络驱动器、云存储器件、ram等)中的步骤。所述方法可包括将系统的预测、建议和数据输出到电子存储装置的步骤。可使用户(例如，病理学家、肿瘤学家、患者等)意识到可能存在关注病灶和/或关注区。病理学家可选择审视可视化和/或报告。关注病灶的可视化可呈以下形式：示出含有表示浸润癌症迹象(例如，乳腺癌的微浸润、膀胱癌的固有肌层浸润、前列腺癌的神经束膜浸润等)的最高统计可能性的一个位置；示出指示表示或隐匿癌症浸润迹象的统计可能性最高的区的前n个位置(例如，基于用户偏好)；和/或示出具有用于确定所述特征是否浸润的决策边界附近的值的区的一个或多个位置(例如，下方的三个点和上方的三个点)。所述方法可包括立刻或单独示出多个特征的指示符的步骤。可为可视化提供描述符(例如，统计可能性等)和其他工具(例如，编辑、删除、移动等)。病理学家可与病灶交互并编辑所述病灶。可按照优先级次序或基于其他类型的次序将病理学家引导到每个关注区。可在临床报告系统内记录输出和可视化区作为病历的一部分。
54.根据一个或多个实施方案，可向病理学家显示全切片图像上的有限数量的区或视场并且选定区可足以完成诊断过程中的特定任务(例如，癌症检测、分级、分诊等)。
55.可在医院、实验室、医疗中心在临床工作流程内以(1)web应用(基于云或本地部署)、(2)移动应用、(3)交互报告、(4)静止报告和/或(5)仪表板的形式实施一个或多个实施方案。
56.为了提高使用的便利性，可实施一个或多个实施方案，使得可将具有凸显信息的区域组织到具有综述信息的报告中，或病理学家可在审视全切片图像期间促进交互审视/编辑。
57.可实施一个或多个实施方案，使得可将多个特征在单个全切片图像上可视化。
58.根据一个或多个实施方案的技术工作流程可如下：可形成数字化全切片图像并且可从医院和硬件数据库获得一些或所有元数据；可将图像和对应的数据传递到基于人工智能(ai)的系统并且可生成输出；和/或可将所述输出中的一些输出馈送到系统，所述系统基于关注查询(例如，癌症、细胞核特征、细胞数等)生成并向病理学家显示可视化(例如，一个或多个点或区)。
59.另外，可使用本公开的一个或多个实施方案来进行初步筛选，即在病理学家审视图像之前和/或在已做出诊断之后(例如，品质保证)。
60.如图6中所示，装置600可包括中央处理单元(cpu) 620。cpu 620可以是任何类型的处理器装置，包括例如任何类型的专用微处理器装置或通用微处理器装置。相关领域的技术人员将了解，cpu 620还可以是多核心/多处理器系统(所述系统单独操作)中的单个处理器或以群集或服务器群形式操作的计算装置群集中的单个处理器。cpu 620可连接到数据通信基础设施610，例如总线、消息队列、网络或多核心消息传递方案。
61.装置600还可包括主存储器640 (例如，随机存取存储器(ram))并且还可包括辅助存储器630。辅助存储器630 (例如只读存储器(rom))可以是例如硬盘驱动器或可移除存储驱动器。此类可移除存储驱动器可包括例如软盘驱动器、磁带驱动器、光盘驱动器、快闪存储器等。此示例中的可移除存储驱动器以众所周知的方式从可移除存储单元读取和/或写入到可移除存储单元。可移除存储单元可包括由可移除存储驱动器读取和写入的软盘、磁带、光盘等。相关领域的技术人员将了解，此类可移除存储单元通常包括其中存储有计算机软件和/或数据的计算机可使用存储介质。
62.在替代实施方式中，辅助存储器630可包括其他类似装置以允许将计算机程序或其他指令加载到装置600中。此类装置的示例可包括程序盒和盒式接口(诸如存在于视频游戏装置中)、可移除存储器芯片(诸如eprom或prom)和相关联插口以及其他可移除存储单元和接口，此类装置允许将软件和数据从可移除存储单元传送到装置600。
63.装置600还可包括通信接口(“com”) 660。通信接口660允许在装置600与外部装置之间传送软件和数据。通信接口660可包括调制解调器、网络接口(诸如以太网卡)、通信端口、pcmcia插槽和卡等。经由通信接口660传送的软件和数据可呈信号形式，所述信号可以是能够由通信接口660接收的电子信号、电磁信号、光学信号或其他信号。这些信号可经由装置600的通信路径提供到通信接口660，所述通信路径可使用例如导线或缆线、光纤、电话线、蜂窝电话链路、rf链路或其他通信通道来实施。
64.此类设备的硬件元件、操作系统和编程语言本质上是常规的，并且据推测本领域技术人员对其足够熟悉。装置600还可包括输入和输出端口650以与输入和输出装置(诸如键盘、鼠标、触摸屏、监视器、显示器等)连接。当然，可分布式地将各种服务器功能实施在许多类似平台上以分散处理负荷。另选地，服务器可由对一个计算机硬件平台的适当编程来实施。
65.贯穿本公开，提及部件或模块通常指代在逻辑上可分组在一起以执行一种功能或一组相关功能的项目。相似的参考编号通常旨在指代相同或类似的部件。部件和模块可由软件、硬件或者软件与硬件的组合来实施。
66.上述工具、模块和功能可由一个或多个处理器执行。“存储”型介质可包括计算机、处理器等或其相关联模块的有形存储器(诸如，各种半导体存储器、磁带驱动器、磁盘驱动器等)中的任一者或所有，这些有形存储器可在软件编程的任何时间提供非暂时性存储。
67.可通过互联网、云服务提供商或其他电信网络传送软件。例如，通信可使得能够将软件从一个计算机或处理器加载到另一计算机或处理器中。如本文中所使用，除非限制在非暂时性有形“存储”介质，否则诸如计算机或机器“可读介质”的术语指代参与向处理器提供指令以供执行的任何介质。
68.前述一般描述仅是示例性和阐释性的，并不仅限于本公开。本领域技术人员将从对说明书的考量和本文中所公开的本发明的实践中明了本发明的其他实施方案。仅旨在将说明书和示例视为示例性的。