用于确定对象图的方法和系统与流程

用于确定对象图的方法和系统
1.相关申请的交叉引用
2.本技术要求于2020年6月8日提交的第63/036,280号美国临时申请的权益，所述美国临时申请以全文引用的方式并入本文中。


背景技术：

3.已设计许多方法用于治疗和预防结肠癌。结肠镜检查是用于结肠癌筛选和预防的一种此类技术，在此期间，将微小相机插入并导引通过结肠以检测和处理可能是结肠癌前兆的息肉。目前，结肠镜结肠直肠癌预防依赖于通过对所有检测到的息肉进行完全移除和组织病理学测评来处理息肉。这种昂贵而繁琐的做法处理了恶性可能性微乎其微的大量息肉，因为内镜医师缺乏准确和一致的实时息肉分类方法。


技术实现要素：

4.本公开涉及组织赘生物和息肉的处理。应理解，以下总体描述和以下详细描述都仅提供示例，而非限制性的。
5.作为一个或多个示例，一种用于处理组织的方法可包含基于第一分类器确定图像数据中的对象。所述方法可包含基于所述对象确定所述对象的边界。所述方法可包含基于所述对象的所述边界而确定所述边界内的多个子图像。所述方法可包含确定所述多个子图像中的每个子图像的所预测疾病病况。所述方法可包含基于所述多个子图像中的每个子图像的所预测疾病病况确定所述对象的所预测疾病病况。
6.还公开一种方法，其可包含确定第一训练数据集，所述第一训练数据集包括含有对象的标记边界的多个图像。所述方法可包含基于所述第一训练数据集训练被配置成确定对象边界的第一分类器。所述方法可包含基于所述第一训练数据集确定第二训练数据集，所述第二训练数据集包括来自所述第一训练数据集中的每个图像的所述对象的所述标记边界内的多个标记子图像。所述方法可包含基于所述第一训练数据集训练被配置成预测疾病病况的第二分类器。所述方法可包含针对输入图像配置所述第一分类器以输出所述输入图像中的确定对象边界，并且配置所述第二分类器以输出来自所述输入图像中的所述对象边界内的多个子图像中的每个子图像的所预测疾病病况。
7.还公开一种方法。所述方法可包含基于第一分类器确定图像数据中的对象。所述方法可包含基于所述对象确定所述对象的边界。所述方法可包含基于所述对象的所述边界而确定所述边界内的多个子图像。所述方法可包含确定所述多个子图像中的每个子图像的所预测疾病病况。所述方法可包含基于所述对象的所述边界而确定所述边界的视觉指示。所述方法可包含基于所述多个子图像中的每个子图像的所述所预测疾病病况而确定所述多个子图像中的每个子图像的所述所预测疾病病况的视觉指示。所述方法可包含基于所述边界的所述视觉指示和所述多个子图像中的每个子图像的所述所预测疾病病况的所述视觉指示来确定对象图。所述方法可包含将所述图像数据和所述对象图输出为合成图像。
8.还公开方法和系统，包括：接收对象分类数据，其中所述对象分类数据包括所预测
对象的指示、所述所预测对象的一个或多个区的指示以及与所述所预测对象的所述指示相关联的一个或多个计分；确定指示所述所预测对象的边界的数据；确定与所述所预测对象的所述一个或多个区中的每个区相关联的视觉表示，其中所述视觉表示可基于所述所预测对象的所述一个或多个区的所述指示和与所述所预测对象的所述一个或多个区的所述指示相关联的所述一个或多个计分；基于指示所述所预测对象的所述边界的所述数据和与所述所预测对象的所述一个或多个区中的每个区相关联的所述视觉表示而确定对象图；以及基于所述对象图和所述图像数据来输出合成图像。所述方法还可包括：基于与所述所预测对象的所述一个或多个区的所述指示相关联的所述一个或多个计分而确定与同所述所预测对象的所述一个或多个区的所述指示相关联的所述一个或多个计分相关联的颜色，其中确定与所述所预测对象的所述一个或多个区中的每个区相关联的所述视觉表示包括将所述颜色指派给与所述所预测对象的所述一个或多个区中的每个区相关联的所述视觉表示。
9.还公开了方法，包括：从机器学习分类器接收图像数据，其中所述图像数据包括至少一个区和多个图像区段，并且其中所述至少一个区包括至少一个子区；基于所述多个图像区段中的至少一个图像区段而确定与所述至少一个图像区段相关联的初始分类；基于所述多个图像区段中的至少一个额外图像区段而确定与所述至少一个额外图像区段相关联的额外初始分类；基于所述初始分类和所述额外初始分类而确定计分，其中所述计分与所述至少一个子区相关联；基于所述计分而确定视觉指示；以及基于所述视觉指示而输出对象图。
附图说明
10.为了便于理解所描述的技术，附图提供根据本公开的一个或多个实施方案的非限制性示例，图中：
11.图1a示出根据本公开的一个或多个实施方案的利用合成图像进行组织处理的示例方法。
12.图1b示出根据本公开的一个或多个实施方案的用于确定对象图的示例方法。
13.图2示出根据本公开的一个或多个实施方案的示例机器学习系统。
14.图3a示出根据本公开的一个或多个实施方案的示例机器学习方法。
15.图3b示出根据本公开的一个或多个实施方案的预测模型的示例应用。
16.图4示出根据本公开的一个或多个实施方案的与合成图像并排的来自内窥镜的示例原始图像。
17.图5a示出根据本公开的一个或多个实施方案的示例视觉指示。
18.图5b示出根据本公开的一个或多个实施方案的示例视觉指示。
19.图6示出根据本公开的一个或多个实施方案的用于组织处理的示例方法。
20.图7示出根据本公开的一个或多个实施方案的其中可执行本发明方法的示例计算环境。
21.图8示出根据本公开的一个或多个实施方案的图4的脱色版本。
22.图9a示出根据本公开的一个或多个实施方案的用于语义分段或像素分类的训练方法。
23.图9b示出根据本公开的一个或多个实施方案的用于受关注区或像素部分分类器
的训练方法。
24.图10示出根据本公开的一个或多个实施方案的用于利用经训练分类模型对受关注区或像素部分进行分类的分类方法的一部分。
25.图11示出根据本公开的一个或多个实施方案的组织处理的一部分。
26.图12a示出根据本公开的一个或多个实施方案的息肉病理学的统计数据。
27.图12b示出根据本公开的一个或多个实施方案的计算机辅助处理的统计数据。
28.图12c示出根据本公开的一个或多个实施方案的计算机辅助处理中的置信度的统计数据。
具体实施方式
29.如在说明书和所附权利要求中使用，单数形式“一个(a、an、the)”包含复数指示物，除非上下文另有明确规定。范围在本文中可表达为从“约”一个特定值，和/或到“约”另一特定值。当表述此类范围时，另一配置包含从所述一个特定值和/或到所述另一特定值。类似地，当值通过使用前置词“约”表达为近似值时，应理解，特定值形成另一配置。将进一步理解，所述范围中的每个范围的端点在相对于另一个端点以及独立于另一个端点两个方面都是显著的。
[0030]“任选的”或“任选地”意指随后描述的事件或情形可能发生或可能不发生，并且此描述包含所述事件或情形发生的情况和不发生的情况。
[0031]
贯穿本说明书的描述和权利要求，词语“包括(comprise)”以及所述词语的变化，如“包括(comprising)”和“包括(comprises)”意指“包含但不限于”，并且不旨在排除例如其它组件、整体或步骤。“示例性”意指
“…
的示例”，并非旨在表达对优选或理想配置的指示。“例如”不是以限制性的意义使用，而是出于解释的目的。
[0032]
应理解，当描述组件的组合、子集、交互、群组等时，尽管可能未明确描述对这些内容的每个不同个体和集体组合和排列的具体参考，但本文中具体地考虑和描述了每一者。这适用于本技术的所有部分，包含但不限于所描述的方法中的步骤。因此，如果存在可执行的各种额外步骤，则应理解，这些额外步骤中的每一者可用所描述的方法的任何特定配置或配置的组合来执行。
[0033]
如所属领域的技术人员应了解，可实施硬件、软件或软件与硬件的组合。此外，计算机可读存储介质(例如，非暂时性)上的计算机程序产品具有体现于存储介质中的处理器可执行指令(例如，计算机软件)。可利用任何合适的计算机可读存储介质，包含硬盘、cd-rom、光学存储装置、磁存储装置、忆阻器、非易失性随机存取存储器(nvram)、快闪存储器，或其组合。
[0034]
贯穿本技术，参考框图和流程图。应理解，框图和流程图的每个框以及框图和流程图中的框的组合分别可由处理器可执行指令实施。这些处理器可执行指令可加载到通用计算机、专用计算机或其它可编程数据处理设备上以产生机器，使得在计算机或其它可编程数据处理设备上执行的处理器可执行指令产生用于实施流程图框或多个框中指定的功能的装置。
[0035]
这些处理器可执行指令还可存储于计算机可读存储器中，所述计算机可读存储器可引导计算机或其它可编程数据处理设备以特定方式起作用，使得存储于计算机可读存储
器中的处理器可执行指令产生包含用于实施流程图框或多个框中指定的功能的处理器可执行指令的制品。处理器可执行指令还可加载到计算机或其它可编程数据处理设备上以引起一系列操作步骤在所述计算机或其它可编程设备上执行以产生计算机实施的过程，使得在所述计算机或其它可编程设备上执行的处理器可执行指令提供用于实施流程图框或多个框中指定的功能的步骤。
[0036]
因此，框图和流程图的框支持用于执行指定功能的装置组合、用于执行指定功能的步骤组合和用于执行指定功能的程序指令构件。还应注意，框图和流程图中的每个框以及框图和流程图中的框的组合可通过专用的基于硬件的计算机系统实施，所述计算机系统执行指定功能或步骤或专用硬件和计算机指令的组合。
[0037]
描述用于将机器学习分类器用于对象的检测和分类的方法和系统。机器学习(ml)是计算机科学的一个子领域，它通过训练而无需进行明确地编程来赋予计算机学习能力。机器学习平台包含但不限于深度学习技术、朴素贝叶斯分类器(bayes classifier)、支持向量机、决策树、神经网络等。
[0038]
在一方面，机器学习分类器可处理图像数据、用图像数据来训练或以其它方式对图像数据进行操作。可通过摄影方法、ct扫描或任何其它合适的医学成像技术生成图像数据。例如，窄带成像(nbi)可用于生成图像数据。nbi是使用蓝光和绿光照射表面粘膜的内窥镜技术，其通过增强的对比度实现表面凹坑和微脉管的可视化。对nbi用于息肉组织学的关注产生了对瘤性和非瘤性息肉进行分类的正式共识准则。
[0039]
所述图像数据可包括二维图像或三维图像。例如，三维(3d)医学图像数据可包括从人类或动物患者的区域的ct扫描获得的一系列ct图像切片。每个切片是所扫描区域的x射线吸收率的二维数字灰度图像。在示例中，每个像素的强度值可用亨氏单位(hounsfield unit，hu)表达。顺序切片可沿z方向(即，扫描分离轴)以恒定距离分离；例如以0.5到2.5mm之间的距离分离。因此，由多个切片形成的扫描图像可以是三维(3d)灰度图像，其中整体大小取决于所扫描切片的面积和数目。每个像素接着可被视为三维空间中的体素(或体积像素)。
[0040]
在示例中，可使用训练数据(例如，图像数据)训练第一ml分类器以配置第一ml分类器以预测/分类图像以限定对象的边界或以其它方式将所述图像分段。训练数据可包括多个医学图像和/或诊断数据。诊断数据可包含来自患者的肌体感官信息(例如，温度、心率)。在示例中，训练数据可包括与对象、像素、部分等相关联的一个或多个标记，所述一个或多个标记由博学的人(例如，临床医师)、基于计算机的算法或其组合指派。所述一个或多个标记可以是例如赘生物相关联组织的二进制指示。例如，临床医师可通过选择程序将图像数据的个别像素指定为赘生物相关联。临床医师或程序可将所述图像数据的其余像素指定为统计上或经验上普通。以此方式，将图像数据内描绘的组织分类为真/假、零/一或一些其它指定以提供用于训练的基准真值。
[0041]
此类训练数据或训练数据集可编码为贝叶斯模型(bayesian model)。可使用参数化形式来建模每个特征的概率分布，所述参数化形式基于训练数据集和用于学习参数的训练步骤。例如，贝叶斯框架可并入有利用以下事实的模型：对于外观差异，息肉包括不同特征。可在第一ml分类器的一个或多个层中习得特征。所述特征可包含一个或多个外观特征。所述外观特征可包括从医学图像导出的图像信息。所述外观特征可包括从医学图像导出的
形状特征。所述外观特征包括从医学图像导出的纹理特征。所述特征可包含一个或多个形状特征，例如所预测对象的区或所预测对象的边界。所述形状特征可由坐标或相对于另一形状特征的位置等限定。所述特征可包含一个或多个解剖特征。确定解剖特征的值可包括使用边界距离变换来计算中心线边界。图像可划分成区段或单元(例如像素)。图像可被分段以标识和/或表征图像中包括例如息肉等对象的区。
[0042]
可使用训练数据训练第二ml分类器。用于第二ml分类器的训练数据集可以是用以配置第二ml分类器以预测/分类瘤或恶性病的图像数据或其部分(例如，子图像数据)。用于训练第二ml分类器的训练数据可与用于训练第一ml分类器的训练数据相同或不同。训练数据可包括多个医学图像和/或诊断数据。可根据第一ml分类器导出图像。例如，第一ml分类器可标识与息肉或赘生物有关的图像数据内的子图像。在示例中，用于训练数据(例如，子图像)的标记可能由临床医师指派。例如，可针对所预测对象的区/子区确定良性/恶性分类，并且基于每一图像单元进行表示(例如，像素可包括所预测对象的良性区段或恶性区段)。类似地，包括良性/恶性分类的每个像素还与描述良性/恶性分类正确的概率的置信度计分相关联。
[0043]
由此，训练数据可编码为贝叶斯模型。可使用参数化形式来建模每个特征的概率分布，所述参数化形式可基于训练集数据和用于学习参数的训练步骤。例如，贝叶斯框架可并入有利用以下事实的模型：对于外观差异，良性和恶性息肉包括不同特征。
[0044]
在训练后，可将新图像数据提供到第一ml分类器和/或第二ml分类器。在本文中称为对象分类数据的第一ml分类器和/或第二ml分类器的输出可包括分类像素、边界、分段、子图像分类、子区分类、置信度计分，以及其组合。例如，第一ml分类器指示对象的边界(例如，息肉)，并且第二ml分类器输出对所述息肉的多个区的疾病病况的预测。这些结果被存储为对象分类数据。置信度计分可与整个图像、子图像、子区以及其组合有关。在另一示例中，图像数据可用于在经过训练的分段模型上对图像进行分段，对图像或其部分进行分类，以及提供置信度计分。另外，本文所公开的方法允许包含相对于现有医学知识表征图像数据中的特定区段或单元或点的特征。所述特征的值可在医学图像中的每个图像单元(例如，像素或体素)处确定，或可在图像的一部分(例如，区)处或针对单个单元确定。例如，确定外观特征的值可仅需要从医学图像数据读取特定像素的强度值，而形状特征和解剖特征的值通常通过基于像素(以及可能其相邻像素)的强度值执行一个或多个计算而确定。
[0045]
对象分类数据可用于生成对象图和/或合成图像。对象分类数据可用于生成包括图像数据内的所预测对象的合成图像的可用输出。图像数据可产生两个或更多个类型(或层)的分类：限定边界的逐像素分类或分段、良性/恶性分类，以及针对良性/恶性分类中的每一者的置信度计分。所接收的对象分类数据包括两个或更多个层或两个或更多个分类的数据。组合来自所述两个或更多个层的数据以生成对象图，并且所述对象图与所预测对象的照片覆叠以生成合成图像。
[0046]
所述合成图像可用作引导处理以及减少误差的指导。描述用于处理各种组织上的息肉和其它赘生物的技术。针对此类赘生物存在各种处理。例如，可执行切除以进一步对赘生物进行癌症分析。与切除和评估相关联的成本可能大大增加结肠镜检查的总成本。息肉内的癌症风险在息肉大小超过五毫米时增加。例如，一些研究已发现几乎所有小于五毫米的息肉都是良性的。由此，移除和分析可能成本高并且不必要。相比之下，0-1.5％的六到九
毫米的息肉是癌性的，并且2-10％的大于十毫米的息肉是癌性的。由此，当呈现较高癌症可能性时，可执行息肉处理。例如，处理可包含标识患癌可能性高的组织以及在内窥镜手术期间切除所述组织。在一个示例手术中，仅切除视觉上预测为瘤性的小于五毫米的息肉并且丢弃或进行进一步分析。在另一实施例中，可切除小于五毫米的息肉，其中仅在视觉上预测为瘤性的那些息肉进行进一步分析。
[0047]
尽管存在用于执行机器学习和切除组织的各种技术，但本文公开对那些技术的特定改进。本文公开的特定技术描述一种实用的实施方案，所述实施方案实用地减少了从组织图像准确预测疾病病况(例如，癌组织)所必要的所需处理能力和训练数据。实际上，所提供的公开内容减少了与计算机辅助赘生物检测相关联的误差，从而减少与过度切除和切除不足相关联的成本。例如，需要切除每个标识的赘生物的计算机辅助处理可能使与切除相关联的医学并发症的风险升高。相反，同样的计算机辅助处理可能在标识瘤性组织方面出错并建议不切除。
[0048]
图1a示出根据本公开的一个或多个实施方案的利用合成图像进行组织处理的示例方法100。方法100中示出的任何步骤可与贯穿本公开论述的任何其它步骤组合。在步骤102中，图像数据可由内窥镜接收或从内窥镜接收。所述图像数据图像412，如贯穿全文以及相对于图4和图8所论述。在步骤104中，可确定指示所预测对象边界1002的数据，如贯穿全文以及相对于图10所论述。如贯穿本公开所论述并在图1、图6中，可相对于对象预测边界1002。可使用语义分段模型，类似于在图9a的语义分段模型908中训练的那些语义分段模型。语义分段模型908可用于将每个图像412分段以勾勒赘生物和息肉边界。
[0049]
在步骤106中，可执行子图像的分类。子图像可以是图像412的受关注区或像素部分，例如，子图像可包括对象的边界内的图像412的一部分。例如，子图像可以是已调整大小的图像1006，如贯穿包含图10的公开内容所论述。可使用类似于roi分类器960的分类模型，如贯穿包含图9b的公开内容所论述。由此，可独立地生成分类和置信度计分。。子图像大小可以是64像素乘64像素或另一大小。在步骤108中，可确定对象图。如贯穿本公开并且相对于各图所论述，对象图提供视觉表示和指示(例如，记号870、872、874、876)。对象图可以是矩阵(例如，图5a和图5b)，其利用来自分类器的针对所述子图像的对应计分和色调表示子图像、受关注区或像素部分。在步骤110中，可输出或显示合成图像440、450、460，如贯穿包含图4和图8的此公开内容所示。在显示之后，操作者、内镜医师或其他人可在步骤112中根据合成图像440、450、460、记号870、872、874、876或屏幕上提供的其它记号(例如，汇总置信度计分、汇总分类)来对患者进行处理。这些步骤中的任一者以及贯穿本公开的其它步骤可组合、省略或以其它方式用于对患者和相应赘生物进行处理。
[0050]
图1b示出分别来自图1a的步骤108和110的确定对象图和合成图像的方法150。方法150可由例如系统700等任何合适的系统进行。
[0051]
对象分类数据可包括所预测对象的指示、所预测对象的一个或多个区的指示、与所预测对象的一个或多个区的指示相关联的计分，或与所预测对象的指示相关联的计分。在示例中，所预测对象的指示可包括对象标识符，例如对象是否为息肉。在示例中，所预测对象的指示可包括对象分类，例如对象是恶性的还是良性的。在示例中，所预测对象的一个或多个区的指示可包括至少一个边界标识。在示例中，所预测对象的指示可包括将对象与其周围环境区分开的对象的边界的指示。例如，对象的指示可将息肉组织与非息肉组织区
分开。所述指示可与每个图像区段(例如，像素或体素)或所述图像区段的一部分相关联。
[0052]
在实施例中，可从可以任何数目的方式来数据的机器学习分类器(例如，预测模型)接收对象分类数据。在步骤152处接收对象分类数据可包括下载/获得/接收对象分类数据。对象分类数据可来源于各种来源，包含实况馈送或流、数据库、实况视频、实时图像、其它图像数据等，以用于分类。数据可包括与不同病症(例如结肠癌、肛门癌、黑色素瘤、乳癌、肺癌、卵巢癌等)相关联的数据集，并且可由各种数据类型和/或平台生成。
[0053]
在步骤154处确定指示所预测对象的边界的数据可包括根据对象分类数据、其它信息和其组合限定所预测对象的边界的各种实施方案。可通过应用分析来处理所预测对象的边界以确定视觉表示，如将在步骤156处描述和指示。以此方式，可生成一个或多个边界。指示所预测对象的边界的数据可用于标识息肉候选对象。在步骤154处确定指示所预测对象的边界的数据可包括确定对象分类数据中的像素矩阵。例如，像素矩阵可指定息肉像素和非息肉像素。在步骤154处确定指示所预测对象的边界的数据可包括确定对象轮廓的数学描述(例如，公式)。所述公式可通过线或另一几何形状将息肉像素与非息肉像素分离。在步骤154处确定指示所预测对象的边界的数据可包括确定对象的轮廓的一个或多个坐标。所述一个或多个坐标可形成线或另一几何形状以将息肉像素与非息肉像素分离。
[0054]
在156处确定视觉表示可包括确定与所预测对象的区相关联的指示(例如，计分或值)。在示例中，所述指示可包括对象类别(例如，息肉、非息肉等)。在示例中，视觉表示可与计分或数值相关联，所述计分或数值与区相关联。例如，数值可以是二进制的，其中0指示良性区，而1指示恶性的。在另一示例中，数值可包括概率，例如可能性或百分比。概率可由基于例如0与1、或1与5之间或任何其它范围的标度的数值表示。特定示例可包括确定与组织相关的图像的像素的区或部分根据疾病病况分类为两个类别中的一者(例如，好或坏、零或一)。可使用其它类别。在步骤156处确定与所预测对象的区相关联的视觉表示可包括针对对象分类数据中指示的每个子图像确定所预测疾病病况并确定与所述疾病病况相关联的颜色。例如，一个所预测疾病病况可与红色相关联，而另一所预测疾病病况可与绿色相关联。
[0055]
概率可表示关于对象的区是否具有特定特质——例如，对象的区是恶性的还是良性的——的预测值。例如，所述特定特质可调整与所预测疾病病况相关联的红色。
[0056]
在示例中，可使用例如贝叶斯法则等任何统计方法来确定概率，以确定并且在一些情况下组合概率分布且生成概率图。在示例中，如下文将解释，组合图可包括覆叠概率图，其中图像的每个区段包括概率。
[0057]
在示例中，图像数据可包括与概率相关联的像素或体素。在示例中，视觉表示可包括颜色指示符。例如，所预测对象的区可与红色相关联，以指示所述区为恶性的高置信度。所预测对象的不同区可与绿色相关联，以指示所述区为良性的高置信度。所预测对象的不同区可与黄色相关联，以指示关于所述区是良性还是恶性的低置信度。在示例中，确定例如概率等计分包括计算特定图像单元处的高斯函数(gaussian function)的值，其中高斯函数对所述特征的概率分布建模。高斯函数可对表征医学图像的区段的特征的概率分布进行建模，并且其中计算高斯函数的值包含：(i)将高斯函数中的均值处理为固定值；或(ii)将高斯函数中的均值计算为先前检测到的对象的大小的函数。
[0058]
在示例中，所预测对象的指示可包括坐标，例如x-y平面或x-y-z体中的坐标。坐标
可与对象的区相关联。所预测对象的区可与平面或体坐标相关联。
[0059]
在步骤158中，可确定对象图。例如，对象图可包括至少一个视觉表示。在示例中，对象图可包括具有指示的对象的至少一个视觉表示，所述指示关于对象的区是否具有给定特质，例如关于息肉的区是良性还是恶性的预测。在步骤158处确定对象图可包括对覆叠图像、边界的视觉表示和所预测对象的区的视觉表示进行标绘。在步骤158处确定对象图可包括更改所预测对象的区的视觉表示内的像素的颜色组成。
[0060]
在步骤160处，可输出合成图像。合成图像可包括例如息肉等所预测对象的至少一个图像，以及与对象的区相关联的至少一个视觉表示，例如息肉的区为恶性或良性的预测(如图4中所见)。输出合成图像可包括输出所述图像和覆叠图像的组合。输出合成图像可包括输出所述图像的调整的颜色组成。
[0061]
如图2中所示，此处描述系统200，所述系统被配置成使用机器学习技术来基于训练模块220对一个或多个训练数据集210a-210b的分析训练至少一个基于机器学习的分类器230，所述基于机器学习的分类器被配置成将基线数据分类为与诊断、病理或组织结构相关联。在示例中，训练数据集210a(例如，数据)可包括来自一个或多个研究的策划数据(curated data)。在示例中，训练数据集210a可仅包括策划数据或策划数据的仅一部分。在示例中，训练数据集210b(例如，处理中的数据)可包括数据。训练数据集210b包含来自分段息肉的带有标注(例如，瘤、恶性病)的数千个图像。在示例中，训练数据集210b可仅包括标记数据或标记数据的仅一部分。标记可包括良性和恶性标记。
[0062]
可将数据随机指派给训练数据集210b或测试数据集。在一些实施方案中，将数据指派到训练数据集或测试数据集可能不是完全随机的。在此情况下，可在指派期间使用一个或多个准则，例如确保具有不同良性/恶性状态的类似数目的诊断处于训练和测试数据集中的每一者中。一般来说，任何合适的方法可用于将数据指派到训练或测试数据集，同时确保良性/恶性状态的分布在训练数据集和测试数据集中在某种程度上是类似的。在示例中，75％的标记基线数据可被指派到训练数据集210b，而25％的标记基线数据可被指派到测试数据集。
[0063]
在示例中，训练模块220可通过根据一个或多个特征选择技术从训练数据集210a中的第一数据(例如，策划情况不可知数据)提取特征集来训练基于机器学习的分类器230。在示例中，训练模块220可另外通过将一个或多个特征选择技术应用于训练数据集210b中的第二数据(例如，标记基线数据)来限定从训练数据集210a获得的特征集，所述第二数据包含阳性示例的统计显著特征(例如，恶性)和阴性示例的统计显著特征(例如，良性)。
[0064]
在示例中，训练模块220可以各种方式从训练数据集210a和/或训练数据集210b提取特征集。训练模块220可多次执行特征提取，每次使用不同的特征提取技术。在示例中，使用不同技术生成的特征集可各自用于生成不同的基于机器学习的分类模型240。在示例中，可选择具有最高特质度量的特征集以用于训练。训练模块220可使用特征集来建构被配置成指示新数据是与恶性诊断还是良性诊断相关联的一个或多个基于机器学习的分类模型240a-240n。
[0065]
在示例中，可分析训练数据集210b以确定所测量的诊断与训练数据集210b中的情况的良性/恶性状态之间的任何相依性、关联和/或相关性。所标识的相关性可具有对于与不同良性/恶性状态相关联的样本来说存在或不存在的特征列表的形式。在示例中，可分析
训练数据集210a以确定具有与训练数据集210b共同的至少一个特征的一个或多个特征列表。这些可被视为机器学习环境中的特征(或变量)。如本文中所使用，术语“特征”可指数据项的任何特性，其可用于确定数据项是否处于一个或多个特定类别内。例如，本文所描述的特征可包括一个或多个诊断、病理、组织结构等或其特性。
[0066]
在示例中，特征选择技术可包括一个或多个特征选择规则。所述一个或多个特征选择规则可包括特征发生规则。特征发生规则可包括确定训练数据集210a中的哪些特征发生超过阈值次数以及将满足阈值的那些特征标识为候选特征。例如，训练数据集210a中出现大于或等于2次的任何特征可被视为候选特征。可不考虑出现小于2次的任何特征。
[0067]
在示例中，所述一个或多个特征选择规则可包括显著性规则。显著性规则可包括从训练数据集210b中的基线数据确定良性诊断数据和恶性诊断数据。由于训练数据集210b中的基线数据被标记为良性或恶性，因此标记可用于确定良性诊断数据和恶性诊断数据。
[0068]
在示例中，可根据包装器方法选择一个或多个候选特征。包装器方法可被配置成使用特征子集并使用特征子集训练机器学习模型。基于从先前模型取得的推断，可从子集添加和/或删除特征。包装器方法包含例如前向特征选择、后向特征消除、递归特征消除、其组合等。前向特征选择是以机器学习模型中没有特征开始的迭代方法。在每次迭代中，添加最能改进模型的特征，直到添加新变量不能改进机器学习模型的性能为止。在示例中，后向消除可用于标识一个或多个候选特征。后向消除是以机器学习模型中的所有特征开始的迭代方法。在每次迭代中，移除最不显著的特征，直到在移除特征时观测不到改进为止。在示例中，递归特征消除可用于标识一个或多个候选特征。递归特征消除是旨在寻找表现最佳的特征子集的贪心优化算法。递归特征消除反复地创建模型，并且在每次迭代时保留表现最佳或最差的特征。递归特征消除用剩余的特征构建下一模型，直到耗尽所有特征为止。递归特征消除接着基于其消除的次序对特征进行排序。
[0069]
在示例中，可根据嵌入式方法选择一个或多个候选特征。嵌入式方法组合了过滤方法和包装器方法的特质。嵌入式方法包含例如最小绝对收缩和选择算子(least absolute shrinkage and selection operator，lasso)和岭回归(ridge regression)，它们实施惩罚函数以减少过度拟合。例如，lasso回归执行l1正则化，其增加了与系数量值的绝对值相等的罚分，而岭回归执行l2正则化，其增加了与系数量值的平方相等的罚分。
[0070]
在训练模块220生成特征集之后，训练模块220可基于所述特征集而生成基于机器学习的分类模型240。基于机器学习的分类模型可指使用机器学习技术生成的数据分类的复杂数学模型。在一个示例中，这种基于机器学习的分类器可包含表示边界特征的支持向量的图。例如，边界特征可选自特征集和/或表示特征集中的最高排序的特征。
[0071]
在示例中，训练模块220可使用从训练数据集210a和/或训练数据集210b提取的特征集来针对每个分类类别(例如，恶性、良性)建构基于机器学习的分类模型240a-240n。在一些示例中，可将基于机器学习的分类模型240a-240n组合成单个基于机器学习的分类模型240。类似地，基于机器学习的分类器230可表示含有单个或多个基于机器学习的分类模型240的单个分类器和/或含有单个或多个基于机器学习的分类模型240的多个分类器。
[0072]
所提取特征可在所训练的分类模型中使用机器学习方法组合，所述机器学习方法例如：判别分析；决策树；最近邻(nearest neighbor，nn)算法(例如，k-nn模型、复制器nn模型等)；统计算法(例如，贝叶斯网络等)；聚簇算法(例如，k均值、均值漂移等)；神经网络(例
如，库网络、人工神经网络等)；支持向量机(svm)；逻辑回归算法；线性回归算法；马尔科夫模型或链(markov models or chains)；主成分分析(pca)(例如，用于线性模型)；多层感知器(mlp)ann(例如，用于非线性模型)；复制库网络(例如用于非线性模型，典型地用于时间序列)；随机森林分类；其组合；和/或其类似者。所得基于机器学习的分类器230可包括决策规则或将某个情况指派到某一类(良性/恶性)的映射。
[0073]
基于机器学习的分类器230可用于预测图像数据中的图像区段的良性/恶性状态(例如，二分结果)或组织的多类预测(例如，瘤性、非瘤性、无柄锯齿状息肉、无柄锯齿状腺瘤、锯齿状病灶)。在一个示例中，每个图像区段的结果包含置信度水平，所述置信度水平对应于对应图像区段属于所预测良性/恶性状态的可能性或概率。所述置信度水平可以是表示对应的测试样本属于良性/恶性状态的可能性的介于零与一之间的值。在一个示例中，当存在两个状态(例如，良性和恶性)时，置信度水平可对应于值p，这指代特定图像区段属于第一状态的可能性。在此情况下，值1-p可指特定图像区段属于第二状态的可能性。
[0074]
图3a是示出用于使用训练模块220生成基于机器学习的分类器230的示例训练方法300的流程图。训练模块220可实施有监督、无监督和/或半监督(例如，基于强化的)基于机器学习的分类模型240。图3a中所示的方法300是有监督学习方法的示例；下文论述了训练方法的这个示例的变型，然而，可类似地实施其它训练方法以训练无监督和/或半监督机器学习模型。
[0075]
训练方法300可在310处确定(例如，访问、接收、检索等)一个或多个研究的第一数据(例如，病理、组织结构等)和一个或多个其它研究的第二数据。第一数据可含有一个或多个数据集，每个数据集与特定研究相关联。每个研究可包含与第二数据相同的一个或多个诊断。第一数据可包含分段基准真值以及输入图像，并且第二数据可包含受关注区或像素部分的分类。每个研究可涉及不同患者群体，但预期可能会发生一些患者重叠。第二数据可含有一个或多个数据集，每个数据集与特定研究相关联，所述特定研究不同于所述第一数据集的研究。每个研究可包含与第一数据相同的一个或多个诊断。每个研究可涉及不同患者群体，但预期可能会发生一些患者重叠。在示例中，每个数据集可包含标记的诊断列表。在另一示例中，每个数据集可包括标记基线数据。在另一示例中，每个数据集还可包含标记的处理中的数据。
[0076]
训练方法300可在320处生成训练数据集和测试数据集。训练数据集和测试数据集可通过将来自第二数据的个别情况的标记数据随机指派到训练数据集或测试数据集而生成。在一些实施方案中，将情况指派为训练或测试样本可能不是完全随机的。在示例中，仅特定研究的标记基线数据可用于生成训练数据集和测试数据集。在示例中，特定研究的大部分标记基线数据可用于生成训练数据集。例如，特定研究的75％的标记基线数据可用于生成训练数据集，而25％可用于生成测试数据集。在另一示例中，仅特定研究的标记的处理中的数据可用于生成训练数据集和测试数据集。
[0077]
训练方法300可在330处确定(例如，提取、选择等)可例如由分类器用以在不同分类(例如，恶性与良性)当中进行区分的一个或多个特征。在示例中，训练方法300可从第一数据确定特征集。在另一示例中，训练方法300可从第二数据确定特征集。在另一示例中，可从来自不同于与训练数据集和测试数据集的标记数据相关联的研究的研究的数据确定特征集。换句话说，来自不同研究(例如，策划情况不可知数据)的数据可用于特征确定，而非
用于训练机器学习模型。在示例中，训练数据集可结合来自不同研究的数据用以确定所述一个或多个特征。来自不同研究的数据可用于确定初始特征集，使用训练数据集可使所述初始特征集进一步减小。
[0078]
训练方法300可在340处使用所述一个或多个特征训练一个或多个机器学习模型。在一个示例中，可使用有监督学习训练机器学习模型。在另一示例中，可采用其它机器学习技术，包含无监督学习和半监督。取决于待解决的问题和/或训练数据集中可用的数据，可基于不同准则选择在340处训练的机器学习模型。例如，机器学习分类器可能存在不同程度的偏差。因此，可在340处训练多于一个机器学习模型，在350处优化、改进和交叉验证。
[0079]
训练方法300可选择一个或多个机器学习模型以在360处建构预测模型(例如，机器学习分类器)。可使用测试数据集来评估预测模型。预测模型可在370处分析测试数据集并生成分类值和/或预测值。可在380处评估分类和/或预测值以确定此类值是否已达到所要准确度水平。预测模型的性能可按数个方式基于预测模型所指示的多个数据点的真阳性、假阳性、真阴性和/或假阴性分类的数目而评估。例如，预测模型的假阳性可指预测模型将实际上为恶性的特征不正确地分类为良性的次数。相反地，预测模型的假阴性可指机器学习模型在特征实际上为良性时将一个或多个特征分类为恶性的次数。真阴性和真阳性可指预测模型正确地将一个或多个特征分类为恶性或良性的次数。与这些测量值相关的是召回率和精度的概念。通常，召回率是指真阳性与真阳性和假阴性之和的比率，它量化了预测模型的灵敏度。类似地，精度是指真阳性与真阳性和假阳性之和的比率。
[0080]
当达到此类所要准确度水平时，训练阶段结束并且可在390处输出预测模型；然而，当未达到所要准确度水平时，则可执行训练方法300的后续迭代。
[0081]
在图3b中，示出根据本公开的一个或多个实施方案的预测模型的示例应用。过程流392可促进对象的预测、图像的分类、子图像的分类，或其组合。
[0082]
在步骤394处，可确定数据。数据可包括与组织或患者相关的信息。例如，所述数据可以是图像或子图像。
[0083]
可在步骤396处用模型处理数据，并且在步骤398中可进行预测。所述预测可限定图像的像素的分段。所述预测可限定图像或子图像的分类。过程流392可在如本文所描述的包含各种网络结构和学习方法在内的各种硬件和软件组件上执行。
[0084]
图4示出多个图像410、420、430、440、450和460。图像410、420和430包括图像数据，所述图像数据包括所预测对象的图片。所预测对象可包括息肉。图像440、450和460包括合成图像，所述合成图像包括覆叠在所预测对象上的对象图。如本文所描述，对象图可包括与所预测对象相关联的数据、病理、组织结构等的视觉表示。在示例中，对象图可包括区或子区。例如，440示出合成图像，其中对象图包括两个区(绿色和黄色)。与区相关联的颜色可指示特征和/或置信度计分。例如，绿色可指示所述区为良性的高置信度，而黄色可指示关于区为良性还是恶性的低置信度。类似地，如在图像450中可见，所预测对象可包括单个区和/或单个颜色。例如，在图像450中，对象图完全为红色，这可指示所述区为恶性的高置信度。图像460示出示例合成图像，其中对象图包括与所预测对象的多个区相关联的多个颜色。
[0085]
图5a-5b示出与所预测对象相关联的若干示例视觉指示或表示。视觉表示可包括多个计分。例如，视觉表示可包括范围从1到5的计分。所述计分可包括置信度计分。生成所述视觉表示的图像数据可包括将身体区域成像若干次以确定所预测对象。所预测对象的若
干图像可关于其视觉表示而变化。构成视觉表示的计分可包括颜色指示符(如图5b中所见)。例如，可堆叠或覆叠若干视觉表示，如图5b中所示。视觉表示可部分地重叠或完全重叠。一个值可表示高置信度计分，而另一值表示低置信度计分。类似地，一种颜色可与例如良性的所预测诊断相关联，而另一颜色可与例如恶性的不同诊断相关联。如可见，视觉表示510、520和530已部分重叠并且每个图像区段的计分相加。在图5b中，重叠的视觉表示已生成具有通过红色“5”所见的恶性病高置信度的对象图。
[0086]
图6示出示例方法，包括：在步骤610处接收图像数据；在步骤620处确定与图像区段相关联的初始分类；在步骤630处确定与额外图像区段相关联的额外初始分类；在步骤640处确定计分；在步骤650处确定视觉指示；以及在步骤660处输出对象图。此类步骤可包含来自图1的一个或多个步骤。
[0087]
在步骤610处接收图像数据可包括下载、获得或接收图像数据，或其组合。可从各种来源获得图像，包含实况馈送或流、数据库、实况视频、实时图像、其它图像数据等。可从如上文所描述的机器学习分类器接收图像数据。所述图像数据可包括至少一个区。例如，一个区可包括特征，而另一区包括另一特征。此外，所述图像可包括区段。例如，所述区段可包括像素或体素，或多个像素或体素、像素或体素群组等。在示例中，区段可包括在一个方向(例如，x方向)上的32个像素，以及在另一方向(y或z方向)上的32个像素，或其组合。
[0088]
在步骤620处确定初始分类可包括作出关于特征、诊断、病理、组织结构等的确定。例如，确定初始分类可包括确定图像区段包括特征，例如息肉或边界或某一特性，例如表面特性。初始分类可包括关于所述图像区段指示例如息肉的区段是良性还是恶性的分类。
[0089]
在630处确定额外分类可包括作出关于特征、诊断、病理、组织结构等的确定。例如，确定初始分类可包括确定图像区段包括特征，例如息肉或边界或某一特性，例如表面特性。初始分类可包括关于所述图像区段指示例如息肉的区段是良性还是恶性的分类。
[0090]
在示例中，步骤620的初始分类可使用语义分段模型来确定图像内的赘生物的边界。例如，语义分段可将图像的个别像素分类为与赘生物有关的像素和与普通组织有关的像素。步骤630的额外分类可使用经过训练的受关注区模型来将图像分类为瘤性和非瘤性。例如，具有边界内的像素的较小受关注区可分类为瘤性和非瘤性。作为另一示例，步骤630的额外分类可将边界内的每个像素或与边界相关联的图像的缩放版本分类为瘤性或非瘤性，从而提供对异常赘生物的粗略指示。
[0091]
在步骤640处确定计分可包括基于初始分类、任何额外分类或其组合来确定置信度计分。例如，置信度计分可与恶性病的初始分类相关联。置信度计分可与恶性病的初始分类、恶性病的第一额外分类、恶性病的第二额外分类、其它额外分类或其组合相关联。在此类情况下，可在初始分类是恶性病并且第一额外分类是良性的情境中将置信度计分调整得低于恶性病的初始分类。在示例中，可基于分类过程的部分而确定步骤640的计分。例如，计分可以是与受关注区的分类为瘤性对比受关注区的分类为非瘤性相关的置信度计分。
[0092]
在步骤650处确定视觉指示可包括使多个图像区段与初始分类相关联。确定视觉表示可包括将额外图像区段与额外分类相关联。可覆叠所述图像区段和额外图像区段，以便显现可包括至少一个视觉指示的对象图。在步骤650处确定视觉指示可包括使计分与初始图像区段和/或额外图像区段相关联。在示例中，步骤650可包括将分类的视觉表示作为颜色、符号、图案或以其它方式添加、增补或以其它方式插入。例如，所述分类可与特定受关
注区或所分类的像素的部分的着色相关。如图4中所示，受关注区或部分的色调可改变。例如，分类为瘤性的受关注区可着色为红色。作为另一示例，分类为非瘤性的受关注区可着色为绿色。底层结构可保持原封不动，使得查看者可看到原始图像的哪一区域被标识为瘤性。
[0093]
在步骤660处输出对象图可包括将对象图发送到显示装置。输出对象图可包括在显示装置上显示对象图。
[0094]
图7是描绘包括通过网络704连接的计算装置701和服务器702的非限制性示例的环境700的框图。在一方面，可在本文所描述的计算装置上执行任何所描述方法的一些或所有步骤。计算装置701可包括一个或多个计算机，所述一个或多个计算机被配置成存储训练模块220、训练数据210(例如，标记基线数据、标记的处理中的数据和/或策划情况不可知数据)等中的一者或多者。服务器702可包括被配置成存储数据724(例如，策划情况不可知数据)的一个或多个计算机。多个服务器702可经由通过网络704与计算装置701通信。
[0095]
计算装置701和服务器702可以是在硬件架构方面通常包含处理器708、存储器系统710、输入/输出(i/o)接口712和网络接口714的数字计算机。这些组件(708、710、712和714)经由本地接口716以通信方式耦合。本地接口716可以是例如但不限于如所属领域中已知的一个或多个总线或其它有线或无线连接。本地接口716可具有为简单起见而省略的额外元件来实现通信，所述额外元件例如控制器、缓冲器(高速缓存)、驱动器、中继器和接收器。此外，本地接口可包含用以实现前述组件之间的适当通信的地址、控制和/或数据连接。
[0096]
处理器708可以是用于执行特别是存储在存储器系统710中的软件的硬件装置。处理器708可以是任何定制或市售处理器、中央处理器(cpu)、与计算装置701和服务器702相关联的若干处理器中的辅助处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)或通常是用于执行软件指令的任何装置。当计算装置701和/或服务器702在操作中时，处理器708可被配置成执行存储于存储器系统710内的软件，将数据传送到存储器系统710和从存储器系统传送数据，以及根据软件总体上控制计算装置701和服务器702的操作。
[0097]
i/o接口712可用于从一个或多个装置或组件接收用户输入和/或将系统输出提供到一个或多个装置或组件。用户输入可通过例如键盘和/或鼠标提供。系统输出可经由显示装置和打印机(未示)提供。i/o接口712可包含例如串行端口、并行端口、小型计算机系统接口(scsi)、红外(ir)接口、射频(rf)接口和/或通用串行总线(usb)接口。
[0098]
网络接口714可用于在网络704上从计算装置701和/或服务器702传输和接收。网络接口714可包含例如10baset以太网适配器、100baset以太网适配器、lan phy以太网适配器、令牌环适配器、无线网络适配器(例如，wifi、蜂窝、卫星)或任何其它合适的网络接口装置。网络接口714可包含用以在网络704上实现适当通信的地址、控制和/或数据连接。
[0099]
存储器系统710可包含易失性存储器元件(例如，随机存取存储器(ram，例如dram、sram、sdram等))和非暂时性的非易失性存储器元件(例如，rom、硬盘驱动器、磁带、cdrom、dvdrom等)中的任一者或组合。此外，存储器系统710可并入有电子、磁性、光学和/或其它类型的存储介质。应注意，存储器系统710可具有分布式架构，其中各个组件彼此远程定位，但可由处理器708存取。
[0100]
存储器系统710中的软件可包含一个或多个软件程序，每一个软件程序包括用于实施逻辑功能的可执行指令的有序列表。在图7的示例中，计算装置701的存储器系统710中的软件可包括训练模块220(或其子组件)、训练数据210b和合适的操作系统(o/s)718。在图
7的示例中，服务器702的存储器系统710中的软件可包括数据724和合适的操作系统(o/s)718。操作系统718主要控制其它计算机程序的执行，并且提供调度、输入-输出控制、文件和数据管理、存储器管理以及通信控制和相关服务。所述组件中的一者或多者可在内窥镜中使用。
[0101]
出于说明的目的，应用程序和其它可执行程序组件，例如操作系统718，在本文中以离散框示出，但应认识到，此类程序和组件可在各种时间驻存在计算装置701和/或服务器702的不同存储组件中。训练模块220的实施方案可存储在某种形式的计算机可读介质上或通过某种形式的计算机可读介质传输。所公开的任何方法均可由计算机可读介质上体现的计算机可读指令来执行。计算机可读介质可以是可由计算机存取的任何可用介质。举例来说但并非意在限制，计算机可读介质可包括“计算机存储介质”和“通信介质”。“计算机存储介质”可包括实施于用于存储例如计算机可读指令、数据结构、程序模块或其它数据等信息的任何方法或技术中的非易失性、可移除和不可移除介质。示例计算机存储介质可包括ram、rom、eeprom、快闪存储器或其它存储器技术、cd-rom、数字多功能盘(dvd)或其它光学存储装置、磁盒、磁带、磁盘存储装置或其它磁性存储装置，或可用于存储所要信息并且可由计算机存取的任何其它介质。
[0102]
参考图8，示出根据本公开的一个或多个实施方案的图4的脱色版本。图8意图在不添加额外事项的情况下阐明先前所公开的主题的部分。如图4和8中所示，在结肠镜检查或另一操作期间拍摄原始内窥镜图像410、420、430。原始内窥镜图像410、420、430呈现普通组织以及非普通组织812、822、832。如合成图像440、450、460中所示，将记号添加到原始内窥镜图像410、420、430以突显图像的分类和分类的置信度计分。例如，原始内窥镜图像410包含单个赘生物、对象、异常或非普通组织812。
[0103]
边界842由图像的像素的分类或分段限定以标识非普通组织812。原始内窥镜图像420、430还与由图像的像素的分类或分段限定的相应边界852、862相关联。可通过分类模型使用图像的受关注区或部分的分类对边界内的图像的部分赋予记号870、872、874、876，从而通过图像分类检测瘤性和非瘤性组织。
[0104]
记号870、872、874、876可改变原始内窥镜图像的色调以允许肠胃病学家看到底层组织和其分类。如所示，不同记号的图指示分类和置信度计分。例如，记号870可以是限定相应边界842、852、862内的瘤性组织的界定区域的红色覆层。记号872可以是限定边界842、852、862内的瘤性组织的界定区域的绿色覆层。记号874、876可以是对红色和绿色覆层的黄色增补。例如，低置信度计分瘤性区域可表示为微黄红色，示为记号876。作为另一示例，低置信度计分非瘤性区域可表示为微黄绿色，示为记号874。可使用各种类型的记号。可使用覆层和符号来指示相应区域。可使用不同色调或着色方案。例如，与红色和绿色相比，色盲可能偏好黄色和蓝色。
[0105]
在图9a中，将根据本公开的一个或多个实施方案的用于语义分段或像素分类的训练方法示为方法900。图9a意图在不添加额外事项的情况下阐明先前所公开的主题的部分。可训练分段模型908以标识图像410内的边界。例如，由语义分段模型908处理图像410以用于正确分段的预测。可训练语义分段模型908以输出具有根据标注的训练图像902分类的分段914、916的分段图像910。利用基准真值语义分段904、906限定标注的训练图像902。基准真值语义分段可借助基准真值语义分段904、906的边界显式地或隐式地提供标记边界907。
例如，可对照标注的训练图像902训练语义分段模型908，将分段图像910的像素分类与标注的训练图像902进行比较。在分段图像910中限定分段之后，可显式地或隐式地确定其中分段914、916邻接的边界912。语义分段模型908接着可用于在训练后将其它图像分段。语义分段模型908可以是使用空洞卷积(atrous convolution)的编码器-解码器网络。所述卷积还可包含卷积层的残余学习。
[0106]
在图9b中，将根据本公开的一个或多个实施方案的用于受关注区或像素部分分类器的训练方法示为方法950。图9b意图在不添加额外事项的情况下阐明先前所公开的主题的部分。roi分类器960可利用图像410和其它图像的受关注区或像素部分进行训练。可从通过语义分段模型908标识的边界912内作出训练数据210b选择。例如，另外是图像410的子图像的训练图像952、954、956可全部选自边界912内并标注为瘤性或非瘤性、良性或恶性或各种其它分类(例如，所预测疾病病况)。训练图像952、954、956用于训练roi分类器960，从而基于与分类962相关联的损失调整模型。所述模型可以是卷积的残余网络。例如，贯穿本公开和图9b中所示，可编译图像的区或部分并将其标识为瘤性或非瘤性。可对来自训练数据集210b的这些子图像和分类器标识训练受关注区分类器960以恰当地预测区、部分或子图像的性质。训练数据集210b可仅包含相关联的或在分段模型限定的边界内的图像。训练数据集210b可包含数千个分类图像(例如，65,000个)。在示例中，确定给定概率或概率分布可包括：基于特征的值和现有医学知识来计算给定特征的概率分布，其中现有医学知识包括一个或多个参数值；通过使用贝叶斯定律组合所述概率分布来生成概率图。
[0107]
在图10中，将根据本公开的一个或多个实施方案的用于利用经训练分类模型对受关注区或像素部分进行分类的分类方法的一部分示为方法1000。图10意图在不添加额外事项的情况下阐明先前所公开的主题的部分。在步骤1004中，从存储库或医学仪器接收图像412或任何其它图像。所述图像可包含指示边界1002的分段数据。如所论述，可通过语义分段模型908或另一实施来确定图像412的每个像素的指派。可确定边界1002的最大尺寸1012以将接收的图像412大小调整成已调整大小的图像1006。已调整大小的图像1006可通过预定义尺寸基于最大尺寸1012限定。例如，尺寸1008、1010可以是384像素乘384像素。作为另一示例，尺寸1008、1010可以是512像素乘256像素或256像素乘512像素。大小调整可基于边界1002的最大长度和最大宽度，即最大尺寸1012。例如，如果最大长度和最大宽度，即最大尺寸1012，类似或在特定比率(例如，3:4)内，则边界1002被视为比长椭圆形更方，并且384像素乘384像素的正方形用于大小调整。如果最大长度和最大宽度，即最大尺寸1012，相异或超出特定比率(例如，3:4)，则边界1002视为长椭圆形而非正方形，并且512像素乘256像素的矩形或256像素乘512像素用于大小调整。以此方式，维持图像412的底层特征而不更改图像的处理。
[0108]
将图像412大小调整成已调整大小的图像1006可提供更恒定或稳定的处理时间范围，这可确保以恒定或类似间隔向操作者呈现。例如，处理具有一百万个像素的图像可能比处理具有一千个像素的图像需要更长时间，从而允许此过程提供实时或近实时结果(例如，每秒一帧、每秒十帧、每秒30帧)，而不管输入图像如何且无质量损失。
[0109]
大小调整过程可包含根据边界1002裁剪图像412，接着将图像大小调整为配置的大小。例如，可基于最大像素位置和最小像素位置围绕边界1002将图像412裁剪成矩形图像。可包含图像410的填充或额外部分(例如，最大位置加五和最小位置减五)。由此，所得矩
形基于分段对象的大小。通过对与边界1002相关联的像素矩形进行大小调整(例如，放大或缩小)，用于对分段对象内的受关注区或像素部分进行分类的处理时间对于在手术期间检测到的所有对象来说可以是恒定的。例如，在放大期间，可扩展或复制像素值，而在缩小期间，可平均化或以其它方式减小像素值以维持相同内容。由此，所需的处理时间保持恒定或可预测以确保分类信息在仪器或显示器处的实时或同时可用性。
[0110]
在步骤1018中，可选择受关注区或像素部分。例如，可选择来自已调整大小的图像1006的整个像素集1014以用于分类。分类和所得置信度计分可用于调整提供的记号。例如，如果已调整大小的图像1006为瘤性，则可将所有像素的色调着色为红色。着色的强度可基于置信度计分，并且可使用限制来确保不过度使用整个图像分类。
[0111]
作为另一示例，可选择包含来自已调整大小的图像1006的像素集的一部分的受关注区或像素部分1016。例如，像素部分1016可以是64像素乘64像素。选择可具有边界1002内的至少一个像素。在分类之后，可将与边界1002外部的像素部分1016有关的记号移除或归零。
[0112]
在步骤1020中，可使用roi分类器960将像素部分1016分类为经过训练的。分类器可输出分类1022和置信度计分1024。
[0113]
参考图11，将根据本公开的一个或多个实施方案的组织处理的一部分示于方法1100中。图11意图在不添加额外事项的情况下阐明先前所公开的主题的部分。在步骤1102中，将记号870、872、874、876添加到受关注区或像素部分1016。记号870、872、874、876可以是各种实施手段。例如，记号870、872、874、876可更改像素部分1016的色调。在此类情况下，记号870、872、874、876可通过将像素部分1016的每个像素的红、蓝和绿(“rgb”)颜色值与修改器相乘或添加到颜色值而添加。可使用其它颜色分量(例如“yuv”)。例如，像素可具有在零与255之间的红色值(例如，五)。为了添加记号，可将像素的红色值乘以十或将128添加到所述红色值。由此，色调将如图5a和图5b中所示而改变。
[0114]
在步骤1110中，从邻近像素部分1016、1106、1108应用加权以调整相应像素部分1016、1106、1108的记号。例如，像素部分1106的分类用于调整像素部分1016。roi分类器可能将像素部分1106分类为具有低置信度的瘤性，同时将像素部分1106分类为具有高置信度的瘤性。由此，对应于像素部分1016的非重叠部分的像素可为红色。像素部分1016与像素部分1106之间的重叠部分可表示为微黄红色。可通过增加像素部分1016和像素部分1106两者内的像素的绿色分量来获得色调的改变。由此，1016的非重叠部分可以是具有绿色为零且红色接近255的较强红色或记号，重叠部分为具有红色接近255且绿色接近100的中度微黄红色，并且1106的非重叠部分可以是具有红色接近255且绿色接近200的轻度微黄红色。此类应用用于混合相邻像素部分1016、1106、1108，也如图5b中所示。邻近像素部分1016、1106、1108可重叠某一百分比，尽管以行示出，但像素部分1016、1106、1108的邻近行可重叠以提供二维或三维混合以提供结果图像1112。
[0115]
在步骤1114中，结果图像1112显示在仪器或相关联显示器上。结果图像1112可以是合成图像440、450、460中的一者，并且可在原始图像412旁边显示以用于比较或独自显示，因为记号870、872、874、876维持底层图像同时将信息提供给内镜医师。可基于所描述的技术改进来实时地显示结果图像1112。由此，在步骤1116中，可由内镜医师执行切除来基于结果图像1112移除赘生物。例如，可训练内镜医师以基于结果图像的着色和分层来切除组
织。可训练内镜医师仅切除具有红色色调或微黄红色色调的组织的部分。作为另一示例，内镜医师可经过训练以在内部图基本上指示瘤性组织(例如，基本上为红色或微黄红色)时切除由边界1002勾勒的组织。作为另一示例，可基于边界1002的大小和受关注区或像素部分的分类来执行组织的切除。例如，表示小于五毫米的赘生物或息肉的边界1002可基于受关注区基本上为红色或微黄红色而被切除，并且表示大于五毫米的赘生物或息肉的边界1002可不管记号870、872、874、876如何或在记号870、872、874、876并不完全为绿色时被切除。可设计各种决策层次结构以确保基于记号870、872、874、876和边界1002的形状或大小来执行适当切除。
[0116]
在图12a中，示出根据本公开的一个或多个实施方案的息肉病理学的统计数据。例如，公开了管状腺瘤、管绒毛状腺瘤、无柄锯齿状腺瘤和增生性结肠粘膜的发病率。实际上，提供用于减少医学成像的组织数据的显示中的误差和其处理的方法和系统。例如，所提供的技术拓展了先前未知的一面，并且在一个示例中，提供在其内进行组织学测评的所标识息肉边界的轮廓以及在检测到的边界内的子区中的空间局部组织学预测的图这两者。实际上，在本文提供的许多可能的增强中，息肉表面上模型的预测组织学的直观、颜色丰富、增强的可视化提供了增强的透明度和可解释性水平。
[0117]
在示例中，可实现0.96的灵敏度、0.84的特异性、0.91的阴性预测值(npv)和0.88的高置信度率(hcr)、区分所有大小的171个瘤性息肉与83个非瘤性息肉，或更好。在《5mm的93个瘤性息肉和75个非瘤性息肉中，模型实现0.95的灵敏度、0.84的特异性、0.91的npv和0.86的hcr。
[0118]
图12b示出根据本公开的一个或多个实施方案的计算机辅助处理的统计数据。例如，示出关于瘤性息肉非瘤性息肉的计算机辅助处理的性能结果。
[0119]
图12c示出根据本公开的一个或多个实施方案的计算机辅助处理中的置信度统计数据。例如，示出关于各种息肉大小的计算机辅助处理的性能结果。
[0120]
作为一个或多个示例，一种用于处理患者的组织的方法可包含捕捉组织的图像。所捕捉的图像具有布置成提供组织的视觉表示的像素。所述方法可包含将像素分段以指定边界。所述方法可包含基于组织的第一组织部分来选择像素的第一像素部分。所述第一像素部分可具有所述像素中在所述边界内的像素。
[0121]
所述方法可包含利用置信度计分对第一像素部分进行分类以供切除。置信度计分可指示大于80％的阴性阳性值以对瘤性和非瘤性组织进行分类。所述方法可包含根据置信度计分对第一组织部分进行切除。
[0122]
所述方法可包含将记号添加到所述第一像素部分并且显示具有所述记号的第一像素部分。所述记号可改变像素部分的色调。所述像素可以是第一像素，并且可根据第一像素部分和第二像素部分对所述记号进行加权。第二像素部分可基于第一组织部分。所述第二像素部分可具有所述像素中在所述边界内的第二像素。
[0123]
第一像素部分的像素可包括边界内的每个像素或主要由边界内的每个像素组成，并且第二像素部分的像素可以是所述像素的64像素乘64像素连续块。第一像素部分的像素可以是所述像素的第一64像素乘64像素连续块，并且第二像素部分的像素可以是所述像素的第二64像素乘64像素连续块。第一像素部分的像素的四分之一可等于第二像素部分的像素。
[0124]
所述方法可包含基于第一组织部分来选择所述像素的第三像素部分。第三像素部分可具有所述像素中在所述边界内的第三像素和所述第一像素部分的像素的四分之一。所述方法可包含改变边界内的第一像素部分的像素的颜色组成。所述方法可包含维持边界外部的第一像素部分的像素的颜色组成。
[0125]
所述方法可包含遮蔽边界外部的第一像素部分的像素以使得仅边界内的第一像素部分的像素用于分类。
[0126]
所述方法可包含基于边界内的第一像素部分的像素的百分比来维持第一像素部分的像素的颜色组成。
[0127]
所述方法可包含对第二像素部分进行分类以便舍弃。所述分类可包含将第一记号添加到第一像素部分，并将不同于所述第一记号的第二记号添加到第二像素部分。
[0128]
所述方法可包含丢弃第一组织部分。所述可包含针对癌症来分析第一组织部分。
[0129]
所述方法可包含根据深度学习网络来提取像素的特征。所述方法可包含对所提取特征进行解码以指定将像素分类成表示组织内的赘生物的边界。
[0130]
对像素进行分段可基于经过训练的模型。可根据用段标注的先前所捕捉图像来训练所述模型。所述标注可标识与所述段相关联的像素并对所述像素进行分类。
[0131]
对所述部分进行分类可基于经过训练的分类图像模型。所述分类图像可被分类为良性或癌、瘤性或非瘤性。
[0132]
第一像素部分是所述像素的64像素乘64像素正方形。可根据边界调整所捕捉图像的大小。大小调整可以是将像素上取样到限定量，使得对于方法的迭代，分类的计算基本类似。大小调整可以是将像素下取样到限定量，使得对于方法的迭代，分类的计算基本类似。
[0133]
对于比长椭圆形更方的边界，所述限定量可以是384像素乘384像素。对于为长椭圆形而非正方形的边界，所述限定量可以是512像素乘256像素。
[0134]
所述方法可包含从机器学习分类器接收与图像数据相关联的对象分类数据。对象分类数据可包括所预测对象的指示、所预测对象的一个或多个区的指示和与所预测对象的一个或多个区的指示相关联的一个或多个计分。所述方法可包含基于所预测对象的指示而确定指示所预测对象的边界的数据。所述方法可包含基于所预测对象的一个或多个区的指示和与所预测对象的一个或多个区的指示相关联的一个或多个计分而确定与所预测对象的一个或多个区中的每个区相关联的视觉表示。
[0135]
所述方法可包含基于指示所预测对象的边界的数据和与所预测对象的一个或多个区中的每个区相关联的视觉表示来确定对象图。所述方法可包含基于所述对象图和所述图像数据而输出合成图像。
[0136]
所述对象分类数据可包含与所预测对象的指示相关联的计分。所预测对象的指示可包含对象类别或对象坐标中的至少一者。与所预测对象的一个或多个区的指示相关联的一个或多个计分可包含置信度计分。所述图像数据可包含数字图像或视频中的至少一者。
[0137]
所述方法可包含在显示装置上输出合成图像。所述方法可包含基于与所预测对象的一个或多个区的指示相关联的一个或多个计分而确定与同所预测对象的一个或多个区的指示相关联的一个或多个计分相关联的颜色。所述确定与所预测对象的一个或多个区中的每个区相关联的视觉表示可包含将颜色指派给与所预测对象的一个或多个区中的每个区相关联的视觉表示。
[0138]
所述方法可包含基于对象图确定对象预测。所述方法可包含利用所述合成图像输出所述对象预测。
[0139]
一种方法可包含从机器学习分类器接收图像数据，其中所述图像数据包括至少一个区和多个图像区段，并且其中所述至少一个区包括至少一个子区。所述方法可包含基于所述多个图像区段中的至少一个图像区段确定与所述至少一个图像区段相关联的初始分类。所述方法可包含基于所述多个图像区段中的至少一个额外图像区段确定与所述至少一个额外图像区段相关联的额外分类。所述方法可包含基于所述初始分类和所述额外分类确定计分，其中所述计分与所述至少一个子区相关联。所述方法可包含基于所述计分确定视觉指示。所述方法可包含基于视觉指示而输出对象图。
[0140]
所述方法可包含确定所述计分包括将所述至少一个图像区段和所述至少一个额外图像区段覆叠并对所述初始分类和所述额外分类求平均。所述方法可包含对象类别、对象坐标、病理中的至少一者。所述图像数据可包含数字图像或视频中的至少一者。输出合成图像可包含在显示装置上输出合成图像。所述多个图像区段可包含像素。
[0141]
一种系统可包含计算装置。所述计算装置可以是处理器或处理器群组。指令可存储在数字存储装置上。所述指令可在由所述处理器执行时可操作以从机器学习分类器接收与图像数据相关联的对象分类数据。对象分类数据可包含所预测对象的指示、所预测对象的一个或多个区的指示和与所预测对象的一个或多个区的指示相关联的一个或多个计分。所述指令可在由处理器执行时可操作以基于所预测对象的指示来确定指示所预测对象的边界的数据。所述指令可在由处理器执行时可操作以基于所预测对象的一个或多个区的指示和与所预测对象的一个或多个区的指示相关联的一个或多个计分而确定与所预测对象的一个或多个区中的每个区相关联的视觉表示。所述指令可在由处理器执行时可操作以基于指示所预测对象的边界的数据和与所预测对象的一个或多个区中的每个区相关联的视觉表示而确定对象图。所述系统可包含显示装置。所述显示装置可被配置成基于对象图和图像数据而输出合成图像。
[0142]
所述计算装置可被配置成接收与所预测对象的指示相关联的计分。所预测对象的指示可包含对象类别或对象坐标中的至少一者。与所预测对象的一个或多个区的指示相关联的一个或多个计分可包含置信度计分。计算装置可被配置成在显示装置上输出合成图像。所述指令可在由处理器执行时可操作以基于与所预测对象的一个或多个区的指示相关联的一个或多个计分而确定与同所预测对象的一个或多个区的指示相关联的一个或多个计分相关联的颜色。与所预测对象的一个或多个区中的每个区相关联的视觉表示可包含将颜色指派给与所预测对象的一个或多个区中的每个区相关联的视觉表示。
[0143]
一种设备可包含一个或多个处理器。所述设备可包含存储处理器可执行指令的存储器，所述处理器可执行指令在由所述一个或多个处理器执行时可使所述设备从机器学习分类器接收与图像数据相关联的对象分类数据。对象分类数据可包含所预测对象的指示、所预测对象的一个或多个区的指示和与所预测对象的一个或多个区的指示相关联的一个或多个计分。所述指令可使所述设备基于所预测对象的指示来确定指示所预测对象的边界的数据。所述指令可使所述设备基于所预测对象的一个或多个区的指示和与所预测对象的一个或多个区的指示相关联的一个或多个计分而确定与所预测对象的一个或多个区中的每个区相关联的视觉表示。所述指令可使所述设备基于指示所预测对象的边界的数据和与
所预测对象的一个或多个区中的每个区相关联的视觉表示来确定对象图。所述指令可使所述设备基于对象图和图像数据而输出合成图像。
[0144]
贯穿本公开所述的方法步骤可组合、省略、重新布置或以其它方式与本文呈现的任何图重新组织，并且并非旨在限于所呈现的每张图的内容。本文公开的任何一个或多个方法步骤可完全或部分地由一个或多个计算机执行，或作为可执行指令存储在计算机可读介质上。
[0145]
应理解，当描述组件的组合、子集、交互、群组等时，尽管可能未明确描述对这些内容的每个不同个体和集体组合和排列的具体参考，但本文中具体地考虑和描述了每一者。这适用于本技术的所有部分，包含但不限于所描述的方法中的步骤。因此，如果存在可执行的各种额外步骤，则应理解，这些额外步骤中的每一者可用所描述的方法的任何特定配置或配置的组合来执行。
[0146]
如所属领域的技术人员应了解，可实施硬件、软件或软件与硬件的组合。此外，计算机可读存储介质(例如，非暂时性)上的计算机程序产品具有体现于存储介质中的处理器可执行指令(例如，计算机软件)。可利用任何合适的计算机可读存储介质，包含硬盘、cd-rom、光学存储装置、磁存储装置、忆阻器、非易失性随机存取存储器(nvram)、快闪存储器，或其组合。
[0147]
贯穿本技术，参考框图和流程图。应理解，框图和流程图的每个框以及框图和流程图中的框的组合分别可由处理器可执行指令实施。这些处理器可执行指令可加载到专用计算机或其它可编程数据处理设备上以产生机器。
[0148]
这些处理器可执行指令还可存储于计算机可读存储器中，所述计算机可读存储器可引导计算机或其它可编程数据处理设备以特定方式操作，使得存储于计算机可读存储器中的处理器可执行指令产生包含用于实施指定的操作的处理器可执行指令的制品。处理器可执行指令还可加载到计算机或其它可编程数据处理设备上，使得在计算机或其它可编程设备上执行一系列操作步骤以产生计算机实施的过程。
[0149]
本文所论述的专用步骤并不试图阻止可由计算机执行以获得本文中所指定的结果的指令集。实际上，本文所描述的特定步骤和方法仅是处理患者体内的组织的几个可能的解决方案。本发明的描述带有一定程度的特殊性，但应理解，可在不脱离如由所附权利要求书限定的本发明的范围或精神的情况下作出各种修改和更改。本技术要求权益的临时申请以全文引用的方式并入，并且本文明确地维持本说明书、图式和权利要求书的任何原始公开。
[0150]
虽然已结合优选实施例和特定示例描述了方法和系统，但并非意在将范围限于所阐述的特定实施例，因为本文中的实施例意欲在所有方面中是说明性而非限定性的。
[0151]
除非另有明确说明，否则决不旨在将本文阐述的任何方法解释为要求以特定次序执行其步骤。因此，在方法权利要求项实际上并未列举其步骤所遵循的次序或并未在权利要求书或描述中另外具体陈述所述步骤应限于特定次序的情况下，在任何方面绝不意图推断次序。这适用于任何可能的非表达性解释基础，包含：相对于步骤或操作流程的布置的逻辑事项；由语法组织或标点获得的字面意义；说明书中所描述的实施例数目或类型。
[0152]
所属领域的技术人员将显而易见，在不脱离精神或范围的情况下可进行各种修改和变化。所属领域的技术人员根据本文公开的说明书和实践的考虑将清楚其它实施例。本
说明书和示例旨在仅视作示例性，其中真实范围和精神由所附权利要求书指示。