用于分析图像流的系统和方法与流程

用于分析图像流的系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年5月1日提交的美国临时申请号63/018,890的权益和优先权，该美国临时申请通过引用以其全文结合于此。
技术领域
3.本披露内容涉及图像分析方法和系统，并且更具体地，涉及用于基于景色变化来分析图像流的系统和方法。


背景技术：

4.胶囊内窥镜(ce)允许通过内窥镜检查整个胃肠道(git)。有一些胶囊内窥镜系统和方法旨在检查git的特定部分，比如小肠(sb)或结肠。ce是一种无创手术，不需要患者入院，并且患者可以在胶囊在其体内的同时继续进行大多数日常活动。
5.在典型的ce手术中，患者是由医师转诊去做手术的。然后患者到达医疗机构(例如诊所或医院)进行手术。在医疗机构的健康专家(例如，护士或医师)的监督下，患者吞下大约复合维生素大小的胶囊，并为患者提供可穿戴装置，例如，放置在袋子和带子中以放置在患者的肩膀上的传感器带和记录器。可穿戴装置通常包括存储装置。患者可以得到指导和/或指示，然后出院开始他的日常活动。
6.胶囊在自然通过git时捕捉图像。然后将图像和附加数据(例如，元数据)传输到患者佩戴的记录器。胶囊通常是一次性的并且随着排便自然排出。手术数据(例如，捕捉的图像或其一部分以及附加元数据)存储在可穿戴装置的存储装置上。
7.可穿戴装置通常与其上存储的手术数据一起由患者返还给医疗机构。然后将手术数据下载到通常位于医疗机构的计算装置，该计算装置上存储有引擎软件。然后由引擎将接收到的手术数据处理为汇编研究报告(或“研究报告”)。通常，一份研究报告包括数千张图像(大约6,000张)。通常，要处理的图像数量为数万张，平均约为90,000张。
8.读者(可能是手术监督医师、专门的医师或转诊医师)可以经由读者应用程序获取研究报告。然后，读者审阅研究报告，评估手术，并经由读者应用程序提供他的输入。由于读者需要审阅数千张图像，因此一份研究报告的阅读时间可能通常平均需要半小时到一个小时，阅读任务可能会令人厌烦。然后，读者应用程序会基于汇编研究报告和读者的输入生成报告。平均而言，生成一份报告需要一个小时。报告可以包括例如感兴趣的图像，例如，由读者选择的被识别为包括病理的图像；基于手术数据(即，研究报告)和/或读者提供的随访和/或治疗建议对患者的医疗状况进行的评估或诊断。然后可以将报告转发给转诊医师。转诊医师可以基于报告决定所需的随访或治疗。


技术实现要素：

9.本披露内容涉及用于分析胃肠道(git)的图像流的系统和方法。更具体地，本披露内容涉及确定图像流中对应于特定git区段之间的转变的点，比如胃与小肠之间的转变，或
小肠与结肠之间的转变。尽管关于由胶囊内窥镜装置在体内捕捉的图像示出和描述了示例，但是所披露的技术可以应用于由其他装置或机构捕捉的图像，包括例如由mri捕捉的解剖图像。
10.根据本披露内容的各方面，一种用于分析图像的系统包括至少一个处理器和至少一个存储有指令的存储器。这些指令当由该至少一个处理器执行时使该系统进行以下操作：获取由胶囊内窥镜装置捕捉的胃肠道(git)的至少一部分的多张图像；对于该多张图像中的每张图像，通过深度学习神经网络提供将该图像分类为该git的多个连续区段中的每一个的得分；将该多张图像中得分满足置信度标准的子集的每张图像分类为该git的连续区段之一；通过处理与该子集中的图像的分类相对应的随时间变化的信号，细化该子集中的图像的分类；以及基于该子集中的图像的细化分类，在该子集中的图像当中估计该git的连续区段的两个相邻区段之间的转变。
11.在各种实施例中，这些指令当由该至少一个处理器执行时进一步使该系统提供该多张图像中的子集作为该多张图像中得分在归一化时高于上限阈值或低于下限阈值但不在该上限阈值与该下限阈值之间的图像。
12.在各种实施例中，在细化该子集中的图像的分类时，这些指令当由该至少一个处理器执行时使该系统对该子集中的图像的分类应用平滑操作，以提供该子集中的图像的细化分类。
13.在各种实施例中，在应用该平滑操作时，这些指令当由该至少一个处理器执行时使该系统针对该子集中的每张图像进行以下操作：获取该图像周围的窗口内的图像分类，以及选择该窗口内的图像分类的中值作为该图像的细化分类。
14.在各种实施例中，这两个相邻区段之间的转变是该git的较前区段与该git的较后区段之间的转变。
15.在各种实施例中，这两个相邻区段是胃和小肠，并且这些指令当由该至少一个处理器执行时进一步使该系统基于将该多张图像的得分与小肠分类的阈值数量进行比较来确定是否存在胃潴留状况。
16.在各种实施例中，这两个相邻区段包括该git的第一区段和该git的第二区段，并且这些指令当由该至少一个处理器执行时进一步使该系统进行以下操作：对于该多张图像中的每张图像，通过第二深度学习神经网络提供将该图像分类为该git的第一区段、该git的第二区段以及与该第一区段和该第二区段之间的转变点相邻的解剖特征的得分；以及基于由该第二深度学习神经网络提供的得分，将该git的第一区段与第二区段之间的转变细化到估计的转变之前的较前点。
17.在各种实施例中，在细化该转变时，这些指令当由该至少一个处理器执行时使该系统进行以下操作：(i)对于该多张图像中的每张图像：计算将该图像分类为该git的第一区段的得分与将该图像分类为与该git的第一区段和第二区段之间的转变点相邻的解剖特征的得分之间的差，并且计算从该多张图像中的第一图像直到该图像的所计算差的总和；以及(ii)将细化的转变确定为与在最初估计的转变之前的计算总和中的全局最小值或最大值相对应的图像。
18.在各种实施例中，这两个相邻区段包括该git的第一区段和该git的第二区段，并且这些指令当由该至少一个处理器执行时进一步使该系统基于以下各项中的至少一项将
该第一区段与该第二区段之间的转变细化到该估计的转变之后的较后点：在该估计的转变之后，到git的第一区段的分类爆发，或者在该估计的转变之后，到该git的第一区段的分类与到该git的第二区段的分类之间的波动超出了波动容限。
19.根据本披露内容的各方面，一种用于分析图像的系统包括至少一个处理器和至少一个存储有指令的存储器。这些指令当由该至少一个处理器执行时使该系统进行以下操作：获取由胶囊内窥镜装置捕捉的胃肠道(git)的至少一部分的多张图像；基于来自第一深度学习神经网络的分类得分，在该多张图像当中估计该git的第一区段与第二区段之间的转变，该第一深度学习神经网络将图像分类为至少两个分类，其中，该至少两个分类包括该git的一区段和该git的第二区段；以及基于来自第二深度学习神经网络的该多张图像的分类得分，将该git的第一区段与第二区段之间的转变细化到估计的转变之前的较前点，该第二深度学习神经网络将图像分类为至少三个分类，其中，该至少三个分类包括该git的第一区段、该git的第二区段、以及与该git的第一区段和第二区段之间的转变点相邻的解剖特征。
20.在该系统的各种实施例中，在细化该转变时，这些指令当由该至少一个处理器执行时使该系统进行以下操作：(i)对于该多张图像中的每张图像：计算将该图像分类为该git的第一区段的得分与将该图像分类为与该git的第一区段和第二之间的转变点相邻的解剖特征的得分之间的差，并且计算从该多张图像中的第一图像直到该图像的所计算差的总和；以及(ii)将细化的转变确定为与在最初估计的转变之前的计算总和中的全局最小值或最大值相对应的图像。
21.在该系统的各种实施例中，该git的第一区段是小肠前，该git的第二区段是小肠，并且与该git的第一区段和第二区段之间的转变点相邻的解剖特征是球状解剖结构(即，十二指肠球部)。在该系统的各种实施例中，与该git的第一区段和第二区段之间的转变点相邻的解剖特征是幽门瓣。
22.根据本披露内容的各方面，一种用于分析图像的系统包括至少一个处理器和至少一个存储有指令的存储器。这些指令当由该至少一个处理器执行时使该系统进行以下操作：获取由胶囊内窥镜装置捕捉的胃肠道(git)的至少一部分的多张图像；基于来自第一深度学习神经网络的分类得分，在该多张图像当中估计该git的第一区段与第二区段之间的第一转变，该第一深度学习神经网络将图像分类为至少两个分类，其中，该至少两个分类包括该git的一区段和该git的第二区段；以及基于以下各项中的至少一项将该git的第一区段与第二区段之间的转变细化到估计转变之后的较后点：在该估计的转变之后，到该git的第一区段的分类爆发，或者在该估计的转变之后，到该git的第一区段的分类与到该git的第二区段的分类之间的波动超出了波动容限。
23.根据本披露内容的各方面，一种用于分析图像的系统包括至少一个处理器和至少一个存储有指令的存储器。这些指令当由该至少一个处理器执行时使该系统进行以下操作：获取由胶囊内窥镜装置捕捉的胃肠道(git)的至少一部分的多张图像；对于该多张图像中的每张图像，通过机器学习系统提供将该图像分类为该git的至少两个连续区段中的每一个的得分；对分类得分执行噪声滤波以提供剩余分类得分，其中，该剩余分类得分对应于该多张图像的子集；基于该剩余分类得分对该子集的每张图像进行分类，以提供与该分类相对应的信号；以及基于分类信号估计从该git的该至少两个连续区段中的较前区段到较
后区段的转变。
24.在该系统的各种实施例中，该机器学习系统是以下之一：深度学习神经网络或经典机器学习系统。
25.在该系统的各种实施例中，该转变是从小肠前到小肠的转变，并且这些指令在该胶囊内窥镜装置离开患者后以离线配置执行。在该系统的各种实施例中，这些指令当由该至少一个处理器执行时使该系统将该转变细化到与函数的全局最小值相对应的较前转变点，其中，该函数基于对应于该小肠前的分类得分与对应于与该小肠前和该小肠之间的转变点相邻的解剖特征的分类得分之间的差的累积总和。
26.在该系统的各种实施例中，该转变是从小肠到结肠的转变，其中，这些指令在该胶囊内窥镜装置离开患者后以离线配置执行。在该系统的各种实施例中，这些指令当由该至少一个处理器执行时使该系统基于以下各项中的至少一项将该转变细化到较后转变点：在该转变之后，到该小肠的分类爆发，或者在该转变之后，到该小肠的分类与到该结肠的分类之间的波动超出了波动容限。
27.在该系统的各种实施例中，这些指令当由该至少一个处理器执行时使该系统去除不相关图像，这些不相关图像包括以下各项中的至少一项：在该转变之前发生的图像或在该转变之后发生的图像。
28.在该系统的各种实施例中，这些指令当由该至少一个处理器执行时使该系统向用户提供定位信息，其中，该定位信息包括以下各项中的至少一项：指示该转变之前的图像被分类为该git的较前区段的图像的信息，或者指示该转变之后的图像被分类为该git的较后区段的图像的信息。
29.在该系统的各种实施例中，该机器学习系统提供将图像分类为该git的至少三个连续区段中的每一个的得分，其中，该转变是从该git的该至少三个连续区段中的第一区段到第二区段的转变。这些指令当由该至少一个处理器执行时进一步使该系统基于该分类信号估计从该git的该至少三个连续区段中的该第二区段到第三区段的第二转变。
30.根据本披露内容的各方面，一种用于分析图像的系统包括：胶囊内窥镜装置，该胶囊内窥镜装置被配置为随时间捕捉人的胃肠道(git)的至少一部分的多张图像，接收装置，该接收装置被配置为固定在该人身上、与该胶囊内窥镜装置通信耦合、并接收该多张图像；以及计算系统，该计算系统被配置为与该接收装置通信耦合并接收该多张图像，其中，该计算系统包括至少一个处理器和至少一个存储有指令的存储器。这些指令当由该至少一个处理器执行时使该计算系统进行以下操作：通过机器学习系统将该多张图像中的每张图像分类为该git的至少两个连续区段之一，以提供每张图像的分类；基于该多张图像的分类，估计从该git的该至少两个连续区段中的较前区段到较后区段的转变的发生，该多张图像的分类从该较前区段变为该较后区段并且在阈值持续时间或阈值图像数量中的至少一种内保持在该较后区段；以及基于所估计的转变发生提供表明可以从该人身上移除该接收装置的消息。
31.在该系统的各种实施例中，该较前区段是小肠而该较后区段是结肠，并且该消息指示，基于所估计的从该小肠到该结肠的转变的发生，可以移除该接收装置。
32.根据本披露内容的各方面，一种用于分析图像的系统包括至少一个处理器和至少一个存储有指令的存储器。这些指令当由该至少一个处理器执行时使该系统进行以下操
作：在胶囊内窥镜手术期间，获取由胶囊内窥镜装置捕捉的由该胶囊内窥镜装置穿过的胃肠道(git)的一部分的多张图像；对于该多张图像中的每张图像，并且在该胶囊内窥镜手术期间：通过机器学习系统提供将该图像分类为该git的至少两个连续区段中的每一个的得分，并且执行将该图像在线分类为该git的该至少两个连续区段之一，以提供该图像的在线分类；在该胶囊内窥镜手术期间，基于对该多张图像的从较前区段变为该较后区段的在线分类的因果处理，提供从该git的该至少两个连续区段中的较前区段到较后区段的在线估计转变；在该胶囊内窥镜手术结束后，对该多张图像的子集的每张图像执行离线分类，以提供离线分类；并且在该胶囊内窥镜手术结束后，基于对这些离线分类的非因果处理，提供从该git的该至少两个连续区段中的较前区段到较后区段的离线估计转变。
33.在该系统的各种实施例中，该机器学习系统提供将图像分类为该git的至少三个连续区段中的每一个的得分，其中，该离线估计转变是从该git的该至少三个连续区段中的第一区段到第二区段的转变。这些指令当由该至少一个处理器执行时进一步使该系统估计从该git的该至少三个连续区段中的该第二区段到第三区段的转变。
34.在该系统的各种实施例中，这些指令当由该至少一个处理器执行时使该系统基于该在线估计转变确定该胶囊内窥镜手术已结束。
35.根据本披露内容的各方面，一种非暂态机器可读介质存储有指令，这些指令当由处理器执行时使该处理器执行一种方法，该方法包括：通过机器学习系统将多张图像中的每张图像分类为胃肠道(git)的至少两个连续区段之一，以提供每张图像的分类，其中，该多张图像由人体内的胶囊内窥镜装置随时间捕捉；基于该多张图像的分类，估计从该git的该至少两个连续区段中的较前区段到较后区段的转变的发生，该多张图像的分类从该较前区段变为该较后区段并且在阈值持续时间或阈值图像数量中的至少一种内保持在该较后区段；以及基于所估计的转变发生提供表明可以从人身上移除固定到人身上的接收装置的消息，其中，该接收装置被配置为与该胶囊内窥镜装置通信耦合并且接收该多张图像。
36.下面参考附图更详细地描述本披露内容的示例性实施例的进一步细节和方面。
附图说明
37.当结合附图考虑以下详细描述时，本披露内容的上述和其他方面和特征将变得更加明显，其中，相似的附图标记表示相似或相同的要素。
38.图1是根据本披露内容的各方面的展示了胃肠道(git)的简图；
39.图2是根据本披露内容的各方面的用于分析由胶囊内窥镜装置在体内捕捉的图像的示例性系统的框图；
40.图3是根据本披露内容的各方面的示例性计算装置的框图；
41.图4是根据本披露内容的各方面的示例性深度学习神经网络的框图；
42.图5是根据本披露内容的各方面的基于图4的深度学习神经网络的示例性分类得分和预测类别的图表；
43.图6是放大了图5的图表的一部分的图表；
44.图7是根据本披露内容的各方面的图6的分类得分的示例性归一化得分的图表；
45.图8是根据本披露内容的各方面的将示例性置信度标准应用于图7的归一化得分的图表；
46.图9是根据本披露内容的各方面的示例性平滑操作的图表；
47.图10是根据本披露内容的各方面的胃肠道的两个相邻区段之间的示例性估计转变的图表；
48.图11是根据本披露内容的各方面的估计胃肠道的两个相邻区段之间的转变的示例性操作的流程图；
49.图12是根据本披露内容的各方面的另一示例性深度学习神经网络的框图；
50.图13是根据本披露内容的各方面的由图4和图12的深度学习神经网络提供的示例性分类的图表；
51.图14是基于由图12的深度学习神经网络提供的分类得分而计算的示例值的图表；以及
52.图15是根据本披露内容的各方面的展现了估计转变之后的分类爆发的示例性分类得分的图表。
具体实施方式
53.本披露内容涉及用于分析医学图像的系统和方法，并且更具体地，涉及用于分析胃肠道的图像流的系统和方法。
54.本披露内容提供了用于在ce手术期间捕捉的图像流中进行转变检测的系统和方法。在图像流中检测到的转变可能是从胃肠道(git)的一个解剖区域的图像到另一个解剖区域的图像的转变，或者可能是从存在病理的git区段的图像到另一个不存在病理的git区段的图像的转变，或者可能是从生病/患病区段的图像到健康区段的图像的转变，和/或其组合。因此，如本文所使用的，git的“区段”包括但不限于具有给定名称的解剖部分。而是，术语“区段”还包括具有特定特性的git部分，比如生病/患病、健康、存在病理、和/或不存在病理等特性。一旦检测到一个或多个转变，图像流就可以根据它们所对应于的git区段进行划分。尽管关于由胶囊内窥镜装置在体内捕捉的图像示出和描述了示例，但是所披露的技术可以应用于由其他装置或机构捕捉的图像，包括例如由mri捕捉的解剖图像或用红外线捕捉的图像。
55.在各个方面，所披露的转变检测利用了转变检测操作的组合。某些转变检测操作用于检测从小肠前图像到小肠图像的转变(例如，图4、图5、图7至图10、图12至图14)，而某些转变检测操作用于检测从小肠图像到结肠图像的转变(例如，图4、图5、图7至图10、图15)。另外，一些转变检测操作适合“在线”使用，即，用于在胶囊前进通过git的同时使用(例如，图4、图5)，而一些转变检测操作适合“离线”使用，即，在胶囊离开患者身体之后使用(例如，图4、图5、图7至图10、图12至图15)。
56.简而言之，图4和图5的转变检测操作可用于在线转变检测和离线转变检测两者。图7至图10和图12至图15的操作主要考虑用于离线转变检测，但是根据计算资源的可用性，这些附图的一些或所有方面也可能适用于在线转变检测。图4、图5、和图7至图10的检测操作可用于检测git的多个区段之间的转变，比如检测从小肠前图像到小肠图像的转变，以及检测从小肠图像到结肠图像的转变。图12至图14的操作主要考虑用于检测从小肠前图像到小肠图像的转变，而图15的操作主要考虑用于检测从小肠图像到结肠图像的转变。然而，图12至图15的操作也可以适用于检测其他转变。
57.作为总结本披露内容的各方面的另一种方式，对小肠前图像与小肠图像之间的转变、和/或小肠图像与结肠图像之间的转变的在线检测可以应用图4和图5的操作。对小肠前图像与小肠图像之间的转变的离线检测可以应用图4、图5、图7至图10和图12至图14的一些或所有操作。对小肠图像与结肠图像之间的转变的离线检测可以应用图4、图5、图7至图10和图15的一些或所有操作。根据计算资源的可用性，在线转变检测可以应用图7至图10和图12至图15的一些或所有操作。
58.根据本披露内容，通过检测体内图像流中的转变，可以识别图像流的一部分，以向研究报告的读者(通常是医师)提供定位信息和/或去除不相关的图像。根据本披露内容的一些方面，用户(例如，医师)可以通过审阅研究报告来建立其对病例的理解，该研究报告包括图像(例如，由ce成像装置212捕捉的)的显示，这些图像例如被自动选择为可能感兴趣的图像。由于研究报告通常包括数千张图像，因此其审阅可能是一项令人厌烦的任务。减少研究报告中包括的图像数量可以简化用户的审阅过程，减少每个病例的阅读时间，并且可能产生更好的诊断。例如，在小肠手术中，一旦识别出到结肠的转变，则可以去除在转变点之后捕捉的所有图像。这可以有助于生成具有减少的图像数量的研究报告，并且因此可以减少研究报告阅读时间。此外，这可以节省处理时间和资源。
59.在各种实施例中，可以在线利用转变检测来指示手术的结束，这将让患者“出院”并允许患者在胶囊前进通过git的非相关部分时脱离设备。在各种实施例中，转变检测可以用于定义感兴趣的解剖区域(例如，小肠)和/或将git(或其一部分)分割成不同的解剖区域。一个或多个这样的实施例的各种组合被认为在本披露内容的范围内。
60.在以下详细说明中，阐述了具体细节以便提供对本披露内容的全面理解。然而，本领域技术人员将理解，可以在没有这些具体细节的情况下实践本披露内容。在其他实例中，并未详细描述众所周知的方法、过程和部件，以免模糊本披露内容。关于一个系统描述的一些特征或要素可以与关于其他系统描述的特征或要素组合。为了清楚起见，可能不再重复对相同或相似特征或要素的讨论。
61.尽管本披露内容在此方面并无限制，但利用例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“建立”、“分析”、“检查”等术语的论述可以是指计算机、计算平台、计算系统或其他电子计算装置的(多个)操作和/或(多个)过程，这些计算载体将表示为计算机的寄存器和/或存储器内的物理(例如，电子)量的数据操纵和/或转换为类似表示为计算机的寄存器和/或存储器或可以存储用于执行操作和/或过程的指令的其他信息非暂态存储介质内的物理量的其他数据。尽管本披露内容在此方面并无限制，但是如本文所使用的术语“多个(plurality)”和“多个(a plurality)”可以包括例如“多个(multiple)”或“两个或更多个”。在整个本说明书中，术语“多个(plurality)”或“多个(a plurality)”可以用于描述两个或更多个部件、装置、元件、单元、参数等等。本文所使用的术语集可以包括一个或多个项。除非明确说明，否则本文所描述的方法不限于特定的次序或顺序。另外，一些所描述的方法或其要素可以同时、在同一时间点或并行发生或执行。
62.术语“位置”及其衍生物，如本文关于图像所指的衍生物，可以指在捕捉图像时胶囊沿git的估计位置，或者指图像中所示的git部分沿git的估计位置。
63.ce手术的类型可以尤其基于感兴趣和要成像的git部分(例如，结肠或小肠(“sb”))、或基于具体用途(例如，用于检查gi疾病(比如克罗恩病)的状态，或用于结肠癌筛
查)来确定。
64.除非另有特别指示，否则如本文关于图像(例如，围绕另一张(多张)图像或与其他(多张)图像相邻的图像)所指的术语“周围”或“相邻”可以涉及空间和/或时间特性。例如，围绕其他(多张)图像或与其他(多张)图像相邻的图像可以是估计位于沿git的其他(多张)图像附近的图像，和/或在另一张图像的捕捉时间附近、在某个阈值内(例如，在一或两厘米内，或在一、五或十秒内)捕捉的图像。
65.术语“git”和“git的一部分”可以根据其上下文分别指代或包括另一个。因此，术语“git的一部分”也可以指代整个git，而术语“git”也可以仅指代git的一部分。
66.术语“图像”和“帧”可以分别指代或包括另一个，并且可以在本披露内容中互换使用以指代成像装置的单次捕捉。为方便起见，术语“图像”在本披露内容中可能会更频繁地使用，但应理解，对图像的提及也应适用于帧。
67.在整个本说明书中，可以使用术语“(多个)分类得分”或“(多个)得分”来指示适用于图像/帧的一个种类或一组种类的值或值向量。在各种实施方式中，一个或多个分类得分的值或值向量可以是或可以反映概率。在各种实施例中，模型可以输出可能是概率的分类得分。在各种实施例中，模型可以输出可能不是概率的分类得分。
68.如本文所使用的，“机器学习系统”意指并包括实施任何类型的机器学习的任何计算系统。如本文所使用的，“深度学习神经网络”是指并包括具有几个隐藏层并且不需要特征选择或特征工程的神经网络。相比之下，“经典”机器学习系统是需要特征选择或特征工程的机器学习系统。
69.参考图1，示出了git 100的图示。git 100是人类和其他动物体内的器官系统。git 100通常包括用于摄取食物的嘴102、用于产生唾液的唾液腺104、食物在收缩作用帮助下通过的食道106、用于分泌酸以帮助消化食品的胃108、肝脏110、胆囊112、胰腺114、用于吸收营养的小肠116(例如，sb)、以及用于吸收水和在排便前储存废物作为粪便的结肠400(例如，大肠)。通过嘴摄取的食物被git消化以吸收营养，并且剩余的废物作为粪便通过肛门430排出。
70.对git 100的不同部分(例如，sb)、结肠400、食道106和/或胃108的研究报告可以经由合适的用户界面呈现。如本文所使用的，术语“研究报告(study)”和“研究报告(studies)”是指并包括从由ce成像装置(例如，图2的212)捕捉的图像中选择的至少一组图像，并且还可以可选地包括除图像之外的信息。执行的手术类型可以决定git 100的哪个部分是感兴趣的部分。执行的手术类型的示例包括但不限于sb手术、结肠手术、sb和结肠手术、旨在专门展现或检查sb的手术、旨在专门展现或检查结肠的手术、旨在专门展现或检查结肠和sb的手术、或用于展现或检查整个git(即，食道、胃、sb和结肠)的手术。
71.图2示出了用于分析经由ce手术在体内捕捉的医学图像的系统的框图。该系统通常包括被配置为捕捉git的图像的胶囊系统210和被配置为处理所捕捉的图像的计算系统300(例如，本地系统和/或云系统)。
72.胶囊系统210可以包括可吞咽ce成像装置212(例如，胶囊)，其被配置为在ce成像装置212通过git时捕捉git的图像。图像可以存储在ce成像装置212上和/或传输到通常包括天线的接收装置214。在一些胶囊系统210中，接收装置214可以位于吞下ce成像装置212的患者身上，并且可以例如采取患者佩戴的带子或固定到患者身上的贴片的形式。
73.胶囊系统210可以与计算系统300通信耦合并且可以将捕捉的图像传送到计算系统300。计算系统300可以使用图像处理技术、机器学习技术和/或信号处理技术等技术来处理接收到的图像。计算系统300可以包括患者和/或患者治疗机构本地的本地计算装置、由云服务提供的云计算平台、或本地计算装置与云计算平台的组合。
74.在计算系统300包括云计算平台的情况下，由胶囊系统210捕捉的图像可以在线传输到云计算平台。在各种实施例中，图像可以经由患者佩戴或携带的接收装置214传输。在各种实施例中，图像可以经由患者的智能电话、或经由连接到互联网并且可以与ce成像装置212或接收装置214耦合的任何其他装置传输。
75.图3示出了可以与本披露内容的图像分析系统一起使用的示例性计算系统300的高级框图。计算系统300可以包括处理器或控制器305(其可以是或包括例如一个或多个中央处理单元处理器(cpu)、一个或多个图形处理单元(gpu或gpgpu)、芯片或任何合适的计算装置)、操作系统215、存储器320、存储设备330、输入装置335和输出装置340。用于收集或接收由ce成像装置212(图2)收集的医学图像的模块或设备(例如，佩戴在患者身上的接收器)或者用于显示或选择显示这些医学图像的模块或设备(例如，工作站)可以是或包括图3所示的计算系统300、或可以由该计算系统执行。计算系统300的通信部件322可以允许与远程或外部装置进行通信，例如，经由互联网或另一网络、经由无线电、或经由比如文件传输协议(ftp)等合适的网络协议。
76.计算系统300包括操作系统315，该操作系统可以是或可以包括被设计和/或配置为执行涉及协调、调度、仲裁、监督、控制或以其他方式管理计算系统300的操作(例如，调度程序的执行)的任务的任何代码段。存储器320可以是或可以包括例如随机存取存储器(ram)、只读存储器(rom)、动态ram(dram)、同步dram(sd-ram)、双倍数据速率(ddr)存储器芯片、闪速存储器、易失性存储器、非易失性存储器、高速缓冲存储器、缓冲器、短期存储器单元、长期存储器单元或其他合适的存储器单元或存储单元。存储器320可以是或可以包括多个可能不同的存储器单元。存储器320可以存储例如用于执行方法的指令(例如，可执行代码325)，和/或比如用户响应、中断等数据。
77.可执行代码325可以是任何可执行代码，例如，应用程序、程序、进程、任务或脚本。可执行代码325可以由控制器305可能在操作系统315的控制下执行。例如，可执行代码325的执行可以导致显示或选择显示如本文所描述的医学图像，和/或可以实施本文所描述的任何操作。在一些系统中，一个以上的计算系统300或计算系统300的部件可以用于本文所描述的多种功能。对于本文所描述的各种模块和功能，可以使用一个或多个计算系统300或计算系统300的部件。可以使用包括与计算系统300中包括的那些部件相似或不同的部件的装置，并且可以将这些装置连接到网络并用作系统。一个或多个处理器305可以被配置为通过例如执行软件或代码来执行本披露内容的方法。存储设备330可以是或可以包括例如硬盘驱动器、软盘驱动器、光盘(cd)驱动器、可记录cd(cd-r)驱动器、通用串行总线(usb)装置或其他合适的可移动和/或固定存储单元。比如指令、代码、医学图像、图像流等数据可以存储在存储设备330中并且可以从存储设备330加载到存储器320中，在该存储器中该数据可以由控制器305处理。在一些实施例中，可以省去图3所示的部件中的一些部件。
78.输入装置335可以包括例如鼠标、键盘、触摸屏或触摸板或任何合适的输入装置。将认识到，任何合适数量的输入装置可以操作性地耦合到计算系统300。输出装置340可以
包括一个或多个监视器、屏幕、显示器、扬声器和/或任何其他合适的输出装置。将认识到，任何合适数量的输出装置可以操作性地耦合到计算系统300，如框340所示。任何适用的输入/输出(i/o)装置都可以操作性地耦合到计算系统300，例如，有线或无线网络接口卡(nic)、调制解调器、打印机或传真机、通用串行总线(usb)装置或外部硬盘驱动器可以被包括在输入装置335和/或输出装置340中。
79.包括图3所示的一些或所有部件的多个计算机系统300可以与所描述的系统和方法一起使用。例如，ce成像装置212、接收器、基于云的系统、和/或用于显示图像的工作站或便携式计算装置可以包括图3的计算机系统的一些或所有部件。包括比如图3的计算系统300等部件的云平台(例如，远程服务器)可以接收比如图像和元数据等手术数据，处理并生成研究报告，并且还可以显示所生成的研究报告以供医生审阅(例如，在工作站或便携式计算机上执行的web浏览器上)。“本地部署(on-premises)”选项可以使用医疗机构的工作站或本地服务器来存储、处理和显示图像和/或研究报告。
80.现在参考图4，示出了用于对图像进行分类的示例性深度学习神经网络400的框图。深度学习神经网络400可以由图2和图3的计算系统300来实施和执行。通常，如本领域技术人员将理解的，深度学习神经网络400包括输入层、多个隐藏层、以及输出层。输入层、隐藏层和输出层都包括神经元或节点。各个层之间的某些神经元经由权重互连，并且深度学习神经网络400中的这种神经元通过对来自前一层中的神经元或节点的输入值应用特定函数来计算输出值。应用于输入值的函数由权重向量和偏置决定。在深度学习神经网络中，学习是通过对这些偏置和权重进行迭代调整来进行的。某些层可能不是加权层，而可能是功能层，例如最大池化层。
81.在各种实施例中，深度学习神经网络400包括卷积神经网络(cnn)。在机器学习中，cnn是一类最常被应用于分析视觉图像的人工神经网络。如本领域技术人员将理解的，cnn的卷积方面涉及将矩阵处理操作应用于图像的局部部分，并且这些操作的结果是用于训练神经网络的特征集。包括cnn的深度学习神经网络400通常包括卷积层、激活函数层和池化(通常是最大池化)层，该池化层用于降低维度而不丢失太多特征。在生成这些特征的操作中可能包括附加信息。提供产生给出神经网络信息的特征的独特信息可以用于最终提供一种聚合方式来区分输入到神经网络的不同数据。
82.在所展示的实施例中，深度学习神经网络400可以利用一个或多个cnn将由ce成像装置212(参见图2)拍摄的一张或多张图像422分类为git的一部分。在所展示的实施例中，由深度学习神经网络400分类的git部分包括小肠前412(其包括胃)、小肠414和结肠416。深度学习神经网络400可以在计算机系统300(图3)上执行。本领域技术人员将理解深度学习神经网络400以及如何实施它。
83.可以基于针对训练图像422和/或训练图像中的对象的标签424来训练深度学习神经网络400。例如，图像422可以被标记为git的一部分(例如，小肠前、小肠或结肠)。在各种实施例中，训练可以包括监督式学习。训练可以进一步包括增强训练图像422，以包括添加噪声、改变颜色、隐藏训练图像的部分、缩放训练图像、旋转训练图像和/或拉伸训练图像。本领域技术人员将理解深度学习神经网络400的训练以及如何实施该训练。
84.在各种实施例中，深度学习神经网络400可以用于对由胶囊内窥镜成像装置212(参见图2)捕捉的图像422进行分类。图像422的分类可以包括将每张图像分类为git的区
段。例如，图像分类可以包括小肠前412、小肠414和结肠416。深度学习神经网络400提供针对git的每个区段的分类得分。图4的分类412至416是示例性的，并且git的其他部分、区段或连续区段的其他分类被认为在本披露内容的范围内。
85.上面的描述涉及将由胶囊内窥镜装置采集的图像分类为git的区段。以下详细描述将描述用于使用分类得分来估计图像流中对应于胶囊从一个git区段转变到另一git区段的点的技术。估计这种转变有利于组织来自胶囊的图像流(该图像流可以包括50000到100000张图像)，并通过分离出与病理研究报告感兴趣的特定区段相关联的图像来减少计算负担。
86.图5示出了来自机器学习系统(比如图4的深度学习神经网络400)的、针对由胶囊内窥镜装置采集的胃肠道(git)图像的分类得分的示例。每个索引值指的是单独的图像，因此图5中的图表对应于由胶囊内窥镜装置采集的50000个单独的git图像。图5的底部图表示出了由机器学习系统(例如，深度学习神经网络400)提供的将每张图像分类为git的小肠前部分(例如，胃和在吞咽之前的体外帧)412、git的小肠部分414和git的结肠部分416的示例性得分。得分的值和范围是示例性的并且可以根据机器学习系统(例如，深度学习神经网络400)的特定实施方式而变化。在所展示的实施例中，高得分(例如，高于阈值)指示高度确信该帧的标签是该得分所指示的标签。例如，高结肠得分指示高度确信该帧是结肠图像。在得分为如边界阈值所定义“中间”的情况下，这种中间得分将指示中等的信心和不确定性。虽然图5所示的预测类别和分类得分是跨图像帧呈现的，但是它们也可以被视为跨时间的预测类别和分类得分。因此，分类得分和/或预测类别可以被视为随时间变化的信号。如下文更详细描述的，将分类得分或预测类别视为时间信号允许将信号处理技术应用于这种信号。
87.图5的顶部图表展示了基于分类得分对图像进行分类的方法，其中，预测分类对应于最高分类得分。以图4的深度学习神经网络400为例，在顶部图表510中，预测类别“0”对应于小肠前412，预测类别“1”对应于小肠414，而预测类别“2”对应于结肠416。在图5的图表510、520中，可以看出，从小肠前到小肠的转变发生在帧0到5000之间的大约中间，而从小肠到结肠的转变发生在帧30000到35000之间的大约中间。顶部图表510指示由检查git图像的医学专家识别和标记的小肠与结肠之间的真正转变点532，并且指示基于本披露内容的技术的建议转变点534，这将在下文描述。如图5所示，建议转变点534与真正转变点532点相差约26.3分钟。产生差异的原因是建议转变点534可能是更保守的建议，具有更低的误报可能性。因为分类得分通常比图5中所示的示例噪声更多且更不清晰，所以更保守的建议增加了转变点之后的图像被正确分类的可能性。
88.根据本披露内容的各方面，图5呈现了转变检测操作，由此，当预测类别在正确的方向上变化时识别出建议转变点534，并维持了阈值帧数或阈值持续时间。预测类别变化的正确方向取决于特定的应用。在图5的示例中，预测类别变化的正确方向可以是从“0”到“1”或从“1”到“2”的变化。维持预测类别的阈值帧数或阈值持续时间可以根据特定的应用而变化。在图5的示例中，阈值帧数或阈值持续时间可以对应于约26.2分钟的持续时间，但也可使用另一阈值帧数或持续时间。根据本披露内容的各方面，鉴于识别所建议的转变的计算简单性，图5的用于建议转变点的操作可以被称为“简单”转变检测。另外，该计算简单性允许图5的操作适用于在线转变检测和离线转变检测两者。
89.在各种实施例中，当“简单”转变检测被用于在线应用时，该检测可以估计在手术期间和/或在转变发生后相对较短的时间内(例如，转变发生后最多一小时、一个半小时或最多两小时)发生转变。基于所估计的转变发生，可以例如向患者提供消息，以指示手术已经结束并且可以从患者身上解下或移除接收装置(例如，图2的214)。这样的消息将允许患者完全恢复其活动，而无需等待胶囊离开患者身体。
90.图6的图表是图5的放大部分，并且展示了索引0到10000的图像的小肠前得分和小肠得分的一部分。在大约索引2800到4200之间，小肠前和小肠的分类得分更接近，并且对应于最高得分的分类来回波动。因此，2800到4200索引范围内的转变点可能不具有高置信度。下面的描述提供了用于细化和提高转变点置信度的技术。
91.图7是用于去除不满足置信度标准的分类得分并保留满足置信度标准的分类得分的技术的示例。在所展示的实施例中，分类得分被归一化为介于0到1之间。在各种实施例中，可以使用不同的归一化，并且归一化可以是线性的或非线性的。图7的置信度标准包括上限阈值712和下限阈值714。在上限阈值712与下限阈值714之间的归一化得分将不满足置信度标准并且被去除。高于上限阈值712或低于下限阈值714的归一化得分将满足置信度标准并被保留，如图8所示。图8中的结果是分类得分满足置信度标准的图像子集。图像子集的分类得分可以被视为随时间变化的信号。图7和图8所展示的置信度标准是示例性的，并且其他置信度标准被认为在本披露内容的范围内。例如，除了或代替置信度标准，可以应用用于去除噪声的信号处理技术。
92.在各种实施例中，图8中的结果可以被进一步处理，可以不被进一步处理。图9是可以执行的进一步处理的示例，并且展示了平滑操作。图9是用于通过应用信号处理技术处理对应于图像分类的随时间变化的信号来细化分类的处理的一个示例。图9的左侧图表910反映了分类在两个类别之间波动的图像子集。在各种实施例中，平滑处理进行操作以将分类修改为围绕这些分类的更普遍的分类。
93.根据本披露内容的各方面，可以将平滑操作应用于每张图像，比如图像920。在各种实施例中，对于每张图像，平滑操作涉及获取图像920周围的窗口930内的图像分类，然后将图像920的分类细化为窗口930内的图像分类的中值。图9中展示了示例性窗口930，并且该窗口以特定图像为中心。以窗口930为中心的图像具有分类“1”。然而，从图9可以看出，窗口930内的中值分类是分类“0”。因此，以窗口930为中心的图像920的分类从分类“1”细化/修正为分类“0”，如图9中的右侧图表940所示。
94.所展示的平滑操作的效果是示例性的，并且应用平滑操作的结果将根据分类的分布和窗口的大小而变化。窗口的大小可以根据正在实施的特定应用而变化。在各种实施例中，窗口不需要以图像为中心，并且可以是完全向前延伸的窗口或完全向后延伸的窗口，或者可以围绕图像定位在另一个位置。窗口的这种变化和其他变化被认为在本披露内容的范围内。另外，还设想了除了中值计算之外的平滑操作。例如，在各种实施例中，平滑操作可以涉及多数选择或绝对多数选择，或另一种操作。平滑操作的这种变化被认为在本披露内容的范围内。设想了用于细化分类的其他处理，包括用于处理对应于图像分类的信号的其他信号处理技术。
95.在各种实施例中，平滑操作(如图9)可以与置信度标准滤波(如图7和图8)结合使用。在各种实施例中，可以在不使用置信度标准滤波的情况下使用平滑操作(如图9)。在所
展示的实施例中，对应于图8的图像分类如图10所示。将具有相对较窄窗口的平滑操作应用于图10的分类不会产生明显或显著的差异。使用图10中的分类，在不应用阈值延迟(例如，图5的26.2分钟延迟)的情况下识别出从类别“0”到类别“1”的方向转变点1010。如果类别“0”对应于将图像分类为小肠前并且类别“1”对应于将图像分类为小肠，则转变1010将指示图像从小肠前图像(比如胃)到小肠图像的转变。作为另一示例，如果类别“0”对应于将图像分类为小肠并且类别“1”对应于将图像分类为结肠，则转变1010将指示图像从小肠图像到结肠图像的转变。尽管在图10中没有应用阈值延迟，但是可以设想，如图5所示的延迟(例如，26.2分钟)也可以应用于图10的操作。然而，由于图7和图8的去噪操作和图9的平滑操作提供的细化，可能不需要这样的延迟。这种变化被认为在本披露内容的范围内。
96.在各种实施例中，并且再次参考图7，转变可以表示为范围(未示出)。在图7的示例中，转变可以被指示为发生在大约索引2800到索引4200之间。基于范围的转变在各种情况下可能是有益的。例如，使用类别“0”作为小肠前，并使用类别“1”作为小肠，基于范围的转变将指示索引2800之前的图像最有可能是小肠前图像，而索引4200之后的图像最有可能是小肠图像。如果需要小肠图像，则可以忽略索引2800之前的图像，而如果需要小肠前图像，则可以忽略索引4200之后的图像。然而，在这两种情况下，索引2800到索引4200之间的图像都可以作为两个图像子集的一部分包括在内。
97.上面描述的图7至图10的各方面和实施例是示例性的，并且各种变化被认为在本披露内容的范围内。例如，图9和图10示出了索引3500周围的某些帧因不满足置信度标准而被去除，从而在索引3500周围的分类中留下空白。在各种实施例中，剩余图像被重新索引为连续的(未示出)，这样在图9中就不会有空白。在这种情况下，x轴表示索引号，而不是原始帧编号。这种变化和其他变化被认为在本技术的范围内。
98.与结合图5披露的“简单”转变检测相比，图7至图10的转变检测操作可以被称为“基线”转变检测，其可以包括图7和图8的置信度标准/去噪操作、图9的平滑操作、以及图10的无延迟转变检测。
99.现在参考图11，示出了根据图4至图10的操作的流程图。在框1110处，该操作获取由胶囊内窥镜装置捕捉的胃肠道(git)的至少一部分的多张图像。在框1120处，对于多张图像中的每张图像，该操作通过深度学习神经网络提供将图像分类为git的多个连续区段中的每一个的得分。在框1130处，该操作将多张图像中得分满足置信度标准的子集的每张图像分类为git的连续区段之一。在框1140处，该操作通过处理与子集中的图像的分类相对应的随时间变化的信号来细化子集中的图像的分类。并且在框1150处，该操作基于子集中的图像的细化分类，在子集中的图像当中估计git的连续区段的两个相邻区段之间的转变。
100.图4至图11的实施例是示例性的，并且所披露的系统和方法可以应用于除小肠前、小肠和结肠之外的胃肠道(git)区段。另外，在各种实施例中，可以应用另一种机器学习系统来代替图4所示的深度学习神经网络，比如经典机器学习系统、只有两个类别的神经网络、或具有超过三个类别的神经网络。如本领域技术人员将理解的，“经典”机器学习系统是涉及特征工程的机器学习系统。这种应用被认为在本披露内容的范围内。
101.上面的描述描述了一种用于估计git的两个相邻区段之间的转变的方法。下面的描述描述了一种用于将估计转变细化到较前点的技术。
102.图12是用于将图像分类为胃肠道(git)部分的深度学习神经网络1200的框图。在
所展示的实施例中，由深度学习神经网络1200分类的git部分包括小肠前1212(其包括胃)、小肠1214、以及与小肠前1212和小肠1214之间的转变点相邻的解剖特征1216。通常，图12的深度学习神经网络1200可以用于将图像分类为git的第一区段、git的第二连续区段、以及与git的第一区段和第二区段之间的转变点相邻的解剖特征。在从小肠前到小肠的转变的情况下，与转变点相邻的解剖特征包括幽门瓣和球部。如下文所解释的，这样的解剖特征可以用于识别图像流中git的第一区段与第二区段之间的转变点。
103.通过训练深度学习神经网络1200对与git的两个连续区段之间的转变点相邻的解剖特征进行分类，可以应用所展示的深度学习神经网络1200来细化通过图4至图11的方法估计的第一区段与第二区段之间的估计基线转变。可以基于针对训练图像1222和/或训练图像中的对象的标签1224来训练深度学习神经网络1200。例如，图像1222可以被标记为小肠前、解剖特征或小肠。深度学习神经网络1200可以在计算机系统300(图3)上执行。本领域技术人员将理解深度学习神经网络1200以及如何实施它。
104.图13是将基于图4的深度学习神经网络400的分类与基于图12的深度学习神经网络1200的分类进行比较的示例。图13的顶部图表1310示出了基于结合图4至图11描述的方法将图像分类为小肠前(类别“0”)、小肠(类别“1”)和结肠(类别“2”)，并指示了小肠前与小肠之间的估计转变1340。中间图表1320示出了基于由图12的深度学习神经网络1200提供的分类得分将相同的图像分类为小肠前(类别“0”)、小肠入口(类别“1”)和小肠(类别“2”)。小肠前与小肠之间的估计转变1340被放置在顶部图表1310和中间图表1320中的相同位置。小肠入口包括球状结构(即，十二指肠球部)，其可以是与胃和小肠之间的转变点相邻的解剖特征。由于十二指肠球部位于sb的开头处，因此与其他解剖特征(比如作为胃的一部分的幽门瓣或幽门)相比，它可以成为识别转变的更好的基准。此外，十二指肠球部具有独特的结构，这有助于其检测。它的黏膜看起来与git中其他类型的黏膜不同。它不包括绒毛或褶皱，并且球部是开口的。为方便起见，术语“小肠入口”可以用于描述这种解剖特征。然而，应理解，实际分类是与两个git区段之间的转变点相邻的解剖特征。
105.底部图表1330是中间图表1320在小肠前与小肠之间的估计转变1340周围的一部分的放大版本。如底部图表1330所示，小肠入口的分类提供了关于小肠前与小肠之间的估计转变1340相对于分类为小肠入口的图像位于何处的更多上下文。如底部图表1330所示，从小肠前到小肠的转变可能早于顶部图表1310中的估计转变1340，因为在估计转变1340点之前的图像被分类为小肠入口。
106.根据本披露内容的各方面，由图12的深度学习神经网络1200提供的分类得分可以用于将估计基线转变细化到该估计基线转变之前的较前点。图14示出了基于针对估计转变1340附近的图像的图12的小肠前分类得分1212和小肠入口得分1216的计算图表。图表中每个索引处的值是累积总和。特别地，对于索引k，累积总和sk由下式提供：
[0107][0108]
其中，是索引i的类别“1”得分，而是索引i的类别“0”得分。
[0109]
因为初始图像的类别“1”得分将小于类别“0”得分，所以初始图像的sk值将是负的。例如，当类别“0”对应于小肠前，而类别“1”对应于小肠入口时，初始图像的小肠前得分
将更大，因为初始图像是小肠前图像。只要图像是小肠前图像，sk的值将减小，比如在区域1410中。然而，一旦图像是小肠入口图像，小肠入口得分会变得更大，并且sk的值将增加，比如在区域1420中。然而，如图13所示，小肠前与小肠入口之间的分类可能会波动，这由图14的在区域1410和1420中波动的图表示出。然而，一旦图像是小肠入口图像，小肠入口的分类将更加频繁，并且sk的值的增加将比减小更加频繁。因此，通常，sk的值的减小趋势可以指示小肠前的分类，而sk的值增加趋势可以指示小肠入口的分类。那么，转变将由在最初估计的基线转变1340之前发生的sk值中的真正或全局最小值1430来表明。本领域技术人员将认识到用于在值范围内确定真正最小值的各种技术。
[0110]
上面描述的累积总和sk是示例性的，并且可以设想各种变化。例如，在各种实施例中，累积总和sk可以在转变点之前增加并且在转变点之后减小，使得图14的图表将被反转，并且该转变将对应于真正或全局最大值而不是真正最小值。另外，图14的技术可以应用于除小肠前和小肠之外的git的连续区段。通常，该技术包括，对于多张图像中的每张图像：(i)计算将该图像分类为git的第一区段的得分与将该图像分类为git的第二区段入口的得分之间的差，以及(ii)计算从该多张图像中的第一图像直到该图像的所计算差的总和。那么，细化的转变是与在最初估计的基线转变之前的计算总和中的全局最小值或最大值相对应的图像。
[0111]
相应地，图12至图14描述了将估计基线转变细化到该估计基线转变之前的较前点的操作。结合图15描述了将估计基线转变细化到该估计基线转变之后的较后点的操作。
[0112]
图15示出了git的两个相邻区段中的第一区段的分类得分的图表，并且指示了从git的两个相邻区段中的第一区段到第二区段的估计基线转变1510。例如，第一区段可以是小肠，而第二区段可以是结肠。估计基线转变1510可以基于结合图4至图11描述的技术来确定。
[0113]
根据本披露内容的各方面，如果在估计转变1510之后，第一区段的分类得分在至少爆发持续时间1530内增加到阈值1520以上，则第一区段的分类爆发可以用于将估计转变1510细化到爆发之后的较后点。阈值1520和爆发持续时间1530可以基于特定应用和感兴趣的git特定部分而变化。作为示例，估计基线转变1510可以是从小肠到结肠的转变。如果在到结肠的估计转变1510之后，小肠的分类得分在至少爆发持续时间1530内增加到阈值1520以上，则小肠的这种分类爆发可以用于将估计转变1510细化到爆发之后的较后点。小肠的这种分类爆发可以表明，例如，来自结肠的粪便物质被引入小肠的最后部分，从而导致小肠的最后部分最初被错误分类为结肠。爆发可以用于潜在地识别这种情况，并将估计基线转变1510移动到可能更接近从小肠到结肠的真正转变的较后点。
[0114]
可以设想图15的技术的各种变化。例如，在各种实施例中，不是爆发，而是如果估计转变之后的分类以超过波动容限的方式在两个分类之间波动，则估计转变可以被细化该到估计转变之后的较后点。其他变化被认为在本披露内容的范围内。
[0115]
因此，上面描述的系统和方法用于分析由胶囊内窥镜装置捕捉的胃肠道的体内图像流，以在体内图像流中执行转变检测。某些转变检测操作可以在离线应用中使用，而某些转变检测操作可以在在线应用中使用。
[0116]
作为离线应用的第一示例，使用具有至少两个类别的分类机器学习系统，比如对应于git的较前区段和git的较后区段的两个类别(例如，小肠前和小肠)。该机器学习系统
可以是经典机器学习系统或深度学习神经网络(例如，图4)。由机器学习系统提供的分类得分被视为随时间变化的信号。可以执行噪声滤波信号处理操作(例如，图7和图8)。替代性地或另外，可以执行平滑信号处理操作(例如，图9)。所得信号从git的较前区段到较后区段的变化可以被识别为估计转变，比如从小肠前到小肠的估计转变，或从小肠到结肠的估计转变。
[0117]
作为离线应用的第二示例，可以使用具有至少两个类别(例如，小肠前和小肠)的第一分类神经网络，并且可以使用也对与不同解剖段之间的转变相邻的解剖结构或区域(例如，小肠末端或结肠开头)进行分类的第二分类神经网络。解剖结构的示例包括胃末端的幽门瓣或小肠入口处的球状结构。在各种实施例中，可以使用其他机器学习系统来代替分类神经网络，比如经典机器学习系统。
[0118]
作为离线应用的第三示例，使用具有至少三个类别的分类机器学习系统，比如对应于git的三个连续区段的三个类别(例如，图4：小肠前、小肠和结肠)。从小肠前到小肠的第一转变可以以本文所描述的方式检测(例如，图7至图10、图12至图14)，并且从小肠到结肠的第二转变可以以本文所描述的方式检测(例如，图7至图10、图15)。
[0119]
作为在线应用的示例，图5的“简单”转变检测操作可以用于估计从git的较前区段到较后区段(例如，从胃到小肠，或从小肠到结肠)的转变的发生。可以基于检测到的发生提供消息，以通知患者手术已经结束并且可以移除接收装置(例如，图2的214)。这样的在线应用可以缩短和简化患者的手术，并允许患者在胶囊离开身体之前完全恢复他/她的日常活动。
[0120]
可能同时涉及在线和离线方面的应用。作为示例，可以以在线方式(例如，图5)应用具有至少两个类别(例如，图4：小肠和结肠)的分类神经网络，以确定转变点(例如，从小肠到结肠)。另外，可以以离线方式应用信号处理技术(例如，图7至图10、图12至图15)，以细化在线转变点。
[0121]
同时具有在线和离线方面的应用的另一示例包括利用在线转变检测的git分割(例如，图5)以及在线转变点的离线细化(例如，图7至图10、图12至图15)。
[0122]
尽管关于由胶囊内窥镜装置在体内捕捉的图像示出和描述了示例，但是所披露的技术可以应用于由其他装置或机构捕捉的图像，包括例如由mri捕捉的解剖图像或用红外线(代替或除了可见光)捕捉的图像。作为另一示例，所披露的技术可以应用于各种手术期间的转变的在线检测，比如内窥镜手术期间的小肠前到小肠转变的在线检测，或结肠镜检查期间的结肠到小肠转变的在线检测。
[0123]
本文所披露的实施例是本披露内容的示例，并且可以以各种形式体现。例如，尽管本文中的某些实施例被描述为单独的实施例，但本文中的每个实施例可以与本文中的其他实施例中的一个或多个相结合。本文所披露的具体的结构性和功能性细节不应当被解释为限制性的，而是应当解释为权利要求的基础并且解释为教导本领域技术人员在实际上任何适当详细描述的结构中以各种方式采用本披露内容的代表性基础。在整个附图描述中，相似的附图标记可以指代相似或相同的要素。
[0124]
短语“在一个实施例中”、“在实施例中”、“在各种实施例中”、“在一些实施例中”或“在其他实施例中”可以分别指代根据本披露内容的相同或不同实施例中的一个或多个。“a或b”形式的短语意指“(a)、(b)或(a和b)”。“a、b或c中的至少一个”形式的短语意指“(a)；
(b)；(c)；(a和b)；(a和c)；(b和c)；或(a、b和c)”。
[0125]
本文所描述的任何操作、方法、程序、算法或代码都可以被转变为或表达为体现在计算机或机器可读介质上的编程语言或计算机程序。如本文所使用的术语“编程语言”和“计算机程序”各自包括用于向计算机指定指令的任何语言，并且包括(但不限于)以下语言及其衍生物：assembler、basic、batch files、bcpl、c、c+、c++、delphi、fortran、java、javascript、机器代码、操作系统命令语言、pascal、perl、pl1、python、脚本语言、visual basic、本身指定程序的元语言，以及所有第一代、第二代、第三代、第四代、第五代或下一代计算机语言。还包括数据库和其他数据模式，以及任何其他元语言。对解释的、编译的或同时使用编译的和解释的方法的语言不作区分。对程序的编译版本与源版本不作区分。因此，对程序(其中编程语言可能以多种状态(比如源、编译、对象或链接)存在)的提及是对任何和所有这些状态的提及。对程序的提及可能涵盖实际指令和/或那些指令的意图。
[0126]
应理解，前述描述仅用于说明本披露内容。在一致的范围内，本文详述的任何或所有方面可以与本文详述的任何或所有其他方面结合使用。本领域技术人员可以在不背离本披露内容的情况下设计各种替代和修改。因此，本披露内容旨在涵盖所有这样的替代、修改和变体。参考附图描述的实施例仅用于展示本披露内容的某些示例。与上面和/或所附权利要求中描述的那些要素、步骤、方法和技术没有实质性不同的其他要素、步骤、方法和技术也旨在落入本披露内容的范围内。
[0127]
虽然在附图中示出了本披露内容的几个实施例，但并不旨在将本披露内容限制于此，因为其目的是本披露内容的范围在本领域所允许的范围内应尽可能宽，并且本说明书应以同样的方式阅读。因此，以上描述不应被解释为限制性的，而仅仅是特定实施例的举例说明。本领域技术人员将设想在所附权利要求的范围和精神内的其他修改。