专利名称：用于显示体内图像部分的系统和方法
技术领域：
本发明主要涉及用于显示在体内获取的图像流的方法和系统。尤其是，本发明涉及用于例如以阵列形式安排和显示图像部分的系统和方法。
背景技术：
体内成像方法，例如由可吸收胶囊携带的体内成像系统可用于在患者体内对体腔成像。在胶囊穿过GI内腔时，成像系统可以获取，例如胃肠(GI)通道的图像并传输到外部记录设备。这样的体内成像系统提供这样的平台，从该平台可以观看体腔的运动图像流或静止图像。在成像程序中，可以收集用于观看的大量图像，例如100000到300000幅图像。 图像可以依次组合在一起，形成图像流或例如30-120分钟长的电影呈现给用户。用户，例如医师或保健专业人员，可以观看完整的图像流，例如由体内设备获取的原始图像流，或轻微减少的图像流(例如，其中，类似图像被合并或删除)，以及呈现彼此不同的基本上所有图像。当观看这样的流时，用户通常可以使用相对快的显示速度，例如每秒20_30中贞。用户可能想减少图像流的观看时间。存在减少观看时间的已知方法。例如，基于编辑方法，可以生成整个图像流的摘要电影。编辑方法可以包括，例如遵循预先设定标准来选择图像。可以创建缩短的电影，辅助医师减少观看时间。不过，观看摘要电影具有某些不足或缺点。例如，基本上相同的图像可能包含病理。可以从概要电影过滤多余的图像，并且在某些情况下，仅有包含病理的一个或少量代表性的图像帧呈现在概要电影中。向用户，例如医师提供不同的图像浏览或显示是理想的，其一方面能够允许对图像或图像部分的更详细检查，另一方面不增加观看时间，至少不明显增加观看时间。
发明内容
在一个实施例中，提供了显示体内图像中部分的方法和系统。该方法可以包括接收在体腔中获取的体内图像流。例如基于一个或更多选择标准，可以从流中选择描述可疑病理或与可疑病理对应的图像部分或图像。图像的部分可以修剪、调整大小到恰当的尺寸，并且可以根据选择的分布或布局安排进行空间布置，例如以矩形或六角形阵列布局进行布置。所选择图像部分的行和列可以彼此毗邻地定位，例如，Btt邻图像部分之间没有空白、边界或背景。例如，一个图像的图像像素可以接触或直接毗邻另一个图像的图像像素，没有中间的非图像像素。在某些实施例中，在矩形阵列布局中待显示的图像部分的数量可以是预先确定的，基于在图像流中发现的可疑病理图像部分的数量由用户设置或调整。可以在布局中确定或选择图像部分的空间布置，并且可以显示带有光标的时间条，其中所述光标指示在当前布局中显示的图像部分的获取时间。某些实施例包括确定待显示的、所选择图像部分之间的相似性。类似的图像部分可以以按时间顺序布置在布局中。在另一个实施例中，所有可疑病理图像部分可以按时间顺序布置在布局中。在一个实施例中，可以在布局中显示由用户标记的与图像部分相对应的完整图像帧。这种选择标准可以由，例如用户确定或预先确定并存储在系统中。附图简述通过参考附图和下列详细描述，可以更好理解根据本发明的系统和方法的原理及其操作，不过应当理解，所给出的这些附图仅用于说明目的，而不是意味着对本发明的限制，其中图I示出根据本发明实施例的体内成像系统的示意图；图2A和2B示出根据本发明实施例的带有可疑病理的图像；图3A和3B是示范性显示界面，其示出根据本发明实施例的一个病理帧部分的集合(阵列)对比于包含正常健康组织的另一帧部分集合的例子； 图4A、4B和4C是示范性显示界面，其示出根据本发明实施例的图像部分布局的不同空间布置；图5A和5B不出根据本发明实施例的显不不同布局尺寸的不范性空间阵列；图6是根据本发明实施例的用于显示图像部分阵列的方法流程图；以及图7是根据本发明实施例的示例屏幕显示。应当明白，为了简化和清晰起见，在图表中示出的构件不是必然地按比例绘制。例如，为了清晰起见，相对其他构件，某些构件的尺寸和/或高宽比可能被夸大。此外，在认为适当的情况下，可以在图中重复参考数字，以便在整个系列视图中指示相应的或类似的构件。
具体实施例方式在下列描述中，将描述本发明的各个方面。为了解释目的，阐述了具体的配置和细节，以便提供对本发明的透彻理解。不过，本发明可以在没有本文所述具体细节的情况下实践应用，这对于本领域的技术人员来说是显而易见的。此外，忽略或简化了众所周知的特征，从而不至于模糊本发明。从下列讨论可以看出，除非特别说明，否则应当明白贯穿具体讨论使用的术语，例如“处理”、“计算”、“存储”或其类似术语，指的是计算机或计算系统或类似电子计算设备的行动和/或处理，其将在计算系统注册表和/或存储器内的表示为物理的例如电子数量的数据操控和/或转换为在计算系统存储器、注册表或其他信息存储、传输或显示设备内的类似表示为物理数量的其他数据。本发明的某些实施例涉及可吞服的体内设备，例如自主吞服胶囊。其他实施例不需要是可吞服的或自主的，并且可以具有其他外形或配置。根据本发明实施例的设备，包括成像、接收、处理、存储的设备和/或适用于本发明实施例的显示单元，可以类似于下列中描述的实施例美国专利公开号2006/0074275，名称为“SYSTEM AND METHOD FOR EDITINGAN IMAGE STREAM CAPTURED IN_VIV0”;Idden等人的美国专利 5，604，531，名称为“In-vivoVideo Camera System” ；和 / 或 Idden 等人的美国专利 7，009，634,名称为 “Device forIn-Vivo Imaging”,所有这些专利申请或专利全部内容并入本文,供参考。当然,本文所述设备和系统可以具有其他配置和其他构件组。根据本发明某些实施例的设备、系统和方法可以类似于由Given Imaging, Ltd提供的商业PillCam SB2或PillCam Colon胶囊以及相关的数据记录器以及RAPID 工作站和软件。在一个实施例中，用户，例如医师可以观看图像或图像部分的布局，例如以平铺或栅阵列布置的布局。布局可以包含来自在成像过程期间获取的输入图像流的图像子集，或图像子集的选择部分。阵列或栅格可以是，例如正方形或矩形或六角形阵列，并且所选择的部分或图像可以布置成提高用户观看的效率。可以基于一个或更多预先设定的标准，选择上面的图像或部分。通常，基于标准来选择图像中指示可能病理的图像。在另一个例子中，可以基于标准来选择在成像体腔中，例如小肠入口处、结肠入口处等指示可能标志的图像。阵列可以包括其预先确定数量或变化数量的图像或部分，例如根据从原始输入图像流选择的图像的总数，可以为用户生成多个阵列并显示给用户。在用户观看包含正常组织以及病理的多个图像或部分时，组织的异常可能是突出的或可能吸引用户的眼球。类似地，如果在图像或图像部分中仅呈现正常组织，用户可以快速确定当前图像布局中不存在病理，并且会滚动到用于其检查的下一个阵列(例如，使用促使显示或重新显示或运动的输入设备)。用户可以滚动图像或图像部分的一个或更多阵列，
所述图像或图像部分可以在显示设备上空间布置，以便允许异常组织或疑似为病理组织被更容易或更快捷检测到。与在相对短、预先设定时间段内显示每个帧并由连续图像自动替换的视频显示相比，这种观看方法允许每个可疑部分具有相对长的显示时间并且用户可以主动滚动到下一个阵列。此外，在视频或图像流显示中，向观看者陈列全部帧，以致要求用户分析可疑和相似非可疑部分的内容，而且基于可疑部分和图像阵列的观看方法，可以删除非可疑的图像部分，以便节省全帧分析需要的时间。这样的观看方法可以节省观看医师的时间，并且能够使增加发现病理、可疑或异常图像可能性的可靠诊断变得可行。本发明的示范性实施例提供了用于显示图像流的系统和方法，该图像流优选由体内成像设备，例如可吸收或可吞服的胶囊产生。工作站可以接受体内图像，并且可以显示图像子集或图像帧子集的选择部分，例如像在显示设备或监视器上矩形平铺阵列或栅格的多个布局。可以编辑和减少图像流，或可以利用编辑方法选择待观看图像子集用于初始观看或预观看，所述编辑方法可以包括基于预先确定帧选择和跳帧的任何数量的方法，或基于预先确定标准算法识别，例如符合已知症状诸如息肉、出血和/或溃疡等的图像的方法。由本发明实施例使用的编辑方法可以类似于和/或可以包括在下列中描述的方法题为“System and Method for Editing an Image Stream Captured In Vivo，，的美国专利公开号 2006/0074275 和 / 或题为 “System and Method for In Vivo Feature Detection” 的美国专利公开号2007/0078335。例如，与美国专利公开号2007/0078335图2相对应的实施例讲授了描述病理组织诸如息肉的可疑图像一部分的识别。可以在根据本发明实施例的具体空间布局上生成和显示一个或更多图像或图像部分阵列或栅格。在某些实施例中，其图像或部分可以包括用于显示的选择图像，例如与一个或更多预先确定标准相对应的图像或图像部分。优选地，其用于显示的图像或部分的选择包括根据一个或更多预先设定的标准，由处理器或滤波器检测或自动过滤的被选图像。被选图像或被选图像部分可以包括，例如病理图像(或部分)，例如由息肉探测器检测并表示为可能包含息肉的图像部分，由出血探测器检测为疑似包含出血的图像部分，由病变探测器检测为潜在包含病变的图像，以及由异常探测器检测为可能包含异常组织而非期望的正常组织的图像部分。这样的部分可以包括比周围组织具有更高水平发红的组织和/或某些胃肠疾病或病理诸如浮肿、腐蚀、红斑、炎症、瘤形成或息肉典型的外形、图案或质地。在一个例子中，选择的图像部分可以包含，例如，基本上包含包括检测到的病理或可疑异常的图像部分，或比起原始图像更大帧部分或图像修剪版本包含可疑异常或病理的帧或图像修剪版本。例如，由息肉探测器识别的可疑息肉可以包括在选择的图像部分中。除了可疑息肉以外，不构成可疑病理的某些环绕背景像素也可以包括在选择的图像部分中。这是主要由于观看者查看组织区域周围可疑病理的需要，添加某些背景像素可以允许用户更好识别可疑病理。此外，选择的图像部分通常是矩形的、正方形的或六角形的，但是可疑病理边界可以以各种不同外形形成。在另一个例子中，选择的图像部分可以包含由出血探测器检测为描述可疑出血或与可疑出血相对应的图像部分。仍在另一个例子中，选择的图像部分可以包含可疑病变、溃疡、炎症等。帧或修剪版本可以忽略不包含检测到的异常的图像部分，但是既然选择的部分或修剪版本通常是正方形的、矩形的或六角形的形式，选择部 分的某些部分或像素可以不包括异常，例如包括靠近可疑病理组织的像素可以包括在图像的修剪版本中。参考
图1，其简要示出根据本发明实施例的体内成像系统。根据某些实施例，系统可以包括设备，例如胶囊40。胶囊40可以是可吞服的体内胶囊，但是也可以使用其他种类的设备或合适的工具。根据一个实施例，胶囊40可以与外部接收和显示系统通信，以便提供数据、控制或其他功能的显示。例如，电源可以由内部电池45或无线接收系统提供。其他实施例可以具有其他配置或功能。胶囊40可以包括用于获取图像的一个或更多成像器46，用于照亮体腔的一个或 更多照明源42，以及用于将图像数据和可能的其他信息发送到接收设备，例如接收器12的发送器41。发送器41可以包括接收器功能，例如接收控制信息。在某些实施例中，接收器功能可以包括在单独的构件中。光学系统，包括例如镜头49，镜头架44或镜子，可以帮助将反射光聚焦到成像器46上。镜头架44、照明单元42和成像器46可以安装在基底56上。成像头57和/或58可以包括光学系统、光学圆顶54、成像器46、照明单兀42以及基材56。优选地，位于患者体外一个或更多位置的是优选包括天线或天线阵列的图像接收器12，图像接收器存储单元16，数据处理器14，数据处理器存储单元19，以及用于显示，例如胶囊40记录图像的图像监视器18。优选地，图像接收器12和图像接收器存储单元16小且便携式的，并且在记录图像期间佩戴在患者身上。图像处理器14，数据处理器存储单元19以及图像监视器18可以包括在计算机或工作站11中。根据本发明的实施例，数据处理器存储单元19可以包括图像数据库10和逻辑编辑数据库20。逻辑编辑数据库20可以例如包括存储在成像数据库10中并向观看者显示的(例如，例如图2的观看窗口 200)，例如用于选择图像或其部分的预定义标准和规则。在某些实施例中，可以显示预定义标准和规则的清单用于观看者的选择(例如，与图3的选择按钮331关联的)。在其他实施例中，规则或标准不需要由用户可选择。选择标准的例子可以包括但不限于图像的平均强度，图像中R、B、或G像素的平均值，像素强度的中位值，基于HSV色彩空间的标准，以前标准的B/R、G/R、STD (标准偏差)值，不同图像之间的差异等。在某些实施例中，多个某种标准可以与规则或探测器关联，例如，息肉探测器可以使用几种标准以便确定候选息肉是否存在于图像中。类似地，出血或发红探测器可以使用不同标准以便确定图像是否包括可疑出血或具有异常发红水平的病理组织。在某些实施例中，用户可以决定激活哪个规则和/或探测器。根据本发明的一个实施例，数据处理器14，数据处理器存储单元19和监视器18是个人计算机或工作站11的一部分，其中所述个人计算机或工作站具有标准构件，例如处理器，存储器，磁盘驱动器，以及输入-输出设备 ，虽然可选配置是可能的，并且本发明的系统和方法可以在各种合适的计算系统上实施。输入设备24可以接收用户的输入(经指点设备、点击轮或鼠标、键盘、触摸屏、记录器/麦克风、其他输入构件)并发送相应的命令以触发对计算机构件，例如数据处理器14的控制。数据处理器14可以包括一个或更多标准数据处理器，例如微处理器、多处理器、加速板、或任何其他串联或并联高性能数据处理器。图像监视器18可以是计算机屏幕、常规视频显示器，或能够提供图像或其他数据的任何其他设备。优选地，成像器46是合适的互补金属氧化物半导体(CMOS)照相机，例如由以色列的 Given Imaging Ltd.规定和美国 Aptina Corporation of California 设计的“芯片用照相机”类型CMOS成像器。在可选实施例中，成像器46可以是另一个设备，例如，电荷耦合器件(CXD)。例如，照明源42可以是一个或更多发光二极管，或另一个合适的光源。在体内成像过程中，成像器46可以获取图像并向发送器41发送表示图像的数据，所述发送器41利用，例如电磁无线电波向图像接收器12发送图像。其他信号发送方法是可能到，以及可选地，在过程完成后，可以从胶囊40下载数据。图像接收器12可以向图像接收器存储单元16转移图像数据。在数据收集的某个时间段后，存储在存储单元16中的图像数据可以发送到数据处理器14或数据处理器存储单元19中。例如，图像接收器存储单元16可以从患者身体上取下并经由标准数据链接，例如已知结构的串联或并联接口连接到包括数据处理器14和数据处理器存储单元19的个人计算机或工作站。接着，图像数据可以从图像接收器存储单元16转移到数据处理器存储单元19内的图像数据库10。在其他实施例中，可以利用无线通信协议，例如蓝牙、WLAN、或其他无线网络协议将数据从图像接收器存储单元16转移到图像数据库10。数据处理器14可以，例如根据逻辑编辑数据库20分析和编辑数据，并向图像监视器18提供分析的和编辑的数据，用于例如保健专业人员观看图像数据。数据处理器14可以结合基本操作软件，例如操作系统和设备驱动器操作软件以便控制数据处理器14的操作。根据一个实施例，控制数据处理器14的软件可以包括例如以C++语言编写和可能可选或另外语言编写的代码，并且可以以各种已知方法实施。收集和存储的图像数据可以不确定地存储，转移到其他位置用于操控或分析。保健专业人员可以使用图像来诊断，例如GI道的病理状态，以及此外系统可以提供关于这些病理位置的信息。在利用数据处理器存储单元19首先收集数据接着将数据转移到数据处理器14的系统的时候，图像数据不是实时观看的，其他配置允许实时或半实时观看。根据一个实施例，胶囊40可以在其穿越GI道时收集一系列静止图像。图像可以在后面呈现为，例如图像流或穿越GI道的运动图像。在胶囊40花几个小时穿越GI道时，一个或更多体内成像器系统可以收集大量数据。成像器46可以以，例如每秒2到40张图像的速率记录图像(可以使用其他速率，例如每分钟4帧)。成像器46可以具有固定的或可变的帧获取和/或发送速率。当成像器46具有可变或适应性帧速率(AFR)时，成像器46可以在帧速率之间向后和向前切换，例如，基于参数，例如胶囊40速度、其估算位置、连续图像之间的相似性或其他标准。可以记录总数为数千张图像，例如，超过300，000张图像。图像记录速率、帧获取速率、获取图像的总数、选择用于编辑运动图像的图像总数以及编辑的运动图像的观看时间中的每个可以是固定的或变化的。优选地，胶囊40记录和发送的图像数据是数字彩色图像数据，虽然在可选实施例中可以使用其他图像形式。在示范性实施例中，根据已知方法，图像数据中的每个帧包括256行，每行包括256个像素，每个像素包括用于色彩和亮度的字节。例如在每个像素中，色彩可以由4个子像素的马赛克表示，每个子像素与例如红色、绿色或蓝色的原色相对应(其中，一个原色表示两次)。整体像素的亮度可以由一个字节(即，0-255)亮度值记录。根据一个实施例，图像可以依次存储在数据处理器存储单元19中。存储的数据可以包括一个或更多像素属性，包括色彩和亮度。尽管信息采集、存储和处理优选由某些单元完成，本发明的系统和方法可以利用
可选配置实践。例如，采集信息的构件不必包含在胶囊中，而是可以包含在适宜穿越人体内腔的任何其他运载体中，例如内窥镜、支架、导管、针等。数据处理器存储单元19可以存储由胶囊40记录的一系列图像。在胶囊40穿过患者GI道运动时记录的图像可以连续组合在一起形成运动的图像流或电影。根据本发明的实施例，数据处理器14可以包括用于编辑运动图像流的编辑滤波器22。编辑滤波器22可以是编辑滤波器处理器并可以由数据处理器14实施。虽然图I所示编辑滤波器是独立的并连接到处理器14，但在某些实施例中，编辑滤波器可以是由例如处理器14执行的一组代码或指令的集合。编辑滤波器22可以是一个或更多专用处理器或包括一个或更多专用处理器。编辑滤波器22可以生成原始输入图像集合的子集(可以删除剩余图像或隐藏不被看到)。编辑滤波器22可以评估逻辑数据库20多个预定义标准中每个的每个帧中的程度或发生率。编辑滤波器22可以根据由逻辑数据库20提供预定义标准、约束条件和规则，仅选择图像的子集以便形成感兴趣图像的子集。优选地，编辑滤波器22可以仅选择某些图像的部分用于显示，例如符合预定义标准的图像部分，例如根据逻辑数据库20中提供的一个或更多规则或标准，接收高得分的图像部分。在选择部分时，可以使该部分以拟合帧，因此该部分可以包括非选择图像数据。根据一个实施例，编辑滤波器22可以从由一个或更多成像器46获取的一个或更多图像流中选择图像或图像部分。图像流可以被单独处理，例如，每个流可以处理为单独的流，以及图像可以从单个成像器46获取的每个流独立选择。在其他实施例中，可以合并流，例如两个或更多流的图像可以根据图像获取时间按时间先后顺序进行分类并合并为单个流。其他的分类方法是可能的，例如基于不同图像参数，例如图像之间的相似性，或基于由病理或异常探测器分配给图像部分的得分。合并的流可以作为一个流处理(例如，编辑滤波器22可以从合并的流中选择图像，而不是分别从每个流选择)。为了有效观看体内图像，有许多因素需要考虑，所述各种因素会影响用于不同实施例中的编辑。在一个实施例中，显示的图像集合包括尽可能多的图像，其可能与保健专业人员形成患者状况的正确诊断相关。从显示的图像集合忽略确保正确诊断的某些高信息量图像是不可取的。人体组织中的病理或异常具有范围很广的表现，这使得他们在某些情况下变得难以检测。因此，编辑滤波器22可以基于特定的预先确定标准或多个预先确定标准的组合，选择帧或帧的部分。预先确定的标准可以包括，例如一个或更多病理检测和/或解剖标志检测(例如，息肉探测器、出血探测器、溃疡探测器、异常探测器，十二指肠探测器、脾脏探测器和/或结肠中的肝脏弯曲等，其基于帧中像素的颜色、质地、结构或图案识别分析而确定)的度量或得分，由例如阴影或残余物的特征失真或模糊的生物组织帧中可见性或视野的度量或得分，胶囊的估算位置或区域(例如，更高优先级可以分配给经估算已经在感兴趣特定部位获取的帧)，胶囊在优选部位的可能性(例如，在结肠成像过程中的结肠，在小肠成像过程中的小肠)，次要(非图像)传感器信息(例如，pH、压力、确定胶囊临近肠通道壁的传感器的电感应)，胶囊运动或可动性，胶囊方位，巾贞获取或传送速率，或上述的任何组合或衍生。在某些实施例中，使用的标准可以转换为得分、数目或用其他标准评估前的等级，以便各种标准可以彼此相互比较。 编辑滤波器22可以基于一个或更多预先确定的标准，计算一个或更多度量、等级或得分或数目并向每个帧分配一个或更多度量、等级或得分或数目。在某些实施例中，单个标准可用于选择仅包含关于选择标准的图像部分的图像子集用于显示。例如，可以由息肉探测器扫描每个图像的息肉。息肉探测器可以产生图像中存在的息肉的可能性的得分，并且还可以在图像中提供息肉的估算边界。基于估算的边界，仅有相关的图像部分会被提取到选择图像的子集中用于显示(请参见图2作为例子)。在某些实施例中，可以选择几个不同图像部分子集用于显示，每个子集符合不同的标准。例如，一个图像子集可以包括与息肉存在高得分或可能性关联的所有图像或图像部分，而图像的另一个子集会呈现与图像中出血或发红检测相关或关联的所有图像或部分。在某些实施例中，相同图像可以是不同标准的两个或更多子集的一部分。对于保健专业人员来说，既然这样的观看可以增加正确诊断的机会，那么，观看包括符合相同症状或病理所有图像部分的图像子集是有益的，例如由滤波器22揭示快速发现正阳性(例如，实际的息肉)，以及容易识别假阳性(由滤波器22错误检测为息肉的图像部分)。这样的观看可以增加内窥镜医疗过程的阳性预测值(或查准率，其是正确诊断阳性测试结果的患者比率)。在滤波器22的结果未改变时，显示的具体方法一方面可以促使医师或保健专业人员更容易看见病理，另一方面可以快速忽略明确不是病理(假阳性)的图像，从而提高真实阳性的检测，并且减少花在单个病例中的整体诊断时间。得分、等级或度量可以是更复杂图像特性或图像部分特性(例如，标准，诸如颜色变化，某些组织或结构图案的外观，图像或其部分上的光强度，出血检测等)的简化表示(例如，衍生值或等级，例如整数0-100)。得分可以包括任何等级、级别、分级体系、刻度或特征或标准的相关值。通常得分是数值，例如从I到10的数字，但是不必局限与此。例如，得分可以包括例如字母(A、B、C、…)、标记或符号(+、_)、计算机比特值(0、1)、一个或更多决定或状态的结果(是、否)，例如一个或更多计算标记的状态所示的。得分可以是离散(非连续的)值，例如整数，a、b、c等，或可以是连续的，例如在O和I之间的任何实值(受计算机数字表示的精度影响)。可以设置连续得分之间的任何间隔(例如，O. 1、0. 2、…，或1、2、…等)并且得分可以是标准化的或不是标准化的。每个帧或其部分的得分可以与帧一起存储在相同的数据库(例如，图像数据库10)中。得分可以与在原始图像流中的数据或与复制到第二编辑图像流的帧一起定义在例如标题或摘要帧信息包中。可选地或附加地，得分可以与指向图像的指针一起存储在和图像分隔的数据库中(例如，逻辑数据库20)。在独立数据库中的得分可以与关联预定义标准、约束条件以及规则存储在一起，以便形成被选图像部分的子集。通过使用得分，可以减少用于表示图像复杂特性的数据量，从而同样减少图像比较的复杂性和计算工作量。例如，编辑滤波器22可以尝试确定在图像A部分中的标准或特征是否比在图像B部分中的标准或特征更明显，以及确定在图像B部分中的标准或特征是否比在图像C部分中的标准或特征更明显。没有得分，图像B的内容会评估两次，一次用于和图像A比较，接着再和图像C比较。相反，利用得分，根据本发明的实施例，每个图像内容相对于每个标准仅需要评估一次，以便确定图像得分。一旦得分被分配给图像B或其部分，可以执行得分的简单数值比较(例如，大于、小于或等于)以便比较携带图像A和C的图像帧。利用比较和选择图像的得分可以大大减少图像内容评估的次数和图像比较的计算工作 量。在一个实施例中，编辑滤波器22可以分配单个组合得分，例如，标量值，基于与多个预先确定标准中的两个或更多关联的组合帧属性，对每个帧或每帧组分级。得分可以是，例如对于两个或更多预先确定标准中每个的正常帧值或加权平均帧值。在一个例子中，每个帧可以具有分配给每个预先确定标准1、2、3、…的得分Si、s2、S3、…，以及组合帧得分S可以是得分的平均值，S= (sl+s2+s3)/c，其中c是比例因子，或加权平均，S=(wl*sl+w2*s2+w3*s3) /c,其中wl、w2和w3分别是每个预定义标准的权重。在另一个例子中，组合巾贞得分S可以是得分乘积，S=(sl*s2*s3)/c或S=(sl*s2+s2*s3+sl*s3)/c。在另一个实施例中，编辑滤波器22可以为每个单独标准单独存储每个得分。例如，每个帧可以具有“得分矢量，” S=(sl、s2、s3,…)，其中得分矢量的每个坐标提供用于每个帧的不同预定义标准值，以便每个标准可以独立使用、评估和分析。通过分开每个标准的得分，编辑滤波器可以利用，例如矢量操作快速比较不同标准组合的得分。例如，当选择标准子集(例如，标准2和5)以产生用于显示的图像子集，编辑滤波器22可以快速检索相应的得分(例如，得分矢量S= (s2, s5)的第二和第五坐标)。得分矢量可以参考任何表示或存储，其将针对每个标准的单独得分分开，例如诸如表格或数据阵列。在得分矢量中，得分可以是相同单位(例如，数字)，但也不必是。编辑滤波器22可以分配帧加权得分，其中，相比其他的，较大的权重可以分配给某些预定义标准。例如，既然在诊断时大的息肉(例如，尺寸至少是6mm)比小的息肉(例如，尺寸是1_)更加明显，分配给大息肉的权重得分可以比分配给小息肉权重得分更大。不过在某些实施例中，在讨论息肉时，还可以对其他病理和其他特征进行检测、分级或计分。用于每个标准的得分可以以任何合适方式加权或组合。在一个实施例中，一个得分的权重可以影响一个或更多其他得分的权重。例如，当一个得分执行预先确定的阀值时，其他得分的权重可以在组合得分中改变或可以在组合得分中添加(例如，权重从O改变到I或更多)或删除(例如，权重从I改变到O)得分。在另一个实施例中，一个或更多得分的不同权重可用于GI道的不同各自区域。例如，当胶囊(或估计在)在结肠中时(例如，由位置得分或在结肠中的可能性指示)，表示组织可见性的得分可以给予较小权重，这是因为结肠相对宽的通道极少模糊组织可见性，因此使得定义特征的得分小于其他得分。
得分或度量可以是绝对的或彼此相对的。用于每个帧或帧部分的绝对得分可以是与用于单个帧的标准相关联的值。用于每个帧或帧部分的相对值可以是与标准相关联的值相对于与之前帧或毗邻帧的标准相关联的值的变化。绝对得分和相对得分两者可以缩放 (归一化)或可以不缩放(归一化)。得分可以用不同的比例因子缩放，例如对于GI道每个区域内获取或估算获取的图像，图像流的每个片段或对于每个不同帧获取和/或发送速率。
可以预先设置(例如，通过程序员或在工厂)特定预先确定标准和他们的度量、等级或在二维平铺阵列布局中用于选择用于显示图像子集的得分，由数据处理器14或编辑滤波器22自身自动选择和/或由用户手动选择(例如，利用输入设备24)。在一个实施例中，编辑滤波器22可以总是使用一个或更多缺省标准，例如除非由用户修改。编辑图形用户界面(GUI)可以使得用户能够从多个可能标准(例如，图3的选择按钮331)中选择，用户从中可以选择一个或更多。在另一个实施例中，预先确定标准可以由处理器半自动选择和 /或由用户半手动选择。例如，用户可以通过选择期望属性或与电影相关联的约束条件，例如最大电影长度(例如，45分钟或9000个图像)，浏览模式(例如，预览电影，快速浏览模式， 病理检测模式，结肠分析模式，小肠分析模式等)，或其他编辑约束条件，间接选择预先确定的标准。这些参数可以转而由处理器触发满足用户所选约束条件的预先确定标准的自动选择。
编辑滤波器22可以确定帧或帧部分是否对应于选择标准，并且基于对应水平分配得分。编辑滤波器22将每个图像部分的得分与预先确定阀值或范围作比较。编辑滤波器可以选择得分超过(或小于)预先确定值或得分在预先确定范围内的每个帧用于显示。相应地，编辑滤波器22可以不选择(或可以选择删除)得分低于预先确定值或得分在预先确定范围外的每个帧用于显示。在某些实施例中，得分阀值可以不是预先确定的，而是替以由编辑滤波器22和/或数据处理器14自动计算。可以，例如基于原始图像流中(以便输入图像的预先确定数量满足阀值，或输入图像的预先确定百分比满足阀值)图像数量，基于所选择图像集合中要求的图像数量(以便选择图像的预先确定数量满足阀值)，或基于所选择图像集合的显示时间限值(以便满足阀值的图像数量形成浏览时间少于或等于预先确定时间的选择图像集合，例如当以标准或平均显示速率浏览所选择图像集合时)计算得分。在某些实施例中，用户可以设置这些参数，而在其他实施例中，参数可以由编辑滤波器22预先确定或自动生成。
在某些实施例中，编辑滤波器22可以修剪图像，留下图像的相关部分(可能在例如正方形或矩形的帧内)，以及将其存储在空间布局中作为用于显示的选择部分。可以基于促使帧被选择的病理探测器检测的边界或边缘来修剪原始图像或帧。例如，原始帧可以在接收例如由息肉探测器检测的高得分后被选择。息肉探测器可以在帧中检测息肉并且确定或估算息肉的边缘。编辑滤波器可以修剪原始图像并在所选择图像部分中仅留下息肉(以及某些周边像素)，包括由探测器确定的息肉边缘。同样，基于其他病理探测器接收到高得分的帧，可以根据确定的边缘或检测病理的估算边界进行修剪。在某些情况下，不止一个病理可以在单个帧中被检测到，而且可以在空间布局中选择同一帧的多个部分用于显示。
在某些实施例中，编辑滤波器22可以选择由胶囊40穿越的体腔中符合某些解剖标志点的图像，例如小肠入口、十二指肠、幽门、回肠末端、盲肠、脾曲或肝曲。其他解剖标志可以由编辑滤波器22检测和选择用于显示。
编辑滤波器22可以包括用于计算和比较得分的一个或更多执行单元或集成在用于计算和比较得分的一个或更多执行单元中，例如像适于执行算术运算，例如加、乘、除等的算术逻辑单元(ALU)。编辑滤波器22可以是处理器(例如，硬件)操作软件或集成在处理器操作软件中。编辑滤波器22可以包括一个或更多逻辑门和编辑原始图像流或生成编辑图像流的其他硬件构件。可选地或附加地，编辑滤波器22可以作为存储在例如逻辑数据库 20或另一个存储器中的软件文件实施，在此情况下，例如由数据处理器14执行的指令顺序产生本文所述的功能。
原始图像流可以分成片段。可以基于不同参数，例如时间参数(例如，一分钟期间获取的片段)、帧数量(例如，1000个连续帧)、或与体腔内检测或估算的解剖区域或标志点 (食道、胃、小肠、升结肠、横结肠、降结肠、盲肠、十二指肠、直肠、幽门等)相关联的巾贞，来定义片段。在某些实施例中，可以使用不止一个参数同时定义片段。例如，原始图像流的结肠片段可以由大于图像子集中预先确定阀值的许多图像来表示。结肠片段可以进一步分成预先确定数量的图像(例如，100)或预先确定的时间(例如，5秒钟)的子片段。每个片段可以由空间布局中选择用于显示的至少预先确定 数量的图像或图像部分(例如，一个或两个)表示。所选择的图像子集可以在屏幕或显示器18的矩形平铺阵列布局中显示。
布局单元28可以确定由编辑滤波器22选择的图像部分在屏幕或显示器18上的布置。虽然图I中所示布局单元28是和处理器14隔离并连接于处理器14，在某些实施例中，布局单元28可以是由处理器14执行的代码或指令的集合。布局单元28可以是一个或更多专用处理器或包括一个或更多专用处理器。布局单元28可以选择或生成原始图像流子集的空间布置，包括选择的图像或其部分的空间布置。在显示器18上图像部分子集的空间布置可以是预先确定的，或可以由用户选择，例如利用图3的选择按钮332从一系列可能的布局布置中选择。
用户可以优选观看仅包括选择帧相关部分的布局，其符合预先确定或选择的标准或规则，例如接收比某个阀值更高或更低得分的帧部分，其中所述阀值针对每个选择标准类型来确定。例如，可以从原始输入图像流生成由100个图像组成的矩形平铺阵列，用于显示，例如10行和10列的所选帧的相关部分。优选地，所有部分布置成彼此相互毗邻的，创建在帧部分之间没有白色空间或背景空间的平铺阵列，例如如图3A-3B、4A-4C、以及5A-5B 和7所示。如果显示的布局中存在病理组织的话，由于平铺阵列可以产生可疑图像部分的同质视图并且病理在这样的分布或布置中可以是引人注目或的突出的，这样的布置可以增加病理组织的可见性。选择的图像部分可以基于选择的布局、空间布置和/或栅格，例如由布局单元28调整大小到适当的尺寸或大小。在某些实施例中，选择的图像部分可以调整成单个统一的尺寸，其他实施例则允许在布局中显示的图像部分调整或缩放为不同的尺寸。
当所选帧的相关部分由编辑滤波器22检测出时，其可以由布局单元28布置成使得显示的阵列具有最大均匀度或一致性。布局单元28可以应用滤波器(例如，“均匀”滤波器)以删除产生非平均、非均匀或噪音帧布局的帧部分，或对用户眼睛具有干扰效果的部分。例如，布局单元28可以最小化不必引起医师注意的图像部分的发生，例如帧的黑暗部分，或由于肠液或内含物、浑浊介质、胆汁、气泡、图像模糊或其他原因导致的可见度不良部分。由于符合选择标准已经被编辑滤波器22检测的图像部分可以基于所选择图像部分内可见度不良区域的检测，经受进一步的处理或修剪。这样的区域可以利用，例如本领域的已知方法检测，例如如美国专利号7，577，283所公开的，其转让给本发明的共同受让人并将其所有内容合并于此，以供参考，尤其是，其图3所公开的方法。可见度不良的帧部分可以从显示的图像部分修剪出来，或该图像部分从显示的布局中完全删除。因此，可以在显示的图像部分阵列中最小化不明显或不相关图像部分的出现，以及可以增加胶囊程序的阳性检测和诊断价值。
布局单元28可以包括用于计算和比较得分的一个或更多执行单元，或集成在用于计算和比较得分的一个或更多执行单元中，例如像适于执行算术运算，例如加、乘、除等的算术逻辑单元(ALU)。布局单元28可以是处理器(例如，硬件)操作软件。布局单元28可以包括一个或更多逻辑门和编辑原始图像流或生成编辑图像流的其他硬件构件。布局单元 28可以实施为存储在例如逻辑数据库20或另一个存储器中的软件文件，在此情况下，由例如数据处理器14执行的指令顺序产生本文所述的功能。
一旦编辑滤波器22选择图像部分，它可以由布局单元28合并以形成平铺阵列布局或栅格。不同的观看布置或在布局页中的图像部分分布例如如图4A、4B和4C所述。布局中显示的图像部分分辨率或数量可以是预先确定的，或可以根据他/她的偏好由用户选择，例如利用图3的选择按钮333。例如，显示布局的不同尺寸如图5A和5B所示。
布局单元28可以接收所选图像部分的集合，以及可以确定在每个布局页中将会显示的所选图像部分。例如，从原始图像流的所选图像部分的数量可以是5000。布局页的生成或选择的空间布局在每个布局页中可以包括100个图像部分。因此，每个包括不同所选图像部分的50个非重叠布局页可以，例如连续地(按时间先后地)或利用不同分类方法， 例如选择部分之间相似性得分的程度，由布局单元28生成并向用户显示。通常，医师可以按时间先后次序优选保持不同布局页之间的顺序，而部分的内部布置在布局页中不必是按时间先后的。在另一个实施例中，可以基于图像之间相似性的程度，或可以基于编辑滤波器 22生成的不同标准的得分，确定具体布局页的图像部分的分段。
在一个实施例中，布局页可以以相反时间先后顺序来显示，从由成像器46获取和由编辑滤波器22选择的最近的图像部分开始，并最终显示包括较早按时间先后顺序获取的图像部分的布局。由于其类似于结肠镜检查过程中的一般观看的方向，这样的布置可以易于医师观看(从肛门开始并最终到达盲肠区域或进一步到达小肠)。
在一个实施例中，所选图像部分可以包括从原始图像流选择的帖部分复制副本， 其可以独立于原始图像流存储在第二图像流中。在另一个实施例中，所选择的图像部分可以包括指针或标记集合，其指示原始帧的图像和图像部分被选择并以图像部分的矩形阵列形式显示。显示应用可以例如通过显示由标记或指针指示的那些图像部分而显示所选图像部分的一个或更多矩形阵列，并可以忽略非选择的图像或部分。
现参考图2A和图2B。图2A示出图像200的例子，其中所述图像200疑为包含病理，例如由可包括在编辑滤波器22中的息肉探测器检测的息肉。息肉探测器可以指示，图像200的边缘210和220是可疑息肉的边缘。在一个实施例中，仅可以选择疑似为病理帧的相关部分在栅格或空间布局中显示。空间布局中的每个要素尺寸(在平铺阵列中的每个图像部分或每个平铺显示)可以是固定的并对所有要素是统一的，并且可以由用户选择或由系统预先确定。
优选地，每个图像部分是矩形、正方形或六角形的图像部分，其包含可疑病理、可疑异常区域或由编辑滤波器22中选择的编辑标准中至少一个接收高得分的区域。选择用于显示的部分像素中的实际尺寸可以基于图像中检测的可疑病理的尺寸进行改变。在某些实施例中，将所有可疑部分或选择图像调整为统一尺寸是有益的，从而生成可疑图像部分或选择图像的同质显示。例如，图像200中由疑似病理的边缘210、220指示的相关区域可以例如通过编辑滤波器22、处理器14和/或布局单元28从图像帧提取。例如，图像部分 211、212可以从帧200提取，接着由布局单元28 (或另一个处理器)修剪和调整大小到最终布局中的用于显示的确定统一尺寸。在这个方法中，在原始图像中可能呈现不同尺寸的不同病理的尺寸可以调整并显示为近似统一的尺寸。既然图像部分的修剪可以基于检测的异常或病理边缘完成，调整大小可以在不考虑图像原始病理尺寸的情况下完成。在其他实施例中，图像部分可以修剪成统一尺寸以及不调整大小，例如更小的息肉将利用由此产生图像部分中更多周边像素(例如，位于原始图像中病理边界外部的像素)来修剪。在某些实施例中，完整的图像帧可以调整大小并在选择的布局中显示为缩略图。例如，当用户在他希望标记的具体图像部分上点击输入设备，例如鼠标时，这样的功能是可行的。还在其他实施例中，基于布局页的所选栅格和布置，图像部分可以修剪和调整为不同的尺寸。
图2B示出被例如布局单元28调整大小后的部分230。部分230与图像200中部分211相对应，并且包含可疑息肉的边缘210。部分230从原始图像200修剪为正方形或矩形的外形，以便适应预先确定尺寸的平铺布局(例如，图像帧部分的9行和11列的)。同样， 其他编辑标准或方法(例如，出血或发红探测器，溃疡探测器等)可以确定图像中可疑病理的不同外形和尺寸，以及可以修剪图像的相关区域，使得仅仅图像的可疑病理组织片段(以及可能的背景图像部分)包括在矩形、正方形或六角形部分中并向用户显示。
现参考作为示范性图形用户界面的图3A和3B，其根据本发明的实施例示出包含病理帧部分(3A)的例子布局和包含正常组织帧部分(息肉探测器的假阳性)的另一个例子布局。图3A和3B所示的所有图像部分由处理器(例如，处理器14或编辑滤波器22)例如基于息肉检测标准自动选择。不过，图3B所示布局350的所有部分包括正常健康组织，并且浏览平铺布局350的医师可以快速断定其不包含病理，并且没有在健康组织的图像集合上花费额外时间，继续浏览下一个图像部分布局。同样，当浏览图3A中部分300集合时，医师可以断定包括在片段306中的部分也是健康组织。另一方面，图3A中片段310的大部分明显是包含息肉的病理，而在片段308中的图像更加难以确定是否是病理性的。比起例如浏览可能仅包括少量偶尔发生的病理组织以及利用快速帧速率显示的概要电影流，包括疑似病理的图像部分的空间布局更加易于医师浏览和诊断。
优选地，用户可以，例如利用(例如利用点击或其他输入设备点击)“上一个”和“下一个”按钮315和316来控制浏览每个布局花费的时间。当点击按钮316时，可以显示由图 I布局单元28生成的图像部分的下一个布局，而当点击按钮315时可以显示上一个布局。 可以给用户提供例如跳到最后布局、跳到第一布局或向前或向后略过几个布局的其他按钮 330。在一个实施例中，显示可以包括时间/组织滑条314，例如如转让给本发明的共同受让人的美国专利7，215，338所述。滑条314可以包括光标324，其可以指示当前图像部分布局采用原始图像流获取时间的哪个区域。这样的指示可能是有益的，例如协助医师评估病理位于体腔的区域或解剖范围。光标324可以例如根据在显示设备上当前显示的图像布局，根据当前布局中图像数量；或根据从中选择显示图像(或部分)的图像的数量，来改变其尺寸或宽度。可以在一个平铺或图像部分例如325选择之时显示窗口 311、312和313，并且可以显示从其修剪部分325的完整图像帧312，以及下一个和上一个完整图像帧311和 313，正如它们出现在原始(输入)图像流中一样，可以出现在选择的图像子集中或概要电影中。在一个例子中，例如在输入设备(例如鼠标)在布局中一个图像部分上运动时，完整图像帧312和上一个以及下一个帧311和313可以自动显示给用户。图像部分的选择或用鼠标双击，例如，可以打开包括所选图像部分的图像流片段(例如，在所选图像或提取部分的图像之前的少量图像和之后的少量图像)。在某些实施例中，在布局页标记图像部分可以将图像自动标记为原始图像流中的缩略图。工作站可以接收阵列中所选图像的用户指示(例如， 经由点击设备)和显示与所选图像相对应的完整图像帧。在一个实施例中，用户可以选择一个或更多帧部分325、326，并将它们标记为例如缩略图，并增加注解、书签或注释。这些选择的缩略图可以被存储并在后面例如以自动生成报告呈现给用户，或在观看原始电影流或概要电影流时。
选择标准按钮331可以包括一系列选择标准或规则，用户可以据此选择确定哪些图像部分选择用于布局页中显示。选择标准按钮331可以包括高级别检测选项，例如息肉检测、病变检测、炎症检测、出血检测等。在一个实施例中，用户可以选择一个或更多规则/ 标准 ，而其他实施例则允许事先预先确定标准或预编程标准。用户可以决定，例如仅选择指示为可疑出血图像的图像部分，或可以选择观看由至少一个可用探测器检测为可疑病理的所有图像。选择布置按钮332使得用户能够在布局中选择图像部分的特定空间布置。图 4A-4C中图像部分的几个空间布局描述如下。选择布局阵列按钮333使得用户能够选择将在阵列的行和列中出现的图像部分的数量和/或尺寸。
在某些实施例中，布局单元28可以接收多个图像流，例如由胶囊40的一个或更多成像器46获取的图像流，例如图I的成像头57和58。可以以几个不同的显示方法布置多个流。例如，可以选择独立图像流的同时呈现，在单个布局中显示每个图像流的几个图像部分。在一个实施例中，布局的左边可以包括成像头57的所选图像部分，而在布局的右边，可以布置成像头58的所选图像部分。在另一个例子中，独立成像头之间的布局划分可以是动态的，例如基于每个成像头57和58在某个时间段所选图像部分的数量。例如在10分钟的图像获取程序内，从一个成像器选择30幅图像，而从另一个成像器选择70幅图像。在一个实施例中，可以在单个布局屏幕中同时显示100幅图像部分，成像头57的30幅图像部分可以位于布局的左列，而成像头58的70幅图像部分可以位于布局页的剩余(右)列。用户可以改变成像头之间的内部布局布置，例如将成像头57的图像布置在布局的顶行，以及成像头58的图像布置在布局的底部。在另一个实施例中，布局可以仅包括单个成像器的图像部分。第一布局页可以显示由成像头57获取的所选图像部分，而下一个布局页可以显示由成像头58获取的所选图像部分。其他布置是可能的。
由单个成像程序生成的布局页集合的空间布置可以是一致的，例如一旦用户为第一布局页选择优选的布局布置，其将会被存储并用于所有布局页。用户眼睛对所选布局布置中图像部分的分布会变得习惯。利用相同布局布置可以增加浏览过程的效率，这是由于用户逐渐习惯该布置，并且可以更容易识别病理图像部分，和/或可以更快速检测解剖标志点O
现参考图4A、4B和4C，其是根据本发明实施例的显示布局的不同空间布置。可以使用不同参数定位屏幕上的图像部分。例如，可以根据图像(或部分)的照明度，根据获取图像的时间先后顺序，根据图像部分之间的相似程度，根据颜色参数(例如，在RGB部分，R像素的部分中值)或基于其他特征，例如用于从原始获取的图像流选择图像部分的标准或特征的得分，对图像部分进行分类。不同空间布局布置可以为用户提供更好观看体验，以及可以减少图像部分布局和/或图像流的整体观看时间。用于定位帧部分的另一个参数可以是按时间顺序图像之间的相似程度，所述按时间顺序图像优选保持连续或在栅格或阵列的相同区域，而不是在布局中是分开的。图像可以基于得分、时间或其他标准在空间排序。
图4A示出阵列中图像部分空间布置的第一例子。根据预先确定的标准，图像部分从图像子集提取，图像子集从原始获取图像集合选择。在这个例子中的图像部分按时间先后顺序显示，在阵列中以从左列到右列(在每列中，图像从上到下按时间先后顺序布置)布置。根据增加的获取时间，首先通过列(例如，从上到下)，接着通过行(例如，从左到右或反之亦然)布置。可以使用其他排序方法，例如可以根据减少的获取时间布置图像部分，以及可以使用时间之外的标准(例如，相似性，由一个或更多探测器接收的得分或在编辑滤波器 22中使用的标准)。示出的图像部分的布局可以表示，例如在某个时间帧获取的原始图像流的片段。例如，图像部分1401-1488可以从胶囊穿过体腔的几分钟时间内获取的图像中提取，例如在原始图像流的最后10分钟时间内提取的图像。部分1401从这样的图像提取， 该图像从原始图像流获取的时间比获取部分1402-1488的图像要早，在1401的 获取时间之后从获取的图像提取部分1402等。根据获取的时间先后顺序来布置选择部分的一个优势是类似的图像部分可以一个接着一个显示，这是由于当胶囊在相同位置时，几个获取的图像的顺序以获取时间戳的顺序而显示。例如，顺序420和421是由于时间先后顺序的空间布置而保持在一起的类似图像部分的例子。
在某些实施例中，向用户显示的所选图像部分的数量可以是预先确定的或由用户选择。标准探测器的敏感度，例如确定布局中图像部分是否被选择用于显示的一个或更多阀值可以相应调整，使得可以基于选择标准选择用于显示的所需图像数量。例如，所选图像部分的数量可以是预先确定的常数，例如5000幅图像或其部分，或可以是变化的参数，其可以取决于，例如通过基于选择标准的一个或更多预先确定阀值的图像数量。如果更多图像被选择，由于向用户呈现更多信息，显示布局的敏感度会增加，并且某些感兴趣图像不被显示的可能性减少。另一方面，当用于显示的图像部分的数量增加时，假阳性图像的数量 (例如，描述健康组织或与健康组织相对应的图像，但是无论如何通过至少一个病理检测/ 选择标准的阀值)会增加，从而减少空间布局浏览的效率。
图4B示出所选图像部分在阵列或布局中的不同空间布置，其中图像部分2436、 2437、2444、2445示出肠腔区域。肠腔区域是图像中描述黑暗腔孔或与黑暗腔孔相对应的图像部分，其可以显示开放内腔或部分封闭或完全封闭的内腔。在如图4B所示的空间布置中，描述肠腔区域的部分在布局中央显示，而包含组织壁(例如，2401、2402、2409、2486、 2487、2488等)的图像部分被定位在布局的周边。可以由例如布局单元28，利用不同技术， 例如平均图像强度，图像中黑洞的检测，或本领域已知的其他方法，检测包含肠腔部分的图像。在一个实施例中，可以利用例如图像强度值，估计从成像组织到成像设备光学系统的距离。在另一个例子中，图像的黄色程度(例如，RGB图像蓝色平面的平均强度值或中间强度值，或基于蓝色平面生成直方图的最大值，或B/R的平均值或中间值)可以指示组织距离成17像设备太远，例如由于可能存在于光学系统与组织之间的胆汁。图像的粉红色色度可以指示成像设备更靠近组织壁。可以使用任何其他距离评定方法，或估算胶囊40到成像组织的距离的任何方法。布局单元28可以确定例如图像部分中蓝色像素的平均值或中间值，以及基于这样的值估算图像部分到成像设备的大概距离。在布局中央和布局周边的组织壁部分中的内腔图像部分的空间布置可以类似于胶囊40获取的典型单个图像的结构。尤其当穿过小肠时，或胶囊40在结肠中向前移动时，胶囊成像系统一般可以被引导到肠腔区域的中央，并且获取的图像可以包含定位在图像外围的临近组织部分和几乎在图像中央的开放内腔部分。
在某些实施例中，类似图像的顺序，例如顺序440、441和/或442，可以由布局单元 28 (或另一个处理器)检测，并且可以保持在布置布局的连续位置，以便尽可能保持布局是统一的，既然病理在布置布局中会引人注意，那么这会方便或简化医师识别病理的过程。既然在扫描布局时，多个连续病理组织部分比单个病理组织部分更加引人注意，那么以连续或在相同相邻区域或在相同布局区域共同保持类似图像或类似图像部分将有助于医师甄别健康组织和病理组织。类似地，当观看者浏览多个健康组织部分时，同质布置可以促使健康部分与其他健康组织部分在布局中看上去混杂在一起，并且可以由医师快速扫描，从而减少可疑图像部分布局的整体浏览时间。
图像或图像部分之间的相似性可以利用EMD (推土机距离)技术就连续帧像素的色彩值，两个图像之间的欧几里德差异(或归一化差异)，或图像(和/或图像部分)之间归一化互相关联来实施。在相似性确定之前，图像可以例如以增益和曝光时间进行归一化。当多个图像部分被确定为相似时(例如，通过某个预先确定相似性阀值)，可以在布局中将部分保持在一起，例如在行中(例如，顺序440)、在列中(例如，顺序441)以连续顺序相互毗邻显示，或以其他方式相互毗邻显示(例如，顺序442)。一旦确定布局中待显示图像部分的顺序，可以根据空间布置选择通过空间布置不同顺序来产生布局。虽然顺序与它们在布局中定位之间的次序会改变,但是每个顺序内的次序会按时间先后保持。
图4C示出阵列中所选图像或图像部分空间布置的另一个实施例。在这个阵列或布局中，描述附近组织壁的部分被定位在布局的底行中(例如，部分3408的行，部分3407的行)，而描述肠腔孔或区域(或远离胶囊40的组织)的部分被定位在布局的顶行中(例如，部分3401的行，部分3402的行)。当用户利用这样的布置浏览图像部分时，他的大部分精力会被引导到屏幕的顶部，这是由于顶部通常包括描述更多信息的图像。其他空间布置是可能的，例如以蛇样方式定位图像部分。类似的部分可以以顺序，例如顺序450保持。
在某些实施例中，图像部分在布局中的空间布置可以基于空间填充曲线(也称为皮亚诺曲线)，其是范围包含整个二维单位平方的曲线。图像部分可以沿皮亚诺曲线布置， 其中所述皮亚诺曲线可以与选择的栅格或阵列尺寸相关联，例如希耳伯特曲线。图像部分可以沿皮亚诺曲线布置，例如按时间先后，或可以基于相似性或其他标准(例如，编辑滤波器22中的标准)首先分类。例如，如果图像部分基于相似性沿皮亚诺曲线布置，那么由于相似图像部分可以相互就近布置，一个图像部分与毗邻或邻近图像部分之间没有大的跳跃或不同，那么可以实现布局的更好一致性和均匀性。
现参考图5A和5B，其描述用于显示的不同图像部分阵列或布局类型。在图5A中， 显示图像部分的七行和九列，其提供78%的高-宽比(行的数量除以列的数量)。在图5B中，显示10行和12列，其提供83%的高-宽比。其他高_宽比是可能的，并且在一个实施例中， 用户可以根据他的个人偏好，例如利用“选择布局阵列”按钮333，选择和/或改变在行或列中显示的图像部分数量。在一个实施例中，可以通过用户界面向用户提供许多预先确定布局选项供其选择，而其他实施例可以允许用户自由选择在单个布局中将同时显示的图像部分的行和列的数量。在单个屏幕上观看更多图像可以减少每个布局观看时间，不过，会使观看效率更低。在另一个例子中，选择的阵列类型可以包含图像部分的不同尺寸窗口。例如， 顶行可以包含更大图像部分，以及底行可以包含更小图像部分。当选择或确定用于显示的阵列时，用户可以确定在单个阵列中显示的图像部分的数量，显示的行和列的数量，和/或每个图像部分的尺寸。
不同的参数可以影响在单个屏幕上同时显示的所选高-宽比。例如，用户可以在屏幕上快速浏览布局，并确定在当前布局页是否存在病理组织。高-宽比可以反映浏览所有图像部分需要的观看时间、被显示图像部分的尺寸以及人眼高效浏览没有忽略信息的数据量之间的权衡。一个观看者到另一个观看者可以改变最佳高_宽比。
现参考图6，其示出根据本发明实施例的显示布置的图像布局方法的流程图。在步骤600，可以从体内成像设备接收原始图像流。原始图像流通常可以包括由成像设备在体内成像过程中获取的，或预过滤的或除此以外其他方式编辑的每个图像。原始图像流可以通过例如图I设备12的无线接收设备接收，和/或在例如图I工作站11的专用工作站或计算机中接收。
在步骤610，符合一个或更多预先确定标准(例如，病理或解剖标志)或与一个或更多预先确定标准相对应的图像或图像部分可以从原始图像流选择。标准可以由用户确定， 例如利用图3的选择按钮331从列表中选择标准，或可以是预先确定的，例如预编程并存储在图I的滤波器22中或数据处理器14中。在某些实施例中，根据选择标准的图像部分选择可以指示图像部分包括一个或更多可疑病理，例如出血、炎症、息肉、病变、乳糜泻、肿瘤、 克罗恩病等。在另一个例子中，用户可以希望确定图像流的精确解剖标志点，并且可以选择符合解剖标志检测的标准。
在某些实施例中，所选图像部分数量可以预先确定，或由用户设置，或取决于通过 (例如，可调整的)选择标准阀值的图像部分的数量。
在步骤620，在空间布局中显示的栅格或阵列尺寸(例如，图像部分行的数量和列的数量)可以由用户，例如利用按钮333确定。在某些实施例中，栅格尺寸可以是预先选择的，例如存储在图像布局单元28中。所选图像部分沿布局页的空间布置或分布可以由用户选择(利用按钮332)或是预先选择的并存储在布局单元28中。例如，用户可以在每个布局页中选择8行和11列图像部分的统一尺寸阵列，并且图像部分在布局中的内部分布可以取决于获取图像的成像头数量，并基于用户的显示偏好。布局中图像部分不同内部分布的例子包括但不限于沿阵列的列和/或行的按时间先后顺序，所选图像部分之间的相似程度， 基于胶囊圆顶54到图像部分中目标估算距离的图像部分的分布等。
可以在步骤630根据屏幕显示器的分辨率属性，例如基于选择的栅格布置和尺寸或基于其他标准，将图像部分大小调整到适当大小或尺寸。在一个实施例中，所有图像部分可以被调整为统一的尺寸，接着可以布置在矩阵布局中，例如统一尺寸图像部分的矩形阵列。在另一个实施例中，用于显示的所选阵列或布局可以包括不同尺寸的图像部分，例如较19大部分可以位于布局的中间，以及较小部分可以位于布局的周边，或反之亦然(较小部分在阵列的中央以及较大部分在阵列的周边)。其他布局分布也是可能的。
在某些实施例中，优选将调整大小的图像部分定位成它们之间是没有空间，使得图像部分的边缘接触毗邻部分的边缘。在某些实施例中，图像部分在布局中呈现的边缘可能是模糊的和/或褪色的，从而减少图像部分之间的可见边界。根据选择的空间布局布置和栅格尺寸，可以在步骤640显示调整大小后的图像部分。可以包括其他步骤，在某些实施例中，可以不执行所有步骤。
现参考图7，其示出根据本发明实施例的屏幕显示和图形用户界面(GUI)的例子， 其中所述⑶I具有一组编辑工具，显示在监视器，例如图I监视器18上。
在图7中，向用户显示的图像部分或体内图像为一个或更多组，拼贴或布置，例如组、阵列或六角形2032的栅格2030，在这个例子中是一个接着一个接触的。栅格或组布局可以包括六角形边界或外形的图像。
虽然图7的实施例示出六角形的某些数量和布置，但是在其他实施例中，可以使用其他布置和数量。组2030可以显示为图像流。例如，一系列六角形组可以在相同位置串联显示，就如显示图像流或电影一样，不同之处在于每个时间段显示多幅图像而不是每个时间段显示一幅图像。图7中的控制或按钮可以类似于关于图3中所描述的。
在其他实施例中，六角形不需要接触，或可以使用边界。在一个实施例中，每个六角形显示一个图像帧或帧或其部分。
在一个实施例中，由成像器，例如设备40的光学系统产生的图像通常是圆形的。 圆形的图像或图像部分显示为六角形或在六角形的窗口或部分中显示，在将其拟合到六角形外形时，会允许删除或切除比图像的例如正方形外形显示更少的图像。六角形图像可以比圆形图像更好嵌入或拟合在一起，并且可以平铺六角形以便非常高效地使用屏幕或显示器的区域。如果图像失真占用视窗或外形的全部区域，利用六角形作为外形比利用正方形外形或图形允许更少的失真。在某些实施例中，正方形外形的失真会导致片张(patch)边角周围的失真，使得毗邻片张之间的边缘更明显以及屏幕的观看以及从相邻图像到相邻图像的转移较不流畅。这样的优势在某些片张基于整个或基本上整个帧而显示时变得更加突出。
为了将圆形图像拟合成六角形图像或拟合在六角形图像内，可以修剪或切除图像的外部区域，或圆形图像可以翘曲或变形(例如，利用失真最小映射)成六角形外形。例如， 将最有可能的六角形应用于图像，删除在六角形外部的图像像素。可以使用这些技术的组合。在优选实施例中，使用翘曲或失真而不是修剪，以便没有数据丢失。
在一个实施例中，由成像设备获取的普通图像包括包含有用信息，术语称为有效掩模码的内部圆形部分，其由黑暗或除此以外其他无用部分环绕(通常从内部圆形部分延伸到正方形边界)。在有效掩模码外面的最外部的部分可以放弃。减少图像外围的黑暗区域会导致更加流畅或更加连续的图像拼贴或组装，以及相邻图中之间的更流畅转移(例如， 由于昏暗照明导致黑暗边界的缺失或减少)。
例如由于渐晕效应、向视野外部的光线或照明的减少，图像的外部区域不是那么有用。
在一个实施例中，共形映射可用于将圆形图像翘曲成六角形帧或与之相符。共形映射可能是计算密集的，因此在某些实施例中，可以进行一次离线共形映射计算，或在从患者收集实际图像之前。
若使用离线计算，可以进行一次映射，例如在收集特定患者图像之前(以及映射可以在实际从患者收集之后应用于图像)，或在图像被全部处理之前(以及可以在处理期间接着应用映射)。映射可以从标准圆形到标准六角形计算，或从特定胶囊接收的数据定义的圆形计算。这个变换可以是共形映射。这个初始计算可以仅进行一次(如果有效掩模码是已知的或预先确定的，或视为对所有胶囊是有效的)，并且将结果保存在文件中(在一些分辨率中)或者是显示软件或显示系统的一部分。这个初始计算可以对每个使用的胶囊进行一次， 并且在输入掩模码在视频到视频或在胶囊到胶囊之间改变时，将结果应用于特定胶囊的图像。计算可以应用于从患者收集的每个帧。
在某些实施例中，也可以使用在线计算。
可以使用其他用户界面功能，以及可以使用编辑工具的组合。
本发明的实施例可以包括完成本文所述操作的设备。这样的设备可以是专门构造用于特定目的，或可以包括由存储在计算机中的计算机程序有选择地激活或再配置的通用计算机。这样的计算机程序可以存储在计算机可读存储介质中，例如但不限于任何类型的盘，包括软盘、光盘、CD-ROMs、磁光盘、只读存储器(ROMs)、随机存储器(RAMs)、电可编程只读存储器(EPROMs)、电可擦除和可编程只读存储器(EEPROMs)、磁卡或光卡，或适于存储电子指令并能够联结到计算机系统总线的任何其他类型的介质。
本文所述过程和显示不是固有地与任何特定计算机或其他装置相关。可以根据本文所述教导的程序使用各种通用系统，或可以构建实施期望方法的更专用的装置以证明其便利性。应当理解，可以使用各种编程语言来实施本文所述发明的教导。
本发明实施例的前面描述仅用于说明和描述目的。其不是为了穷举或限制本发明于公开的精确形式。本领域的技术人员应当明白，根据上述教导做出的许多修改、改变、替换、变化及其等同物是可能的。因此，应当理解，附属的权利要求是为了覆盖落入本发明真正精神范围内的所有此类修改和变化。
权利要求
1.一种用于显示体内图像部分的方法，所述方法包括接收在体腔中获取的体内图像流；从所述流选择与可疑病理相对应的图像部分，其中所述选择基于一个或更多选择标准；选择用于显示所述被选图像部分的阵列；选择用于显示所述被选图像部分的空间布置；调整所述被选图像部分大小到适当的尺寸；以及在所述所选阵列中显示空间布置的被选图像部分。
2.根据权利要求I所述的方法，其进一步包括在所述阵列中确定待显示的图像部分的数量。
3.根据权利要求I所述的方法，其进一步包括在所述阵列中确定所述被选图像部分的所述适当尺寸。
4.根据权利要求I所述的方法，其进一步包括显示带有光标的时间条，其指示在当前布局中显示的所述被选图像部分的获取时间。
5.根据权利要求I所述的方法，其进一步包括确定连续图像部分之间的相似性；以及在阵列中以时间先后顺序布置相似的连续图像部分。
6.根据权利要求I所述的方法，其中所述被选图像部分在阵列中显示为基本相互接触，毗邻图像部分之间没有空间、背景或边界。
7.根据权利要求I所述的方法，其进一步包括在阵列中接收被选图像部分的用户指示；以及显示与所述被选图像部分相对应的完整图像帧。
8.根据权利要求I所述的方法，其进一步包括确定一个或更多选择标准。
9.根据权利要求8所述的方法，其包括接受一个或更多选择标准的用户指示。
10.根据权利要求I所述的方法，其包括修剪所述被选图像以便获得被选图像部分。
11.根据权利要求I所述的方法，其中所述空间布置从下列选择在阵列中以时间先后顺序布置图像部分，在所述阵列中央布置描述肠腔区域的图像部分和在阵列外围周边布置包含组织壁的图像部分，以及在所述阵列顶行布置描述肠腔区域的图像部分和在所述阵列底行布置包含组织壁的图像部分。
12.一种用于显示体内图像部分的系统，其包括接收由成像囊在体腔中获取的体内图像流的处理单元，所述处理单元包括从所述流选择与可疑病理相对应图像部分的编辑滤波器，其中所述选择基于一个或更多选择标准，以及用于确定显示阵列，以便生成所述被选图像部分的空间布置并将所述被选图像部分调整到适当尺寸的布局单元；以及用于显示在所述阵列中空间布置的和大小调整的图像部分的显示装置。
13.根据权利要求12所述的系统，其中所述布局单元用于确定在所述阵列中待显示的被选图像部分的数量。
14.根据权利要求12所述的系统，其中所述布局单元进一步用于确定连续被选图像部分之间的相似性，以及在所述阵列中按时间先后顺序布置相似图像部分。
15.根据权利要求12所述的系统，其包括用于确定一个或更多选择标准的用户界面。
16.一种用于显示体内图像部分的方法，所述方法包括接收在体腔中获取的体内图像流；利用编辑滤波器编辑所述图像流，以便获得与一个或更多编辑标准相对应的图像子集;从所述图像子集中的每个图像修剪与所述编辑标准相对应的图像部分，其中所述图像部分包括可疑病理或异常；在栅格布局中选择所述图像部分的空间布置；基于所述被选空间布置将所述被修剪图像部分调整成适当的尺寸；以及在所述栅格阵列中显示调整大小和空间布置的图像部分。
17.根据权利要求16所述的方法，其中所述栅格布局包括六角形边界图像栅格。
18.根据权利要求I所述的方法，其中所述阵列包括六角形阵列。
全文摘要
用于显示体内图像部分，例如图像的病理或解剖标志部分的方法和系统，其可以包括接收在体腔中获取的体内图像流，以及基于一个或更多预先确定的标准从所述流选择相关图像部分，例如可疑病理图像部分。可以确定图像部分的空间布置，以及所选图像部分可以调整大小到适当的尺寸，以及根据确定的空间布置以矩形或六角形阵列布局显示，使得所选图像部分的行和列是彼此毗邻。
文档编号G06K9/36GK102934127SQ201180021287
公开日2013年2月13日 申请日期2011年4月28日 优先权日2010年4月28日
发明者海加·克鲁普尼克, 伊莱·合恩, 艾迪·埃克 申请人:基文影像公司