结石识别方法和系统与流程

本公开的各方面总体涉及医疗设备和程序。具体方面涉及结石识别方法和系统。

背景技术：

用于泌尿结石的碎石术可以使用碎石设备在体内进行，所述碎石设备包括柔性或刚性输尿管镜，其被配置为使每个结石碎裂并移除碎片。常规地使用激光能量来使结石碎裂，尽管也可以使用其他能量(包括通过弹道、超声波和/或电动液压装置施加的那些能量)。结石碎裂是期望的效果。然而，对于许多碎石设备，不能控制每个结石碎片的尺寸。例如，响应于激光能量，结石可以被破碎成多个结石碎片，每个结石碎片具有不可预测的不同尺寸。碎片尺寸可以确定治疗时间的长度。例如，较大的结石必须被移除或进一步碎裂，否则它们将很可能会长回成甚至更大的结石。

准确地测量结石尺寸是一个已知问题。多个声称的解决方案需要外科医生根据图像(诸如x射线图像)估计结石尺寸。这些估计可能是不准确的，尤其是如果图像具有低分辨率或可见性的话。由于这些不准确性，外科医生可能移除和/或碎裂比以其他方式所需的更多的结石，或者进行艰苦的移除过程。这两个选项都很耗时。例如，如果外科医生基于估计的结石尺寸引入取回设备，然后发现碎片太大，需要移除取回设备，进一步碎裂结石，并最终重新引入取回设备，则时间可能会被浪费。本文描述的方法和系统的各方面解决了现有技术的这些问题和其他缺陷。

技术实现要素：

本公开的各方面涉及结石识别方法和系统。现在描述多个方面。

一个方面是一种方法。所述方法可以包括：利用被安装在窥镜(scope)的远端的成像元件将关于体腔内的结石对象(stoneobject)的图像数据传送到处理单元；利用所述处理单元根据所述图像数据生成所述结石对象和所述体腔的视觉表示；利用所述处理单元建立所述视觉表示的标度(scale)；利用所述处理单元根据所述视觉表示在所述标度上确定所述结石对象的尺寸；利用所述处理单元将所述结石对象的尺寸与预定的最大尺寸进行比较，以确定移除状态；并且利用所述处理单元增强所述视觉表示，以包括响应于所述移除状态的指示符(indicator)。

根据此方面，传送到所述处理单元可以包括：将所述窥镜的远端定位在相对于所述结石对象的第一位置，并且所述方法还可以包括：将所述窥镜的远端移动到相对于所述结石对象的第二位置；将所述成像元件定位为邻近所述结石对象；并且利用所述成像元件捕获所述第二位置处的图像数据。生成所述视觉表示可以包括将所述图像数据的至少一部分传送到界面设备。例如，所述界面设备可以是触摸屏显示器。建立所述标度可以包括：将参考元件定位为邻近所述结石对象；将所述参考元件上的一个或多个标记与所述结石对象进行比较以确定参考测量结果；并且基于所述参考测量结果定义所述标度。所述参考元件可以是可移动地设置在所述窥镜的内腔中的光纤，所述标记可以包括位于所述光纤的远端部分上的一个或多个刻度线。定位所述参考元件可以包括：将所述光纤在所述内腔内向远端移动，直到所述光纤的远端部分位于所述体腔内为止；并且将所述一个或多个刻度线定位为邻近所述结石对象。

在一些方面，确定所述结石对象的尺寸可以包括：利用所述界面设备在所述结石对象的所述视觉表示上建立第一参考点和第二参考点；利用所述处理单元计算所述第一参考点和所述第二参考点之间的参考测量结果；并且利用所述处理单元根据所述参考测量结果以所述标度确定所述结石对象的尺寸。例如，所述界面设备可以是触摸屏显示器，并且可以通过触摸显示器上的各个点来建立所述第一参考点和所述第二参考点。在其他方面，确定所述结石对象的尺寸可以包括：利用图像分析器从所述图像数据获取被包括在所述图像数据中的第一图像帧中的所述结石对象的参考测量结果；并且利用所述处理单元根据所述参考测量结果确定所述第一图像帧中的所述结石对象的二维尺寸。所述参考测量结果可以包括多个参考测量结果，确定所述结石对象的尺寸可以包括：利用所述处理单元根据所述多个参考测量结果确定成像平面内的所述结石对象的截面面积。在一些方面，所述方法还可以包括：移动所述成像元件或所述结石对象以确定所述结石对象的深度；并且利用所述处理单元根据所述截面面积和所述深度确定所述结石对象的体积。

在其他方面，所述窥镜的远端可以包括波能换能器，并且确定所述结石对象的尺寸可以包括：利用所述处理单元将来自所述波能换能器的波能朝向所述结石对象引导；利用所述换能器接收所述波能的反射部分；利用所述处理单元根据所述波能的所述反射部分定义所述结石对象的深度；并且利用所述处理单元根据所述截面面积和所述深度确定所述结石对象的体积。确定尺寸可以包括：利用所述处理单元根据所述多个参考测量结果确定所述结石对象的表面积；和/或利用所述处理单元根据所述波能的所述反射部分确定所述结石对象的密度。

比较所述结石对象的尺寸可以包括：当所述结石对象的尺寸大于所述预定的最大尺寸时，确定第一移除状态；并且当所述结石对象的尺寸小于所述预定的最大尺寸时，确定第二移除状态。根据这些方面，增强所述视觉表示可以包括：基于所述第一移除状态将第一指示符覆盖到所述视觉表示上，或者基于所述第二移除状态将第二指示符覆盖到所述视觉表示上。所述方法还可以包括利用所述处理单元增强所述视觉表示，以包括响应于所述对象的截面面积、所述对象的体积、所述对象的表面积或所述对象的密度中的至少一个的指示符。

本公开的另一个方面是一种方法，包括：利用成像元件获得关于体腔中的多个结石对象的图像数据；利用所述处理单元根据所述成像数据生成所述体腔中的所述多个结石对象的视觉表示；利用所述处理单元根据所述视觉表示确定所述多个结石对象的物理特征；利用所述处理单元分析所述物理特征，以确定所述多个结石对象中的每个的移除状态；并且利用所述处理单元增强(augment)响应于每个移除状态的所述视觉表示。

根据此方面，所述物理特征可以包括所述多个结石对象中的每个的尺寸，并且确定所述物理特征可以包括：利用所述处理单元建立所述图像数据的标度；利用所述图像分析器分析所述成像数据，以获得所述多个结石对象中的每个的参考测量结果；并且利用所述处理单元根据所述参考测量结果确定所述多个结石对象中的每个的尺寸。一些示例性方法可以包括利用所述处理单元增强所述视觉表示，以包括响应于所述多个结石对象中的每个的尺寸的指示符。这些方法可以包括：对所述结石对象中的一个执行处理；并对获得、生成、确定和增强步骤进行重复。

本公开的又一个方面是一种方法，包括：利用所述成像元件获得关于肾内的一个或多个结石对象的图像数据；利用处理单元根据所述图像数据生成肾脏中的所述一个或多个结石对象的视觉表示；利用所述处理单元根据所述视觉表示确定所述一个或多个结石对象中的每个的结石宽度；利用所述处理单元将每个结石宽度与预定的最大宽度进行比较，以确定所述一个或多个结石对象中的每个的移除状态；并且利用所述处理单元增强所述视觉表示，以包括所述一个或多个结石中的每个的移除状态的指示符。

可以理解的是，前面的概述和下面的详细描述都只是示例性和说明性的，都不是对下面要求保护的本发明的限制。

附图说明

附图包含在本说明书中并构成本说明书的一部分。这些图示出了本公开的各方面，其与本文的书面描述一起用于地解释本公开。每个图描绘了根据本公开的一个或多个示例性方面，如下：

图1a-d描绘了示例性系统的各方面，该系统包括可与处理单元一起操作以生成图像数据的窥镜；

图2描绘了示例性处理单元；

图3a-d描绘了根据图像数据生成的视觉表示的各方面，以及使用具有视觉表示的系统的方法；

图4描绘了根据图像数据生成的视觉表示的附加方面，以及使用具有视觉表示的系统的方法；

图5描绘了用于生成和增强根据图像数据生成的视觉表示的示例性方法；并且

图6描绘了用于跟踪根据图像数据生成的视觉表示内的对象的示例性方法。

具体实施方式

现在参考示例性结石识别方法和系统来描述本公开的各方面。参考医疗程序描述了一些方面，其中窥镜被引导通过身体直到窥镜的远端位于包括一个或多个结石对象的体腔中为止。例如，窥镜可以包括细长的护套，该护套被引导通过尿道、膀胱和输尿管，直到护套的远端位于肾的肾盏中，邻近一个或多个肾结石为止。提供对特定类型的程序(诸如医疗)、体腔(诸如肾盏)以及结石对象(诸如肾结石)的引用是为了方便起见，并且除非有所声明，否则不旨在限制本公开。因此，本文描述的概念可以利用于任何类似的设备或方法——医疗或其他方面，肾脏特定的或非肾脏特定的。

描述了多个轴线。每个轴线可以与下一个轴线横切或甚至垂直，以便建立具有原点o的笛卡尔坐标系。一个轴线可以沿元件或身体路径的纵向轴线延伸。方向性术语“近端”和“远端”以及它们各自的首字母“p”和“d”可以被用于描述与这些轴线相关的相对部件和特征。近端是指更靠近身体的外部或使用者的位置，而远端是指更靠近身体的内部或更远离使用者的位置。将首字母“p”或“d”附加到元件编号表示近端或远端位置。除非要求保护，否则这些术语是为了方便而提供的，并且不旨在将本公开限制于特定的位置、方向或定向。

如本文所使用的，术语“包括”、“包含”或类似型旨在涵盖非排他性包括，使得包括一列要素的设备或方法不仅包括这些要素，而且可以包括未明确列出或对于其固有的其他要素。除非另有声明，否则术语“示例性”用于“示例”而不是“理想的”含义。相反，术语“由...组成”和“由...构成”旨在涵盖排他性包括，使得由一列要素组成的设备或方法仅包括这些要素。

现在参考图1a-d、图2、图3a-d和图4描述的示例性系统100包括可与处理单元60一起操作的窥镜10，以确定体腔3中的结石对象5的特征。

例如，图1a-d的窥镜10可以是改进的一次性数字输尿管镜，其类似于波士顿科学国际有限公司以商标名出售的那些输尿管镜。在该示例中，窥镜10包括：手柄20，其具有第一致动器22和第二致动器24；电源和信号线26；端口28；以及具有可操纵部分32的细长护套30。如图1b所示，护套30包括工作通道34和被配置为生成图像数据的成像元件40。图2中描绘了示例性处理单元60。如以下描述的，处理单元60可以被配置为根据图像数据生成视觉表示80，将视觉表示80传送到一个或多个界面设备12(例如，触摸屏显示器)和/或增强该表示80。

如图1a和1c所示，窥镜10的手柄20可以被定位在用户2的手中，使得第一致动器22可由用户2的手上的拇指操作，并且第二致动器24可由同一只手上的手指操作。第一致动器22可操作以通过向包含在护套30内的拉线施加力来铰接可操纵部分32，并且第二致动器24可一起操作以通过向处理单元60传送命令来生成和/或增强视觉表示80。如以下描述的，系统100可以具有：手动模式，其中每当用户2按下第二致动器24时就生成成像数据；以及自动模式，其中成像数据由处理单元60自动生成。尽管被描绘为手柄20的一部分，但是第二致动器24可以位于系统100中的任何位置，并且不需要是物理元件。例如，第二致动器24可以是显示在一个或多个界面设备12上的触敏图标。

电源和信号线26在图1a和1c中被描绘为线(例如，电线)，其被配置为将成像数据传送到处理单元60。可以使用任何有线或无线传送技术。例如，线26可以可替选地是无线通信设备(例如，无线电收发器)，并且窥镜10可以包括备用电源(例如，电池)。

如图1a所示，端口28可以安装在手柄20的远端部分上，并包括与工作通道34连通的开口。细长工具可以插入通过端口28，并且通过手柄20的远端部分和/或工作通道34向远端移动。细长工具可以被用于处理和/或移动结石对象5。在图1d中，例如，光纤36已经被插入通过端口28、手柄20和工作通道34，直到光纤36的远端36d位于体腔3中和/或邻近结石对象5为止。如所示出的，远端36d可以被配置为移动结石对象5，和/或包括远端部分，该远端部分包括一个或多个标记37，其在图1d中被描绘为多个刻度线。如下面进一步描述的，每个结石对象5的尺寸可以根据每个标记37之间的已知距离确定。每个标记37可以包括任何视觉标记、布置或形状(包括条形码和qr码等)。

在图1a-b中，细长护套30在终止于护套30的远端30d之前从手柄20向远侧延伸。可操纵部分32被定位为邻近远端30d。工作通道34从端口28延伸穿过可操纵部分32，并从护套30的远端30d伸出。在图1b中，单个工作通道34延伸穿过远端30d的面向远端的表面。可以提供任何数量的通道34，其在任何方向(包括适应光纤36的端射或侧射配置的任何方向)上开口。

成像元件40安装在护套30的远端30d上，并且可操作以生成图像数据。成像元件40可以包括任何成像技术。在图1b中，例如，成像元件40包括数字相机电路42和发光二极管44，其可与处理单元60一起操作以生成体腔3和/或结石对象5的视频馈送。视频馈送可以包括由成像元件40以一个或多个帧速率、谱和/或在体腔3内的位置处捕获的多个图像帧。本文描述了各种图像帧，包括第一图像帧和第二图像帧，每个帧被包括在视频馈送内。

如图1b所示，成像元件40可以被固定地安装在远端30d上，并通过用第一致动器22操作细长护套30的可操纵部分32而移动。在生成视频馈送时，成像元件40可以在体腔3中和/或相对于结石对象5移动，使得每个图像帧中对对象5的描绘略微不同。例如，可以移动元件40以生成视频馈送，该视频馈送包括由延伸穿过结石对象5的第一轴线限定的至少一个第一图像帧，以及由延伸穿过结石对象5的第二轴线限定的一个或多个第二图像帧，其中第一轴线与第二轴线横切。如以下描述的，处理单元60被配置为根据第一图像帧和第二图像帧确定对象5的特征，逐帧跟踪那些特征，并由此进行附加的确定。

示例性处理单元60在图2中被描绘为包括一个或多个微控制器62、包括计算机可读指令65的存储器64、收发器68和图像分析器66。这些元件中的每个可以在手柄20的隔间内组装在一起，或者远离手柄20定位(例如，在一个或多个位置)。例如，一个或多个微控制器62可以位于手柄20中和/或遍布于系统100。存储器64可以包括任何机器可读存储介质。计算机可读指令65可以存储在存储器64中并由一个或多个微控制器62执行以执行本文描述的功能和/或方法的各方面。

图2的图像分析器66可以包括被配置为基于由成像元件40生成的图像数据而确定结石对象5的二维或三维尺寸的任何技术。例如，图像分析器66可以与一个或多个微控制器62一起操作，以通过以下方式确定结石对象5的二维尺寸：接收来自成像元件40的视频馈送；从视频馈送中选择描绘了结石对象5的第一图像帧；将测量网格覆盖在第一图像帧上；将标度应用于测量网格；并且确定网格上的对象5的二维尺寸。如以下描述的，标度可以由用户2手动输入或由图像分析器66自动确定。描绘了结石对象5的一个或多个第二图像帧可以被类似地处理以确定对象5的三维尺寸，同样如以下描述的。

收发器68可以包括任何有线或无线传送装置，其被配置为将处理单元60放置为与所描述的系统100的其他元件进行通信。在图1a中，例如，收发器68在处理单元60和一个或多个界面设备12之间提供无线通信，从而允许视觉表示80的生成和增强。

现在描述视觉表示80的各方面。一个方面是用于生成和/或增强表示80的方法200，如图5所示，该方法可以包括：将关于体腔3和结石对象5的图像数据从成像元件40传送到处理单元60(传送步骤210)；利用处理单元60根据图像数据来生成体腔3和结石对象5的视觉表示80(生成步骤220)；利用处理单元60建立视觉表示80的标度(建立步骤230)；利用处理单元60根据视觉表示80来在标度上确定结石对象5的尺寸(确定步骤240)；利用处理单元60将对象5的尺寸与预定的最大尺寸进行比较以确定移除状态(比较步骤250)；和/或利用处理单元60增强视觉表示80以包括响应于移除状态的指示符(增强步骤260)。

传送步骤210可以包括生成和传送图像数据所需的任何中间步骤。步骤210可以包括激活成像元件40的组件，例如数字相机电路42和/或发光二极管44。例如，步骤210可以包括：利用成像元件40以预定的帧速率生成结石对象5的视频馈送；并且利用线26将视频馈送传送到处理单元60。可以在步骤210中手动或自动生成视频。例如，步骤210可以包括：将系统100置于手动模式，其中响应于第二致动器24生成视频馈送；或者置于自动模式，其中响应于在存储器64内建立的目标标准自动生成馈送。例如，在自动模式中，图像分析器66可以被配置为连续扫描体腔3并且每当结石对象5具有诸如最小结石宽度(例如，2mm)的最小二维尺寸时将激活信号递送到相机电路42和/或二极管44。

可以执行附加的定位步骤以生成附加的图像数据。例如，传送步骤210可以包括：将成像元件40移动到结石对象5周围的多个不同位置，并且生成不同位置中的每个处的图像数据。步骤210可以包括从视频馈送中选择一个或多个图像帧。例如，步骤210可以包括选择包括结石对象5的第一图像帧，选择包括对象4的一个或多个第二帧，并且将第一帧和第二帧连同关于第一帧相对于第二帧和/或结石对象5的位置和定向的位置数据一起传送到处理单元60。

生成步骤220可以包括用于根据图像数据生成视觉表示80的任何中间步骤。示例性视觉表示80在图3a-d中被描绘为二维或三维计算机生成的图像。如所示出的，视觉表示80可以包括：图像数据层81；以及指示符层83。图像数据层81可以包括图像数据。例如，在步骤220中，可以利用处理单元60通过在界面设备12的中心圆形部分中显示图像数据层81来生成视觉表示80。一旦生成，图像数据层81的各方面可以与下面(例如，在步骤260中)描述的界面层83的各方面组合以增强视觉表示80。

建立步骤230可以包括自动或手动定义视觉表示80的标度，并根据其校准系统100。在一些方面，制造商可以基于成像元件40和结石对象5之间的预定距离来定义标度和校准系统100，在该预定距离处图像分析器66的输出与对象5的实际尺寸一致。例如，预定距离可以与数字相机电路42的焦距成比例，从而允许在电路42被相应地聚焦时确定实际尺寸。因为结石对象5的尺寸可以很小(例如，5mm或更小)，所以可以不需要重新定义标度，即使成像元件40和结石对象5之间的距离从预定距离略微变化(例如，+/-10％)也是如此。系统100的校准可能在使用之前受到(例如，运输条件)影响。因此，步骤230可以包括在使用之前利用参考元件(例如，已知直径的圆)在体外重新定义标度并重新校准系统100。

为了适应体腔3的更大范围的运动和/或改善图像数据，视觉表示80的标度也可以在使用期间在体内定义和/或重新定义。例如，光纤36的直径可以是已知的，使得步骤230包括将光纤36定位为邻近视觉表示80中的结石对象5；将光纤36的已知直径与结石对象5的一部分进行比较以确定参考测量结果；并且基于参考测量结果定义标度。如以上指出的，光纤36可以包括一个或多个标记37，如图1d所示，多个刻度线位于光纤36的远端部分36d上。因此，步骤230可以包括：将刻度线定位为邻近结石对象5；将刻度线与结石对象5的一部分进行比较；并且根据刻度线之间的已知距离定义标度。

建立步骤230的各方面可以由用户2和/或处理单元60执行。例如，用户2可以执行比较步骤，并且定义步骤可以包括(例如，利用一个或多个界面设备12)将标度输入到处理单元60。一个或多个标记37可以被成形并间隔开以提供用户2可读的参考测量结果(例如，像刻度线)，并且至少一个标记37可以包括成像元件40可读的计算机可读代码(例如，qr代码)，以确定特征光纤36，从而允许自动和/或手动确定标度。例如，图像分析器66可以根据qr码确定光纤36的直径，并由此自动确定标度，如以上描述的。在方法200内，建立步骤230可以(例如，在工厂或在手术室中在体外)执行一次，或者(在手术期间每当移动成像元件40时在体内)重复执行。

尺寸确定步骤240可以包括用于确定结石对象5的二维或三维尺寸的任何中间步骤。现在描述尺寸确定步骤240的多个自动和手动方面。步骤240的手动方面在图3b-c中示出，其中结石对象5的二维尺寸包括通过以下方式确定的结石宽度：在视觉表示80中描绘的结石对象5上建立第一参考点12a；在结石对象5上建立一个或多个第二参考点12b；并且确定点12a和点12b之间的参考测量结果12m。图3b-c的参考点12a和参考点12b可以由用户2(例如，通过触摸视觉表示80上的各个点)手动建立。还设想了步骤240的自动方面。例如，图像分析器66可以被配置为自动识别结石对象5的外部边界，在外部边界上定位点12a和点12b，并确定它们之间的参考测量结果12m。

然而，无论手动地还是自动地确定，处理单元60可以接收每个参考点12a和参考点12b之间的参考测量结果12m(例如，图3b)；并通过将标度应用于参考测量结果12m来确定结石宽度(例如，图3c)。如以下描述的，处理单元60可以将结石宽度的指示符输出到指示符层83。结石对象5的其他二维尺寸可以以类似的方式确定。例如，尺寸确定步骤240可以包括确定截面结石面积；最大结石直径或宽度；最小结石直径或宽度；和/或平均结石直径或宽度。处理单元60可以输出针对这些尺寸中的每个尺寸的指示符。

通过逐帧地跟踪结石对象5的特征，可以在尺寸确定步骤240中确定结石对象5的三维尺寸。例如，如以上指出的，传送步骤210可以包括移动成像元件40以生成相对于结石对象5的不同位置处的图像数据。因此，尺寸确定步骤240可以包括：确定结石对象5在每个不同位置处的二维尺寸，并基于二维尺寸确定对象5的三维尺寸。例如，尺寸确定步骤240可以包括：确定第一图像帧中的结石对象5的第一尺寸(例如，截面结石面积)；确定与第一图像帧横切布置的第二图像帧中的结石对象5的第二尺寸(例如，结石宽度)；并且基于第一尺寸和第二尺寸确定对象5的三维尺寸(例如，结石体积)(例如，将其确定为截面结石面积乘以结石宽度的乘积)。可以使用类似的技术确定其他三维尺寸(例如，表面积)。每个尺寸的指示符可以如先前那样被输出到指示符层83。

尺寸确定步骤240(或传送步骤210)也可以包括移动结石对象5。例如，步骤240可以包括：确定第一位置处的结石对象5的第一尺寸(例如，截面结石面积)；将结石对象5移动到第二位置；确定第二位置处的结石对象5的第二尺寸(例如，结石宽度)；并且基于第一尺寸和第二尺寸确定对象5的三维尺寸(例如，结石体积)(例如，将其确定为截面结石面积乘以结石宽度的乘积)。光纤36的远端36d可以被用于移动结石对象5。例如，远端36d可以在第一位置和第二位置中的每个处不同地旋转结石对象5。

在一些方面，尺寸确定步骤240包括处理步骤。例如，尺寸确定步骤240可以包括：确定第一条件下的结石对象5的第一尺寸(例如，截面结石面积)；施加被配置为将结石对象5置于第二条件的处理能量；确定第二条件下的结石对象5的第二尺寸(例如，结石宽度)；和/或基于第一尺寸和第二尺寸确定对象5的三维尺寸(例如，结石体积)(例如，将其确定为截面结石面积乘以结石宽度的乘积)。处理能量可以是从光纤36的远端36d排出的激光能量，以将结石对象5破碎成多个结石碎片，结石碎片中的每个可相对于下一个移动(例如，旋转)。尺寸确定步骤240的各方面可以用于在视频馈送内逐帧地跟踪和确定尺寸每个结石碎片。

比较步骤250可以包括用于确定结石对象5的移除状态的任何中间步骤。例如，步骤250可以包括：利用处理单元60将结石对象5的尺寸(例如，最大结石宽度)与预定的最大尺寸(例如，工作通道34的最大宽度、可从其延伸的取回篮状物的最大捕获宽度、和/或输尿管或进入护套的最大宽度)进行比较。预定的最大尺寸可以相对于结石对象5的最大后处理宽度，使得可以利用移除状态来确定对象5是否需要进一步处理和/或移除。一旦确定，还可以将移除状态的指示符输出到指示符层83。可以以这种方式确定任何数量的移除状态。例如，比较步骤250可以包括：如果结石对象5的尺寸大于预定的最大宽度(例如，大于2mm)，则确定第一移除状态，并且如果结石对象5的尺寸小于所述最大宽度(例如，小于2mm)，则确定第二移除状态。

增强步骤260可以包括用于提供视觉表示80的任何中间步骤，该视觉表示80具有响应于结石对象5的特征的至少一个指示符。本文已经描述了多个指示符。例如，增强步骤260可以包括：将指示符层83的部分覆盖到图像数据层81的部分上。指示符层83的覆盖部分可以包括上述任何指示符。例如，如图3d所示，增强步骤260可以包括：将第一移除状态指示符84a(例如，示出为任何颜色的圆形虚线)覆盖在与第一移除状态相关联的任何结石对象5上，并且将第二移除状态指示符84b(例如，示出为另一种颜色的方形虚线)覆盖在与第二移除状态相关联的任何结石对象5上。

一旦在步骤260中增强，就可以使用视觉表示80和/或其他通知技术来警告用户2关于结石对象5的移除状态。例如，如果在视觉表示80中描绘了多个结石对象5，则增强步骤280可以包括在视觉表示80(例如，图3d)中突出显示不能被移除的任何结石对象5(例如，图3d中具有第一状态指示符84a的那些)，和/或突出显示准备移除的任何结石对象5(例如，图2d中具有第二状态指示符84b的那些)。声音警报也可以由响应于来自处理器60的控制信号的声音生成技术(诸如安装在手柄20上的扬声器)提供。

在步骤260中可以进一步增强视觉表示80以包括响应于上述标度和/或尺寸的指示符。例如，如图3a所示，指示符层83可以包括与第一轴线对齐的第一结石标度指示符86a和与第二轴线对齐的第二结石标度指示符86b。如图3c所示，响应于尺寸84的尺寸指示符88也可以被包括在指示符层83中。这些指示符中的任何一个可以例如通过将图像数据层81与指示符层83组合而被包括在视觉表示80中。

如以上描述的，成像元件40可以相对于一个或多个结石对象5中的每个移动，以增强成像数据。可以进一步修改方法200以利用这些移动。例如，方法200可以包括：识别结石对象5的参考标识符(识别步骤280)；使参考标识符与对象5的特征相关联(关联步骤282)；在程序期间跟踪特征(跟踪步骤284)；和/或响应于特征进一步增强视觉表示80(进一步增强步骤286)。参考标识符可以是每个结石对象5的指纹，其利用图像分析器66基于对象5的唯一物理特征来确定。示例性指纹可以基于本文描述的二维或三维尺寸的任何方面。

关联步骤282可以包括：将每个参考标识符与特征结石对象5链接。链接特征可以包括本文描述的任何二维或三维尺寸，以及特定于结石对象5的任何其他信息。每当在步骤280中识别出结石对象5的指纹时，即使成像元件40的位置未知，也可以逐帧地执行步骤282。例如，每当结石对象5被移动到成像电路42的视野中时，识别步骤280可以由图像分析器66自动执行，从而允许用户2在体腔3内自由地移动成像元件40。

跟踪步骤284可以被用于连续更新视觉表示80。例如，跟踪步骤284可以包括：识别结石对象5的第一尺寸或初始尺寸；确定对象5的第二尺寸或后续尺寸；并计算第一尺寸和第二尺寸之间的差异。如果检测到足够量值的差异(例如，+/-5％)，则进一步增强步骤286可以包括：更新指示符层83以考虑差异；并更新结石对象5的移除状态。

已经参考单个结石对象5描述了方法200的各方面；然而，如图4所示，可以同样地确定多个结石对象5的二维或三维尺寸。处理单元60可以被配置为同时逐帧地确定多个结石对象5中的每个的特征。例如，图像分析器66可以被配置为：识别第一图像帧内的多个结石对象5中的每个；使用本文描述的任何方法顺序地确定第一帧中每个对象5的尺寸；并跟踪一个或多个第二帧中的确定出的尺寸。例如，第二致动器24可以被用于启动或推进序列。指示符层83可以包括响应于每个结石对象5的尺寸的指示符，如图4所示，其中每个指示符被描绘为具有调出(call-out)的测量结果。

还参考了一个或多个界面设备12描述了系统100和方法200的各方面。可以使用任何数量的界面设备12。例如，如图4所示，视觉表示80的增强版本80a可以由第一界面设备12描绘，而表示80的未增强版本80b同时被描绘在第二界面设备112上。该配置允许用户2例如缩小显示设备12以确定多个结石对象5的尺寸，和/或独立地放大显示设备112以处理特定的结石对象5。

上面已经描述了用于确定结石对象5的结石深度的多个手段，包括移动成像元件40和/或移动对象5。设想了替代手段。例如，数码相机电路42可以能够聚焦在结石对象5上，从而允许相对于焦距确定结石深度。相机电路42可替选地包括多个相机，从而允许根据双眼线索确定结石深度。仍可替选地，成像元件40可以包括波能换能器46，其被配置为生成体腔3和/或结石对象5的波能图像。可以使用任何类型的波能，包括光或声。如图1b所示，例如，元件40可以包括换能器46(例如，激光源或超声换能器)，其被配置为：将波能朝向结石对象5引导；接收波能的反射部分；并从波能的反射部分生成波能图像。得到的波能图像可以利用收发器46输出到处理单元60，并用于帮助确定本文描述的二维尺寸和三维尺寸中的任何一种，包括结石深度。

可以修改方法200的各方面以与换能器46一起使用。例如，尺寸确定步骤240可以包括：利用处理单元60将来自波能换能器46的波能朝向结石对象5引导；利用换能器46接收波能的反射部分；利用处理单元60，根据波能的反射部分定义结石对象5在与图像数据的成像平面横切的方向上的结石深度；并基于该深度确定对象5的结石体积。根据一些方面，可以响应于由结石对象5创建的波能阴影确定结石对象5的平均结石深度，并且然后将其与来自步骤240的截面结石面积相乘以确定结石体积。由于换能器46，可以在不移动成像元件40的情况下确定平均结石深度。可以利用类似的技术来确定结石对象5的表面积和/或密度；或者验证在没有换能器46的帮助下确定的任何二维或三维尺寸。如前所述，针对这些尺寸的指示符可以被输出到指示符层83。

如图1b所示，成像元件40可以可选地包括定位器设备50，其被配置为将位置信号输出到处理单元60。例如，每当图像数据由成像元件40生成时，定位器设备50可以生成位置信号。任何已知技术(包括基于磁和/或超声的技术)可以被包括在定位器设备50内并用于生成定位信号。

可以修改方法200以与定位器设备50一起使用。例如，识别步骤280可以包括利用处理单元60根据位置信号来将成像元件40定位在身体信息模型中，该身体信息模型根据于2016年11月11日提交的美国临时专利申请号62/420,981中描述的示例性系统和方法生成，所述申请的全部内容通过引用并入本文。在该示例中，每个结石对象5的参考标识符可以包括身体信息模型内的每个结石对象5的参考位置，使得识别步骤280包括将每个结石对象5定位在身体信息模型内；并且关联步骤282包括将每个参考位置与结石对象5的特征链接。跟踪步骤284可以进一步被配置为跟踪设备50相对于每个参考位置的位置，从而允许响应于成像元件40在体腔3内的移动而生成和增强视觉表示80。

虽然本文参考特定应用的示例性方面描述了本公开的原理，但是本公开不限于此。本领域普通技术人员以及接触到本文提供的教导的人将认识到等价物的附加修改、应用、方面和替换全部落入本文描述的各方面的范围内。因此，本公开不被视为受前述描述的限制。