用于内窥镜视频增强、定量和手术引导的系统和方法与流程

本公开涉及用于内窥镜视频增强、定量以及手术引导的系统和方法。

背景技术：

1、可以在各种医疗介入期间使用内窥镜成像仪。由成像仪提供的患者解剖结构视图受分辨率和视场范围的限制。这种有限的解剖结构视图可能会延长介入时间，并且无法向手术医生提供执行介入所需的所有信息。

技术实现思路

1、本公开涉及一种内窥镜系统，包括被配置为捕获活体内目标部位的图像帧的内窥镜成像仪，以及处理器，所述处理器被配置为对初步图像帧组应用空间变换，空间变换将图像帧转换为柱坐标；根据空间变换的图像帧计算映射图像，映射图像中的每个像素位置用固定维度的矢量定义；将当前图像帧与映射图像对准，并且对当前图像帧应用空间变换；将空间变换后的当前图像帧与映射图像融合以生成融合图像；并且对融合图像应用逆空间变换，以生成具有比当前图像帧更大的空间分辨率的增强的当前图像帧。该系统还包括显示增强的当前图像帧的显示器。

2、在一个实施例中，基于内窥镜成像仪的光学几何形状生成空间变换。

3、在一个实施例中，映射图像具有比内窥镜成像仪的分辨率大整数倍的分辨率。

4、在一个实施例中，基于互相关将当前图像帧与映射图像对准，其中测量当前图像帧和映射图像之间的相似度。

5、在一个实施例中，处理器还被配置为基于空间变换的当前图像帧周围的映射图像区域，与当前图像帧相比，扩展增强的当前图像帧的视场。

6、在一个实施例中，处理器还被配置为将空间变换后的当前图像帧添加到映射图像。

7、在一个实施例中，当映射图像中的给定像素位置已满时，在添加新样本时删除最旧的样本。

8、本公开还涉及一种包括内窥镜成像仪的内窥镜系统，内窥镜成像仪被配置为捕获活体内目标部位的图像帧，以及处理器。处理器被配置为：对初步图像帧组应用空间变换，空间变换将图像帧转换为柱坐标；从空间变换的图像帧计算映射图像，映射图像中的每个像素位置用固定维度的矢量定义；计算映射图像的尺度空间表示；捕获包括多个独立区域的进一步图像；当已经获取了每个独立区域的预定量的图像数据时，开发包括每个独立区域的独立空间变换的非线性空间变换；并且从非线性空间变换中导出运动恢复结构(sfm)深度图。

9、在一个实施例中，sfm深度图还基于内窥镜成像仪的跟踪信息，该跟踪信息包括内窥镜成像仪在捕获的图像之间的变化位姿。

10、在一个实施例中，处理器还被配置为：在初步图像帧组中识别内窥镜相关的对象和感兴趣的对象并对其进行分割；并且当空间变换被应用于初步图像组时，排除已识别的内窥镜相关对象。

11、在一个实施例中，处理器还被配置为基于当前图像帧中的深度信息和角度范围估计感兴趣对象的大小。

12、在一个实施例中，内窥镜系统还包括被配置为显示具有注释的感兴趣对象的当前图像帧的显示器。

13、在一个实施例中，感兴趣的对象是肾结石。

14、在一个实施例中，内窥镜系统还包括附接到内窥镜成像仪的电磁(em)跟踪器，该电磁(em)跟踪器被配置为提供包括内窥镜成像仪的六自由度位置的跟踪数据。处理器还被配置为对目标部位的先前获取的3d图像体积进行分割。跟踪数据与分割的图像体积和sfm深度图相结合，以提供内窥镜成像仪的位置估计。

15、在一个实施例中，处理器还被配置为：当跟踪数据被示为突破分割图像体积的表面时，使分割图像体积变形。

16、另外，本发明涉及一种方法，该方法包括对活体内目标部位的初步图像帧组应用空间变换，该空间变换将图像帧转换为柱坐标；根据空间变换的图像帧计算映射图像，映射图像中的每个像素位置用固定维度的矢量定义；将当前图像帧与映射图像对准，并且对当前图像帧应用空间变换；将空间变换后的当前图像帧与映射图像融合以生成融合图像；并且对融合图像应用逆空间变换，以生成具有比当前图像帧更大的空间分辨率的增强的当前图像帧。

17、在一个实施例中，基于内窥镜成像仪的光学几何形状生成空间变换。

18、在一个实施例中，映射图像具有比内窥镜成像仪的分辨率大整数倍的分辨率。

19、在一个实施例中，基于互相关将当前图像帧与映射图像对准，其中测量当前图像帧和映射图像之间的相似度。

20、在一个实施例中，该方法还包括：基于空间变换的当前图像帧周围的映射图像区域，与当前图像帧相比，扩展增强的当前图像帧的视场。

技术特征：

1.一种内窥镜系统，包括：

2.根据权利要求1所述的内窥镜系统，其中，所述sfm深度图还基于所述内窥镜成像仪的跟踪信息，所述跟踪信息包括所述内窥镜成像仪在捕获的图像之间的变化位姿。

3.根据权利要求1-2中任一项所述的内窥镜系统，其中，所述处理器还被配置为：

4.根据权利要求3所述的内窥镜系统，其中，所述处理器还被配置为：

5.根据权利要求4所述的内窥镜系统，还包括：

6.根据权利要求5所述的内窥镜系统，其中，所述感兴趣对象是肾结石。

7.根据权利要求1-6中任一项所述的内窥镜系统，还包括：

8.根据权利要求7所述的内窥镜系统，其中，所述处理器还被配置为：

技术总结
一种内窥镜系统，包括：内窥镜成像仪，内窥镜成像仪被配置为捕获活体内目标部位的图像帧；以及处理器，该处理器被配置为对初步图像帧组应用空间变换，空间变换将图像帧转换为柱坐标；从空间变换的图像帧计算映射图像，映射图像中的每个像素位置用固定维度的矢量定义；将当前图像帧与映射图像对准，并且对当前图像帧应用空间变换；将空间变换后的当前图像帧融合到映射图像，以生成融合图像；并且对融合图像应用逆空间变换，以生成具有比当前图像帧更大的空间分辨率的增强的当前图像帧。该系统还包括显示增强的当前图像帧的显示器。

技术研发人员：尼拉杰·普拉萨德·劳尼亚尔,罗伯特·J·赖克,蒂莫西·保罗·哈拉
受保护的技术使用者：波士顿科学医学有限公司
技术研发日：
技术公布日：2025/1/9