荧光内窥镜的病灶尺寸测量方法、系统及计算机设备与流程

本申请涉及荧光内窥镜技术领域，特别是涉及一种荧光内窥镜的病灶尺寸测量方法、系统及计算机设备。

背景技术：

内窥镜是现代医疗中一种检查、治疗人体内器官的重要工具，荧光内窥镜则是在可见光内窥镜的基础上，应用吲哚菁绿(icg)等荧光探针标记病变细胞，并利用近红外光等其他波段的激发光，获得病灶图像的一种技术。但在相关技术中，由于同一尺寸大小的病灶距离物镜距离不同，在图像显示器上显示的病灶图像大小也不同，因此仅根据显示器上病灶的显像大小并不能定量获取病灶的实际大小，在诊断或手术过程中通常需要医生依靠经验进行主观估计病灶的实际大小，其判断误差会对诊断结果造成影响。

针对相关技术中，荧光内窥镜不能定量测量病灶实际尺寸的问题，目前尚未提出有效的解决方案。

技术实现要素：

针对相关技术中，荧光内窥镜不能定量测量病灶实际尺寸的问题，本发明提供了一种荧光内窥镜的病灶尺寸测量方法、系统及计算机设备，以至少解决上述问题。

根据本发明的一个方面，提供了一种基于荧光内窥镜的病灶尺寸测量系统，所述系统包括荧光内窥镜和控制装置；

所述荧光内窥镜获取诊断组织的荧光图像与可见光图像，所述控制装置依据所述荧光图像确定所述荧光图像上的第一病灶尺寸；

所述控制装置在将所述荧光图像与可见光图像进行像素对齐，并进行图像融合的情况下，根据所述第一病灶尺寸，确定所述可见光图像上的第二病灶尺寸；

所述控制装置根据所述第二病灶尺寸和坐标转换矩阵系数，确定物理成像平面上的第三病灶尺寸，并根据所述荧光内窥镜的荧光亮度、激发光强和成像距离的函数关系确定所述成像距离；其中，所述可见光图像的像素平面固定于所述物理成像平面，根据与所述荧光内窥镜对应的相机标定获取所述坐标转换矩阵系数；

所述控制装置根据所述第三病灶尺寸和所述成像距离确定病灶实际尺寸。

在其中一个实施例中，所述控制装置还用于获取所述荧光内窥镜的物理参数，其中，所述物理参数包括棱镜参数、第一焦距和第二焦距；

所述控制装置根据折射定律获取棱镜参数、第一折射角和第二折射角的角度关系；其中，所述第一折射角为所述荧光内窥镜的可见光成像靶面上的折射角，所述第二折射角为所述荧光内窥镜的近红外光成像靶面上的折射角；

所述控制装置根据所述角度关系、第一焦距、第二焦距和所述第一病灶尺寸，确定所述第二病灶尺寸，其中，所述第一焦距为所述可见光成像靶面的焦距，所述第二焦距为所述近红外光成像靶面的焦距。

在其中一个实施例中，所述系统还包括统计装置，其中，所述统计装置用于获取在不同成像距离和不同激发光强下所述荧光内窥镜的荧光亮度统计值，并根据所述荧光亮度统计值拟合所述函数关系，所述控制装置根据所述函数关系确定所述成像距离。

在其中一个实施例中，所述控制装置还用于根据所述荧光图像获取所述第一病灶尺寸的第一坐标轴上的第一像素个数和第二坐标轴上的第二像素个数；其中，所述第一坐标轴与所述第二坐标轴垂直；

所述控制装置根据所述荧光图像的分辨率和所述荧光内窥镜的靶面参数，获取所述荧光图像的单位像素信息；其中，所述单位像素信息包括所述第一坐标轴上的第一单位像素信息和所述第二坐标轴上的第二单位像素信息；

所述控制装置根据所述第一像素个数和所述第一单位像素信息，获取所述第一病灶尺寸在所述第一坐标轴上的第一长度值；所述控制装置根据所述第二像素个数和所述第二单位像素信息，获取所述第一病灶尺寸在所述第二坐标轴上的第二长度值。

根据本发明的另一个方面，提供了一种荧光内窥镜的病灶尺寸测量方法，所述方法包括：

获取诊断组织的荧光图像与可见光图像，并依据所述荧光图像确定所述荧光图像上的第一病灶尺寸；

在将所述荧光图像与可见光图像进行像素对齐，并进行图像融合的情况下，根据所述第一病灶尺寸，确定所述可见光图像上的第二病灶尺寸；

根据所述第二病灶尺寸和坐标转换矩阵系数，确定物理成像平面上的第三病灶尺寸，并根据荧光内窥镜的荧光亮度、激发光强和成像距离的函数关系确定所述成像距离；其中，所述可见光图像的像素平面固定于所述物理成像平面，根据与所述荧光内窥镜对应的相机标定获取所述坐标转换矩阵系数；

根据所述第三病灶尺寸和所述成像距离确定病灶实际尺寸。

在其中一个实施例中，所述在将所述荧光图像与可见光图像进行像素对齐，并进行图像融合的情况下，根据所述第一病灶尺寸，确定所述可见光图像上的第二病灶尺寸包括：

获取所述荧光内窥镜的物理参数，其中，所述物理参数包括棱镜参数、第一焦距和第二焦距；

根据折射定律获取棱镜参数、第一折射角和第二折射角的角度关系；其中，所述第一折射角为所述荧光内窥镜的可见光成像靶面上的折射角，所述第二折射角为所述荧光内窥镜的近红外光成像靶面上的折射角；

根据所述角度关系、第一焦距、第二焦距和所述第一病灶尺寸，确定所述第二病灶尺寸，其中，所述第一焦距为所述可见光成像靶面的焦距，所述第二焦距为所述近红外光成像靶面的焦距。

在其中一个实施例中，所述根据荧光内窥镜的荧光亮度、激发光强和成像距离的函数关系确定所述成像距离包括：

获取在不同成像距离和不同激发光强下所述荧光内窥镜的荧光亮度统计值，根据所述荧光亮度统计值拟合所述函数关系，并根据所述函数关系确定所述成像距离。

在其中一个实施例中，所述依据所述荧光图像确定所述荧光图像上的第一病灶尺寸包括：

根据所述荧光图像获取所述第一病灶尺寸的第一坐标轴上的第一像素个数和第二坐标轴上的第二像素个数；其中，所述第一坐标轴与所述第二坐标轴垂直；

根据所述荧光图像的分辨率和所述荧光内窥镜的靶面参数，获取所述荧光图像的单位像素信息；其中，所述单位像素信息包括所述第一坐标轴上的第一单位像素信息和所述第二坐标轴上的第二单位像素信息；

根据所述第一像素个数和所述第一单位像素信息，获取所述第一病灶尺寸在所述第一坐标轴上的第一长度值；根据所述第二像素个数和所述第二单位像素信息，获取所述第一病灶尺寸在所述第二坐标轴上的第二长度值。

根据本发明的另一个方面，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一所述方法的步骤。

根据本发明的另一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述任一所述方法的步骤。

通过本发明，采用一种荧光内窥镜的病灶尺寸测量方法、系统及计算机设备，获取诊断组织的荧光图像与可见光图像，并依据该荧光图像确定该荧光图像上的第一病灶尺寸；在将该荧光图像与可见光图像进行像素对齐，并进行图像融合的情况下，根据该第一病灶尺寸，确定该可见光图像上的第二病灶尺寸；根据该第二病灶尺寸和坐标转换矩阵系数，确定物理成像平面上的第三病灶尺寸，并根据荧光内窥镜的荧光亮度、激发光强和成像距离的函数关系确定该成像距离；根据该第三病灶尺寸和该成像距离确定病灶实际尺寸，从而解决了应用的荧光内窥镜不能定量测量病灶实际尺寸的问题。

附图说明

图1为根据本发明实施例的一种相关技术中荧光内窥镜的示意图；

图2为根据本发明实施例的一种病灶尺寸测量方法的流程图一；

图3为根据本发明实施例的一种转换模型的示意图一；

图4为根据本发明实施例的一种病灶尺寸测量方法的流程图二；

图5为根据本发明实施例的一种转换模型的示意图二；

图6为根据本发明实施例的可见光图像下病灶的示意图；

图7为根据本发明实施例的一种病灶尺寸测量方法的流程图三；

图8为根据本发明实施例的一种病灶尺寸测量方法的流程图四；

图9为根据本发明实施例的荧光图像下病灶的示意图；

图10为根据本发明实施例的一种病灶尺寸测量系统的结构框图一；

图11为根据本发明实施例的一种病灶尺寸测量系统的结构框图二。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在本实施例中，提供了一种相关技术中的荧光内窥镜，图1为根据本发明实施例的一种相关技术中荧光内窥镜的示意图，如图1所示，该荧光内窥镜的基本结构包括镜管12、镜头14、分光棱镜16、第一滤光片18、可见光传感器110、第二滤光片112和近红外传感器114：该成像系统使用一台相机，镜管12探测到诊断组织并通过镜头14拍摄，由a处进行补光，所补光源耦合了可见光与近红外光，混合光可通过分光棱镜16分开，其中，该可见光经过第一滤光片18到达可见光传感器110，该近红外光经过第二滤光片112到达近红外传感器114，从而分别获得同一位置的彩色图像和荧光图像。

在本实施例中，提供了一种荧光内窥镜的病灶尺寸测量方法，图2为根据本发明实施例的一种病灶尺寸测量方法的流程图一，如图2所示，该方法包括如下步骤：

步骤s202，获取诊断组织的荧光图像与可见光图像，并依据该荧光图像确定该荧光图像上的第一病灶尺寸；其中，该荧光内窥镜探入人体或动物体内部后，可同时获取该荧光图像与可见光图像，该近红外传感器114实时获得该荧光图像，该可见光传感器110实时获得该可见光图像；该荧光图像中不包含色彩信息，但病灶部分由于icg标记的存在，在近红外光的激发下会发生反光，即病变部位比正常部位的亮度更高，因此该荧光图像的高亮区即为标记的病灶像素平面范围，根据该病灶像素平面范围进行计算可以得到该第一病灶尺寸。

步骤s204，在将该荧光图像与可见光图像进行像素对齐，并进行图像融合的情况下，根据该第一病灶尺寸，确定该可见光图像上的第二病灶尺寸；其中在像素对齐之后再进行该图像融合，使得该荧光图像与可见光图像合成在一起，从而形成一幅表明病灶的彩色图像，并获得该可见光图像的病灶区域的像素平面大小。

步骤s206，根据该第二病灶尺寸和坐标转换矩阵系数，确定物理成像平面上的第三病灶尺寸，并根据荧光内窥镜的荧光亮度、激发光强和成像距离的函数关系确定该成像距离；其中，该可见光图像的像素平面固定于该物理成像平面，根据相机标定获取该坐标转换矩阵系数；该坐标转换矩阵系数为可见光像素平面到物理成像平面的转换参数k，如公式1和公式2所示，可计算得到该第三病灶尺寸：

l_a(x,y)＝k×a1b1公式1

l_b(x,y)＝k×a1c1公式2

其中，a1b1为该第二病灶尺寸在第一坐标轴上的长度，a1c1为该第二病灶尺寸在第二坐标轴上的长度，l_a(x,y)为该第三病灶尺寸在第一坐标轴上的长度，l_b(x,y)为该第三病灶尺寸在第二坐标轴上的长度。

步骤s208，根据该第三病灶尺寸和该成像距离确定病灶实际尺寸；其中，图3为根据本发明实施例的一种转换模型的示意图一，如图3所示，其中长方形表示分光棱镜，ef为折射面，o点为等效光心，该等效光心通过对荧光内窥镜系统进行标定获得，l为物理成像平面在第一坐标轴上的病灶；根据小孔成像原理，由图3中的第一模型可以获得客观世界病灶实际范围；由于像素平面是固定于物理成像平面上的，因此等效光心o到物理成像平面的距离与到像素平面的距离相等，均为第一焦距f1，该第一焦距为可见光成像靶面的焦距，则该病灶实际尺寸如公式3和公式4所示：

其中，d为该成像距离，ab为该病灶实际尺寸在第一坐标轴上的长度，ac为该病灶实际尺寸在第二坐标轴上的长度。

相关技术中病灶的实际大小通常需要医生依靠经验进行主观估计，而本发明实施例通过上述步骤s202至s208，在荧光成像技术标记病灶的基础上，通过荧光内窥镜的荧光亮度、激发光强和成像距离的函数关系确定该成像距离，再根据荧光图像、可见光图像与实际病灶之间的配准、光学几何关系以及该成像距离定量计算出病灶实际尺寸大小，无需接触病灶且不用反复移动内窥镜位置来确定距离，减轻了医生的操作负担，解决了荧光内窥镜不能定量测量病灶实际尺寸的问题，此外，可同时获得可见光图像与荧光图像，避免了灯光切换过程中的微小移动所引入的对病灶尺寸测量的误差。

在一个实施例中，提供了一种荧光内窥镜的病灶尺寸测量方法，图4为根据本发明实施例的一种病灶尺寸测量方法的流程图二，如图4所示，该方法包括如下步骤：

步骤s402，获取该荧光内窥镜的物理参数，其中，该物理参数包括棱镜参数、第一焦距和第二焦距；该棱镜参数记为即该分光棱镜16的折射面与棱边的夹角；该第一焦距和第二焦距通过对荧光内窥镜系统进行标定获得。

步骤s404，根据折射定律获取棱镜参数、第一折射角和第二折射角的角度关系；其中，该第一折射角为该荧光内窥镜的可见光成像靶面上的折射角，该第二折射角为该荧光内窥镜的近红外光成像靶面上的折射角；图5为根据本发明实施例的一种转换模型的示意图二，如图5所示，其中长方形表示分光棱镜16，ef为折射面，so为垂直于折射面的法线；其中，由折射定律可以得出：

∠aob＝∠a2ob2＝∠a1ob1＝α公式5

步骤s406，根据该角度关系、第一焦距、第二焦距和该第一病灶尺寸，确定该第二病灶尺寸，其中，该第一焦距为该可见光成像靶面的焦距，该第二焦距为该近红外光成像靶面的焦距；

记∠b1oh1为β，根据公式6可以得到：

其中，b2h2为荧光图像像素平面距离，联立公式7和公式8可以计算得到b1h1长度值，当时可以简化计算；同理，根据公式5可以得到：

联立公式10和公式11可以计算得到a1h1长度值。

图6为根据本发明实施例的可见光图像下病灶的示意图，如图6所示，a1b1为该第二病灶尺寸在第一坐标轴上的长度，从上述公式可以得到a1b1，如公式11所示：

a1b1＝a1h1-b1h1公式11

同理可以获得该第二病灶尺寸在第二坐标轴上的长度。

通过上述步骤s402至s406，在像素对齐与图像融合过程中，依据该转换模型对该荧光图像和可见光图像的对应关系进行优化，从而使得可见光图像病灶的像素范围更加准确，进一步提高了定量测量病灶实际尺寸的准确性。

在一个实施例中，提供了一种荧光内窥镜的病灶尺寸测量方法，图7为根据本发明实施例的一种病灶尺寸测量方法的流程图三，如图7所示，该方法包括如下步骤：

步骤s702，获取在不同成像距离和不同激发光强下该荧光内窥镜的荧光亮度统计值，根据该荧光亮度统计值拟合该函数关系，并根据该函数关系确定该成像距离；其中，荧光图像的成像距离和激发光强会影响荧光的亮度值，进行人体外实验，记录荧光亮度统计值、成像距离、激发光强的变化数据，并根据获取的该变化数据拟合出亮度统计值y、成像距离d和激发光强i之间的函数关系，该函数关系记为y＝f(d，i)，当前激发光强i可由该荧光内窥镜测得，当前荧光亮度统计值y可由统计信息获得，因此根据函数关系f，可求得当前的成像距离d。

通过上述步骤s702，根据实验获取的在不同成像距离和不同激发光强下该荧光内窥镜的荧光亮度统计值，拟合出亮度统计值、成像距离和激发光强之间的函数关系，并根据该函数关系确定该成像距离，而不需要通过多次移动内窥镜或额外的硬件单元来实现距离测算，减小了移动过程中所造成的误差，同时减轻了医生的操作负担。

在一个实施例中，提供了一种荧光内窥镜的病灶尺寸测量方法，图8为根据本发明实施例的一种病灶尺寸测量方法的流程图四，如图8所示，该方法包括如下步骤：

步骤s802，根据该荧光图像获取该第一病灶尺寸的第一坐标轴上的第一像素个数和第二坐标轴上的第二像素个数；其中，该第一坐标轴与该第二坐标轴垂直；本实施例中，该第一像素个数为n，该第二像素个数为m；其中，图9为根据本发明实施例的荧光图像下病灶的示意图，如图9所示，荧光图像中的高亮部分即为荧光探针标记的病灶区域，对内窥镜荧光图像数据进行简单计算即可获得病灶最长和最宽部位的像素个数n和m。

步骤s804，根据该荧光图像的分辨率和该荧光内窥镜的靶面参数，获取该荧光图像的单位像素信息；其中，该单位像素信息包括该第一坐标轴上的第一单位像素信息和该第二坐标轴上的第二单位像素信息；由数据手册可知近红外光传感器靶面宽、高分别为r_a、r_b，拍摄图像的分辨率为r_width×r_height，该第一坐标轴为x轴，该第二坐标轴为y轴，则荧光图像像素坐标系下每个像素在x轴和y轴方向上对应的长度分别为：

步骤s806，根据该第一像素个数和该第一单位像素信息，获取该第一病灶尺寸在该第一坐标轴上的第一长度值；根据该第二像素个数和该第二单位像素信息，获取该第一病灶尺寸在该第二坐标轴上的第二长度值；通过前述步骤，a2b2、a2c2在荧光图像像素平面上的长度如公式13和公式14所示：

a2b2＝n×r_dx公式13

a2c2＝m×r_dy公式14

其中，a2b2为该第一病灶尺寸在该第一坐标轴上的第一长度值，a2c2为该第一病灶尺寸在该第二坐标轴上的第二长度值。

通过上述步骤s802至s806，通过荧光图像的统计信息获取该第一病灶尺寸的长度信息，且近红外光可以直接追踪获得荧光探针标记的病灶，无需利用图像分割等技术去获取病灶信息。

应该理解的是，虽然图2、图4、图7和图8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图4、图7和图8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在本实施例中，提供了一种荧光内窥镜的病灶尺寸测量系统，图10为根据本发明实施例的一种病灶尺寸测量系统的结构框图一，如图10所示，该系统包括荧光内窥镜102和控制装置104；

该荧光内窥镜102获取诊断组织的荧光图像与可见光图像，该控制装置104依据该荧光图像确定该荧光图像上的第一病灶尺寸；

该控制装置104在将该荧光图像与可见光图像进行像素对齐，并进行图像融合的情况下，根据该第一病灶尺寸，确定该可见光图像上的第二病灶尺寸；

该控制装置104根据该第二病灶尺寸和坐标转换矩阵系数，确定物理成像平面上的第三病灶尺寸，并根据该荧光内窥镜102的荧光亮度、激发光强和成像距离的函数关系确定该成像距离；其中，该可见光图像的像素平面固定于该物理成像平面，根据与该荧光内窥镜102对应的相机标定获取该坐标转换矩阵系数；

该控制装置104根据该第三病灶尺寸和该成像距离确定病灶实际尺寸。

通过上述实施例，通过该荧光内窥镜102获取诊断组织的荧光图像与可见光图像，在荧光成像技术标记病灶的基础上，通过该荧光内窥镜102的荧光亮度、激发光强和成像距离的函数关系确定该成像距离，该控制装置104根据荧光图像、可见光图像与实际病灶之间的配准、光学几何关系以及该成像距离定量计算出病灶实际尺寸大小，无需接触病灶且不用反复移动内窥镜位置来确定距离，减轻了医生的操作负担，解决了荧光内窥镜104不能定量测量病灶实际尺寸的问题。

在一个实施例中，该病灶尺寸测量系统的该控制装置104还用于获取该荧光内窥镜102的物理参数，其中，该物理参数包括棱镜参数、第一焦距和第二焦距；

该控制装置104根据折射定律获取棱镜参数、第一折射角和第二折射角的角度关系；其中，该第一折射角为该荧光内窥镜102的可见光成像靶面上的折射角，该第二折射角为该荧光内窥镜102的近红外光成像靶面上的折射角；

该控制装置104根据该角度关系、第一焦距、第二焦距和该第一病灶尺寸，确定该第二病灶尺寸，其中，该第一焦距为该可见光成像靶面的焦距，该第二焦距为该近红外光成像靶面的焦距。

在一个实施例中，提供了一种荧光内窥镜的病灶尺寸测量系统，图11为根据本发明实施例的一种病灶尺寸测量系统的结构框图二，如图11所示，该系统还包括统计装置112；

其中，该统计装置112用于获取在不同成像距离和不同激发光强下该荧光内窥镜102的荧光亮度统计值，并根据该荧光亮度统计值拟合该函数关系，该控制装置104根据该函数关系确定该成像距离。

在一个实施例中，该病灶尺寸测量系统的该控制装置104还用于根据该荧光图像获取该第一病灶尺寸的第一坐标轴上的第一像素个数和第二坐标轴上的第二像素个数；其中，该第一坐标轴与该第二坐标轴垂直；

该控制装置104根据该荧光图像的分辨率和该荧光内窥镜102的靶面参数，获取该荧光图像的单位像素信息；其中，该单位像素信息包括该第一坐标轴上的第一单位像素信息和该第二坐标轴上的第二单位像素信息；

该控制装置104根据该第一像素个数和该第一单位像素信息，获取该第一病灶尺寸在该第一坐标轴上的第一长度值；该控制装置104根据该第二像素个数和该第二单位像素信息，获取该第一病灶尺寸在该第二坐标轴上的第二长度值。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。