超声内镜小探头伸出长度的识别方法、系统及存储介质与流程

1.本发明涉及光学和超声内镜技术领域，尤其涉及一种超声内镜小探头伸出长度的识别方法、系统及存储介质，特别是一种光学内镜图像下超声内镜小探头(eus小探头)伸出长度的识别方法、系统及存储介质。


背景技术：

2.超声内镜(eus，endoscopic ultrasonography)是将一根长微型高频超声小探头通过光学内镜(简称“内镜”)的活检通道插入体腔后，在内镜图像上观察消化道黏膜病变的同时，超声小探头实时扫描，获得胃肠道的层次结构的组织学特征及周围邻近脏器的超声图像，从而进一步提高了内镜和超声的诊断水平。它结合了光学和超声的优势，给医生提供全面、多层次结构的组织器官成像。超声内镜小探头(eus小探头)被光学内镜成像，显示在光学内镜的图像主机显示屏上。现在医生操作内镜时，需要同时观察内镜成像，也要关注eus小探头的伸出情况，一方面需要将小探头伸出一定长度定位到可疑病灶附近，另一方面又要控制不能伸出过长，防止探头向前触伤人体。eus小探头伸出长度提示及伸出过长提示可以辅助医生更好的操作eus小探头，减轻医生负担。而目前常规内镜图像无法进行测量、且无法实时获取eus小探头从内镜器械通道出口伸出的长度。


技术实现要素：

3.针对以上技术问题，本发明公开了一种超声内镜小探头伸出长度的识别方法、系统及存储介质，能实时显示eus小探头伸出长度，并能在伸出过长时给予警示。
4.对此，本发明采用的技术方案为：
5.一种超声内镜小探头伸出长度的识别方法，其包括：
6.步骤s1，在光学内镜(以下简称“内镜”)图像中，通过检测是否有小探头外鞘管颜色区域，判断小探头伸出是否过长，否则进入下一步；
7.步骤s2，如果内镜图像中没有出现小探头外鞘管颜色部分，则从图像中分割出eus小探头的区域，然后对分割结果图像计算出内镜图像上当前eus小探头的伸出长度值，如果伸出长度值大于设定值，给予警示。
8.作为本发明的进一步改进，步骤s1包括，先将内镜rgb图像转换到yuv颜色空间，然后基于yuv颜色空间在图像中检索蓝色区域，出现蓝色区域即为小探头外鞘管后端蓝色区域在内镜图像上出现的区域，连续检测若干帧蓝色区域面积是否超过预设的面积阈值blunareath，如果有，则认为探头伸出过长，给予警示。
9.作为本发明的进一步改进，如果内镜图像中没有出现小探头外鞘管颜色部分时，当当前小探头的伸出长度值probelen≥thresh，则给予警示，其中thresh＝小探头前端外鞘管透明端物理长度
‑
σ，σ是设定的相对偏移量。进一步的，小探头前端外鞘管透明端物理长度为35mm；进一步的，设定σ＝3。
10.作为本发明的进一步改进，采用光学内镜图像eus小探头目标语义分割模块从图
像中分割出eus小探头的区域，采用eus小探头伸出长度估计模块对分割结果图像计算出光学内镜图像上当前小探头的伸出长度值；
11.所述光学内镜图像eus小探头目标语义分割模块采用卷积神经网络cnn模型进行小探头目标的语义分割，从图像中分割出eus小探头的区域；
12.所述eus小探头伸出长度估计模块对光学内镜图像eus小探头目标语义分割模块输出的分割结果图像，进一步进行二值化，得到包含eus小探头区域的二值掩模(mask)，通过形态学操作得到完整连通的小探头区域，通过连通区块分析，获得小探头区域掩模的顶端(最前端)中点p1(xp1,yp1)，底端(末端)中点p2(xp2,yp2)，根据顶端和底端位置点按照如下公式计算其像素欧式距离pixeldist；
[0013][0014]
其中，pixeldist即为当前内镜图像上eus小探头伸出的像素长度，即当前小探头的伸出长度值。
[0015]
作为本发明的进一步改进，所述卷积神经网络(cnn)模型进行预测过程的步骤包括：
[0016]
样本数据集准备：采集包含小探头不同伸出长度的内景图像作为光学内镜图像eus小探头目标语义分割模块的数据样本，每一张样本图像上，小探头实际伸出的物理长度预先都用卡尺测量并记录，每一张图像都有唯一的实际伸出长度物理值probelen与之对应；
[0017]
数据预处理和标注：在分割的速度和准确度上做折衷，将所有内镜图像样本数据重采样为128*128*3(rgb三通道)的大小再进行标注，对图像样本进行标注，标记出属于小探头部分的区域，制作带标签数据，将其分为两部分，大小分别为m、n，将m个样本做数据增强处理后得到m1个样本作为训练集，n个样本作为测试集；使用带编解码结构的语义分割网络如segnet、unet等模型对数据样本进行训练；
[0018]
依据要求的训练集和测试集的损失值和准确率，调整训练参数和数据样本构成，得到最优网络模型和权重文件；
[0019]
在线执行过程时，加载训练好的语义分割模型和权重文件，输入内镜图像(128*128*3)，端到端的实时输出分割结果图像(128*128)，结果图像中模型自动标记eus小探头目标区域概率。
[0020]
本发明还公开了对于离线的数据样本中每一幅内镜图像，对应有eus小探头伸出的像素长度pixeldist和实际probelen，训练集共有m组数据对(pixeldist，probelen)，通过最小二乘线性拟合得到如下线性关系：
[0021]
probelen＝a*pixeldist+b
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0022]
其中，a、b为拟合出的参数；
[0023]
在线执行过程中，通过实时获得当前内镜图像上eus小探头伸出的像素长度，并通过式(2)中的计算，实时得到当前内镜图像上eus小探头伸出的实际物理长度，显示数值提示。
[0024]
本发明还公开了一种超声内镜小探头伸出长度的识别系统，其包括：
[0025]
基于颜色特征的小探头伸出过长判别模块，用于在内镜图像中，通过检测是否有
小探头外鞘管颜色区域，判断小探头伸出是否过长；
[0026]
基于估计长度的小探头伸出过长判别模块，如果内镜图像中没有出现小探头外鞘管颜色部分，则通过光学内镜图像eus小探头目标语义分割模块、eus小探头伸出长度估计模块计算出内镜图像上当前小探头的伸出长度值，如果伸出长度值大于设定值，给予警示。
[0027]
作为本发明的进一步改进，所述基于颜色特征的小探头伸出过长判别模块，先将内镜rgb图像转换到yuv颜色空间，然后基于yuv颜色空间在图像中检索蓝色区域，出现蓝色区域即为小探头外鞘管后端蓝色区域在内镜图像上出现的区域，连续检测若干帧蓝色区域面积是否超过预设的面积阈值blunareath，如果有，则认为探头伸出过长，给予警示；
[0028]
所述光学内镜图像eus小探头目标语义分割模块采用卷积神经网络(cnn)模型进行小探头目标语义分割，从图像中分割出eus小探头的区域；
[0029]
所述eus小探头伸出长度估计模块对光学内镜图像eus小探头目标语义分割模块输出的分割结果图像，进一步进行二值化，得到包含eus小探头区域的二值掩模(mask)，通过形态学操作得到完整连通的小探头区域，通过连通区块分析，获得小探头区域掩模的顶端(最前端)中点p1(xp1,yp1)、底端(末端)中点p2(xp2,yp2)，根据顶端和底端位置点按照如下公式计算其像素欧式距离pixeldist；
[0030][0031]
其中，pixeldist即为当前内镜图像上eus小探头伸出的像素长度，即当前小探头的伸出长度值。
[0032]
作为本发明的进一步改进，所述基于颜色特征的小探头伸出过长判别模块在判断小探头伸出是否过长，如果内镜图像中没有出现小探头外鞘管颜色部分时，当当前小探头的伸出长度值probelen≥thresh，其中thresh＝小探头前端外鞘管透明端物理长度
‑
σ，则给予警示。其中，σ是设定的相对偏移量。
[0033]
作为本发明的进一步改进，所述卷积神经网络(cnn)模型进行预测过程的步骤包括：
[0034]
样本数据集准备：采集包含eus小探头不同伸出长度的内镜图像作为光学内镜图像eus小探头目标语义分割模块的数据样本，每一张样本图像上，小探头实际伸出的物理长度预先都用卡尺测量并记录，每一张图像都有唯一的实际伸出长度物理值probelen与之对应；
[0035]
数据预处理和标注：在分割的速度和准确度上做折衷，将所有内镜图像样本数据重采样为设定大小的大小再进行标注，对图像样本进行标注，标记出属于小探头部分的区域，制作带标签数据，将其分为两部分，大小分别为m、n，将m个样本做数据增强处理后得到m1个样本作为训练集，n个样本作为测试集；使用带编解码结构的语义分割网络如segnet、unet等模型对数据样本进行训练；其中优选的，所述设定大小为128*128*3(rgb三通道)。
[0036]
依据要求的训练集和测试集的损失值和准确率，调整训练参数和数据样本构成，得到最优网络模型和权重文件；
[0037]
在线执行过程时，加载训练好的语义分割模型和权重文件，输入内镜图像(如128*128*3)，端到端的实时输出分割结果图像(如128*128)，结果图像中模型自动标记eus小探头目标区域概率。
[0038]
作为本发明的进一步改进，对于离线的数据样本中每一幅内镜图像，对应有eus小探头伸出的像素长度pixeldist和实际probelen，训练集共有m组数据对(pixeldist，probelen)，通过最小二乘线性拟合得到如下线性关系：
[0039]
probelen＝a*pixeldist+b
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0040]
其中，a、b为拟合出的参数；
[0041]
在线执行过程中，通过实时获得当前内镜图像上eus小探头伸出的像素长度，并通过式(2)中的计算，实时得到当前内镜图像上eus小探头伸出的实际物理长度，显示数值提示。
[0042]
本发明还公开了一种计算机可读存储介质，所述机算机可读存储介质中存储有指令，当所述指令在光学内镜设备上运行时，使得所述光学内镜设备执行如上任一项所述的超声内镜小探头伸出长度的识别方法。
[0043]
本发明还公开了一种光学内镜，其包括：存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上任一项所述的超声内镜小探头伸出长度的识别方法。
[0044]
与现有技术相比，本发明的有益效果为：
[0045]
采用本发明的技术方案，能在光学内镜的图像主机显示屏上实时显示超声小探头(eus)伸出长度，同时当eus小探头伸出过长，提前给予手术医生警示，避免小探头顶端触碰软组织外壁，可以更好地支持医生手术，更加可靠。
附图说明
[0046]
图1是本发明实施例的eus小探头伸出过长判别处理基本流程框图。
[0047]
图2是本发明实施例的eus小探头在光学内镜的结构示意图。
[0048]
图3是本发明实施例的基于颜色的eus小探头伸出过长判别处理流程图。
[0049]
图4是本发明实施例的基于估计长度的eus小探头伸出过长判别处理流程图。
[0050]
图5是本发明实施例的eus小探头目标语义分割模块流程图。
[0051]
附图标记包括：
[0052]1‑
超声成像单元，2
‑
eus小探头外鞘管蓝色部分(外鞘管后端)，3
‑
光学内镜镜体插入部端面，4
‑
光学内镜镜体插入部；a
‑
弹簧座前端与外鞘管透明部最前端的距离；b
‑
外鞘管透明部分。
具体实施方式
[0053]
下面对本发明的较优的实施例作进一步的详细说明。
[0054]
一种超声内镜小探头伸出长度的识别方法，如图1所示，其包括：
[0055]
1、基于颜色特征的小探头伸出过长判别处理
[0056]
如图2所示，eus小探头的外鞘管包含一定长度的外鞘管透明部分b，也就是外鞘管前端，外鞘管透明部分b的后端是eus小探头外鞘管蓝色部分2，也就是蓝eus的色外鞘管，其中弹簧座前端与外鞘管透明部最前端的距离a为2
±
1mm，外鞘管透明部分b的长度为34
±
2mm，eus小探头外鞘管透明端包含超声成像单元1(换能器)，光学内镜镜体插入部4的光学内镜镜体插入部端面3有通过eus小探头的钳道出口，在当图像中eus的蓝色外鞘管出现时，
表明eus探头伸出长度超过35mm。基于此实际理论，按图3所示的步骤进行探头伸出是否过长判别，具体包括：
[0057]
首先将内镜rgb图像转换到yuv颜色空间，然后基于yuv颜色空间在图像中检索蓝色区域，出现蓝色区域即为小探头外鞘管后端蓝色区域在内镜图像上出现的区域，连续检测若干帧蓝色区域面积是否超过预设的面积阈值blunareath，如果有，则认为探头伸出过长，给予警示；否则进入基于估计长度的eus小探头伸出过长判别处理流程。
[0058]
2、基于估计长度的小探头伸出过长判别处理
[0059]
当内镜图像中没有出现外鞘管蓝色部分时，通过内镜图像eus小探头目标语义分割模块、eus小探头伸出长度估计模块计算出内镜图像上当前小探头的伸出长度值，如果该长度值probelen≥thresh，其中thresh＝35
‑
σ，则给予警示。其中35表示小探头前端外鞘管透明端物理长度，单位mm，σ是相对偏移量，设为σ＝3。判别过程如图4所示，主要包含eus小探头目标语义分割模块进行语义分割、eus小探头伸出长度估计模块估计伸出长度、小探头伸出过长判别。
[0060]
(1)eus小探头目标语义分割模块进行语义分割
[0061]
内镜图像上eus小探头目标分割采用卷积神经网络(cnn)模型进行小探头目标语义分割，从图像中分割出eus小探头的区域。本发明基于模型训练预测过程如图5所示包括如下几个步骤：
[0062]
(a)样本数据集准备：采集包含小探头不同伸出长度的内景图像作为内镜图像eus小探头目标语义分割模块的数据样本，每一张样本图像上，小探头实际伸出的物理长度预先都用卡尺测量并记录，每一张图像都有唯一的实际伸出长度物理值probelen与之对应(单位mm)；
[0063]
(b)数据预处理和标注：在分割的速度和准确度上做折衷，本发明将所有内镜图像样本数据重采样为128*128*3(rgb三通道)的大小再进行标注。对图像样本进行标注，人工标记出属于小探头部分的区域，制作带标签数据，将其分为两部分，大小分别为m,n,因医学图像数据量有限，本发明对样本数据进行一定比例的旋转、缩放、翻转和移位，将m个样本做数据增强处理后得到m1个样本作为训练集，n个样本作为测试集；
[0064]
(c)语义分割模型训练：使用现有广泛使用的带编解码结构的语义分割网络如segnet、unet等模型对数据样本进行训练；
[0065]
依据要求的训练集和测试集的损失值和准确率，调整训练参数和数据样本构成，得到最优网络模型和权重文件；
[0066]
(d)语义分割模型执行：在线执行过程时，加载训练好的语义分割模型和权重文件，输入内镜图像(128*128*3)，端到端的实时输出分割结果图像(128*128)，结果图像中模型自动标记了eus小探头目标区域概率。
[0067]
(2)eus小探头伸出长度估计模块估计伸出长度
[0068]
(a)对内镜图像上eus小探头目标语义分割模块中语义分割网络输出的分割结果图像，进一步进行二值化，得到包含eus小探头区域的二值掩模(mask)，通过形态学操作得到完整连通的小探头区域，通过连通区块分析，获得小探头区域掩模的顶端(最前端)中点p1(xp1,yp1)，底端(末端)中点p2(xp2,yp2)，根据顶端和底端位置点按照如下公式(1)计算其像素欧式距离pixeldist；
[0069][0070]
其中，pixeldist即为当前内镜图像上eus小探头伸出的像素长度。
[0071]
(b)至此，对于离线的样本数据中每一幅内镜图像，都获得了eus小探头伸出的像素长度pixeldist和实际probelen。训练集共有m组数据对(pixeldist,probelen)。考虑内镜图像上eus小探头透明端伸出长度不超过35mm(超过35mm会出现蓝色鞘管，直接在提示伸出过长了)，不考虑前端伸出后弯曲等问题。内镜成像与普通摄像机成像原理相同，三维空间中小探头实物在空间中的位置坐标和尺寸(probelen)与在图像上的位置坐标与尺寸(pixeldist)由内镜(摄像机)外参和内参共同确定，在手术过程中，通过内镜器械通道移动伸出探头过程中，伸出位置在内镜视野中比较固定，仅有探头伸出伸出变化，内镜移动探头会跟随移动，因而移动小探头过程中，内镜(摄像机)可认为是相对静止的，其内参和外参不变化。则三维空间中的小探头实物尺寸probelen与pixeldist仅是一个简单的线性关系，可依据训练集的m组数据对(pixeldist,probelen)通过最小二乘线性拟合得到一组线性关系：
[0072]
probelen＝a*pixeldist+b
ꢀꢀꢀ
(2)，
[0073]
其中a、b为拟合出的参数。
[0074]
(c)在线执行过程中，通过上述步骤(a)实时获得当前内镜图像上eus小探头伸出的像素长度，并通过步骤(b)中的计算公式，probelen＝a*pixeldist+b，实时得到当前内镜图像上eus小探头伸出的实际物理长度(单位mm)，显示数值提示。
[0075]
(3)小探头伸出过长判别
[0076]
通过以上eus小探头目标语义分割模块、eus小探头伸出长度估计模块计算出内镜图像上当前小探头的伸出长度值，如果该长度值probelen≥thresh，thresh＝35
‑
σ，则给予警示。其中35表示小探头前端外鞘管透明端物理长度，单位mm，σ是相对偏移量，设为σ＝3。
[0077]
本发明还公开了一种超声内镜小探头伸出长度的识别系统，其包括：
[0078]
基于颜色特征的小探头伸出过长判别模块，用于在内镜图像中，通过检测是否有小探头外鞘管颜色区域，判断小探头伸出是否过长；
[0079]
基于估计长度的小探头伸出过长判别模块，如果内镜图像中没有出现小探头外鞘管颜色部分，则通过内镜图像eus小探头目标语义分割模块、eus小探头伸出长度估计模块计算出内镜图像上当前小探头的伸出长度值，如果伸出长度值大于设定值，给予警示。
[0080]
进一步的，所述基于颜色特征的小探头伸出过长判别模块，先将内镜rgb图像转换到yuv颜色空间，然后基于yuv颜色空间在图像中检索蓝色区域，出现蓝色区域即为小探头外鞘管后端蓝色区域在内镜图像上出现的区域，连续检测若干帧蓝色区域面积是否超过预设的面积阈值blunareath，如果有，则认为探头伸出过长，给予警示；
[0081]
所述内镜图像eus小探头目标语义分割模块采用卷积神经网络(cnn)模型进行小探头目标语义分割，从图像中分割出eus小探头的区域；
[0082]
所述eus小探头伸出长度估计模块对内镜图像eus小探头目标语义分割模块输出的分割结果图像，进一步进行二值化，得到包含eus小探头区域的二值掩模(mask)，通过形态学操作得到完整连通的小探头区域，通过连通区块分析，获得小探头区域掩模的顶端(最前端)中点p1(xp1,yp1)、底端(末端)中点p2(xp2,yp2)，根据顶端和底端位置点按照如下公
式计算其像素欧式距离pixeldist；
[0083][0084]
其中，pixeldist即为当前内镜图像上eus小探头伸出的像素长度，即当前小探头的伸出长度值。
[0085]
所述基于颜色特征的小探头伸出过长判别模块在判断小探头伸出是否过长，如果内镜图像中没有出现小探头外鞘管颜色部分时，当当前小探头的伸出长度值probelen≥thresh，则给予警示。其中，thresh＝小探头前端外鞘管透明端物理长度
‑
σ，σ是设定的相对偏移量。
[0086]
进一步的，所述卷积神经网络(cnn)模型进行预测过程的步骤包括：
[0087]
样本数据集准备：采集包含小探头不同伸出长度的内景图像作为内镜图像eus小探头目标语义分割模块的数据样本，每一张样本图像上，小探头实际伸出的物理长度预先都用卡尺测量并记录，每一张图像都有唯一的实际伸出长度物理值probelen与之对应；
[0088]
数据预处理和标注：在分割的速度和准确度上做折衷，将所有内镜图像样本数据重采样为设定大小再进行标注，对图像样本进行标注，标记出属于小探头部分的区域，制作带标签数据，将其分为两部分，大小分别为m、n，将m个样本做数据增强处理后得到m1个样本作为训练集，n个样本作为测试集；使用带编解码结构的语义分割网络如segnet、unet等模型对数据样本进行训练；
[0089]
依据要求的训练集和测试集的损失值和准确率，调整训练参数和数据样本构成，得到最优网络模型和权重文件；
[0090]
在线执行过程时，加载训练好的语义分割模型和权重文件，输入内镜图像，端到端的实时输出分割结果图像，结果图像中模型自动标记eus小探头目标区域概率。
[0091]
对于离线的数据样本中每一幅内镜图像，对应有eus小探头伸出的像素长度pixeldist和实际probelen，训练集共有m组数据对(pixeldist，probelen)，通过最小二乘线性拟合得到如下线性关系：
[0092]
probelen＝a*pixeldist+b
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0093]
其中，a、b为拟合出的参数；
[0094]
在线执行过程中，通过实时获得当前内镜图像上eus小探头伸出的像素长度，并通过式(2)中的计算，实时得到当前内镜图像上eus小探头伸出的实际物理长度，显示数值提示。
[0095]
本发明还公开了一种计算机可读存储介质，所述机算机可读存储介质中存储有指令，当所述指令在光学内镜设备上运行时，使得所述内镜设备执行如上任一项所述的超声小探头伸出长度的识别方法。
[0096]
本发明还公开了一种光学内镜，其包括：存储器、处理器、及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上任一项所述的超声内镜小探头伸出长度的识别方法。
[0097]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的
保护范围。