基于亮度分类的内窥镜图像镜面反射检测与修复方法

1.本发明涉及图像处理技术领域，更具体的说是涉及基于亮度分类的内窥镜镜面图像反射检测与修复方法。


背景技术：

2.目前对内窥镜图像镜面反射检测的方法主要分为基于颜色空间的方法、基于深度学习的方法、基于双色反射模型的方法。由于从不同类型的mis程序或医疗扫描仪获得的图像数据的特征存在很大的差异，现有镜面反射检测方法的主要缺陷是普适性差、计算复杂度高，误检测率高。大多数检测方法局限于特定的图像，在低亮度图像、图像整体亮度较高、器官表面纹理复杂的情况下无法正确检测到镜面反射区域，这些方法可能更适用于检测某一类中等亮度内镜图像中高强度的镜面高光，但不能适应不同类型内窥镜图像序列的颜色变化。
3.1.基于颜色空间的方法；
4.基于颜色空间的方法与机器学习技术相比计算量更少，因此在实践中具有优势。它利用不同模式(如hsv、yuv、rgb)下的颜色分布特征来检测内窥镜图像中的高光，它们的成功实施通常涉及到经验参数的选择，参数不能在不同场景下进行自适应调整，并且对于低亮度图像和高亮度图像，检测性能会变差，检测效果不佳。
5.2.基于双色反射模型的方法；
6.双色反射模型广泛应用于自然图像中的镜面反射检测，具体来说，该方法利用强度比从图像中提取镜面反射和漫反射分量，漫反射分量表示真实的颜色信息，镜面反射分量表示高光。基于双色反射模型的方法之间的差异在于如何执行这种分离。该方法的性能受到许多因素的影响，如对象的材质、运动和结构，因此它适用于静态的自然图像。但是内窥镜图像内亮点为粘液的镜面反射，亮度过高，漫反射成分很低甚至没有，使得高亮区域检测及修复效果很差。
7.3.基于深度学习的方法；
8.相比于基于颜色空间的方法，使用深度学习对内窥镜图像中的镜面反射区域进行检测可以获得更高的精度。虽然这类方法不依赖于许多假设，但它们的计算复杂度很高，不适合实际应用。此外，这些方法大多需要大量完全标记的数据。
9.现有的研究以及相应的解决方案都只集中在一个具体的问题上，即要么只检测与修复图像中的亮点，要么只增强低亮度图像，现有镜面反射检测方法的主要缺陷是普适性差、计算复杂度高、误检测率高。大多数检测方法局限于特定的图像，在低照度图像、图像整体亮度较高、器官表面纹理复杂的情况下无法正确检测到镜面反射区域，这些方法可能更适用于检测某一类中等亮度内镜图像中高强度的镜面高光，但不能适应不同类型内窥镜图像序列的颜色变化。


技术实现要素：

10.有鉴于此，本发明提供了基于亮度分类的内窥镜镜面图像反射检测与修复方法，以解决背景技术中提及的技术问题。
11.为了实现上述目的，本发明采用如下技术方案：
12.一种基于亮度分类的内窥镜镜面图像反射检测与修复方法，包括如下具体步骤：
13.将原始内窥镜图像根据平均亮度进行图像分类；
14.对分类结果进行镜面反射检测，得到全局高光二值图像和局部高光二值图像，并进行融合，同时基于cov的判别方法去除饱和非亮点区域；
15.基于改进的criminisi算法来修复图像亮点区域。
16.优选的，在上述的一种基于亮度分类的内窥镜镜面图像反射检测与修复方法中，图像分类具体步骤如下：基于图像平均亮度设定阈值来进行图像分类，分类规则如下：
[0017][0018][0019]
其中，i为输入的原始内窥镜图像，la为图像的平均亮度，la为预期正常图像的全局平均亮度，ih是i经过分类识别为高亮度图像，im是i经过分类识别为中等亮度图像，i
l
是i经过分类识别为低亮度图像。
[0020]
优选的，在上述的一种基于亮度分类的内窥镜镜面图像反射检测与修复方法中，得到局部高光二值图像的具体步骤如下：
[0021]
对低亮度图像增强图像的亮度分量；
[0022]
将待检测高光图像转化为灰度图，使用边缘检测算子laplacian算子计算出灰度图的梯度图像，再剔除低亮度边缘；
[0023]
细化检测得到局部高光二值图像。
[0024]
优选的，在上述的一种基于亮度分类的内窥镜镜面图像反射检测与修复方法中，对低亮度图像增强图像的亮度分量具体步骤如下：
[0025]
将低亮度图像从rgb颜色空间转到hsv颜色空间，提取v通道分量，对其进行自适应伽马校正，得到低频分量lf
γ
；
[0026]
用奇异值分解提取原始v通道的低频分量lf和伽马校正值通道v
γ
的低频分量lf
γ
对应的奇异值矩阵δ和δ
γ
；
[0027]
计算均衡化奇异值矩阵；
[0028]
对均衡化奇异值矩阵执行逆奇异值分解，以生成均衡的低频分量lf
eq
；
[0029]
使用软阈值，对原始v通道高频分量进行去噪，利用奇异值均衡的低频分量lf
eq
和去噪后的高频分量hf执行逆小波变换，得到原始内窥镜图像增强后的v通道分量；再将增强后的hsv颜色空间图像转到rgb空间，得到亮度增强图像。
[0030]
优选的，在上述的一种基于亮度分类的内窥镜镜面图像反射检测与修复方法中，得到全局高光二值图像的具体步骤如下：
[0031]
采用高帽滤波和低帽滤波增强输入的待检测高光图像的对比度；
[0032]
提取对比度增强图像的g、b通道分量，再分别计算g、b通道分量的标准差；
[0033]
定义基于图像亮度的自适应阈值函数检测出全局高光二值图像。
[0034]
优选的，在上述的一种基于亮度分类的内窥镜镜面图像反射检测与修复方法中，基于cov的判别方法去除饱和非亮点区域具体步骤如下：
[0035]
利用高光区域轮廓长度是否大于c，判断是否存在潜在的饱和非高光区域，若存在，计算出潜在区域的cov值cv1、其他高光区域的cov值cv2,
[0036]
c＝{c1,c2,c3……ci
……cn
}
ꢀꢀꢀ
(2-8)；
[0037][0038][0039]
在式2-8中，c为亮点轮廓集合，ci为亮点轮廓ci的长度，γ为调节参数，n为亮点个数，σ为标准差，μ为均值；
[0040]
若cv1≥cv2，则为大亮点区域，无需去除，若cv1《cv2，则为非高光区域，则在检测到的高光结果中去除该大尺寸区域。
[0041]
优选的，在上述的一种基于亮度分类的内窥镜镜面图像反射检测与修复方法中，改进的criminisi算法来修复图像亮点区域具体步骤如下：
[0042]
确定优先级计算范围为该单亮点边缘；
[0043]
基于改进的优先级函数计算亮点边缘优先级，并确定优先级最大的像素点；
[0044]
基于自适应搜索范围策略搜索最佳匹配块；
[0045]
将最佳匹配块中的像素对应复制到目标块中的未知像素点,更新置信度和亮点边缘直至该亮点修复完成，最后依次修复每个亮点区域直至修复完成。
[0046]
优选的，在上述的一种基于亮度分类的内窥镜镜面图像反射检测与修复方法中，改进的优先级函数：
[0047][0048]
曲率项：
[0049]
上式中，w表示控制置信项、数据项曲线平滑度的正则化因子，0《w《1，β是权重因子，
[0050]
经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于亮度分类的内窥镜镜面图像反射检测与修复方法，本发明提出的检测算法不仅能准确检测出高光区域，还能避免检测到中等亮度图像中大的饱和非亮点区域。通过改进的criminisi函数对高光区域进行修复，不仅能够保留器官表面的纹理、结构和细节，修复时间也大大缩短。特别是对于低亮度图像，本发明不仅能实现亮度增强，还能准确检测出增强图像的镜面反射区域并修复，提升了图像质量。
附图说明
[0051]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0052]
图1为本发明提供的方法流程图；
[0053]
图2为本发明提供的图像分类及低亮度图像亮度增强流程图；
[0054]
图3为本发明提供的高光图像的r、g、b三通道直方图；
[0055]
图4为本发明提供的去除错误检测示意图；
[0056]
图5为本发明提供的亮点区域及其邻域示意图；
[0057]
图6为本发明提供的镜面反射检测结果对比图；
[0058]
图7为本发明提供的内窥镜图像镜面反射检测与修复结果图。
具体实施方式
[0059]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0060]
本发明实施例公开了一种基于亮度分类的内窥镜镜面图像反射检测与修复方法，提出的检测算法不仅能准确检测出高光区域，还能避免检测到中等亮度图像中大的饱和非亮点区域。通过改进的criminisi函数对高光区域进行修复，不仅能够保留器官表面的纹理、结构和细节，修复时间也大大缩短。特别是对于低亮度图像，本发明不仅能实现亮度增强，还能准确检测出增强图像的镜面反射区域并修复，提升了图像质量。
[0061]
本发明的实施例公开了一种基于亮度分类的内窥镜镜面图像反射检测与修复方法，如图1所示。
[0062]
步骤1图像分类及低亮度图像增强。首先，基于图像平均亮度设定阈值来进行图像分类，将原始内窥镜图像分为高亮度图像h1，中等亮度图像m1，低亮度图像l1三类。其次，对于低亮度图像l1，提取图像v通道分量，对v分量进行自适应伽马校正(agc)，对原始和伽玛校正后的v通道执行离散小波分解，对低频分量进行奇异值均衡，得到低亮度图像增强图像l2。
[0063]
步骤2镜面反射检测。首先采用高帽滤波和低帽滤波增强图像对比度，提取增强图像的g,b通道，接着使用提出的自适应阈值函数检测出全局高光二值图像，再使用laplacian算子对原始图像的灰度图进行滤波得到梯度图像，剔除低亮度边缘得到局部高光二值图像，结合全局高光二值图像、局部高光二值图像，对检测到的掩膜采用形态学膨胀操作来扩大与镜面反射对应的区域，得到边界扩充后的高亮点区域掩膜图像，再基于亮点轮廓长度判断是否存在潜在饱和非亮点区域，若存在，基于cov的判别方法以去除饱和非亮点区域。
[0064]
步骤3镜面反射修复。基于改进的criminisi算法来修复图像亮点区域。首先确定待修复亮点边缘，提出改进的优先级计算函数，计算单个亮点上的像素点优先级，基于自适
应搜索范围策略搜索匹配块，将匹配准则修改为平均ssd距离，再将最佳匹配块中的像素点对应复制到目标块中的未知像素点，更新置信度和亮点边缘直至该亮点修复完成，最后依次修复每个亮点区域直至修复完成。
[0065]
在步骤1中，图像分类及低亮度图像亮度增强算法：
[0066]
由于从不同类型的mis程序或医疗扫描仪获得的图像数据存在很大的亮度差异，会对后续的镜面反射检测算法产生较大影响，因此基于图像平均亮度设定阈值来进行图像分类，分类规则如下：
[0067][0068][0069]
其中，i为输入的原始内窥镜图像，la为图像的平均亮度，la为预期正常图像的全局平均亮度，ih是i经过分类识别为高亮度图像，im是i经过分类识别为中等亮度图像，i
l
是i经过分类识别为低亮度图像，经过大量实验得到，当t1值选用112，t1值选用0.3时，分类效果最佳。
[0070]
对于低亮度图像，需要充分增强图像的亮度分量。首先将低亮度图像从rgb颜色空间转到hsv颜色空间，提取v通道分量，对其进行自适应伽马校正，为了避免图像颜色失真，保留h、s分量。伽马修正函数定义为:
[0071]vγ
＝cv
γ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1-3)
[0072]
其中v
γ
为伽马校正值通道(v)，c和γ为根据图像信息塑造变换曲线的自适应参数。
[0073]
利用μ+σ与μ-σ的差值d来判断图像是低对比度还是中等对比度：
[0074]
d＝(μ+σ)-(μ-σ)
ꢀꢀ
(1-4)
[0075]
当时图像为低对比度，当时图像为中等对比度，参数τ设为3。
[0076]
对于低对比度的图像，计算γ的公式为(1-5)：
[0077]
γ＝-log2(σ)
ꢀꢀ
(1-5)
[0078]
c的值为:
[0079][0080]
k的值为:
[0081]
k＝v
γ
+（1-v
γ
)
×
μ
γ
ꢀꢀ
(1-7)
[0082]
对于对比度中等的图像，用式(1-8)计算γ:
[0083][0084]
对于低亮度图像，c依赖于k，因此将较低的强度级扩展到更高的强度级，对于σ较低的图像，变换曲线更陡。
[0085]
奇异值分解(svd)被认为可以解决照明问题，奇异值矩阵表示输入图像的强度信
息，对奇异值矩阵的任何修改都会影响图像的强度。用奇异值分解(svd)提取原始v通道的低频分量lf和伽马校正值通道v
γ
的低频分量lf
γ
对应的奇异值矩阵δ和δ
γ
：
[0086]
lf
svd
＝uδv
t
ꢀꢀ
(1-9)
[0087][0088]
其中，u和v对应低频分量lf，u
γ
和v
γ
对应低频分量lf
γ
。
[0089]
增强因子∈为：
[0090][0091]
计算均衡化奇异值矩阵δ
eq
:
[0092]
δ
eq
＝∈δ
ꢀꢀ
(1-12)
[0093]
对均衡奇异值矩阵执行逆svd，以生成均衡的低频分量lf
eq
:
[0094]
lf
eq
＝uδ
eqvt
ꢀꢀ
(1-13)
[0095]
使用软阈值，对原始v通道高频分量进行去噪，利用奇异值均衡的低频分量lf和去噪后的高频分量hf执行逆小波变换，得到原始内窥镜图像增强后的v通道分量。再将增强后的hsv颜色空间图像转到rgb空间，得到亮度增强图像lv。
[0096]
在步骤2中，镜面反射检测算法：
[0097]
通常情况下，在内窥镜图像非高光区域，由于血红蛋白的存在，大多数内窥镜图像是红色的，并且红色通道r的数值高于绿色g和蓝色b通道的数值。然而，在高光区域下，三个通道的数值几乎相同且很高，特别是对于较大的高光区域。图3为含有镜面反射区域的内窥镜图像的r、g、b三通道的直方图，由图3可见，g、b通道颜色在漫反射和镜面反射之间具有较大区分度。
[0098]
考虑到上述信息，对于全局高光，本实施例提出的自适应阈值函数只考虑g、b通道的颜色变化，首先采用高帽滤波和低帽滤波增强输入的待检测高光图像的对比度，接着提取对比度增强图像的g、b通道分量，再分别计算g、b通道分量的标准差σg,σb:
[0099][0100][0101][0102][0103]
其中，n是图像像素数量，xi是当前像素值，μg,μb分别是g、b通道分量的均值。
[0104]
自适应阈值函数th定义为：
[0105]
[0106][0107]
式(2-6)中，max(g,b)为g,b通道强度最大值，τ为根据图像亮度自适应调整的参数。当图像整体亮度偏高时，固定参数的自适应阈值会导致阈值较小，将更多的亮度偏高的非高光区域误检测为高光；当图像整体亮度偏低时，固定参数的自适应阈值会导致阈值较大，将遗漏更多的正确的高亮像素，因此，对于高亮度图像，自适应参数应设置小一点以保证阈值大一点，对于低亮度图像，自适应参数应设置大一点以保证阈值小一点。经过大量统计实验，确定高亮度图像的τ为0.3，中等亮度图像的τ为0.8，亮度增强后的低亮度图像的τ为1.1最合适。
[0108]
而对于局部高光二值图像，考虑了梯度信息的大小，首先将待检测高光图像转化为灰度图，再使用边缘检测算子laplacian算子计算出灰度图的梯度图像，再剔除低亮度边缘，阈值为th1，进一步细化检测得到局部高光二值图像。
[0109]
th1＝th-10
ꢀꢀ
(2-7)
[0110]
融合全局高光二值图像、局部高光二值图像，由于光晕效应导致亮点周围可能有黑圈或者彩圈，采用形态学膨胀操作扩大检测到的亮点区域，本实施例使用的是结构元素是大小为3的圆盘形状。对于中等亮度图像，图像中可能会存在明亮的饱和非高光区域，如图4(a)左下角区域，现有的算法将其视之为高光，本实施例基于亮点轮廓长度和变异系数(cov)去除这种错误分割。首先利用高光区域轮廓长度是否大于c这一信息判断是否存在潜在的饱和非高光区域，若存在，计算出该潜在区域(图4(b)蓝框)的cov值cv1、其他高光区域(图4(b)紫框)的cov值cv2,
[0111]
c＝{c1,c2,c3……ci
……cn
}
ꢀꢀ
(2-8)
[0112][0113][0114]
在式2-8中，c为亮点轮廓集合，ci为亮点轮廓ci的长度，γ为调节参数，n为亮点个数，本实施例所有实验γ值均取4；σ和μ为区域内的标准差和均值。
[0115]
变异系数(cov)反映了区域内的强度均匀性，一般用来定量评估无地面真相图像的修复结果，由于高光区域的cov值要远大于无高光区域，若cv1≥cv2，则为大亮点区域，无需去除，若cv1《cv2,则为非高光区域，则在检测到的高光结果中去除该大尺寸区域。
[0116]
在步骤3中，改进的criminisi图像修复算法
[0117]
如图5中：ω表示待修复的亮点区域，表示亮点区域的边界线，ψp是以位于亮点区域边界线上的以p点为中心的待修复样本块，n
p
作为p点的法线矢量，表示p点的等照度线方向，φ表示信息完好区域。
[0118]
criminisi算法根据优先级函数来确定图像修复顺序，以保持结构完整连贯，但可能会出现两种现象，会对填充顺序产生负面影响，从而影响修复结果。第一个是置信项c(p)可能会呈指数下降，这种现象导致了c(p)和d(p)之间的不平衡，从而使得现有的修复算法不适合处理某些含有强结构区域的内窥镜图像。有两种方法可以避免这种现象。第一种是
用于控制c(p)下降的正则化项，第二种是将优先项的乘法定义改为加权求和的方式。第二种现象是，当置信项可能很大时，数据项d(p)可能为零，为了避免产生错误的填充顺序，现有研究方法提出了一个曲率项与数据项相结合的方法。
[0119]
综上所述，为了使优先级函数具有鲁棒性，本实施例提出了一个新的优先级函数计算公式：
[0120][0121]
曲率项：上式中，w表示控制置信项、数据项曲线平滑度的正则化因子，0《w《1，β是权重因子，在本实施例中，w＝0.7，β＝0.7，小于β的目的在于优先修复结构信息较为明显的区域。
[0122]
由于内窥镜图像中镜面反射区域的大小，位置都是随机的，当我们首次确定待修复单亮点边缘时，只需要计算该单个亮点边缘像素点的优先级大小，找到优先级最大的像素点，以其为中心确定一个9
×
9的待修复目标块，同时采用自适应搜索范围策略，根据亮点轮廓长度lc采取不同的扩张系数n来确定搜索范围:
[0123]
扩张系数n:
[0124][0125]
其中a由图片分辨率决定，n1,n2,按照图像纹理结构复杂度不同而进行不同的调整，lc为高亮点轮廓长度。
[0126]
搜索范围的上下左右边界us,ds,ls,rs：
[0127]us
＝y
up-nh
ꢀꢀ
(3-3)
[0128]ds
＝y
down
+nh
ꢀꢀ
(3-4)
[0129]
ls＝x
left-nw
ꢀꢀ
(3-5)
[0130]rs
＝x
right
+nw
ꢀꢀ
(3-6)
[0131]
其中，y
up
为亮点上极点的纵坐标，y
down
为下极点的纵坐标，x
left
为左极点的横坐标，x
right
为右极点的横坐标。
[0132]
在一定程度上，平均ssd距离能更好地反映样本快的平均相似度。平均ssd距离定义为：
[0133][0134]
其中为每个颜色通道的强度平均值。
[0135]
在搜索范围内搜索出与目标块之间平均ssd距离最小的样本块即为最佳匹配块，将匹配块中的像素对应复制到目标块中的未知像素点,更新置信度和亮点边缘直至该亮点修复完成，最后依次修复每个亮点区域直至修复完成。
[0136]
图6显示了每一种检测方法所识别出的镜面反射区域(绿色部分)，第一行从左至
右分别为亮图像1(h1)，亮图像2(h2)，中等图像1(m1)，低亮度图像1(l1),第二行到第五行分别为其他算法的检测结果，第六行为提出算法的检测结果。相比于其他算法，结果的可视化表示清楚地表明提出的算法镜面反射区域识别结果更加精确。
[0137]
图7显示了本实施例具体每一步的效果图。结果表明，本发明所提出的检测算法能够实现对不同亮度的内窥镜图像的分类，有效地增强低亮度图像的亮度，准确检测出不同亮度图像的镜面反射区域，有效地修复内窥镜图像镜面反射区域，在很大程度上保留了原图像纹理、细节和结构。
[0138]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0139]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。