一种图像增强方法、装置、设备及存储介质与流程

1.本发明涉及图像处理技术领域，特别是涉及一种图像增强方法、装置、设备及存储介质。


背景技术：

2.在日常生活和工作中，图像无处不在，是获取信息最直观最简单的方式，同时也是最有效的信息传播媒介。在实验和科研中，图像也占据了非常重要的位置，是研究和探索的主要目标。图像增强是数字图像处理中比较关键的一步，大大提高和改善了后续的目标跟踪、模式识别等系统的准确率。
3.目前，采用图像全局增强的方式，虽然能对图像中的前景目标起到凸显纹理、形态、色彩等效果，但也会对图像背景产生一定影响。如果图像增强过度，会对前景目标和背景都起到特性强化，导致图像整体出现噪声过大、像素颜色以及部分纹理的失真等问题，背景的增强过度会导致前景目标增强效果被削弱，不能达到凸显目标的视觉效果，或者引起整图的视觉效果失真或变化过度，影响用户对图像的观察及判断。
4.因此，如何着重强化改善目标在整图中的视觉效果，是本领域技术人员亟待解决的技术问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种图像增强方法、装置、设备及存储介质，可以在保持图像整体不失真的前题下，更加凸显前景目标，使得对图像中前景目标的观察能更清晰准确。其具体方案如下：
6.一种图像增强方法，包括：
7.对原始图像进行预处理，得到待分割图像；
8.分别采用多尺度高斯匹配滤波法和自适应阈值化算法分割提取出所述待分割图像中的目标mask；
9.将提取的两个目标mask进行合并处理，得到合并后的目标部分；
10.只对所述目标部分的图像信息特性进行增强，并将增强后的所述目标部分的像素值赋值给所述原始图像中，生成目标增强图像。
11.优选地，在本发明实施例提供的上述图像增强方法中，所述对原始图像进行预处理，得到待分割图像，包括：
12.对原始图像进行光照均衡和gamma矫正；
13.采用双边滤波法对矫正后的图像进行去噪处理；
14.对去噪处理后的图像进行灰度化处理，并采用限制对比度自适应直方图均衡化算法对图像对比度进行拉伸，得到待分割图像。
15.优选地，在本发明实施例提供的上述图像增强方法中，所述对原始图像进行光照均衡和gamma矫正，包括：
16.采用opencv的快速全局平滑过滤算法对所述原始图像进行光照均衡，得到光照图；
17.采用gamma矫正对所述光照图的亮度进行提亮。
18.优选地，在本发明实施例提供的上述图像增强方法中，所述采用多尺度高斯匹配滤波法分割提取出所述待分割图像中的目标mask，包括：
19.构建多种尺度具有多个方向角度的高斯匹配滤波器；
20.通过各尺度的所述高斯匹配滤波器对所述待分割图像中的每个像素点分别进行不同角度的滤波，并取不同方向中最大的响应值作为每个像素点的响应输出；
21.计算多种尺度的所述高斯匹配滤波器输出的图像的均值，得到高斯匹配滤波图；
22.对所述高斯匹配滤波图进行otsu阈值化，提取所述待分割图像中的目标mask。
23.优选地，在本发明实施例提供的上述图像增强方法中，所述采用自适应阈值化算法分割提取出所述待分割图像中的目标mask，包括：
24.采用高斯自适应阈值化算法对所述待分割图像中不同区域的局部阈值进行局部分割，提取出所述待分割图像中的目标mask。
25.优选地，在本发明实施例提供的上述图像增强方法中，在对所述采用自适应阈值化算法分割提取出所述待分割图像中的目标mask之后，还包括：
26.对提取的目标mask进行形态学膨胀、腐蚀处理。
27.优选地，在本发明实施例提供的上述图像增强方法中，在所述将提取的两个目标mask进行合并处理之前，还包括：
28.对所述待分割图像进行全局阈值化，提取出外轮廓mask；
29.利用所述外轮廓mask对提取的两个目标mask进行修正。
30.本发明实施例还提供了一种图像增强装置，包括：
31.图像预处理模块，用于对原始图像进行预处理，得到待分割图像；
32.图像分割模块，用于分别采用多尺度高斯匹配滤波法和自适应阈值化算法分割提取出所述待分割图像中的目标mask；
33.目标合并模块，用于将提取的两个目标mask进行合并处理，得到合并后的目标部分；
34.图像增强模块，用于只对所述目标部分的图像信息特性进行增强，并将增强后的所述目标部分的像素值赋值给所述原始图像中，生成目标增强图像。
35.本发明实施例还提供了一种图像增强设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本发明实施例提供的上述图像增强方法。
36.本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述图像增强方法。
37.从上述技术方案可以看出，本发明所提供的一种图像增强方法，包括：对原始图像进行预处理，得到待分割图像；分别采用多尺度高斯匹配滤波法和自适应阈值化算法分割提取出待分割图像中的目标mask；将提取的两个目标mask进行合并处理，得到合并后的目标部分；只对目标部分的图像信息特性进行增强，并将增强后的目标部分的像素值赋值给原始图像中，生成目标增强图像。
38.本发明首先通过图像分割提取目标mask，然后针对性地仅对图像中所需观察的前
景目标进行增强，可以扩大图像中前景目标与背景的差距，保留背景的原始信息，能在保持图像整体不失真的前题下，更加凸显前景目标，使得对图像中前景目标的观察能更清晰准确，避免了全局增强下使图像中的目标信息量得以丰富的同时，也影响了背景的问题。此外，本发明还针对图像增强方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
39.为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
40.图1为本发明实施例提供的图像增强方法的流程图；
41.图2为本发明实施例提供的图像增强方法的具体流程图；
42.图3为本发明实施例提供的内镜原始图像；
43.图4为本发明实施例提供的光照图；
44.图5为本发明实施例提供的光照平衡且亮度调整后的图像；
45.图6为本发明实施例提供的去噪后的图像；
46.图7为本发明实施例提供的灰度化后的图像；
47.图8为本发明实施例提供的对比度拉伸后的图像；
48.图9至图11分别为本发明实施例提供的不同尺度高斯匹配滤波后的图像；
49.图12为将图9至图11求均值后得到的高斯匹配滤波图；
50.图13为本发明实施例提供的经otsu阈值化后的图像；
51.图14为本发明实施例提供的经高斯自适应阈值化后的图像；
52.图15为本发明实施例提供的经形态学膨胀、腐蚀处理后的图像；
53.图16为本发明实施例提供的增强前的灰度图；
54.图17为本发明实施例提供的外轮廓mask的结构示意图；
55.图18为本发明实施例提供的高斯匹配滤波分割提取的血管mask；
56.图19为对图18进行修正后的mask；
57.图20为本发明实施例提供的高斯自适应阈值化分割提取的血管mask；
58.图21为对图20进行修正后的mask；
59.图22为将图19和图21进行结合，得到的血管部分图像；
60.图23为本发明实施例提供的只将血管mask中的增强效果叠加到原始图像中的示意图；
61.图24为本发明实施例提供的将增强图像中的血管部分的像素值赋值到原始图像中的示意图；
62.图25至图29分别为本发明实施例提供的原始图像与目标增强图像的对比图；
63.图30为本发明实施例提供的图像增强装置的结构示意图。
具体实施方式
64.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
65.本发明提供一种图像增强方法，如图1所示，包括以下步骤：
66.s101、对原始图像进行预处理，得到待分割图像；
67.s102、分别采用多尺度高斯匹配滤波法和自适应阈值化算法分割提取出待分割图像中的目标mask；
68.s103、将提取的两个目标mask进行合并处理，得到合并后的目标部分；
69.s104、只对目标部分的图像信息特性进行增强，并将增强后的目标部分的像素值赋值给原始图像中，生成目标增强图像。
70.在本发明实施例提供的上述图像增强方法中，首先通过图像分割提取目标mask，然后针对性地仅对图像中所需观察的前景目标进行增强，可以扩大图像中前景目标与背景的差距，保留背景的原始信息，能在保持图像整体不失真的前题下，更加凸显前景目标，使得对图像中前景目标的观察能更清晰准确，避免了全局增强下使图像中的目标信息量得以丰富的同时，也影响了背景的问题。
71.需要说明的是，步骤s104针对性地只增强提取出的目标部分的颜色、形态等图像信息特性，使原来不清晰的目标变得清晰，强调出目标纹理形态等特征，扩大图像中目标与背景的差距，但能保留背景的原始信息，这样在保持整图整体效果不变的前提下，能够着重强化改善目标在整图中的视觉效果。
72.下文以内镜图像为例，将内镜图像中的血管作为目标进行增强，本发明具体采用基于图像处理的图像分割方法(基于多尺度高斯匹配滤波和自适应阈值化算法)提取内镜图像中的血管mask，将血管部分进行增强后，像素赋值给原始图像，从而得到仅针对血管增强的增强图像。
73.在实际运用中，通过内镜镜头获得的内镜图像往往会出现光照不均匀、对比度较低、噪点较多等情况，使得血管存在纹路不明显、断连等情况。因此，需对图像进行一定的预处理操作。在具体实施时，在本发明实施例提供的上述图像增强方法中，步骤s101对原始图像进行预处理，得到待分割图像，如图2所示，具体可以包括以下步骤：
74.步骤一、对原始图像进行光照均衡和gamma矫正；
75.具体地，可以采用opencv的快速全局平滑过滤(fastglobalsmootherfilter)算法对原始图像imagei进行光照均衡，得到光照图imagel；然后采用gamma矫正对光照图imagel的亮度进行提亮。
76.采用以下公式计算光照平衡及亮度调整后的图像imager：
77.imager＝imagei/imagel
λ
78.根据调参后，λ采用0.75。
79.该算法不仅对图像光照进行了均衡化操作，使得图像偏暗区域光照与亮区域能得以均衡，采用λ为0.75的gamma矫正对图像亮度进行提亮，为了同时起到将目标(如血管)与背景拉伸开的作用，使得背景偏亮使目标(如血管)与背景明显，甚至过度提亮使非目标(如
血管)部分偏白，这样为了后续采用阈值化能更好地对目标(如血管)进行分割。
80.图3至图5分别示出了内镜原始图像、fastglobalsmootherfilter计算出的光照图、光照平衡且亮度调整后的图像。
81.步骤二、采用双边滤波法对矫正后的图像进行去噪处理；
82.需要说明的是，为了去除图像噪点但又能保存图像中目标(如血管)的边缘特性，本发明采用双边滤波，基于该算法简单、非迭代、局部的特点，结合图像的空间邻近度和像素值相似度折中处理，兼顾图像像素空间差异与强度差异，达到去噪并保存血管边界的效果。图6示出了去噪后的图像。
83.步骤三、对去噪处理后的图像进行灰度化处理，并采用限制对比度自适应直方图均衡化(clahe)算法对图像对比度进行拉伸，得到待分割图像。
84.需要说明的是，为了使局部纹理得以显现得更明显，本发明还采用了clahe算法，对图像对比度进行拉伸。该算法能使图像的灰度值得以均匀分布，从而提高图像的对比度，且其对比度限幅的特性，也克服了一般直方图均衡化操作会对图像噪声过度放大的问题，有利于后续的血管提取。
85.在实际应用中，将rbg图像转为图7示出的灰度图后，采用opencv自带的clahe算法对图像进行拉伸，得到图8示出的图像，使血管与背景的纹理颜色差异更加明显。
86.通过执行上述步骤一至步骤三，调整光照使图像光照得以平衡，降低图像噪点，拉伸图像对比度使血管纹理得以清晰，便于后续的血管分割提取。
87.在具体实施时，在本发明实施例提供的上述图像增强方法中，步骤s102采用多尺度高斯匹配滤波法分割提取出待分割图像中的目标mask，如图2所示，具体可以包括：首先，构建多种尺度具有多个方向角度的高斯匹配滤波器；然后，通过各尺度的高斯匹配滤波器对待分割图像中的每个像素点分别进行不同角度的滤波，并取不同方向中最大的响应值作为每个像素点的响应输出；之后，计算多种尺度的高斯匹配滤波器输出的图像的均值，得到高斯匹配滤波图；最后，对高斯匹配滤波图进行otsu阈值化，提取待分割图像中的目标mask。
88.具体地，本发明可以采用多尺度高斯匹配滤波来分割提取内镜图像血管mask，基于高斯匹配滤波可以抑制图像背景，提升目标血管灰度，凸显血管结构的特性，实现对图像中血管的检测提取。
89.由于血管生长方向不确定，可采用0
°
≤θ≤180
°
且角度间隔相同的高斯匹配滤波器，在多个方向角度下对血管的走向进行追踪检测。本发明可以设计构建12个方向角度(θ∈[0
°ꢀ
15
°ꢀ…ꢀ
180
°
])的高斯匹配滤波器，对图像中的每个像素点分别进行12个不同角度的滤波。
[0090]
算法中，当高斯匹配滤波器的方向角度与血管生长方向角度接近时，计算所得的响应值较大，所以将12个不同方向角度的高斯匹配滤波器分别对图像进行卷积后，每个像素点均取12个方向中最大的响应值作为最终的响应输出。
[0091]
本发明采用的高斯匹配滤波器的表达式如下所示：
[0092]
[0093]
其中，θ表示滤波器函数方向角度，0
°
≤θ≤180
°
；l表示在旋转角度θ下滤波器能够检测到的目标血管长度；σ表示在旋转角度θ下滤波器能够检测到的血管横截面延展范围。
[0094]
为了能够示波器针对不同粗细的血管进行追踪处理，本发明可以设计采用3种尺度(即σ＝0.5，l＝5；σ＝1.1，l＝9；σ＝1.5，l＝15)的高斯匹配滤波器对图像进行处理，图9至图11分别示出了经高斯匹配滤波后的灰度图。
[0095]
然后将三种尺寸高斯匹配滤波器处理后输出的图像(即img_match1，img_match2，img_match3)求均值，得到最终的高斯匹配滤波图img：
[0096]
img＝(img_match1+img_match2+img_match3)/3
[0097]
图12示出了高斯匹配滤波图。接下来，对经过高斯匹配滤波后的灰度图进行otsu阈值化提取目标mask。图13示出了经otsu阈值化后的血管mask。
[0098]
在具体实施时，在本发明实施例提供的上述图像增强方法中，步骤s102采用自适应阈值化算法分割提取出待分割图像中的目标mask，如图2所示，具体可以包括：采用高斯自适应阈值化算法对待分割图像中不同区域的局部阈值进行局部分割，提取出待分割图像中的目标mask。之后，还可以包括：对提取的目标mask进行形态学膨胀、腐蚀处理。
[0099]
由于在采用高斯匹配滤波算法分割提取血管mask，还有一部分非血管部分被误提取为血管，本发明进一步采用了自适应阈值化再一次提取血管mask，目的是将两种血管mask进行结合，剔除部分非血管。
[0100]
具体地，采用高斯自适应阈值化算法，对于图像中的灰度不均匀的情况，算法根据图像中不同区域亮度分布，自适应计算不同区域的局部阈值进行局部分割，对局部细节进行精确提取，从而提取目标。
[0101]
采用自适应阈值化对增强后的内镜灰度图进行操作，图14示出了阈值化操作后的图像。对提取出的mask进行形态学膨胀、腐蚀处理，能有效剔除小的细碎点、添补小的空隙点、并平滑轮廓边界，图15示出了经形态学膨胀、腐蚀处理后的图像。
[0102]
进一步地，在具体实施时，在本发明实施例提供的上述图像增强方法中，在将提取的两个目标mask进行合并处理之前，还可以包括：对待分割图像进行全局阈值化，提取出外轮廓mask；利用外轮廓mask对提取的两个目标mask进行修正。
[0103]
可以理解的是，由于内镜有效区域为八边形，为了剔除八个边角的噪声，需提取八边形内的有效区域。采用图16示出的增强前的灰度图进行简单的全局阈值化，可提取出图17示出的八边形的外轮廓mask，再用该外轮廓mask对提取出的血管mask进行修正。图18示出了高斯匹配滤波分割提取的血管mask，图19为对对图18进行修正后的mask；图20示出了高斯自适应阈值化分割提取的血管mask，图21为对图20进行修正后的mask。
[0104]
在具体实施时，基于高斯匹配滤波提取的血管mask中，由于算法为了更好地追踪血管，对血管横截面进行了一定的延展，血管的边缘可能与实际血管边缘存在一定的误差；而采用自适应阈值化提取的mask中，血管边界更贴近实际血管形态，但是含有一部分非血管的对象。所以本发明将两种mask做结合(及取两幅mask均为血管的部分)，即执行步骤s103，如图22所示，结合得到的mask比单独用高斯匹配滤波或自适应阈值化提取的血管形态更准确。
[0105]
进一步地，在具体实施时，在执行步骤s104时，本发明根据提取出的血管mask，如图23所示，只将血管mask中的增强效果叠加到原始图像中，这样不仅保留了原图的背景效
果，也更能使血管的纹理结构更为明显，也使原本不明显的血管在视觉上得到增强。
[0106]
血管增强采用以下公式进行：
[0107]
imageo＝α
·
imagei
‑
β
·
imagel
[0108]
其中，imagei输入图片，imagel为opencv的fastglobalsmootherfilter算法对输入图像imagei处理后的图，α取1.5，β取0.75。
[0109]
最后，如图24所示，将增强图像中的血管部分的像素值赋值到原始图像中，生成针对目标血管增强的增强效果图。
[0110]
图25至图29分别示出了原始图像与目标增强图像(即血管针对性增强后的效果图)的效果对比图，左边为原图，右边为血管增强图像。可见，本发明可以清晰准确地观察图像中血管，并且保留了背景的原始信息。
[0111]
基于同一发明构思，本发明实施例还提供了一种图像增强装置，由于该装置解决问题的原理与前述一种图像增强方法相似，因此该装置的实施可以参见图像增强方法的实施，重复之处不再赘述。
[0112]
在具体实施时，本发明实施例提供的图像增强装置，如图30所示，具体包括：
[0113]
图像预处理模块11，用于对原始图像进行预处理，得到待分割图像；
[0114]
图像分割模块12，用于分别采用多尺度高斯匹配滤波法和自适应阈值化算法分割提取出待分割图像中的目标mask；
[0115]
目标合并模块13，用于将提取的两个目标mask进行合并处理，得到合并后的目标部分；
[0116]
图像增强模块14，用于只对目标部分的图像信息特性进行增强，并将增强后的目标部分的像素值赋值给原始图像中，生成目标增强图像。
[0117]
在本发明实施例提供的上述图像增强装置中，可以通过上述四个模块的相互作用，扩大图像中前景目标与背景的差距，保留背景的原始信息，能在保持图像整体不失真的前题下，更加凸显前景目标，使得对图像中前景目标的观察能更清晰准确。
[0118]
进一步地，在具体实施时，在本发明实施例提供的上述图像增强装置中，还可以包括：目标修正模块，用于对待分割图像进行全局阈值化，提取出外轮廓mask；利用外轮廓mask对提取的两个目标mask进行修正。
[0119]
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
[0120]
相应地，本发明实施例还公开了一种图像增强设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的图像增强方法。
[0121]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0122]
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的图像增强方法。
[0123]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0124]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装
置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0125]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0126]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。
[0127]
综上，本发明实施例提供的一种图像增强方法，包括：对原始图像进行预处理，得到待分割图像；分别采用多尺度高斯匹配滤波法和自适应阈值化算法分割提取出待分割图像中的目标mask；将提取的两个目标mask进行合并处理，得到合并后的目标部分；只对目标部分的图像信息特性进行增强，并将增强后的目标部分的像素值赋值给原始图像中，生成目标增强图像。该方法先通过图像分割提取目标mask，再针对性地仅对图像中所需观察的前景目标进行增强，可以扩大图像中前景目标与背景的差距，保留背景的原始信息，能在保持图像整体不失真的前题下，更加凸显前景目标，使得对图像中前景目标的观察能更清晰准确，避免了全局增强下使图像中的目标信息量得以丰富的同时，也影响了背景的问题。此外，本发明还针对图像增强方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
[0128]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0129]
以上对本发明所提供的图像增强方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。