一种基于Gamma变换的自增强方法

一种基于gamma变换的自增强方法
技术领域
1.本发明属于红外热成像领域，涉及一种基于gamma变换的自增强方法。


背景技术：

2.足部溃疡最常见的机制是在脚底的压力点下，未被识别创伤的累积效应。可能发生溃疡的区域是因为炎症和组织酶自解导致的局部皮肤温度升高有关的区域。这种炎症有五个特征：发红、发热、肿胀、疼痛和功能丧失。一些体征是临床医生难以客观评估的；然而，温度测量可以提供定量数据，证明可以预测即将发生的溃疡。传统的评估足部皮肤完整性的非侵入性方法，包括检查和触诊，可能是有价值的诊断工具，但它们通常在皮肤破裂发生之前不会检测到皮肤完整性的变化。此外，临床中使用的手动红外温度计只能提供大面积脚部的平均值。在这个重新在搜索研究中，利用热成像技术监测皮肤上的温度分布。然而，健康足部的皮肤表面温度并没有标准的分布，因为皮肤温度可能受到许多因素的影响，如环境和内部热条件、年龄、性别、体重等。现在对双足热图分割方法较为常见的有分水岭法、遗传算法、基于局部直方图均衡的大津法分割等方法。
3.分水岭算法是一种图像区域分割法，在分割的过程中，它会把跟临近像素间的相似性作为重要的参考依据，从而将在空间位置上相近并且灰度值相近(求梯度)的像素点互相连接起来构成一个封闭的轮廓。分水岭算法常用的操作步骤：彩色图像灰度化，然后再求梯度图，最后在梯度图的基础上进行分水岭算法，求得分段图像的边缘线。但是由于双足热图在采集数据时，可能随着红外相机拍摄时间的加长，患病区域的热量向周围较冷区域扩散，造成整个脚部温度逐渐升高，导致对比度变低，所以在真实的双足热图中，由于噪声点或者其它干扰因素的存在，使用分水岭算法常常存在过度分割的现象，会出现很多很小的局部极值点的存在。导致脚部特征的不完整或把噪声点归入到特征图中。
4.遗传算法和大津法是自适应地控制搜索过程以求得最佳阈值解，以此来达到最完美的切割图像的效果，但是在双足热图中，往往患病区域会向周围传递热量，让周围的温度与患病部位的温度相接近，这样就无法完全分割出脚部特征，往往会伴随着噪声点的出现。
5.形态学在早期处理双足热图中是较为常见的一种方法，先把脚部区域定义为感兴趣区域，并把它单独的分割出来，在对感兴趣区域进行腐蚀或者膨胀，以此来补全脚或者消除噪音，再使用大津法或其他方法，求取最佳阈值，以此得到最完整的形状。但这种方法较为繁琐，在选取感兴趣区域时，需要确保边缘的完整性，当边缘不清晰时，无法选取。
6.随着深度学习的发展，深度学习用于双足热图分割的方法也逐渐变多，但是大多数深度学习分割双足热图，可能消耗的时间较多，且精度不高，无法完全切割脚部的形状。随着u
2-net网络的提出，双足热图的分割可以快而准确，但是当对比度较差，或者存在过多噪音时，也无法准确分割出脚部形状。所以在u
2-net网络的基础上，进行改进，让其可以快速且准确的分割双足热图。该方法包括对比度增强、图像分割两个步骤。
7.在图像分析和识别中，一般首先要对所给的图像进行分割，再对分割的区域做适当的描述，然后才能对图像做某种分析。图像分割是图像分析前的一个重要处理步骤，它是
对图像进行视觉分析和模式识别的基本前提。基于u
2-net的图像分割是一种新型的分割技术，u
2-net是基于堆叠u型结构的来加深网络，用于sod(显著目标检测)，是一个简单而强大的深层网络架构，是一个两层嵌套的u型结构。


技术实现要素：

8.有鉴于此，本发明的目的在于提供一种基于gamma变换的自增强方法。
9.为达到上述目的，本发明提供如下技术方案：
10.一种基于gamma变换的自增强方法，该方法包括以下步骤：
11.s1：使用红外热像装置获得被测脚部表面的热图序列，并将热图序列存储在通用存储器中；
12.s2：对存储器里的数据进行图像化，存储器中的数据为辐射值，先把辐射值转换为温度，温度按照固定温窗进行图像灰度转换，再对像素灰度值进行归一化处理，使像素值压缩到0到1之间；
13.s3：求取每张图片的直方图，然后计算其累积分布函数，并对其纵坐标做归一化处理，在所得到的归一化后的累积分布函数曲线上，选取纵坐标中值，即0.5，对应的像素值x0；
14.s4：判断纵坐标中值，即0.5，对应的像素值x0在直方图的位置，计算x0与横坐标中值之间的距离，即：
15.f＝0.5-x0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
16.s5：基于f的数值，根据脚部温度的变化进行gamma增强因子的计算；
17.所述s5具体为：
18.s51：温度相对值的判断标准为：
[0019][0020]
s52：当温度相对值小时，用公式(3)求gamma增强因子：
[0021][0022]
s53：当温度相对值大时，用公式(4)求gamma增强因子：
[0023][0024]
s54：gamma变换：
[0025][0026]
s6：根据x0和x1，由公式(2)计算β，然后根据β值大小进行分段gamma变换处理；
[0027]
s7：当β《1时，x0与x1相差小，图像整体做变亮或变暗处理，增强方法如下：对于原图像中所有灰度值在0到x0的像素点进行gamma变换：根据公式(5)计算f0和公式(3)计算增强因子γ1，将其代入公式(1)中，得到0到x0的新灰度值；
[0028]
s8：对于原图像中所有灰度值在x0到1的像素点进行gamma变换：根据公式(5)计算
x1与横坐标之间的距离f1，然后代入公式(3)计算增强因子γ2，将其代入公式(1)中，得到x0到1的新灰度值；
[0029]
s9：当β》1时，x0与x1相差大，由于固定温窗，背景偏暗，为使脚部区域清晰与背景变暗，增强方法如下，对于原图像中所有灰度值在0到x0的像素点进行gamma变换：根据公式(5)计算f0和公式(4)计算增强因子γ1，将其代入公式(1)中，得到0到x0的新灰度值；
[0030]
s10：对于原图像中所有灰度值在x0到1的像素点进行gamma变换：根据公式(2)计算x1与横坐标之间的距离f1，然后代入公式(4)计算增强因子γ2，将其代入公式(1)中，得到x0到1的新灰度值；
[0031]
s11：引用循环残余卷积模块，通过规定每个卷积模块包含多少卷积层的方式，来训练复杂度高的双足热图；
[0032]
s12：增加空洞卷积的个数，深化u
2-net网络解码第六层，获取到更高维度的特征信息；
[0033]
s13：elu激活函数替代relu激活函数；
[0034]
s14：通过分段gamma变换对数据集进行增强；对所有试验数据进行图像增强后，选取总体的三分之二作为训练集，其余的三分之一作为测试集；对数据集进行标注处理，标注出特征区域，把标注后生成的json文件转化为mask图；
[0035]
s15：训练集用s11～s14所述网络进行训练，得到改进u
2-net分割模型，使用测试集数据进行验证，生成掩模图，即二值图，通过掩模图对测试集进行特征提取，最后得到脚部区域。
[0036]
本发明的有益效果在于：本发明的理论基础是基于u
2-net网络分割图像的过程，因而，该算法不仅对双足热图适用，同时也适用于其它可近似用内热源来表示的热传导过程而得到的热图分割处理。
[0037]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0038]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0039]
图1为基于分段gamma变换与改进u
2-net网络图像分割流程图；
[0040]
图2为被测试脚的温升热图；
[0041]
图3为图像的累积分布函数曲线；
[0042]
图4为循环残余卷积模块；
[0043]
图5为分段gamma变换结果；
[0044]
图6为改进后u
2-net网络结构
[0045]
图7为改进后u
2-net网络结构结果。
具体实施方式
[0046]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0047]
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0048]
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0049]
针对上述问题，本发明提供一种新的gamma变换参数自选取的方法以及对u
2-net网络的改进，实现快速且准确的双足热图分割，流程图见图1，算法可以分为两个部分，分别是图像增强和分割。
[0050]
一.自适应gamma变换
[0051]
为了实现对所获得热图序列中的脚部区域图像进行分割处理，首先用红外相机采集数据，所收集到的数据为红外辐射(辐射值)，所以需要把采集到的红外辐射数据转化为图片格式，先把辐射值转换为温度，温度按照固定温窗进行图像灰度转换，再对像素值进行归一化，使像素值压缩到0到1之间。
[0052]
归一化后，灰度图可能存在边缘不清晰或脚部区域偏亮或偏暗，如图2所示，左图为温度相对值较大β＝1.32，右图为温度相对值较小β＝0.74；导致整个图片的对比度很差，提出一种自适应的gamma变换进行图像增强处理。gamma变换通过非线性变换，让图像从曝光强度的线性响应变得更接近人眼感受的响应，即将漂白(相机曝光过量)或过暗(曝光不足)的图片进行矫正，使输出图像灰度值与输入图像灰度值呈指数关系，gamma变换的计算公式如下所示：
[0053][0054]
(1)式中，v
out
为gamma变换的输出的像素值，v
in
为gamma变换的输入像素值，γ为增强因子。为了寻到合适的γ(增强因子)，提出了一种根据图片自身自动获取γ(增强因子)的方法。得到灰度图后，求取每张图片的直方图，然后计算其累积分布函数，并对其纵坐标做归一化处理。如图3所示，在所得到的归一化后的累积分布函数曲线上，选取纵坐标中值(即0.5)对应的像素灰度值x0，然后计算其与横坐标中值之间的距离f：
[0055]
f＝0.5-x0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0056]
温度相对值的判断标准为：
[0057][0058]
x0对应累积分布函数纵坐标0.5所对应的像素灰度值，x1对应于累积分布函数纵坐标0.75所对应的像素灰度值，该值等同于原累积分布函数中纵坐标范围0.5-1内数据做进一步0-1归一化处理，然后其0.5对应的横坐标值。当β》1时，x1与x0较远，相对温差较大，仅在偏暗的情况出现，当偏亮时，x0大于0.5，不可能出现β大于1的情况；当β《1时，x1与x0相邻，相对温差较小。
[0059]
以(2)式中的f为基础，通过以下方法获取γ值：
[0060]
1.当β《1时：
[0061][0062]
2.当β》1时：
[0063][0064]
由于原始温度数据转换为灰度图时采用的是固定温窗的方法，同时，实验方案采用的是主动制冷方式且实验环境温度相对固定，因而，对所获得的一个实验数据序列，总体可以分为三段：前段数据中脚底温度低于背景，温度相对值较大小，对比度较好，感兴趣区域图像整体偏暗，β《1；中间数据脚底温度与背景温度相近，温度相对值较小，对比度相对较差，β《1；后段数据脚底温度高于背景温度，温度相对值较大，对比度较好，感兴趣区域图像整体偏亮，β》1。为求取每张图片的增强因子γ，首先根据图3所示得到x0和x1，再由公式(3)计算β，然后根据β值大小进行分段gamma变换处理：
[0065]
1.当β《1时，x0与x1相差较近，图像整体做变亮或变暗处理，增强方法如下：
[0066]
①
对于原图像中所有灰度值在0到x0的像素点进行gamma变换：根据公式(2)计算f0和公式(4)计算增强因子γ1，将其代入公式(1)中，得到0到x0的新灰度值。
[0067]
②
对于原图像中所有灰度值在x0到1的像素点进行gamma变换：如图3右部分所示的x0到1的归一化直方图累积分布函数，根据公式(2)计算x1与横坐标之间的距离f1，然后代入公式(4)计算增强因子γ2，将其代入公式(1)中，得到x0到1的新灰度值。
[0068]
2.当β》1时，x0与x1相差较远，由于固定温窗，背景偏暗，为使脚部区域清晰与背景变暗，增强方法如下：
[0069]
①
对于原图像中所有灰度值在0到x0的像素点进行gamma变换：根据公式(2)计算f0和公式(5)计算增强因子γ1，将其代入公式(1)中，得到0到x0的新灰度值。
[0070]
②
对于原图像中所有灰度值在x0到1的像素点进行gamma变换：如图3右部分所示的x0到1的归一化直方图累积分布函数，根据公式(2)计算x1与横坐标之间的距离f1，然后代入公式(5)计算增强因子γ2，将其代入公式(1)中，得到x0到1的新灰度值。
[0071]
二.基于改进u
2-net模型的图像分割
[0072]u2-net模型以u-net网络为基础，提出了残差卷积模块结构，融合了不同尺度的感受野的特征，增加了整个架构的深度但并没有显著增加计算成本。但在双足热图分割时，存在无法准确分割的情况，为了解决该问题，进行了以下改进：
[0073]
1)引用循环残余卷积模块，通过规定每个卷积模块包含多少卷积层的方式，来训练复杂度高的双足热图。
[0074]
经典的u
2-net网络架构广泛用于医学影像的分割，但由于所处理的双足热图复杂度高，所包含噪音与双足相融合，且足底不同区域温度不同，有时无法完整的分割出足底区域。为让复杂度不高的模型达到更高的精度，且在精度与复杂度之间达到一个平衡，以此来提取到更加复杂的特征。我们以经典u
2-net网络架构为基础，引入循环残余卷积网络，循环卷积网络包含若干循环残差卷积模块，用循环残差卷积模块替代原网络中的普通卷积模块，以此来加深u
2-net网络深度，提取到更加复杂的特征。
[0075]
循环残余卷积网络包含循环残差卷积模块和最大池化层(mpl)。每个循环残差卷积单元包含一个循环卷积层，单个循环卷积层包含多个循环子序列。通过定义循环次数t，决定每个循环残差卷积模块中包含几个卷积模块，来提取更加复杂的特征。
[0076]
普通卷积层、循环残差卷积模块、循环子序列的结构如图4所示，图4中的t表示循环的次数，其计算公式为：
[0077][0078]
其中：k为循环卷积层中的特征图序列，l为循环残差卷积模块中循环卷积层的序号，x为输入特征图，为第k个特征图中前次循环输出的权重，为第k个特征图中x的权重，f为激活函数，f为循环卷积层(rcl)的输出特征，o为循环子序列输出的特征图，t为循环次数，决定每个循环残差卷积模块中包含几个卷积模块，bk为偏差补偿。
[0079]
与经典的u
2-net网络架构中的卷积模块相比，循环残差卷积模块既保留了原网络结构参数较少的特点，使网络可以提取到更复杂的特征。
[0080]
2)增加空洞卷积的个数，深化u
2-net网络解码第六层，获取到更高维度的特征信息；
[0081]
对对比度极差的红外双足热图来说，随着u
2-net架构网络的加深，有时分割效果并不明显，部分存在噪音无法清除，针对此问题，在网络解码第六层添加空洞率为8的空洞卷积和空洞率为16的空洞卷积，增大感受野获取更多的复杂信息。
[0082]
空洞卷积的计算方式为：
[0083][0084]
其中u为空洞卷积输入的特征图，v为卷积系数，r为空洞率(卷积的步长)。
[0085]
经典的u
2-net架构网络使用池化层和卷积层来增加感受野，但同时缩小了特征图尺，然后再利用上采样还原图像尺寸，特征图缩小再放大的过程造成了精度上的损失，因此使用空洞卷积在增加感受野的同时，保证特征不会缺失。
[0086]
3)elu激活函数替代relu激活函数；
[0087]
relu激活函数，定义为：
[0088]
relu(x)＝max(0,x)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0089]
因为relu为线性关系，所以计算速度很快，在输入正值时不存在梯度饱和的问题，但是一旦输入负值时不会被激活，这样会导致神经元的失活。虽然此问题在前向传播中影响不大，但是在反向传播过程中，梯度会变成0。
[0090]
elu函数是针对relu函数的一个改进型，其定义为：
[0091][0092]
相比于relu函数，elu函数在输入为负值的情况下也可以输出数值，且具有一定的抗干扰能力，这可以消除relu带来的神经失活的问题，提高分割的准确率。
[0093]
假如输入的原图是单通道的1
×
320
×
320，经过改进u
2-net网络进行训练后，最终u型结构右边解码器等输出6组特征图，经过处理，输出6个mask二值图，分辨率为：1
×
288
×
288，1
×
144
×
144，1
×
72
×
72，1
×
36
×
36，1
×
18
×
18，1
×9×
9接着，分别进行上采样，采样倍率为1、2、4、8、16、32，得到6个1
×
288
×
288特征图，将他们进行图片融合在一起得到6
×
288
×
288特征图，最后采用卷积转为1
×
288
×
288卷积。
[0094]
通过分段gamma变换对数据集进行增强，图2的增强结果见图5。左边为温度相对值较大β＝1.32，右边为温度相对值较小β＝0.74。对所有试验数据采用上述方法进行图像增强后，选取总体的三分之二作为训练集，其余的三分之一作为测试集。对数据集进行标注处理，标注出特征区域，把标注后生成的json文件转化为mask图，通过改进u
2-net网络(如图6所示)进行训练，生成改进u
2-net模型。图7为改进后u
2-net网络结构结果，左边为改进模型分割的图片，右边为未改进模型分割的图片。
[0095]
总的来说，本发明采取的技术解决方案包括如下步骤：
[0096]
1、设置热像仪采集频率及时间长度，在特定实验条件下，使用红外热像装置获得被测脚部区域的热图序列，并将热图序列存储在通用存储器中。
[0097]
2、对存储器里的数据进行图像化，存储器中的数据为辐射值，先把辐射值转换为温度，然后按照固定温窗，进行图像灰度转换，再对像素值进行归一化，使像素值压缩到0到1之间。
[0098]
3、根据公式(3)对灰度图进行分段gamma变换，增强对比度。当β《1时，x0与x1相差较近，整体变亮或变暗处理，对于原图像中所有灰度值在0到x0的像素点进行gamma变换：根据公式(2)计算f0和公式(4)计算增强因子γ1，将其代入公式(1)中，得到0到x0的新灰度值。对于原图像中所有灰度值在x0到1的像素点进行gamma变换：如图3右部分所示，求出x0到1的直方图累积分布函数，并对其进行归一化处理，求出x1，根据公式(2)计算其与横坐标之间的距离f1，和公式(4)计算增强因子γ2，将其代入公式(1)中，得到x0到1的新灰度值。
[0099]
4、当β》1时，x0与x1相差较远，由于固定温窗，背景偏暗，为使脚部区域清晰与背景变暗，对于原图像中所有灰度值在0到x0的像素点进行gamma变换：根据公式(2)计算f0和公式(5)计算增强因子γ1，将其代入公式(1)中，得到0到x0的新灰度值。对于原图像中所有灰度值在x0到1的像素点进行gamma变换：如图3右部分所示，求出x0到1的直方图累积分布函数，并对其进行归一化处理，求x1，根据公式(2)计算其与横坐标之间的距离f1，和公式
(5)计算增强因子γ2，将其代入公式(1)中，得到x0到1的新灰度值。
[0100]
5、选取增强后热图序列的三分之二作为训练集，其余的三分之一作为测试集，对训练集数据进行标注处理并转化为mask图，通过改进u
2-net网络进行训练，生成改进u
2-net模型。
[0101]
6、生成改进u
2-net模型后，使用测试集数据进行验证，验证后生成掩模图(即二值图)，通过掩模图对测试集进行特征提取，最后只保留脚部区域。
[0102]
经过上述步骤处理后，所分割的目标区域即为脚部区域。根据上述方法对数据集序列进行处理，尽管这些脚部区域中的对比对和位置等可能有较大差异，脚的温升差异可能很大。但所获得的黑白图像中，所有的脚部区域均正确的被分割为目标区域，同时，均正确的反映脚的区域形状。
[0103]
下面将结合实施例来说明为了实现双足热图分割所获得热图序列中的脚部区域图像分割处理过程。该实施例中对脚部进行采样。
[0104]
先对患者足底进行降温，用红外热像仪实时记录足底的表面温场的变化即升温过程，计算机采集红外热像仪得到的热图数据，得到脚底表面温场的热图序列。随着脚底温度的不断升高，与患病区域形成鲜明的温度差，收集到的热图数据为红外辐射(即辐射值)，需把辐射值转换为温度，然后温度按照固定温窗，再对像素值进行归一化，把像素值压缩到0到1之间。
[0105]
确定灰度图序列后，求取每张图片的直方图，然后统计其累积分布函数。求取每张图片的增强因子γ，首先根据图3所示得到x0和x1，再由公式(3)计算β，然后根据β值大小进行分段gamma变换处理：
[0106]
当β《1时，x0与x1相差较近，图像整体做变亮或变暗处理，增强方法如下：对于原图像中所有灰度值在0到x0的像素点进行gamma变换：根据公式(2)计算f0和公式(4)计算增强因子γ1，将其代入公式(1)中，得到0到x0的新灰度值。对于原图像中所有灰度值在x0到1的像素点进行gamma变换：如图3右上图所示的x0到1的归一化直方图累积分布函数，根据公式(2)计算x1与横坐标之间的距离f1，然后代入公式(4)计算增强因子γ2，将其代入公式(1)中，得到x0到1的新灰度值。
[0107]
当β》1时，x0与x1相差较远，由于固定温窗，背景偏暗，为使脚部区域清晰与背景变暗，增强方法如下：
[0108]
对于原图像中所有灰度值在0到x0的像素点进行gamma变换：根据公式(2)计算f0和公式(5)计算增强因子γ1，将其代入公式(1)中，得到0到x0的新灰度值。对于原图像中所有灰度值在x0到1的像素点进行gamma变换：如图3右上图所示的x0到1的归一化直方图累积分布函数，根据公式(2)计算x1与横坐标之间的距离f1，然后代入公式(5)计算增强因子γ2，将其代入公式(1)中，得到x0到1的新灰度值。
[0109]
把增强后的灰度图序列，通过基于改进u
2-net网络模型进行测试，生成掩模图(即二值图)，通过掩模图对数据集进行特征提取，最后只保留脚部区域。
[0110]
采用上述相同方法和步骤对数据集进行类似的红外实验，并对所获得的灰度图序列进行处理。结果表明：所分割的图像均能把患病区域正确归为目标区域，同时均正确反映脚部形状。由于上述步骤中所有参数均为自动计算，因而，本方法可实现自动处理。
[0111]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。