一种基于深度学习知识蒸馏技术的低光图像增强方法与流程

本发明属于图像处理技术领域，特别涉及到一种基于知识蒸馏技术的图像增强深度学习方法。

背景技术：

低光图像普遍存在于日程拍照和自动驾驶汽车的情景里。在夜晚或低光的场景里，拍摄的图像质量会严重下降，例如出现图像过暗、图像分辨率较低、有噪声等情况，不便于后续针对不同任务的图像分析和处理。而低光图像增强技术是为了将低光条件下拍摄到的图像增强到仿佛白天正常光照下拍摄到的场景，是一类重要的图像处理任务。低光图像增强的目的是通过提升低光图像的亮度，使得增强后的图像展示出更多信息，以便于人类或者机器进行处理或分析。低光图像增强技术已经被广泛应用于航空航天、道路识别、生物医学、救灾救援等领域中。例如，利用低光增强技术对医学影像进行增强，方便医生对病灶区域精确诊断；将低光照图像增强技术应用于视频监控中，可以解决低光照情况下对象难以识别的问题。由此可见，低光图像增强技术在我们的生活中发挥着十分重要的作用。

然而很多低光图像增强技术还存在一些亟待解决的难点。比如噪声会随着图像亮度的增强而增强，这使得增强后的图像噪声很大，在增强图像内容信号的同时损害了图像的清晰度。如何让低光增强方法同时具有去除图像噪声的能力是一项非常具有挑战性的任务，对于低光场景下的图像处理应用非常重要。

hinton等人在2015年公开的文章distillingtheknowledgeinanerualnetwork(nipsdeeplearningandrepresentationlearningworkshop,2015)首次提出了深度学习知识蒸馏的框架，引入“学生网络”与“老师网络”的概念，目的是将多个训练后的老师网络的知识集中迁移到一个学生网络中。这里利用知识蒸馏将分类数据集的“硬标签”推广到“软化标签”，从而可以学习到不同标签的图像之间的相似程度。训练好老师网络后，老师网络具备了提供隐藏在标签外的额外判别性和相似性知识，再通过知识蒸馏技术将该知识迁移到学生网络中。近年来随着计算设备的完善与改进，神经网络发展十分迅速。由于其具有强大的表示能力，目前神经网络已经被广泛应用于计算机视觉、自然语言处理等研究领域。目前关于神经网络的一大研究热点在于将神经网络部署在便携嵌入式设备中。由于神经网络本身的性质，往往其参数量越大则其模型性能越强。但是网络模型参数越多，网络需要占用更多的内存资源，运行也极为耗时，这与工业界占用资源少、运算时间短的需求相悖。而知识蒸馏技术可以有助于解决这一问题。知识蒸馏技术利用一个或多个具有大参数量的老师网络去提升一个具有小参数量的学生网络的性能。学生网络很可能最终性能无法与老师网络媲美，但是却比脱离老师网络而单独训练的学生网络更加强大。

但是现有的深度学习知识蒸馏方法并不能直接用在抑制噪声的低光图像增强任务里。其原因是：图像去噪老师网络主要是提供图像去噪的能力，学生网络主要是对低光图像进行增强，直接把老师网络蒸馏到学生网络里并不能让学生产生低光图像增强的效果。因此，我们提出一种新型的基于深度学习知识蒸馏技术，并运用到抑制噪声的低光图像增强任务里。这个方法可以在完成低光图像增强任务的同时，抑制或去掉低光图像里产生的噪声。

技术实现要素：

本发明需要解决的技术问题是针对低光图像增强任务中，在图像亮度得到提升的同时，抑制和去除可能会被同时增强的图像噪声。本发明的目的是提出一种基于新型的深度学习知识蒸馏技术，利用图像去噪老师网络向低光图像增强学生网络进行知识迁移，使学生网络在进行低光图像增强的同时，具备老师网络的抑制和去掉图像噪声的能力。

本发明的实现过程如下：

可选的，利用已经训练好的经典深度学习模型或者重新训练一个深度学习模型作为老师网络，包括：

训练深度神经网络进行图像去噪；

可选的，利用老师网络辅助训练低光图像增强学生网络，迭代包括：

将有噪低光图像ln输入到学生网络，得到有噪增强图像hn；

将有噪低光图像ln与增强后的有噪增强图像hn分别输入到老师网络，分别得到无噪低光图像lc和增强后的无噪增强图像hc，增强后的无噪图像hc作为预测结果；将无噪低光图像lc输入到学生网络，得到增强后的增强无噪图像hc，并将增强无噪图像hc作为标签；

将有噪低光图像ln利用现有常用的低光图像增强算法得到增强图像标签h；

利用损失函数分别计算有噪增强图像hn与增强图像标签h之间的损失，以及低光增强后再去噪的无噪增强图像hc与去噪后再低光增强的增强无噪图像hc之间的损失；

对两种损失进行加权求和得到损失总和；

利用损失总和对学生网络进行梯度回传，更新学生网络参数。

利用多次上述迭代训练学生网络。

与现有技术相比，本发明的有益效果为：通过老师网络对图像去噪信息计算损失来更新学生网络，使得学生网络不仅拥有低光图像增强的能力，同时还能具备老师网络的图像去噪能力。这样可以消除传统方法中低光图像增强同时带来噪声增强的负面影响。

附图说明

图1为一种基于新型的深度学习知识蒸馏技术的低光图像增强方法流程图。

图2为一种基于新型的深度学习知识蒸馏技术的低光图像增强方法模型示意图。

具体实施方式

下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实例仅仅是本发明的一部分实施例，而不是全部的实施例。在不脱离本发明的原理情况下，对本发明实施例做出变化、修改、替换和变形都属于本发明保护的范围。

本发明实施例提供了一种基于知识蒸馏技术的图像增强深度学习方法，流程如图1所示，所述方法包括：

s1、选择老师网络。

可选的，选择已经训练好的或重新训练一个图像去噪深度学习网络作为老师网络，深度神经网络模型可以采用dncnn去噪模型或重新训练一个vgg网络模型，利用图像去噪老师网络向低光图像增强学生网络进行知识迁移，使学生网络在进行低光图像增强的同时，具备老师网络的抑制和去掉图像噪声的能力。

s2、由学生网络计算低光增强后图像。

可选的，学生网络结构使用残差神经网络模型；

具体的，将有噪低光图像ln输入到神经网络模型中，设计神经网络结构是“由图像预测图像”的结构(如常用的vggnet，拥有5个由卷积层，修正线性单元和最大池化操作组成的模块，3个全连接层和修正线性单元组成的模块，最后1个softmax层)，模型输出的是一幅与输入图像尺寸相同的经过图像增强后的有噪增强图像hn。

s3、由老师网络对有噪低光图像ln和增强后的有噪增强图像hn进行去噪。

具体的，将有噪低光图像ln与有噪增强图像hn分别输入到老师网络，得到去噪后的无噪低光图像lc和增强并去噪后的无噪增强图像hc作为预测图像，将去噪后的无噪低光图像lc输入到低光增强的学生网络，得到的增强无噪图像hc作为标签。

s4、计算学生网络的损失来更新学生网络。

可选的，利用常用损失函数(比如l2范数，l1范数，交叉熵)分别计算有噪增强图像hn与增强图像标签h之间的损失，以及去噪后再低光增强后的预测图像与低光增强后再去噪的标签图像之间的损失；其中增强图像标签h是将有噪低光图像ln输入到图像去噪老师网络得到。

具体的，对两种损失进行加权求和得到损失总和，利用损失总和对学生网络进行梯度回传，更新学生网络参数。

s5、多次迭代训练学生网络。

具体的，利用上述更新方式不断更新学习学生网络参数，训练学生模型，模型示意图如图2所示。训练过程中固定老师网络参数，即在训练学生网络的期间不更新老师网络的参数。