一种面向机器视觉感知的暗光图像识别方法

本发明涉及图像识别，特别涉及一种面向机器视觉感知的暗光图像识别方法。

背景技术：

1、暗光目标检测是目标检测算法在暗光环境的具体应用。近年来，在依靠大规模高质量数据集下，目标检测算法发展取得了巨大的成功。但在实际应用场景中，低光和多雾等因素往往会导致图像出现可视度低、噪声大、伪影等情况，给现有的目标检测方法带来巨大的挑战，严重干扰目标检测方法的检测性能，减慢了其在产业界的落地步伐，如夜间自动驾驶，夜间无人机搜寻等。

2、为了提高检测算法在暗光场景的检测性能，常用的做法是在检测算法前面加入图像增强算法，使暗光图像恢复到正常光照效果。传统的图像增强算法主要包括基于直方图均衡化的图像增强算法和基于retinex理论的图像增强算法。传统的图像增强算法主要基于固定的图像调整规则实现增强。虽然在实验数据集上有较好的效果，但是泛化能力较差，针对不同图像场景需要手动调整参数，并且需要大量的cpu计算，特别是对于高分辨率的图像，这可能会导致较高的计算复杂性和时间开销。伴随深度学习在各行业蓬勃发展，lore等人将自编码器结构引入到暗光图像增强网络中，为深度学习模型应用于暗光图像增强等任务提供了参考范例。shen等人根据retinex理论设计了由光照亮度网络和色彩网络构成的复合增强网络，并且提出了结合感知损失和风格损失来优化模型训,使得增强图像更自然逼真。fan等人将传统图像增强理论小波变换引入m-net网络，利用半小波注意力块增强网络提取特征的能力。

3、尽管以深度学习为基础的图像增强方法在诸多方面，如图像亮度恢复、模型泛化性等，显现出优异的表现，然而其训练过程却不可避免地依赖于大规模配对数据集。特别是制作大量配对的暗光图像的数据成本显著高昂，构成了其应用所面临的重要挑战。jiang等人提出了一种无监督对抗生成网络暗光增强模型enlighten gan，在一定程度上解决了配对数据集制作成本高昂的问题。但是面对高分辨率的图像样本，容易出现棋盘效应。

4、近年来，基于深度学习的低光图像增强方法取得了巨大的进展，但是仍然面临一些问题，如增强后图像出现色彩饱和度下降，提高亮度的同时也提升了图像噪点，影响后续检测性能。得益于raw图像的成像优势，一些学者开始将raw图像引入到低光图像增强领域。raw是没有经过图像信号处理器isp(image signal processor)处理的图像[11]，具有更广阔的色彩空间范围，能够捕捉到最原始、最完整的图像信息。chen等人建立了第一个raw图像低光图像数据集并且提出了基于raw的低光图像增强网络，在噪声抑制和改善色彩饱和度方面明显优化基于rgb图像的低光图像增强网络。但由于raw图像的内存需求大，边缘设备难以访问raw图像，且在数据存储和传输过程中可能会出现raw图像的数据丢失，因此在实际工业场景中难以使用。并且，现有主流的低光图像增强方法是面向人眼视觉进行优化设计的，恢复的图像不一定适用于面向机器视觉(目标检测精度等指标)设计的模型。若直接将暗光恢复方法拿来在暗光检测场景应用，不仅训练繁琐，还可能会对目标检测等高级视觉任务造成一定程度的误导。

技术实现思路

1、针对现有技术存在的上述问题，本发明要解决的技术问题是：在低光环境中，检测网络的检测性能通常会受到低光、噪声大等因素影响其识别图像原有的物体特征。

2、为解决上述技术问题，本发明采用如下技术方案：一种面向机器视觉感知的暗光图像识别方法，包括如下步骤：

3、s1：获取若干暗光图像作为训练样本，每个训练样本对应一个标注图像，该标注图像上有标注好识别目标的真实框。

4、s2：构建和训练端到端暗光联合检测网络mvp-yolo。

5、所述mvp-yolo包括暗光增强模型mvp-net和检测模块yolov3，所述mvp-net由逆映射网络和doisp构成，在doisp中，两个子模块do-awb和do-ccma来模拟isp中的矫正流程。

6、将训练样本输入mvp-yolo，训练样本先经逆映射网络转换为伪raw图像，该伪raw图像先经过模块do-awb对图像色彩和噪声进行初步调整，再在do-ccma进行面向机器视觉的色彩调整得到mvp-net增强图像。

7、mvp-net增强图像通过yolov3检测输出为训练样本的对应的标记有预测框的图像，计算训练样本对应的标注图像与标记有预测框图像损失，根据损失采用梯度下降法反向传播更新mvp-yolo的参数，当损失不再下降时，训练结束得到训练好的mvp-yolo。

8、s3：一张暗光图像输入训练好的mvp-yolo输出即是标记有预测框的图像。

9、作为优选，所述s2中伪raw图像经过do-awb处理过程为：

10、

11、

12、其中，x表示伪raw图像，并且ti,i∈(1,3)表示优化每个色彩通道的增益值，w1表示生成的优化参数，表示矩阵乘法，xi表示do-awb增强后的图像。表达式(3)表示伪raw图像被生成的优化参数增强的过程。

13、作为优选，所述s2 do-ccma的处理过程为：

14、

15、w3＝fmlp_2(fdo-ccma(xi))＝(t10)        (5)

16、

17、其中，w2表示生成的颜色矫正矩阵参数值，ti,i∈(1,9)表示对每个通道的颜色矫正值，w3表示do-ccma生成的gamma系数值，xt代表最终增强后的mvp-net增强图像。

18、相对于现有技术，本发明至少具有如下优点：

19、本发明利用了raw图像的增强原理，提出了一种基于伪raw图像的伪isp增强网络doisp，用于实现面向机器视觉感知的图像增强。在这个网络中，伪raw图像是通过一个逆映射网络将输入rgb变换为伪raw图像。通过巧妙地利用raw图像增强方法的优势，并在目标检测损失的约束下，doisp使得检测器能够实现端到端的暗光目标检测。

技术特征：

1.一种面向机器视觉感知的暗光图像识别方法，其特征在于：包括如下步骤：

2.如权利要求1所述的一种面向机器视觉感知的暗光图像识别方法，其特征在于：所述s2中伪raw图像经过do-awb处理过程为：

3.如权利要求2所述的一种面向机器视觉感知的暗光图像识别方法，其特征在于：所述s2 do-ccma的处理过程为：

技术总结
本发明涉及一种面向机器视觉感知的暗光图像识别方法，该方法包括获取若干暗光图像作为训练样本；构建和训练端到端暗光联合检测网络MVP‑YOLO；MVP‑YOLO包括暗光增强模型MVP‑Net和检测模块YOLOv3，所述MVP‑Net由逆映射网络和DOISP构成，在DOISP中，两个子模块DO‑AWB和DO‑CCMA来模拟ISP中的矫正流程；采用训练样本训练MVP‑YOLO，直至损失不再下降得到训练好的MVP‑YOLO，一张暗光图像输入训练好的MVP‑YOLO输出即是标记有预测框的图像。经过实验验证MVP‑YOLO与现有其他的低光增强检测方法相比，可以识别出更多在低光环境下的类别和物体。

技术研发人员：冯欣,王杰,单玉梅,柳治谱
受保护的技术使用者：重庆理工大学
技术研发日：
技术公布日：2024/3/27