一种夜光影像除辉光方法及系统

本发明涉及遥感影像处理，尤其涉及一种夜光影像除辉光方法及系统。

背景技术：

1、夜间灯光数据记录了地球表面的夜间人工光线，为人类活动强度的研究提供了独特的数据。目前夜光遥感影像数据应用于多个领域中，如地区gdp估算与经济发展、衰退检测、城市化划定和空间分析、人口密度图绘制、地区电力消耗建模等。然而，由于传感器自身成像因素的限制与在大气传输过程中的干扰，夜光影像中真实光源附近具有严重的辉光，难以正确反映地表光源的亮度与范围，对其后续解译与应用造成了干扰。近年来，高空间分辨率夜光影像的出现，使得精细化提取与分析城市地区夜间人类活动成为现实，然而，高空间分辨率夜光影像往往具有更加严重的辉光问题。夜光影像除辉光就是正确划定辉光区域，在保护真实光源信息不被破坏的前提下，正确还原夜光影像的真实光源信息。

2、目前，夜光影像除辉光的方法研究较少，大部分研究在使用夜光影像前，通过设定阈值去除影像中的低亮度辉光区域，但是这种方法往往也会将低亮度光源去除，破坏了地表真实光源信息。另外一些方法通过中值滤波去除辉光，对辉光的成因考虑不足，且没有使用图像特征信息，并不能正确去除高分夜光影像中的辉光。目前专门用于夜光遥感除辉光唯一方法是seam（self-adjusting model），该方法通过建立成像系统的模糊核来还原影像真实信息，仅在单波段低空间分辨率夜光影像中表现良好，难以处理具有复杂场景的多波段高分辨率夜光影像。除此之外，在公开资料中，还未见到高空间分辨率夜光影像的除辉光方法。

3、基于神经网络的高空间分辨率夜光影像的除辉光主要有三个难点，一是在无清晰夜光影像作为训练数据的情况下，如何确定网络训练方向；二是夜光影像上部分辉光区域的亮度大于低亮度光源，如何在不破坏光源亮度信息的情况下，正确识别并且去除高亮度辉光；三是夜光影像的特征分布十分稀疏，如何提取影像丰富的语义信息。

技术实现思路

1、本发明提供一种夜光影像除辉光方法及系统，用以解决现有技术中夜光影像中去除辉光的缺陷。

2、第一方面，本发明提供一种夜光影像除辉光方法，包括：

3、采集原始真实夜光影像数据集，由所述原始真实夜光影像数据集生成真实夜光影像，通过计算机自动生成方式和人工除辉光方式生成模拟清晰夜光影像；

4、基于模糊转移算法采集所述真实夜光影像的特征信息，将所述模拟清晰夜光影像转换为模拟退化夜光影像，所述模拟退化夜光影像与所述模拟清晰夜光影像对齐，由所述模拟退化夜光影像与所述模拟清晰夜光影像构建除辉光训练数据；

5、由生成对抗网络构建初始除辉光网络模型，采用所述除辉光训练数据对所述初始除辉光网络模型进行训练，得到除辉光网络模型；

6、将待处理真实夜光影像输入所述除辉光网络模型，得到去除辉光夜光影像。

7、根据本发明提供的一种夜光影像除辉光方法，由所述原始真实夜光影像数据集生成真实夜光影像，通过计算机自动生成方式和人工除辉光方式生成模拟清晰夜光影像，包括：

8、采用预设尺寸移动窗口将所述原始真实夜光影像数据集随机裁剪为多个夜光影像块，以所述多个夜光影像块作为所述真实夜光影像；

9、对所述多个夜光影像块进行计算机自动生成或人工去除辉光，得到所述模拟清晰夜光影像中的一部分影像；

10、生成与所述多个夜光影像块大小相同的多个黑色图片，在所述多个黑色图片中随机绘制点线面图像，得到所述模拟清晰夜光影像中的另一部分影像。

11、根据本发明提供的一种夜光影像除辉光方法，基于模糊转移算法采集所述真实夜光影像的特征信息，将所述模拟清晰夜光影像转换为模拟退化夜光影像，包括：

12、根据预设尺寸阈值从所述真实夜光影像提取多个独立光点；

13、采用二维莫非特函数拟合所述多个独立光点得到模糊核，利用所述模糊核对所述模拟清晰夜光影像进行模糊，得到所述模拟退化夜光影像的机理模拟分量；

14、采用预训练vgg13网络作为特征迁移网络提取所述真实夜光影像的影像退化深层特征，将所述影像退化深层特征迁移至所述模拟清晰夜光影像，得到所述模拟退化夜光影像的深层特征模拟分量；

15、融合所述机理模拟分量和所述深层特征模拟分量，得到所述模拟退化夜光影像。

16、根据本发明提供的一种夜光影像除辉光方法，采用预训练vgg13网络作为特征迁移网络提取所述真实夜光影像的影像退化深层特征，将所述影像退化深层特征迁移至所述模拟清晰夜光影像，得到所述模拟退化夜光影像的深层特征模拟分量，包括：

17、采用特征掩膜将所述真实夜光影像划分为光源区域、辉光区域和背景区域，在所述光源区域、所述辉光区域和所述背景区域中任一区域内进行特征迁移；

18、确定所述特征迁移网络的总体损失函数由内容损失函数和风格损失函数求和所得到；

19、所述内容损失函数包括任一真实夜光影像与任一模拟清晰夜光影像在所述预训练vgg13网络任一层特征映射值之差的范数；

20、所述风格损失函数包括任一真实夜光影像与任一模拟清晰夜光影像在所述预训练vgg13网络任一层特征映射值分别采用格拉姆矩阵计算后求差的范数，在所述预训练vgg13网络全部层上进行求和。

21、根据本发明提供的一种夜光影像除辉光方法，由生成对抗网络构建初始除辉光网络模型，采用所述除辉光训练数据对所述初始除辉光网络模型进行训练，得到除辉光网络模型，包括：

22、所述初始除辉光网络模型包括生成器和判别器；

23、将所述模拟退化夜光影像输入所述生成器，得到去辉光的模拟退化夜光影像；

24、将所述去辉光的模拟退化夜光影像与所述模拟清晰夜光影像输入所述判别器，输出模拟清晰夜光影像判别结果；

25、重复输入生成器和对抗器的过程，直至所述去辉光的模拟退化夜光影像与所述模拟清晰夜光影像无限接近，结束模型训练，得到所述除辉光网络模型。

26、根据本发明提供的一种夜光影像除辉光方法，所述生成器包括一个下采样块、三个多路径空洞卷积残差块和一个上采样块；

27、由模拟清晰夜光影像转换至his域图像与模拟退化夜光影像转换至his域图像之差的范数得到像素损失函数；

28、由模拟清晰夜光影像与模拟退化夜光影像在预训练vgg13网络内任一次最大池化层和任一次的前一次之前得到的特征图之差的范数，在所述预训练vgg13网络全部层上进行求和之后，与所述模拟清晰夜光影像与所述模拟退化夜光影像之差的绝对值求和，得到图像损失函数；

29、由对抗损失函数、所述像素损失函数、像素损失函数权重、图像损失函数和图像损失函数权重加权求和得到所述生成器的损失函数；

30、所述判别器的损失函数包括所述对抗损失函数。

31、第二方面，本发明还提供一种夜光影像除辉光系统，包括：

32、采集生成模块，用于采集原始真实夜光影像数据集，由所述原始真实夜光影像数据集生成真实夜光影像，通过计算机自动生成方式和人工除辉光的方式生成模拟清晰夜光影像；

33、转换构建模块，用于基于模糊转移算法采集所述真实夜光影像的特征信息，将所述模拟清晰夜光影像转换为模拟退化夜光影像，所述模拟退化夜光影像与所述模拟清晰夜光影像对齐，由所述模拟退化夜光影像与所述模拟清晰夜光影像构建除辉光训练数据；

34、训练生成模块，用于由生成对抗网络构建初始除辉光网络模型，采用所述除辉光训练数据对所述初始除辉光网络模型进行训练，得到除辉光网络模型；

35、去除处理模块，用于将待处理真实夜光影像输入所述除辉光网络模型，得到去除辉光夜光影像。

36、第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述夜光影像除辉光方法。

37、第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述夜光影像除辉光方法。

38、第五方面，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述夜光影像除辉光方法。

39、本发明提供的夜光影像除辉光方法及系统，通过对成像过程的模糊核进行建模，并与特征迁移网络一起，生成能反映真实夜光影像特征的模拟退化夜光影像，代替真实夜光影像训练网络，解决了缺乏真实清晰夜光影像的问题；然后，对于夜光影像特征分布稀疏的挑战，着重设计了除辉光生成对抗网络，使用多路径空洞卷积残差块提取出丰富的语义信息，同时保证了网络训练效率；最后，使用训练好的网络去除真实夜光影像的辉光，运行速度块。在工程应用时若使用预训练除辉光生成对抗网络，可以实现夜光影像的实时除辉光。