基于多源数据融合的无人机遥感图像增强系统的实现方法与流程

本发明涉及遥感技术与地理信息系统，尤其涉及一种基于多源数据融合的无人机遥感图像增强系统的实现方法。

背景技术：

1、在现代测绘和地理信息系统领域，无人机遥感技术已经成为重要的工具和手段。随着无人机技术的发展，无人机遥感技术在环境监测、农业、城市规划和灾害管理等多个领域的应用日益广泛。无人机遥感技术能够快速、低成本地获取高分辨率的地理信息数据，促进资源整合、提升测绘精度、推动技术创新。然而，无人机遥感技术在应用过程中也面临诸多挑战，特别是在数据处理和融合方面。传统的无人机遥感数据处理主要包括数据采集、预处理、图像增强、特征提取和三维地形建模。尽管现有的技术方法在一定程度上提升了遥感数据的质量和精度，但仍存在诸多缺陷和挑战，具体表现在以下几个方面：

2、第一是多传感器数据融合不够完善，现有技术通常依赖单一传感器获取数据，这限制了数据的完整性和精度。光学传感器、热成像传感器和lidar传感器各有优势，但如何有效融合这些传感器的数据，充分利用不同传感器的优势，提高复杂地形区域的测绘精度，仍是一个技术难题。

3、第二是图像处理算法有待优化，传统的图像处理算法在处理复杂环境下的遥感数据时，效果往往不理想。例如，在光照条件变化较大的情况下，直方图均衡和对比度拉伸等算法难以稳定地提升图像质量。此外，边缘检测算法在处理噪声较大的图像时，容易产生误检或漏检。

4、第三是维地形建模精度不足，现有的三维地形建模技术在处理复杂地形时，精度往往不足。特别是在生成数字高程模型和数字地形图时，如何结合增强图像和lidar数据，实现高精度的三维建模，是一个亟待解决的问题。

5、第四是gis数据集成与应用有限，高精度地形数据如何高效地集成到gis中，并在各种应用场景中充分发挥其价值，仍是一个挑战。现有技术在数据集成和应用方面，存在效率低、精度不足等问题，难以满足环境监测、城市规划和灾害评估等实际需求。

6、因此，提供一种基于多源数据融合的无人机遥感图像增强系统的实现方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的是提出一种基于多源数据融合的无人机遥感图像增强系统的实现方法。本发明通过无人机搭载光学传感器和热成像传感器，对目标区域进行自主飞行和遥感数据采集，并采用先进的图像处理和融合算法对采集到的数据进行处理。具体方法包括去噪、几何校正、辐射校正、对比度拉伸、直方图均衡、边缘检测以及三维地形建模等步骤。通过多传感器数据融合和高精度地形数据集成到地理信息系统中，本发明显著提高了复杂地形区域的图像分辨率和测绘精度，具备提供详细和准确的地形信息，支持环境监测、城市规划和灾害评估等多种应用的优点。

2、根据本发明实施例的一种基于多源数据融合的无人机遥感图像增强系统的实现方法，包括如下步骤：

3、s1、通过无人机平台搭载光学传感器、lidar和热成像传感器，对目标区域进行自主飞行和遥感数据采集；

4、s2、对采集到的遥感数据进行预处理，包括去噪处理、几何校正和辐射校正；

5、s3、利用图像增强算法对预处理后的图像进行对比度拉伸、直方图均衡和边缘检测；

6、s4、从增强后的图像中提取重要地形特征，并结合lidar数据生成高精度的三维数字高程模型和数字地形图；

7、s5、对不同传感器的数据进行多源数据融合，并将处理后的高精度地形数据集成到地理信息系统中，支持地图制图和空间分析。

8、可选的，所述s1具体包括：

9、s11、选择并配置无人机平台，使其能够搭载光学传感器、lidar传感器和热成像传感器；

10、s12、设定飞行路径和参数，包括飞行高度、速度和航线重叠度；

11、s13、启动无人机，按照预定路径进行自主飞行，并在飞行过程中同步采集光学图像、lidar数据和热成像数据；

12、s14、将采集到的光学图像数据记作ioptical，lidar数据记作llidar，热成像数据记作tthermal；

13、s15、实时监控无人机飞行状态和传感器工作情况；

14、s16、飞行完成后，回收无人机并将ioptical、llidar和tthermal传输至地面处理站。

15、可选的，所述s2具体包括：

16、s21、采用中值滤波或非局部均值滤波器，对采集到的光学图像数ioptical进行去噪处理；

17、s22、对ioptical进行几何校正，校正因无人机飞行姿态变化引起的图像几何畸变；

18、s23、对ioptical进行辐射校正，校正光照条件变化带来的辐射误差；

19、s24、对采集到的lidar数据llidar进行去噪处理，消除lidar数据中的噪声；

20、s25、对llidar进行几何校正；

21、s26、采用适当的滤波器消除热成像数据tthermal中的噪声；

22、s27、对tthermal进行辐射校正，校正热成像数据中的辐射误差。

23、可选的，所述s3具体包括：

24、s31、对预处理后的光学图像数据ioptical进行对比度受限的自适应直方图均衡化；

25、s32、对ioptical进行改进的多尺度retinex处理，均衡图像的灰度分布，所述改进的多尺度retinex处理公式如下：

26、rfinal(x，y)＝∑sw(s)·(log(ioptical(x，y))-log(f(x，y，s)))；

27、其中，rfinal(x，y)表示位置((x，y)处融合后的retinex输出，w(s)表示尺度s的权重，ioptical(x，y)表示光学图像在位置(x，y)的像素值，f(x，y，s)表示尺度为s的模糊图像在位置(x，y)的像素值；

28、s33、采用改进的canny边缘检测算法，对ioptical进行边缘检测，提取图像中的边缘信息，改进的canny边缘检测算法公式如下：

29、

30、其中，g(x，y)表示位置(x，y)处的梯度幅值，θ(x，y)表示位置(x，y)处的梯度方向，和分别表示图像在x和y方向上的梯度；

31、s34、对预处理后的lidar数据llidar进行改进的自适应滤波处理；

32、s35、采用改进的多尺度retinex处理和自适应边缘检测算法，对预处理后的热成像数据tthermal进行对比度增强和边缘检测。

33、可选的，所述s32具体包括：

34、s321、对预处理后的光学图像数据ioptical使用不同尺度的高斯滤波器进行模糊处理，得到多尺度模糊图像f(x,y,s)；

35、s322、计算每个尺度下的retinex输出r(x,y,s)，公式如下：

36、r(x,y,s)＝log(ioptical(x,y))-log(f(x,y,s))；

37、其中，r(x,y,s)表示尺度为s下的位置(x,y)处的retinex输出，ioptical(x，y)表示光学图像在位置(x,y)处的像素值，f(x,y,s)表示尺度为s的模糊图像在位置(x,y)处的像素值；

38、s323、引入自适应融合策略，根据图像内容动态调整不同尺度的权重w(s)，得到增强后的图像rfinal(x,y))，公式如下：

39、rfinal(x,y)＝∑sw(s)·r(x,y,s)；

40、其中，rfinal(x,y)表示位置(x,y)处融合后的retinex输出，w(s)表示尺度s的权重，r(x,y,s)表示尺度为s下的位置(x,y)处的retinex输出；

41、s324、利用改进的自适应权重调整方法，通过引入基于图像局部特征的自适应参数α(x,y)和β(x,y)，公式如下：

42、w(s)＝α(x,y)·exp(-β(x,y)·s2)；

43、其中，α(x,y)表示位置(x,y)处的自适应增益参数，β(x,y)表示位置(x,y)处的自适应衰减参数，s表示尺度参数；

44、s325、对融合后的retinex输出rfinal(x,y)进行归一化处理，使其像素值范围在0到255之间。

45、可选的，所述s33具体包括：

46、s331、对预处理后的光学图像数据ioptical进行自适应高斯滤波平滑处理，减少噪声，得到平滑后的图像ismooth(x，y)；

47、s332、计算平滑后图像的梯度，得到梯度幅值g(x，y)和梯度方向θ(x，y)，公式如下：

48、

49、其中，g(x，y)表示位置(x，y)处的梯度幅值，θ(x，y)表示位置(x，y)处的梯度方向，和分别表示平滑图像在x和y方向上的梯度；

50、s333、对梯度幅值g(x，y)进行改进的非极大值抑制，细化边缘，得到细化后的梯度图像gnms(x，y)，所述改进包括以下公式：

51、

52、其中，gnms(x，y)为位置(x，y)处经过非极大值抑制后的梯度幅值；

53、s334、采用局部自适应双阈值检测法，对细化后的梯度图像gnms(x，y)进行边缘检测，公式如下：

54、

55、其中，e(x，y)表示位置(x，y)处的边缘检测结果，thigh(x，y)表示位置(x，y)处的高阈值，tlow(x，y)表示位置(x，y)处的低阈值，若gnms(x，y)介于tlow(x，y)和thigh(x，y)之间，则通过滞后阈值法跟踪边缘；

56、s335、采用自适应边缘连接算法，对检测到的边缘e(x，y)进行后处理，移除孤立的弱边缘点，保留连通的强边缘，公式如下：

57、efinal(x，y)＝connect(e(x，y)，θ(x，y))；

58、其中，efinal(x，y)表示位置(x，y)处的最终边缘检测结果，connect表示自适应边缘连接算法，根据边缘方向θ(x，y)动态连接边缘点；

59、可选的，所述s4具体包括：

60、s41、从增强后的光学图像数据ioptical和lidar数据llidar中提取重要地形特征，使用自适应边缘检测算法提取地物轮廓eoptical(x，y)和高程数据hlidar(x，y)；

61、s42、结合光学图像数据ioptical和lidar数据llidar，生成初步的三维数字高程模型，公式如下：

62、deminitial(x，y)＝α·ioptical(x，y)+β·llidar(x，y)；

63、其中，deminitial(x，y)表示位置(x，y)处的初步数字高程模型值，ioptical(x，y)表示光学图像在位置(x，y)的像素值，llidar(x，y)表示lidar数据在位置(x，y)的高程值，α和β为结合权重参数；

64、s43、采用多尺度融合策略，对初步数字高程模型进行细化，生成高精度的三维数字高程模型，公式如下：

65、demrefined(x，y)＝∑sw(s)·deminitial(x，y，s)；

66、其中，emrefined(x，y)表示位置(x，y)处的细化后的数字高程模型值，deminitial(x，y，s)表示位置(x，y)处在尺度s下的初步数字高程模型值，w(s)为尺度s下的权重参数；

67、s44、生成数字地形图，结合细化后的数字高程模型和地物轮廓数据eoptical(x，y)，采用自适应滤波算法，公式如下：

68、dtm(x，y)＝g(demrefined(x，y),eoptical(x，y))；

69、其中，dtm(x，y)表示位置(x，y)处的数字地形图值，demrefined(x，y)表示位置(x，y)处的细化后的数字高程模型值，eoptical(x，y)表示位置(x，y)处的地物轮廓数据，g表示结合细化后的数字高程模型和地物轮廓生成数字地形图的自适应滤波函数。

70、可选的，所述s5具体包括：

71、s51、对来自不同传感器的数据进行多源数据预处理，首先对光学图像数据ioptical、lidar数据llidar和热成像数据tthermal进行噪声去除、几何校正和辐射校正，得到预处理后的数据ioptical，pre、llidar,pre和tthermal，pre；

72、s52、利用基于深度学习的空间对齐算法对预处理后的数据进行精确对齐，确保多源数据在相同的地理坐标系下匹配，公式如下：

73、ialigned(x，y)＝align(ioptical,pre(x，y)，llidar,pre(x，y)，tthermal，pre(x，y))；

74、其中，ialigned(x，y)表示对齐后的多源数据，align表示利用深度学习模型进行空间对齐的函数；

75、s53、采用多尺度卷积神经网络对对齐后的数据进行多尺度特征提取与融合，生成高精度的综合地理信息数据，公式如下：

76、ifused(x，y)＝mscnn(ialigned(x，y))；

77、其中，ifused(x，y)表示融合后的多源数据，mscnn表示多尺度卷积神经网络；

78、s54、对融合后的高精度地理信息数据ifused(x，y)进行自适应增强处理，公式如下：

79、ienhanced(x，y)＝enhance(ifused(x，y))；

80、其中，ienhanced(x，y)表示增强后的地理信息数据，enhance表示自适应增强函数；

81、s55、将增强后的高精度地理信息数据ienhanced(x，y)集成到地理信息系统中，支持地图制图、空间分析和多种应用场景，公式如下：

82、gisdata＝integrate(ienhanced(x，y))；

83、其中，gisdata表示集成到中的地理信息数据，integrate表示数据集成函数。

84、本发明的有益效果是：

85、(1)、显著提高图像分辨率和测绘精度：通过无人机搭载光学传感器和热成像传感器，并结合先进的图像处理算法(如对比度受限的自适应直方图均衡化、改进的多尺度retinex处理和自适应边缘检测算法)，对预处理后的图像进行增强处理。即使在复杂地形和光照条件下，图像质量也得到了显著提升，地物轮廓更加清晰，从而大幅提高了复杂地形区域的图像分辨率和测绘精度。

86、(2)、实现多传感器数据融合：本发明采用多传感器融合技术，将光学图像数据、lidar数据和热成像数据进行综合处理。通过自适应融合策略和多尺度融合算法，生成高精度的三维数字高程模型和数字地形图，提高了地形数据的完整性和精确性，能够提供更加详细和准确的地形信息。

87、(3)、高精度三维地形建模：结合增强图像和lidar数据，本发明生成高精度的三维数字高程模型和数字地形图。通过引入自适应融合策略和多尺度融合算法，进一步细化数字高程模型，显著提高了三维地形建模的精度，为地理信息系统中的应用提供了坚实的数据基础。

88、(4)、高效的数据预处理与增强本发明详细描述了数据预处理步骤，包括去噪处理、几何校正和辐射校正，确保了采集数据的高质量。利用先进的图像增强算法对预处理后的图像进行处理，提升了图像的对比度、灰度均衡和边缘清晰度。

89、(5)、强大的gis集成与应用能力：本发明将高精度地形数据集成到地理信息系统中，支持多种地理分析和应用场景，如环境监测、城市规划和灾害评估。通过自适应数据集成和增强处理技术，提升了地理信息系统数据的实用性和应用价值，使得测绘结果更具实用价值，能够更好地服务于各类地理信息应用需求。