一种多/高光谱图像与LiDAR点云空间配准及性能评估方法

一种多/高光谱图像与lidar点云空间配准及性能评估方法
技术领域
1.本发明属于数字图像处理领域，涉及多/高光谱图像与lidar点云空间配准，具体的说是一种优化多/高光谱图像与lidar点云配准效果的方法。


背景技术：

2.图像配准(image registration)是指在不同时段，对同一场景从不同视角使用相同或不同的传感器拍摄的有重叠区域的图像进行几何或者空间对准的过程。图像配准技术近年来迅猛发展，广泛用于医学、遥感、计算机视觉等领域。其同时也是图像融合、拼接和镶嵌必不可少的步骤。
3.在遥感勘测领域中，常用到多光谱图像(multispectral images)或者高光谱图像(hyperspectral images)来进行数据的处理和分析。所谓的多/高光谱图像，就是在光谱维度上进行了较细致的分割。多/高光谱图像不仅包含图像信息，而且其在光谱域上进行展开。因而多/高光谱图像不仅可得到图像上每个点的光谱数据，而且还包含任意一个谱段的影像信息。
4.激光雷达(lidar，light detection and ranging)是一种集激光、全球定位系统(gps，global position system)和惯性测量单元(imu，inertial measurement unit)三种技术于一身的系统，其主要是发射单波段激光束，根据回波信息，生成精确的点云(point cloud)数据以及数字高程模型(dem，digital elevation model)等衍生数据。相较于其他遥感手段，lidar技术是遥感技术领域的一场革命。其不仅拥有高空间分辨率，可精确到厘米级，而且还具有快速获取信息的能力。目前lidar主要应用于基础测绘、城市三维建模和林业应用、铁路、电力等。
5.由上述可知，多/高光谱图像能够提供地物对象丰富的光谱和纹理信息，而lidar点云则能够提供观测对象精确的空间三维信息。因此融合这两种数据，生成三维光谱影像，就能够结合这两种数据源的优点，提高地物目标识别解译的可靠性和测量精度，也为更进一步的地物分类和地物提取提供更为精确的原始数据。而在融合这两种数据之前，首先要对这两种数据进行精确的空间配准。但两种数据由于数据的特性，采集方式、时间、环境条件等不同，导致多/高光谱图像与lidar点云间存在很大差别，为两种数据的空间配准提出一定挑战。
6.现有的多/高光谱图像与lidar点云配准方法主要为选取多/高光谱图像中某一波段的影像与lidar点云进行配准，但该种方法忽略了多/高光谱图像间相关互补的特性，造成了光谱数据的浪费；如果将该特性利用到多/高光谱图像与lidar点云的配准之中，理论上可提升配准效果。
7.本发明旨在实现一种利用多/高光谱图像中各波段间互补特性将多/高光谱图像与lidar点云精确空间配准的新方法，即一种基于多波段联合优化的多/高光谱图像与lidar点云空间配准方法。


技术实现要素：

8.本发明的目的是为了解决现有多/高光谱图像与lidar点云配准方法配准精度低的问题，而提出一种多/高光谱图像与lidar点云空间配准及性能评估方法。
9.一种多/高光谱图像与lidar点云空间配准及性能评估方法具体过程为：
10.步骤一：分别对多/高光谱图像和激光雷达数据进行预处理；
11.步骤二：采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；
12.步骤三、对步骤二获得的配准结果进行性能评估。
13.本发明的有益效果为：
14.本发明旨在实现不同采集条件下获得的多/高光谱图像与lidar点云的精确空间配准；
15.本发明实现了利用多/高光谱图像不同波段影像之间相互关联的特性，建立了多波段多/高光谱图像与lidar点云的多波段联合配准框架，提升了多/高光谱图像与lidar点云的配准精度。
附图说明：
16.图1为本发明的实现流程示意图；
17.图2a为本发明验证实验所截取区域多光谱图像t1图；图2b为本发明验证实验所截取区域多光谱图像t2图；图2c为本发明验证实验所截取区域多光谱图像t3图；图2d为本发明验证实验所截取区域多光谱图像t4图；图2e为本发明验证实验所截取区域多光谱图像t5图；图2f为本发明验证实验所截取区域多光谱图像t6图；图2g为本发明验证实验所截取区域多光谱图像t7图；图2h为本发明验证实验所截取区域多光谱图像t8图；
18.图3a为本发明验证实验截取区域点云数据图；图3b为本发明验证实验截取区域点云栅格图像数据r图；
19.图4a为对t8采用配准方法pir进行配准后得到的结果图(在pir中采用t1作为基准模板图像)；图4b为对t8采用配准方法npir进行配准后得到的结果图(在npir中采用t1作为基准模板图像)；图4c为对t8采用配准方法jpir进行配准后得到的结果图；图4d为对t8分别四种配准方法jnpir进行配准后得到的结果图；由目视分析可知，jnpir的配准结果与lidar点云栅格图像最为接近，有最好的配准效果；
20.图5a为t8与r初始差值图；图5b为对t8采用配准方法pir得到的配准后差值图(在pir中采用t1作为基准模板图像)；图5c为对t8采用配准方法npir得到的配准后差值图(在npir中采用t1作为基准模板图像)；图5d为对t8采用配准方法jpir得到的配准后差值图；图5e为对t8采用配准方法jnpir得到的配准后差值图；由目视分析可知，jnpir的配准结果与lidar点云栅格图像的差别最小，有最好的配准效果；
21.图6a1为采用npir对所有波段的多光谱图像t1与点云栅格图像进行配准得到的结果图；图6a2为采用npir对所有波段的多光谱图像t2与点云栅格图像进行配准得到的结果图；图6a3为采用npir对所有波段的多光谱图像t3与点云栅格图像进行配准得到的结果图；图6a4为采用npir对所有波段的多光谱图像t4与点云栅格图像进行配准得到的结果图；图6a5为采用npir对所有波段的多光谱图像t5与点云栅格图像进行配准得到的结果图；图6a6
为采用npir对所有波段的多光谱图像t6与点云栅格图像进行配准得到的结果图；图6a7为采用npir对所有波段的多光谱图像t7与点云栅格图像进行配准得到的结果图；图6a8为采用npir对所有波段的多光谱图像t8与点云栅格图像进行配准得到的结果图；在npir中采用t4作为基准模板图像；
22.图6b1为采用jnpir对所有波段的多光谱图像t1与点云栅格图像进行配准得到的结果图；图6b2为采用jnpir对所有波段的多光谱图像t2与点云栅格图像进行配准得到的结果图；图6b3为采用jnpir对所有波段的多光谱图像t3与点云栅格图像进行配准得到的结果图；图6b4为采用jnpir对所有波段的多光谱图像t4与点云栅格图像进行配准得到的结果图；图6b5为采用jnpir对所有波段的多光谱图像t5与点云栅格图像进行配准得到的结果图；图6b6为采用jnpir对所有波段的多光谱图像t6与点云栅格图像进行配准得到的结果图；图6b7为采用jnpir对所有波段的多光谱图像t7与点云栅格图像进行配准得到的结果图；图6b8为采用jnpir对所有波段的多光谱图像t8与点云栅格图像进行配准得到的结果图；
23.比较两种方法得到的结果可以看出jnpir的配准结果更接近于点云栅格图像。
24.图7a1为采用npir对所有波段的多光谱图像t1与点云栅格图像进行配准得到的差值图；图7a2为采用npir对所有波段的多光谱图像t2与点云栅格图像进行配准得到的差值图；图7a3为采用npir对所有波段的多光谱图像t3与点云栅格图像进行配准得到的差值图；图7a4为采用npir对所有波段的多光谱图像t4与点云栅格图像进行配准得到的差值图；图7a5为采用npir对所有波段的多光谱图像t5与点云栅格图像进行配准得到的差值图；图7a6为采用npir对所有波段的多光谱图像t6与点云栅格图像进行配准得到的差值图；图7a7为采用npir对所有波段的多光谱图像t7与点云栅格图像进行配准得到的差值图；图7a8为采用npir对所有波段的多光谱图像t8与点云栅格图像进行配准得到的差值图；在npir中采用t4作为基准模板图像
25.图7b1为采用jnpir对所有波段的多光谱图像t1与点云栅格图像进行配准得到的差值图；图7b2为采用jnpir对所有波段的多光谱图像t2与点云栅格图像进行配准得到的差值图；图7b3为采用jnpir对所有波段的多光谱图像t3与点云栅格图像进行配准得到的差值图；图7b4为采用jnpir对所有波段的多光谱图像t4与点云栅格图像进行配准得到的差值图；图7b5为采用jnpir对所有波段的多光谱图像t5与点云栅格图像进行配准得到的差值图；图7b6为采用jnpir对所有波段的多光谱图像t6与点云栅格图像进行配准得到的差值图；图7b7为采用jnpir对所有波段的多光谱图像t7与点云栅格图像进行配准得到的差值图；图7b8为采用jnpir对所有波段的多光谱图像t8与点云栅格图像进行配准得到的差值图；
26.可以很明显地看出，在大多数波段的多光谱图像上，jnpir对应的差值图像较npir得到的差值图像颜色较淡，说明jnpir配准后得到的结果从整体上看更接近于点云栅格图像，故jnpir配准效果优于npir。
具体实施方式：
27.具体实施方式一：结合图1说明本实施方式，本实施方式一种多/高光谱图像与lidar点云空间配准及性能评估方法具体过程为：
28.步骤一：分别对多/高光谱图像和激光雷达数据(lidar点云)进行预处理；
29.步骤二：采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；
30.步骤三、对步骤二获得的配准结果进行性能评估；并比较性能评估结果，可证明jnpir方法，即基于多波段联合优化的非参数图像配准方法，有最好的配准效果；
31.具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中分别对多/高光谱图像和激光雷达数据(lidar点云)进行预处理；具体过程为：
32.对多/高光谱图像主要进行辐射校正、正射校正，得到校正后的多/高光谱图像；
33.对激光雷达数据(lidar点云)主要进行滤波处理，以及栅格化得到点云强度栅格图像；
34.在校正后的多/高光谱图像以及点云强度栅格图像的基础上，将校正后的多/高光谱图像和点云强度栅格图像的强度值映射至0
‑
255；
35.记校正后的多/高光谱图像分辨率为res1，点云强度栅格图像分辨率为res2，且有res1＜res2；
36.对校正后的多/高光谱图像进行插值处理使校正后的多/高光谱图像分辨率res1与点云强度栅格图像分辨率res2相等；
37.设置2
‑
d网格ω，网格长为a，宽为b，网格大小为a
×
b，网格中每一格代表一个像素，网格中每一格的分辨率为res2；
38.以网格ω对校正后的多/高光谱图像进行采样，并将采样结果记为模板图像t
n
(n＝1,2,...,n)；
39.其中，n为校正后的多/高光谱图像总的波段数，n代表第n个波段；
40.以网格ω对点云强度栅格图像进行采样，并将采样结果记为参考图像r；
41.因均以ω进行采样，故r与t
n
尺寸相同；
42.将r与t
n
上某一点x赋值为灰度值r(x)以及t
n
(x)；
43.以上r与t
n
包含相同场景。
44.其它步骤及参数与具体实施方式一相同。
45.具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述插值处理采用两点样条插值，设(x,y)为待求像素坐标，离(x,y)最近的一点为(i,j)；设在此坐标平面上，点(x,y)的灰度值为f(x,y)；
46.插值处理结果f(x,y)的求解过程为：
47.定义插值函数s(a)如下：
[0048][0049]
式中，a为插值函数的距离变量；
[0050]
设点(x,y)的灰度值f(x,y)由下式求得：
[0051]
f(x,y)＝f(i+u,j+v)＝abc
[0052]
式中，(i,j)是待插值图像中离(x,y)最近的一点的坐标，u为x
‑
i，即为x方向距离差，v为y
‑
j，即为y方向距离差；a为y方向插值系数矩阵，b为待插值图像中点(i,j)附近的像素值矩阵；c为x方向插值系数矩阵。
[0053]
其它步骤及参数与具体实施方式一或二相同。
[0054]
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述
[0055][0056][0057][0058]
式中，s(v)是将y方向距离v带入插值函数s(a)得到的插值权重；s(u)是将x方向距离u带入插值函数s(a)得到的插值权重；f(i,j)是待插值图像中点(i,j)的像素值。
[0059]
其它步骤及参数与具体实施方式一至三之一相同。
[0060]
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤二中采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；具体过程为：
[0061]
一、采用基于相似性度量的参数化图像配准(pir，parametric image registration)方法对选取的单波段多/高光谱模板图像与点云强度栅格图像进行配准，并将配准结果作用于所有波段的多/高光谱图像上；
[0062]
具体实施过程如下：
[0063]
一一、建立参数化配准的目标函数，对选取的单波段多/高光谱模板图像t与点云强度栅格图像r进行基于相似性度量的参数化图像配准的过程可建模为优化如下参数化配准的目标函数：
[0064][0065]
式中，为某一波段光谱模板图像t
n
与点云强度栅格图像r参数化配准的目标函数；t为模板图像(templateimage)，即为待配准图像；r为点云强度栅格图像，即为参考图像(referenceimage)(配准操作中作为参考保持不变的图像)；为作用在t上一点x的变换，即为作用在t上的变换的集合，参数化配准中变换可描述为一组参数ρ
i
(i＝1,
2,...,l)与基函数φ
j
(j＝1,2,...,k)的组合，为t与r的相似性度量；
[0066]
一二、采用优化算法(如高斯
‑
牛顿法)对目标函数进行迭代优化，得到目标函数的全局极小值，此时的变换为最佳变换即最佳位移场，记作将作用在所有波段的多/高光谱模板图像与点云强度栅格图像上，实现多/高光谱图像与点云强度栅格图像(lidar点云)的参数图像配准。
[0067]
位移场是利用单波段信息计算出来的，变换是作用在全部波段的，因为多\高光谱图像的波段与波段间是空间一致的，不需要波段间配准；
[0068]
二、采用基于相似性度量的非参数图像配准方法对选取的单波段多/高光谱模板图像与点云强度栅格图像进行配准；具体实施过程如下：
[0069]
二一、建立非参数配准的目标函数，对选取的单波段多/高光谱模板图像t与点云强度栅格图像r进行基于相似性度量和位移场正则化的非参数图像配准，非参数图像配准建模为优化如下非参数配准的目标函数：
[0070][0071]
s.t.α＞0
[0072]
式中，为某一波段光谱模板图像t与点云强度栅格图像r非参数配准的目标函数，其符号定义同参数化配准；非参数配准中的变换对每一个像素x都有唯一的微小位移u(x)，各个像素的u(x)的集合即为位移场u，在非参数配准中，变换即为位移场u；为正则项，用以减少非参数配准过程中的不适定性，防止得到过拟合的配准结果；α为惩罚参数，用以控制正则项正则效果的强度。
[0073]
二二、采用优化算法(如高斯
‑
牛顿法)对目标函数进行迭代优化，得到目标函数的全局极小值，此时的变换为最佳变换即最佳位移场，记作将作用在所有波段的多/高光谱模板图像与点云强度栅格图像上，实现多/高光谱模板图像与点云强度栅格图像(lidar点云)的非参数图像配准。
[0074]
位移场是利用单波段信息计算出来的，变换是作用在全部波段的，因为多\高光谱图像的波段与波段间是空间一致的，不需要波段间配准；
[0075]
三、采用基于多波段联合优化的参数化图像配准方法对所有波段多/高光谱图像与点云强度栅格图像同时进行配准；具体实施过程如下：
[0076]
三一、建立多波段联合优化的参数化图像配准的目标函数，对所有波段多/高光谱模板图像与点云强度栅格图像r进行基于多波段联合优化的参数化图像配准，配准的过程建模为优化如下目标函数：
[0077][0078]
[0079]
式中，为基于多波段联合优化的参数化图像配准的目标函数；m为波段总数，t
m
为第m个波段的多/高光谱模板图像；β
m
为第m个波段目标函数的加权系数；d
m
为第m个波段多/高光谱模板图像t
m
与点云强度栅格图像r的相似性度量。
[0080]
三二、采用优化算法(如高斯
‑
牛顿法)对目标函数进行优化得到全局极小值，此时的变换为最佳变换，记作将作用到所有波段的多/高光谱图像上，实现多/高光谱模板图像与点云强度栅格图像(lidar点云)的参数图像配准。
[0081]
步骤二：采用基于多波段联合优化的非参数图像配准方法对所有波段多/高光谱图像与点云栅格图像同时进行配准；具体实施步骤如下：
[0082]
步骤二一、建立多波段联合优化的非参数图像配准的目标函数，对所有波段多/高光谱图像与点云栅格图像r进行基于多波段联合优化的非参数图像配准，配准过程建模为优化如下目标函数：
[0083][0084][0085]
α＞0
[0086]
式中，为基于多波段联合优化的非参数图像配准目标函数；m为总波段数，t
m
为第m波段的多/高光谱模板图像；β
m
为第m个波段目标函数的加权系数；d
m
为第m个波段多/高光谱模板图像t
m
与点云强度栅格图像r的相似性度量；为正则项，用以减少非参数配准过程中的不适定性，防止得到过拟合的配准结果；α为惩罚参数，可控制正则项的正则效果；
[0087]
步骤二二、采用优化算法(如高斯
‑
牛顿法)对目标函数进行优化得到全局极小值，此时的变换为最佳变换，记作将作用到所有波段的多/高光谱图像上，实现多/高光谱模板图像与点云强度栅格图像(lidar点云)的非参数图像配准。
[0088]
其它步骤及参数与具体实施方式一至四之一相同。
[0089]
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤三中对步骤二获得的配准结果进行性能评估；并比较性能评估结果，可证明jnpir方法，即基于多波段联合优化的非参数图像配准方法，有最好的配准效果；具体实施步骤如下：
[0090]
步骤三一、计算配准结果的差值图像以及差值图像均值；
[0091]
差值图像为两幅图像作差所获得的图像，设差值图像为p(a,b)，其定义如下：
[0092]
p(a,b)＝t(a,b)
‑
r(a,b)
[0093]
其中，(a,b)为图像上一点的坐标，t为配准完成后的模板图像(前面t
n
、t
m
，这里配准完成后变t)，r为点云强度栅格图像，即参考图像；由于差值图像中灰度较低，对差值图像取反可使其更清晰，取反操作定义如下：
[0094]
v(a,b)＝255
‑
p(a,b)
[0095]
通过目视判断取反的差值图像v(a,b)可定性评价t与r的配准效果：如果v(a,b)图像中浅白色区域所占范围越大，表示配准完成后r与t差别就越小，配准效果就越好；反之则
配准效果越差。
[0096]
为定量评价图像配准的效果，对于单波段的参数化与非参数配准方法，配准结果所得差值图像均值定义为：
[0097][0098]
其中，a
×
b表示图像大小；method表示所使用的单波段配准方法，为基于相似性度量的参数化图像配准(pir)或者基于相似性度量的非参数化图像配准(npir)；m代表第m波段多/高光谱图像，w代表作为基准模板图像与点云栅格图像r进行配准的第w波段的多/高光谱图像t
w
，其余波段多/高光谱图像将采用t
w
与点云栅格图像r配准得到的变换关系式或位移场得到的μ越小，则代表配准后多光谱图像与点云栅格图像差别越小，即该方法配准效果越好；
[0099]
多波段联合优化配准方法的差值图像均值μ
method,m
定义如下：
[0100][0101]
其中，method表示所使用的多波段配准方法，为基于多波段联合优化的参数化图像配准方法(jpir)或者基于多波段联合优化的非参数化图像配准方法(jnpir)；m代表第m波段多/高光谱图像；同样，得到的μ越小，则代表配准后多光谱图像与点云栅格图像差别越小，即该方法配准效果越好；
[0102]
为比较单波段与多波段配准方法总体效果，对以多/高光谱图像t
w
为基准模板图像的单波段配准方法，定义差值图像灰度均值的总体评估如下：
[0103][0104]
其中，method表示所使用的单波段配准方法，为基于相似性度量的参数化图像配准(pir)或者基于相似性度量的非参数化图像配准(npir)；
[0105]
定义多波段联合优化方法的灰度均值总体评估如下：
[0106][0107]
步骤三二、计算配准结果与原始图像的差异度；
[0108]
采用目标函数j来评价多/高光谱图像t(前面t
n
、t
m
，这里配准完成后变t)与点云强度栅格图像r间相似程度；但是在配准前各波段多光谱图像t
m
与点云栅格图像r间的目标函数j值差别较大，因此配准后各波段j值不具有可比性。
[0109]
定义单波段参数化与非参数配准方法的差异度diff
method,m,w
如下：
[0110][0111]
其中，method表示所使用的单波段配准方法，为基于相似性度量的参数化图像配准(pir)或者基于相似性度量的非参数化图像配准(npir)；m代表第m波段多/高光谱图像，w代表作为基准模板图像与点云栅格图像r进行配准的第w波段的多/高光谱图像t
w
；j
0,m
代表配准前多/高光谱图像t
m
与点云栅格图像所对应的目标函数值；j
end,method,m,w
代表采用
method表示所使用的单波段配准方法对多/高光谱图像t
w
与点云栅格图像r进行配准得到变换关系式并将作用于多/高光谱图像t
m
后所得到的目标函数值；
[0112]
定义多波段联合优化方法的差异度diff
method,m
如下：
[0113][0114]
其中，method表示所使用的多波段配准方法，为基于多波段联合优化的参数化图像配准方法(jpir)或者基于多波段联合优化的非参数化图像配准方法(jnpir)；j
end,method,m
代表采用基于多波段联合优化的非参数化图像配准方法对多/高光谱图像与点云栅格图像r进行配准得到变换关系式并将作用于多/高光谱图像t
m
后所得到的目标函数值；
[0115]
为比较单波段与多波段配准方法总体效果，对以多/高光谱图像t
w
为基准模板图像的单波段配准方法，定义单波段参数化与非参数配准方法的差异度总体评估diff
method,all,w
如下：
[0116][0117]
其中，method表示所使用的单波段配准方法，为基于相似性度量的参数化图像配准(pir)或者基于相似性度量的非参数化图像配准(npir)；
[0118]
定义多波段联合优化方法的差异度总体评估diff
method,all
如下：
[0119][0120]
其中，method表示所使用的多波段配准方法，为基于多波段联合优化的参数化图像配准方法(jpir)或者基于多波段联合优化的非参数化图像配准方法(jnpir)。
[0121]
其它步骤及参数与具体实施方式一至五之一相同。
[0122]
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述相似性度量可采用如下几种：
[0123]
1)距离平方和ssd(sumof squared distance)：
[0124][0125]
其中，t(x)为模板图像；r(x)为参考图像；x为图像；
[0126]
ssd是最简单的距离度量，其运算过程简单快捷；
[0127]
2)互信息mi(mutual information)：
[0128][0129]
其中，ρ
t
和ρ
r
分别代表t和r的边缘灰度概率密度函数，而ρ
t,r
(x,y)则代表模板图像t和参考图像r的联合灰度概率密度函数，各项定义如下：
[0130][0131][0132][0133]
其中，h(a,b)为两者的联合灰度直方图，定义为如下矩阵：
[0134][0135]
其中，图像t的灰度范围为0到m
‑
1，图像r的灰度范围为0到n
‑
1；
[0136]
3)归一化梯度场ngf(normalized gradientfield)：
[0137]
d
ngf
[t,r]＝1
‑
((ngf(t,λ))
′
ngf(r,λ))2[0138][0139]
其中，η为灰度阈值；ngf(t,λ)为对于图像i的ngf函数值；ngf(r,λ)为对于图像i的ngf函数值；ngf(i,λ)为对于图像i的ngf函数值；
▽
i表示图像i的梯度；λ为灰度阈值，λ＞0，其用于抑制图像i中的噪声，即当图像i中某一像素灰度值小于λ时，该像素被判定为噪声，忽略其灰度值；vec(i)为图像i的像素矩阵从第一列开始每列首尾串接形成的向量；(ngf(t,λ))
′
为ngf(t,λ)的转置；图像i为图像t或图像r；
[0140]
4)归一化互相关ncc(normalizedcross correlation)：
[0141][0142]
其中，vec(t)为图像t的像素矩阵从第一列开始每列首尾串接形成的向量；vec(r)为图像r的像素矩阵从第一列开始每列首尾串接形成的向量；vec(t)'为vec(t)的转置；vec(r)'为vec(r)的转置。
[0143]
其它步骤及参数与具体实施方式一至六之一相同。
[0144]
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述正则项可采用曲率正则项(curvature regularization)：
[0145][0146]
式中，u(x)为位移场作用在点x上的位移，δu(x)表示点x上位移u(x)的变化量，x表示图像中的像素。
[0147]
其它步骤及参数与具体实施方式一至七之一相同。
[0148]
所述参数化图像配准方法可采用仿射变换(affine transformation)：
[0149]
仿射变换的矩阵表达式如下：
[0150][0151]
式中，为变化前图像上一点的坐标，为变换矩阵，通过设置变换矩阵的参数可以实现平移、缩放、旋转、翻转以及错切这五种变化，初始变换矩阵为换矩阵的参数可以实现平移、缩放、旋转、翻转以及错切这五种变化，初始变换矩阵为为变化后图像上一点的坐标。
[0152]
采用以下实施例验证本发明的有益效果：
[0153]
本发明的效果可通过以下实验来进一步说明：
[0154]
为了验证本发明所提出的方法的优越性，针对一组多光谱数据与点云数据进行了验证。数据来源为ieee 2012data fusion contest所使用的san francisco bay的点云数据以及worldview
‑
2 8波段多光谱图像(coastal blue：427.3nm，blue：477.9nm，green：546.2nm，yellow：607.8nm，red：658.8nm，red edge：723.7nm，nir1：832.5nm，nir2：908.0nm)，分别由usgs以及digital globe提供，采集时间分别为2010年6月以及2011年10月9日。点云平均点密度为2.4447point/m2，波长为1064nm；多光谱图像分辨率为2m，两种数据源之间未配准。数据集所使用的投影坐标系为utm(universal transverse mercator projection)坐标系，地理坐标系为wgs84(world geodetic system
‑
1984 coordinate system)。由于数据原始场景较大，进行处理速度较慢，故截取部分场景进行验证，多光谱图像与点云截取部分场景大小为312m*360m，场景左上角点坐标为(552414,4180188)。图2a、图2b、图2c、图2d、图2e、图2f、图2g、图2h为插值后八波段的多光谱图像，根据波长由小到大将各波段多光谱图像设置为t1至t8；图3a为截取区域点云，图3b为经预处理的截取区域点云栅格图像r，分辨率设置为1m；多光谱图像大部分场景与点云栅格图像r相同但未与其配准，存在角度以及地理位置的差别。两种数据均已经过预处理。
[0155]
首先以多光谱图像t8为例，对其分别进行以t1为基准模板图像的pir，以t1为基准模板图像的npir，jpir以及jnpir，得到的配准结果见图4a、4b、4c、4d，配准结果所对应的差值图像见图5a、5b、5c、5d、5e。比较图4a、4b、4c、4d中所有配准结果与点云栅格图像图3b，以及比较图5a、5b、5c、5d、5e中由配准结果所得差值图像图5b—图5d和配准前的t8与r差值图像图5a，可以看出这四种方法均有明显的配准效果；对比图4a与图4c，以及图5b与图5d，可看出在进行pir与jpir后，两者所获得的结果差别并不明显；对比图4a与图4b以及图4c与图4d，可看出基于非参数的图像配准效果要大大优于基于参数的图像配准效果，基于非参数的图像配准结果更接近于如图3b的点云栅格图像r；同时比较图5b与图5c，可看到npir得到的差值图像中浅白色区域较pir差值反转图像更大，即npir配准完成后的结果与r的差别较pir更小；对比图4b与图4d以及图5c与图5e，两者所获得结果都与点云栅格图像r差别较小，但是通过仔细观察图像细节可以发现，jnpir配准后的图像比npir配准后的图像更接近于r，且jnpir得到的差值反转图像中浅白色区域较npir的差值反转图像更大。由上分析可知，对于作用在t8上的四种配准方法，配准效果排序为jnpir>npir>jpir≈pir。
[0156]
采用四种方法对实验数据进行处理得到的差异度diff与差值图像均值μ分别见表1与表2；以t4作为基准模板图像，对所有波段进行npir与jnpir得到配准结果见图6a1、6a2、
6a3、6a4、6a5、6a6、6a7、6a8、6b1、6b2、6b3、6b4、6b5、6b6、6b7、6b8与图7a1、7a2、7a3、7a4、7a5、7a6、7a7、7a8、7b1、7b2、7b3、7b4、7b5、7b6、7b7、7b8。分析表1与表2中的数据可知，当采用同一基准模板图像时，对于各配准图像采用npir方法得到的结果要明显优于pir的结果；同样，jnpir得到的结果相较于jpir结果有更好的技术指标；比较两表中pir与jpir的结果，以及对比两者的总体评价指标可知，两者结果间没有显著差别；比较某一基准模板图像下npir结果指标与jnpir结果指标可以看出，虽然在少数波段上jnpir的配准结果指标与npir的结果相比较差，但是在大多数波段上jnpir配准结果指标较npir的配准结果指标有明显的改善：例如将图6a1、6a2、6a3、6a4、6a5、6a6、6a7、6a8、6b1、6b2、6b3、6b4、6b5、6b6、6b7、6b8与图7a1、7a2、7a3、7a4、7a5、7a6、7a7、7a8、7b1、7b2、7b3、7b4、7b5、7b6、7b7、7b8中以t4为基准模板图像进行npir所得到的配准结果和差值图像与jnpir得到的配准结果和差值图像相比较，同时结合表1与表2相对应的技术指标，可以看出相较于npir，jnpir在t1、t2、t5、t7与t8上配准效果均有所提升，并且在t2、t7与t8下的配准结果提升显著，这点也能从图7a2、7a7、7a8与图7b2、7b7、7b8的比较中直观地感受出来；比较jnpir与其他配准方法的总体评估指标，可以看出jnpir具有更好的效果。
[0157]
综上所述，本发明所提出的一种基于多波段联合优化的多/高光谱图像与lidar点云空间配准方法较一般的配准方法有较好的性能提升效果。
[0158]
表1采用四种方法对图像进行配准后得到的差异度diff结果(％)
[0159][0160]
表2采用四种方法对图像进行配准后得到的差值图像灰度均值结果
[0161][0162]
本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。