一种近距离高光谱相机与测距传感器的融合方法与流程

本发明属于高光谱成像技术与三维重建技术领域，特别涉及一种近距离高光谱相机与测距传感器的融合方法。

背景技术

随着科学技术的发展与人们对事物认知的不断深入，现代化农业发展研究越来越需要大量的信息。然而，由于植物的多态性与复杂性，通过传统方式拍摄的植物二维图像已经不能满足研究的需求。通过高光谱成像技术动态的获取植物大量光谱信息以及通过三维重建技术直观呈现植物三维模型越来越成为研究的热点。

其中，高光谱成像技术目前在农业遥感识别、地理地质研究以及军用研究等领域应用。由高光谱成像系统获取的植物图像具有3个维度的信息，其中x，y包含的是空间信息，λ包含的是波段信息。通过几十个甚至几百个波段的光谱信息，准确的获取植物生长信息，研究植物长势、受胁迫情况等，具有很高的应用价值。

另外，三维重建技术已经广泛应用于逆向工程、工业设计与文物保护等领域。在农业领域，该技术也不断得到应用，主要用与研究植物生理生态变化等信息。目前，已出现多种三维重建方法。基于图像的三维重建方法仪器具有快速、无损、信息量大等优点，并且通过后期处理，具有较高的重建精度，能较好满足用户的需求。但是对于植物等生物体，无法反应生理病理信息。

数字化农业与信息化农业发展对精确有效的植物三维模型提出了要求。对三维模型添加高光谱信息能够直观的呈现植物生理病理信息，节约了对大量高光谱对于进一步作物生理病理研究、农业生产作业指导等提供帮助。

但是现有技术中的高光谱三维模型技术的成像的分辨率和精度还有待进一步提高。且实现光谱信息与空间三维信息的精准匹配是当下亟需解决的一个重要课题。

技术实现要素：

针对现有技术中的高光谱三维模型技术的成像存在的问题，本发明提供了一种近距离高光谱相机与测距传感器的融合方法，采用多次采样平均方法提供融合模型测量精度，匹配了光谱信息与空间三维信息，为搭建植物三维高光谱模型提供了理论基础，助力高通量植物表型研究。

为了达到上述目的，本发明采用以下技术方案：

本发明的一种近距离高光谱相机与测距传感器的融合方法，包括下述步骤：

s1、设计安装支架并安装高光谱相机和测距传感器，确保高光谱相机与测距传感器均竖直向下测量，两传感器之间三维坐标系相互平行；

s2、设计立体标定棋盘格，使参考点之间具有不同的深度信息；

s3、利用外置计算机同时采集高光谱相机与测距传感器信息，其中采集测距传感器信息时立体棋盘格处于静止状态；

s4、将高光谱相机与测距传感器的测量信息都统一到系统坐标系下，建立传感器之间的关联；

s5、基于线推扫式高光谱相机标定模型建立高光谱相机与测距传感器融合模型，并借助直接线性转换dlt法进行求解。

作为优选的技术方案，步骤s1中，所述安装支架包括底部移动平台、传感器安装支架、高光谱相机和测距传感器，所述传感器安装支架竖直设置在底部移动平台上，所述高光谱相机和测距传感器设置在传感器安装支架上，所述高光谱相机和测距传感器均竖直设置，且二者的坐标系间相互平行；所述立体标定棋盘格设置在底部移动平台的中间位置；

所述底部移动平台，为扫描目标提供线性匀速无旋转地直线运动；

所述安装支架，提供不同高度的传感器安装位置，并带有卤素灯。

作为优选的技术方案，步骤s2中，所述立体标定棋盘格立体棋盘格共有2层，底层为20*20cm的黑白棋盘格，间隔为1cm；上次位于立体棋盘格中间，为10*10cm的黑白棋盘格，间隔为1cm，高为5cm；均匀选取立体棋盘格底层4个参考角点和上层4个参考角点一共8个参考角点。

作为优选的技术方案，步骤s3中具体为：

s31、所述高光谱相机与测距传感器采集信息时，先保持立体棋盘格静止状态，启动测距传感器扫描立体棋盘格三维点云数据，扫描n次，选取参考角点三维点云的平均值作为融合模型输入；

s32、再打开高光谱相机软件msv.ui.measure，设置扫描起始位置为0.8、结束位置为9.2、扫描速度为0.55、扫描帧率为60hz、曝光时间为7-500；

s33、高光谱相机采集n次，取参考角点像素坐标的平均值作为融合模型的数据输入。

作为优选的技术方案，步骤s3中，对于测距传感器采集的三维点云信息处理，借助matlabpcshow函数在计算机中显示三维点云信息，并人工选取8个参考角点的三维信息，将n次采样平均值最为融合模型的最终输入。

作为优选的技术方案，步骤s3中，对于高光谱相机采集的高光谱图像的处理，借助matlabdetectcheckerboardpoints函数识别选取的8个参考角点的像素坐标信息，将n次采样平均值最为融合模型的最终输入。

作为优选的技术方案，步骤s4中，对于测距传感器采集的三维点云信息需转换成高光谱相机坐标系下的三维坐标方能运用高光谱相机标定模型，故需测量高光谱相机与测距传感器测量点在系统坐标系下的三维坐标，并借助笛卡尔坐标系旋转原理进行转换，具体为：

高光谱相机坐标系到系统坐标系的转换关系为：

式中[xh,yh,zh]^t为高光谱相机光心在系统坐标系下的三维坐标，rh2o为旋转矩阵，由于两坐标系间相互平行，为：

测距传感器坐标系到系统坐标系的转换关系为：

式中[xk,yk,zk]^t为测距传感器测量点在系统坐标系下的三维坐标，rk2o为旋转矩阵，由于两坐标系间相互平行，为：

故可得由测距传感器测量三维点云坐标到高光谱相机坐标系下的装换关系为：

作为优选的技术方案，步骤s5中，线推扫式高光谱相机标定模型为：

其中u、v为采集高光谱图片的像素坐标；w为非零比例系数；m为标定矩阵；[x,y,z]为拍摄像素点所对应的基于相机坐标系的空间三维坐标。

其中高光谱相机标定矩阵m包括相机的内参矩阵、外参矩阵和相机扫描信息，的具体定义为：

其中f为相机焦距，pv为相机中心点在扫描方向的偏置，vx、vy、vz为相机在系统坐标系下的三维扫描速度，r为相机旋转矩阵，t为相机在系统坐标系下的位置矩阵。

作为优选的技术方案，步骤s5中，融合模型的求解借助matlab中计算机视觉工具箱中的相机几何函数库中的dlt函数求解融合模型。

作为优选的技术方案，所述高光谱相机选用middletonmsv100v10型号近距离高光谱相机；所述距传感器选用microsoftkinectv2型号测距传感器。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明设计立体棋盘格，并均匀选取不同深度信息下的参考角点，方便进行重复性验证并不受传感器信息采集时有可能造成的空间变化影响。

2、本发明在采集传感器信息时均做了30次采用的平均处理，能有效的提高融合模型精度并排除一些可能存在的非线性因素影响；

3、本发明提出一种高光谱相机与测距传感器的融合模型，匹配了光谱信息与空间三维信息，为搭建植物三维高光谱模型提供了理论基础，助力高通量植物表型研究。

综上所述，本发明提供一种近距离高光谱相机与测距传感器的融合方法，设计立体棋盘格，并均匀选取不同深度信息下的参考角点；采用多次采样平均方法提供融合模型测量精度，匹配了光谱信息与空间三维信息，为搭建植物三维高光谱模型提供了理论基础，助力高通量植物表型研究。

附图说明

图1为一种近距离高光谱相机与测距传感器的融合方法操作流程图；

图2(a)、图2(b)、图2(c)分别为硬件平台的主视图、侧视图和俯视图；

图3为立体棋盘格设计原理图；

图4为高光谱相机与测距传感器融合模型示意图；

图5为基于大豆叶子的验证示意图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例

如图1所示，本实施例一种近距离高光谱相机与测距传感器的融合方法：包括对middletonmsv100v10型号近距离高光谱相机和microsoftkinectv2型号测距传感器的具体融合实现。设计了传感器安装支架与用于高光谱相机标定的立体棋盘格；利用外置计算机同时采集2种传感器信息并将2种传感器信息都统一转换到统一的系统坐标系下，建立起传感器之间的关联；借助线推扫式高光谱相机模型建立融合模型并借助dlt(直接线性转换)法进行求解；最后用大豆叶子为试验对象进行验证。本发明方法设计立体棋盘格并采用多次采用平均方法，可避免非线性误差并提供融合精度；高光谱相机与测距传感器的信息匹配可以加速高通量植物表型与3维植物高光谱模型的研究。

如图2(a)、图2(b)、图2(c)所示，本发明系统硬件平台的搭建，包括底部移动平台1、传感器安装支架2、传感器部分(包括高光谱相机3和测距传感器4)，所述传感器安装支架竖直设置在底部移动平台上，所述高光谱相机和测距传感器设置在传感器安装支架上，所述高光谱相机和测距传感器均竖直设置，且二者的坐标系间相互平行；所述立体标定棋盘格设置在底部移动平台的中间位置；传感器部分选用：middletonmsv100v10型号近距离高光谱相机和microsoftkinectv2型号测距传感器。传感器支架部分：前后2个45°斜向下扫描的卤素灯；底部带动测量目标匀速线性平移的移动平台以及至于底部移动平台上的扫描目标(立体棋盘格5)。

如图3所示，本发明设计的立体棋盘格分上下2层，底层为20*20cm的黑白棋盘格，间隔为1cm；上次位于立体棋盘格中间，为10*10cm的黑白棋盘格，间隔为1cm，高为5cm。均匀选取立体棋盘格底层4个参考角点和上层4个参考角点一共8个参考角点。

然后，利用外置计算机同时采集高光谱相机与测距传感器信息，其中采集测距传感器信息时立体棋盘格处于静止状态；具体方法为：

先保持立体棋盘格静止状态，启动测距传感器扫描立体棋盘格三维点云数据，扫描30次，选取参考角点三维点云的平均值作为融合模型输入；再打开高光谱相机软件msv.ui.measure，设置扫描起始位置为0.8、结束位置为9.2、扫描速度为0.55、扫描帧率为60hz、曝光时间为7-500。值得注意的是，整个实验过程均在小黑屋完成，避免其他卤素灯对高光谱图片采集的影响。高光谱相机采集30次，取参考角点像素坐标的平均值作为融合模型的数据输入。

对于测距传感器采集的三维点云信息处理，借助matlabpcshow函数在计算机中显示3维点云信息，并人工选取8个参考角点的三维信息，将30次采样平均值最为融合模型的最终输入。

对于高光谱相机采集的高光谱图像的处理，借助matlabdetectcheckerboardpoints函数识别选取的8个参考角点的像素坐标信息，将30次采样平均值最为融合模型的最终输入。

如图4所示，本发明一共涉及3个三维坐标系统，包括系统平台三维坐标系统o-x1y1z1，高光谱相机三维坐标系统h-x2y2z2和测距传感器三维坐标系统k-x3y3z3。三个坐标系直接相互平行。高光谱相机的标定模型为：

其中u、v为采集高光谱图片的像素坐标；w为非零比例系数；m为标定矩阵；[x,y,z]为拍摄像素点所对应的基于相机坐标系的空间三维坐标。

其中高光谱相机标定矩阵m包括相机的内参矩阵、外参矩阵和相机扫描信息，的具体定义为：

其中f为相机焦距，pv为相机中心点在扫描方向的偏置，vx、vy、vz为相机在系统坐标系下的三维扫描速度，r为相机旋转矩阵，t为相机在系统坐标系下的位置矩阵。

t为起始点，v为底部平台移动方向，(u，v)为高光谱相片像素坐标。

其中由测距传感器采集的三维点云信息需转换成高光谱相机坐标系下的三维坐标方能运用高光谱相机标定模型。故需测量高光谱相机与测距传感器测量点在系统坐标系下的三维坐标，并借助笛卡尔坐标系旋转原理进行转换。具体为：

高光谱相机坐标系到系统坐标系的转换关系为：

式中[xh,yh,zh]^t为高光谱相机光心在系统坐标系下的三维坐标，rh2o为旋转矩阵，由于两坐标系间相互平行，为：

测距传感器坐标系到系统坐标系的转换关系为：

式中[xk,yk,zk]^t为测距传感器测量点在系统坐标系下的三维坐标，rk2o为旋转矩阵，由于两坐标系间相互平行，为：

故可得由测距传感器测量三维点云坐标到高光谱相机坐标系下的装换关系为：

由此可得到高光谱相机与测距传感器之间的融合模型为：

如图5所示，本发明实施例一种近距离高光谱相机与测距传感器的融合方法经大豆叶子实例验证，叶子高光谱图像形象与空间三维信息匹配完好，图像融合精度达到一个像素点级别，空间三维信息融合精度达到一个毫米级别。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。