基于视频图像与激光雷达点云融合建立船舶模型的方法

1.本发明涉及船舶测绘图像技术领域，具体涉及一种基于视频图像与激光雷达点云融合建立船舶模型的方法。


背景技术：

2.激光雷达lidar(light detection and ranging)是将现代光学技术应用到遥感技术当中的产物，由于激光的本质是电磁波，具备高亮度性、高方向性以及高相干性等特点，所以激光雷达相较于传统的雷达技术，在角分辨率、距离分辨率、速度分辨率与测速范围等方面都具有一定的优势，并且还能抓取多种目标的图像数据以及不易受外界的干扰。激光雷达的信息可以通过观测的振幅、相位与偏振来搭建获取，因此激光雷达不仅能在测量距离的时候做到精确，还能在测量速度与跟踪目标时减少误差。
3.激光雷达应用于船舶航行检测，保证船舶安全航行由来已久。激光雷达点云信息精度较高，具有多次回波和反射强度信息，是船舶建模的优良数据来源，但由于其不具备光谱特征信息，无法表明船舶特征。随着影像技术的发展，影像信息的像素不断提高，光谱信息丰富，能较好得到观察对象的连续特征信息，弥补了仅依靠激光雷达建模的光谱信息缺乏问题。
4.随着测绘技术的不断发展，单一数据的模型建设难以涵盖区域的所有信息特点，难以满足众多重点监控水域的船舶信息监测。在此前提下，有必要对激光雷达点云数据和图像数据进行融合，建立附带光谱特质的船舶3d模型，丰富船舶模型数据库，为航行监管提供更多的依据。


技术实现要素：

5.本发明要解决的技术问题在于针对上述现有技术存在的不足，提供一种基于视频图像与激光雷达点云融合建立船舶模型的方法，解决了单一数据的模型建设难以涵盖区域的所有信息特点，难以满足众多重点监控水域的船舶信息需求的问题，丰富了船舶模型数据库，为航行监管提供更多数据。
6.本发明为解决上述提出的技术问题所采用的技术方案为：
7.一种基于视频图像与激光雷达点云融合建立船舶模型的方法，包括以下步骤：
8.s1、将摄像机安装于港口正视船舶位置，摄像机正视水面定时拍摄水面过往船舶图片，并进行视频图像数据存储；同时，将激光雷达布设于港口定点位置，定时扫描水面过往船舶获得点云数据，并进行点云数据存储；视频图像数据及点云数据存储完毕后，通过无线网络传输给阿里云数据处理服务器，进行数据初步处理；
9.s2、阿里云数据处理服务器定时接收到激光雷达一帧点云数据和摄像机拍摄的一帧视频图像数据，数据接收完毕后将点云数据与视频图像数据按照时间差值进行双向数据匹配，获得在同一时间节点的匹配数据集；
10.s3、当阿里云数据处理服务器创建匹配数据集后，已获得正向视频图像数据与点
云数据，使用加权融合法对激光雷达点云数据和正向视频图像数据进行融合，在振幅上对图像结果进行突出处理，达到图像增强的效果，获得附带光谱特质的点云数据；
11.s4、将附带光谱特质的点云数据进行格式转换后输入到建模软件，进行点云数据截取，开启点云捕捉，进行数据截取，根据用户自身需求，最终生成船舶3d模型。
12.上述方案中，步骤s1中阿里云数据处理服务器对所接收数据进行初步处理包括：
13.(1)对视频图像数据进行初步处理：删除具有航标、桥墩及其余障碍物的图像区域；用预处理过后的当前帧图像进行区域增强，对视频图像进行边缘补足，获得船舶的视频图像数据；
14.(2)对点云数据进行初步处理：对点云数据进行点云精简，删除不属于目标范围内的点云数据，获得船舶的点云数据。
15.上述方案中，步骤s2具体包括以下分步：
16.s2.1、原始点云数据通过滤波处理，获得基础点云数据，通过内插dem完成点云图形区分；
17.s2.2、在利用软件获取dem的基础上，dem与视频图像数据进行配准，综合双向数据即可得到正向视频图像数据，完成了影像的数字微分纠正过程；
18.s2.3、原始点云数据经过边缘增强、阈值处理的图像预处理过程后，剔除了激光雷达点云数据中的粗差，完成了数据的融合配准处理，点云数据与正向视频图像数据按照时间差值可进行双向数据匹配，获得完整的在同一时间节点的匹配数据集。
19.上述方案中，步骤s3具体包括以下步骤：
20.s3.1、在建立匹配数据集后，对图像进行线性复合，从振幅上对图像结果进行突出化处理，从而达到图像增强的效果；
21.s3.2、增强结束后，进行加权融合的方法为灰度值加权融合，加权融合公式为：f(i,j)＝c1a(i,j)+c2b(i,j)，其中，i,j分别为图像中像素的行列表达，i＝1，2，3......n，j＝1,2,3......n；c1、c2为图像信息的加权系数，c1+c2＝1，针对光谱信息c1＝0,c2＝1，针对空间信息c1＝1,c2＝0；a为雷达点云数据、b为视频图像数据，a(i,j)为激光雷达点云数据像素行列表示，b(i,j)为视频图像数据像素行列表示，f(i,j)为像素行列叠加终值；
22.s3.3、完成融合后，获得附带光谱特质的船舶点云数据。
23.上述方案中，步骤s4具体包括以下步骤：
24.s4.1、将附带光谱特质的点云数据进行格式转换，转换为“*.rcs”格式或“*.rcp”格式，检查点云数据完整度，完成建模准备工作；
25.s4.2、矫正图像坐标系后，按需求进行点云切片，选定点云区域；进行点云数据分析并进行预处理，过滤后查看特征是否完整，是否符合建模需求；完成后，在点云对正后截取数据，察看处理效果；
26.s4.3、判断点云数据结构完整，特征明确后，对图像特征分级、拟合，并编辑关键尺寸；
27.s4.4、处理完成后，确认总体特征是否符合建模要求，使用点云捕捉功能精确捕捉点云数据的三维点坐标，完成船舶模型构建。
28.上述方案中，所述步骤s4.1具体包括：
29.(1)取得附带光谱特质的点云数据；
30.(2)转换数据格式，将点云数据导入rhino软件平台。
31.上述方案中，所述步骤s4.2具体包括：
32.(3)检查点云数据是否完整，是否符合建模需求，根据具体要求进行判断；如点云数据符合建模要求则进入下一步，进行点云数据提取及捕捉，否则返回第(1)步，重新取得点云数据；
33.(4)矫正导入数据坐标系，统一需求坐标，进行点云切割；
34.(5)数据分析，去除点云数据噪点，并对粗值过滤；
35.(6)得到初步处理点云数据，要求点云数据剩余70％以上，且特征保存良好，如点云数据符合要求则进入下一步，否则返回第(5)步，重新进行数据分析步骤；
36.(7)点云对正，并进行点云截取，察看效果。
37.上述方案中，所述步骤s4.3具体包括：
38.(8)点云细化处理；
39.(9)经细化处理后，检查点云特征是否完好，如点云特征完好则进入下一步，否则返回第(7)步，重新进行点云对正步骤；
40.(10)对所采集的点云数据进行特征分析、特征分级，确定特征形态，并划分特征重要级别；
41.(11)进行光谱特征拟合，在匹配前影像像元光谱与参考光谱要经过连续统去除处理，然后用最小二乘法拟合像元光谱和参考光谱经连续统去除后的曲线，并进行误差分析，减小误差程度；若结果误差过大，则返回特征拟合步骤，重新拟合特征，如结果误差属于可接受范围，则进入下一步；
42.(12)图形区域分割后进行关键尺寸编辑、调整；
43.(13)图形其余特征导入，修饰；
44.(14)图形基本构件完成，检查总体特征，是否符合建模需求，如符合则完成图形保存，并对模型评分；如评分不合格或建模需求不符合，则回到图形关键尺寸编辑步骤。
45.上述方案中，所述步骤s4.4具体包括：
46.(15)点云捕捉，保存数据，如能顺利保存点云数据则进入建模，否则返回关键尺寸编辑步骤；
47.(16)冻结模型数据，输出，建模完毕。
48.上述方案中，步骤s1中的摄像机采用海康威视星光级超低照度高清网络摄像机，该摄像机在白天或黑夜都能识别出船舶图像；所述摄像机安装于港口支架，且摄像机与水面平行设置，摄像机正视水面拍摄水面过往船舶图片；步骤s1中的激光雷达采用velodyne vlp16线激光雷达，该激光雷达测量范围100m，扫描角度达360
°
，可实时反馈三维距离和校准反射率测量；所述激光雷达安装于港口定点位置，设定扫描角度为270
°
，扫描范围100m，定时扫描水面过往船舶获得点云数据，并进行点云数据存储。
49.本发明的有益效果在于：
50.本发明利用激光雷达点云数据和视频图像数据相融合的方法，将视频图像光谱特质赋予船舶点云数据，建立附带光谱特质的船舶3d模型，来解决船舶模型数据库实际船舶数据缺乏的问题，丰富了船舶模型数据库。在实施过程中，通过阿里云服务器完成了点云数据及视频图像数据的初步处理，解决了以往数据重复载入、处理的过程；接下来根据时间，
建立了双向匹配数据集，解决了数据重复对照、纠正问题，最终根据加权融合法增强了图像效果，为建模提供了特征明确的附带光谱特质的点云数据，提升了船舶建模效率，并为之后多源数据融合的航行监管提供更多的数据支持，保障了航行安全。
附图说明
51.下面将结合附图及实施例对本发明作进一步说明，附图中：
52.图1是本发明方法的流程示意图；
53.图2是本发明方法中激光雷达及摄像头布设示意图；
54.图3是本发明方法中船舶点云数据与视频图像数据对照图；
55.图4是本发明方法中影像数据与点云数据的处理流程示意图；
56.图5是本发明方法实施例中建模流程示意图。
具体实施方式
57.为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
58.本发明提供了一种基于视频图像与激光雷达点云融合建立船舶模型的方法，该方法需提供一种船舶图像采集系统和一种激光雷达图像采集系统，所述船舶图像采集系统包括摄像机、存储卡、阿里云数据处理服务器，所述激光雷达图像采集系统包括激光雷达、存储卡、阿里云数据处理服务器，所述摄像机、激光雷达通过通信网络与阿里云数据处理服务器进行通信。如图1所示，本发明方法包括以下步骤：
59.s1、将摄像机安装于港口正视船舶位置，摄像机正视水面定时拍摄水面过往船舶图片，并进行视频图像数据存储；同时，将激光雷达布设于港口定点位置，定时扫描水面过往船舶获得点云数据，并进行点云数据存储；视频图像数据及点云数据存储完毕后，通过无线网络传输给阿里云数据处理服务器，进行数据初步处理。
60.摄像机位置及激光雷达位置参见图2。其中，摄像机安装于港口支架，且摄像机与水面平行设置，摄像机正视水面连续拍摄水面过往船舶图片，本实施例中，摄像机采用海康威视星光级超低照度高清网络摄像机，该摄像机在白天或黑夜都能识别出船舶图像。同时，在港口定点位置安装两个velodyne vlp16线激光雷达，设定测量范围为100m，扫描角度为270
°
，以补足角度问题对激光雷达造成的点云图像缺失的问题，定时扫描水面过往船舶获得点云数据，并进行点云数据存储，因激光雷达测量距离有限，其位置可随船舶距离远近进行调整，以最大程度获得完整点云图像。
61.拍摄的激光雷达点云图像及摄像机图像如图3所示，其匹配结果较为优良，保证了点云图像的局部特征、全局特征。为保证得到的是同时间段内、同一区域的激光雷达点云数据和视频图像数据，故两数据使用同一pos(position and orientation system，定姿定位系统)及同一时间匹配段。
62.阿里云数据处理服务器对所接收数据进行初步处理包括：(1)对视频图像数据进行初步处理：删除具有航标、桥墩及其余障碍物的图像区域；用预处理过后的当前帧图像进行区域增强，对视频图像进行边缘补足，获得船舶的视频图像数据；(2)对点云数据进行初步处理：对点云数据进行点云精简，删除不属于目标范围内的点云数据，获得船舶的点云数
据。
63.s2、阿里云数据处理服务器定时接收到激光雷达一帧点云数据和摄像机拍摄的一帧视频图像数据，数据接收完毕后将点云数据与视频图像数据按照时间差值进行双向数据匹配，获得在同一时间节点的匹配数据集。阿里云数据处理服务器进行双向数据匹配的具体方法为：
64.s2.1、原始点云数据通过滤波处理，获得基础点云数据，通过内插dem(digital elevation model，数字高程模型)完成点云图形区分；
65.s2.2、在利用软件获取dem的基础上，dem与视频图像数据进行配准，综合双向数据即可得到正向视频图像数据，完成了影像的数字微分纠正过程；
66.s2.3、原始点云数据经过边缘增强、阈值处理的图像预处理过程后，剔除了激光雷达点云数据中的粗差，完成了数据的融合配准处理，点云数据与正向视频图像数据按照时间差值可进行双向数据匹配，获得完整的在同一时间节点的匹配数据集。由于两数据使用同一坐标系及同一匹配时间段，所以采用时间匹配法进行数据配准。在阿里云数据处理服务器中，根据相同时间段调整点云数据角度，即可在正向视频图像中完成数据匹配工作，同时查看数据配准效果，以决定是否进行下一步数据输出。
67.s3、当阿里云数据处理服务器创建匹配数据集后，已获得正向视频图像数据与点云数据，使用加权融合法对激光雷达点云数据和正向视频图像数据进行融合，在振幅上对图像结果进行突出处理，达到图像增强的效果，获得附带光谱特质的点云数据。获得附带光谱特质的点云数据的具体方法为：
68.s3.1、在建立匹配数据集后，对图像进行线性复合，从振幅上对图像结果进行突出化处理，从而达到图像增强的效果；
69.s3.2、增强结束后，进行加权融合的方法为灰度值加权融合，加权融合公式为：f(i,j)＝c1a(i,j)+c2b(i,j)，其中，i,j分别为图像中像素的行列表达，i＝1，2，3......n，j＝1,2,3......n；c1、c2为图像信息的加权系数，c1+c2＝1，针对光谱信息c1＝0,c2＝1，针对空间信息c1＝1,c2＝0；a为雷达点云数据、b为视频图像数据，a(i,j)为激光雷达点云数据像素行列表示，b(i,j)为视频图像数据像素行列表示，f(i,j)为像素行列叠加终值；
70.s3.3、完成融合后，获得附带光谱特质的船舶点云数据。
71.s4、将附带光谱特质的点云数据进行格式转换后输入到建模软件，进行点云数据截取，开启点云捕捉，进行数据截取，根据用户自身需求，最终生成船舶3d模型。建模流程如图5所示：
72.s4.1、将附带光谱特质的点云数据进行格式转换，转换为“*.rcs”格式或“*.rcp”格式，检查点云数据完整度，完成建模准备工作。本步骤具体包括以下操作流程：
73.(1)取得附带光谱特质的点云数据；
74.(2)转换数据格式，将点云数据导入rhino软件平台。
75.s4.2、矫正图像坐标系后，按需求进行点云切片，选定点云区域；进行点云数据分析并进行预处理，过滤后查看特征是否完整，是否符合建模需求；完成后，在点云对正后截取数据，察看处理效果。本步骤具体包括以下操作流程：
76.(3)检查点云数据是否完整，是否符合建模需求，根据具体要求进行判断；如点云数据符合建模要求则进入下一步，进行点云数据提取及捕捉，否则返回第(1)步，重新取得
点云数据；
77.(4)矫正导入数据坐标系，统一需求坐标，进行点云切割；
78.(5)数据分析，去除点云数据噪点，并对粗值过滤；
79.(6)得到初步处理点云数据，要求点云数据剩余70％以上，且特征保存良好，如点云数据符合要求则进入下一步，否则返回第(5)步，重新进行数据分析步骤；
80.(7)点云对正，并进行点云截取，察看效果。
81.s4.3、判断点云数据结构完整，特征明确后，对图像特征分级、拟合，并编辑关键尺寸。本步骤具体包括以下操作流程：
82.(8)点云细化处理；
83.(9)经细化处理后，检查点云特征是否完好，如点云特征完好则进入下一步，否则返回第(7)步，重新进行点云对正步骤；
84.(10)对所采集的点云数据进行特征分析、特征分级，确定特征形态，并划分特征重要级别；
85.(11)进行光谱特征拟合，在匹配前影像像元光谱与参考光谱要经过连续统去除处理，然后用最小二乘法拟合像元光谱和参考光谱经连续统去除后的曲线，并进行误差分析，减小误差程度；若结果误差过大，则返回特征拟合步骤，重新拟合特征，如结果误差属于可接受范围，则进入下一步；
86.(12)图形区域分割后进行关键尺寸编辑、调整；
87.(13)图形其余特征导入，修饰；
88.(14)图形基本构件完成，检查总体特征，是否符合建模需求，如符合则完成图形保存，并对模型评分；如评分不合格或建模需求不符合，则回到图形关键尺寸编辑步骤。
89.s4.4、处理完成后，确认总体特征是否符合建模要求，使用点云捕捉功能精确捕捉点云数据的三维点坐标，完成船舶模型构建。本步骤具体包括以下操作流程：
90.(15)点云捕捉，保存数据，如能顺利保存点云数据则进入建模，否则返回关键尺寸编辑步骤；
91.(16)冻结模型数据，输出，建模完毕。
92.本发明利用视频图像与激光雷达点云数据融合建立船舶模型的方法，解决了单航行系统中船舶3d模型缺乏的问题，提高了船舶模型的建模精度，减少了人工建模的工作量，提升了重点区域的船舶类型感知水平，为之后的航行监管提供了稳定可靠的数据源。
93.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。