一种船舶导航系统和船舶导航方法

1.本发明涉及一种船舶导航系统和船舶导航方法。


背景技术：

2.内河水路货物运输在城市经济的快速发展中发挥着越来越显著的作用。然而船舶碰撞风险时有发生，人为因素是风险发生的重要原因。船舶自动化技术的发展和应用，不应该是将人为控制所淘汰，而是要以科技技术来弥补人为操作的不足，最大程度的降低人为操作的失误。
3.在目前可应用于船舶航行的智能技术中，激光雷达能够精确地探测近距离范围内目标障碍物的距离和方位信息，并且有着良好的抗雨雾干扰能力，可以有效解决船舶在复杂水域和狭窄水道航行的近距离目标探测问题，但激光雷达单一的感知性能无法为驾驶者提空可靠的决策依据；电子海图设备广泛应用于船舶的导航，有效的提高了船舶航行安全率，但电子海图设备显示船舶动态信息较为模糊，显示效果为二维，无法给予操纵者直观的视角。
4.现有船舶驾驶辅助技术及管理水平落后于陆上水平，目前陆上车辆驾驶普遍使用各类智能导航系统，激光雷达技术已成为了汽车自动驾驶的“眼睛”，水路船舶航行也迫切需要智能导航和管理系统实现船舶航行全程监控和全程记录、安全侦测和提醒告警的智能化技术体系，提升船舶航行安全性，并为减缓船员工作压力做好技术保障。


技术实现要素：

5.本发明的目的在于提供一种船舶导航系统和船舶导航方法，实时计算碰撞风险，确保航行安全，并通过识别点云信息并与ais信息叠加成像，实现辅助内河船舶驾驶，增加航行的安全性。
6.为了达到上述目的，本发明提供一种船舶导航系统，包含：
7.传感器模块，用于通过激光雷达发射并接收激光信号，同时使用ais接收机接收甚高频天线信号，将采集到的数据传输至数据处理模块；
8.数据处理模块，用于同时接收外部激光雷达点云数据与ais数据，进行雷达信号标定、点云目标识别、碰撞风险计算、点云数据和ais数据匹配。
9.所述船舶导航系统还包含导航预警模块，所述导航预警模块包含：报警装置和船载显示平板；
10.所述报警装置连接所述数据处理模块，用于接收碰撞报警信号，使用声光结合的方式进行报警，对船舶碰撞风险做出预警；
11.所述船载显示平板连接所述数据处理模块，用于接收包含目标位置信息、类别信息和ais信息的点云数据，并进行可视化处理，通过直观的图像显示来辅助船舶驾驶，实现雷达点云信息增强显示的效果。
12.所述船舶导航系统还包含通信模块，其分别连接传感器模块、数据处理模块和导
航预警模块，使用5g网络搭建船舶内部局域网，用于保证各模块间通信的及时性。
13.所述传感器模块包含：至少三台多线激光雷达和至少一台ais接收机；
14.所述多线激光雷达分别布置于船首左侧、船首右侧和船尾中心处，以探测船舶前方和左右的航行环境；
15.所述ais接收机连接船载vhf天线，以接收传播周围的船舶ais信息。
16.所述数据处理模块包含：雷达标定设备和工控机设备；
17.所述雷达标定设备连接所述多线激光雷达，进行外参标定与点云融合，完成激光雷达坐标系向船舶坐标系的转化；
18.所述工控机设备连接所述雷达标定设备、所述ais接收机和所述导航预警模块，用于同时接收点云数据和ais数据，完成点云目标识别、碰撞风险计算、点云数据和ais数据匹配。
19.本发明还提供一种船舶导航方法，通过激光雷达发射并接收激光信号形成点云数据，雷达标定设备进行雷达标定，完成激光雷达坐标系向船舶坐标系的转化和各处点云的融合，通过ais接收机接收甚高频天线信号形成ais数据，工控机设备同时接收来自雷达标定设备的点云数据和来自ais接收机的ais数据，工控机设备进行碰撞风险计算，对船舶碰撞风险做出预警，工控机设备进行点云目标识别，以及点云数据和ais数据匹配，经可视化处理，辅助船舶驾驶。
20.所述雷达标定方法包含：
21.建立以船舶中心为原点的坐标系o1，激光雷达坐标系为o2，两个坐标系的转换关系为：o1＝ro2+t，其中，r为3
×
3旋转矩阵，t为3
×
1平移矩阵，找到空间中任意两个点p1、p2在坐标系o1和坐标系o2下所组成的向量v1、v2，称为一组同名向量，有v2＝rv1，结合rodrigues方法来描述坐标系旋转，找到两组以上的同名向量即可求解旋转矩阵r，再使用多个空间点与两个坐标系原点构成多组向量g
1i
、g
2i
，k＝1,2,3,...，i表示第几组向量，k表示向量的组数，使用公式即可求出平移矩阵t，如此依次完成激光雷达的标定。
22.所述计算碰撞风险的方法包含：
23.建立模型计算出船舶在周围360
°
各方向上的安全距离：
[0024][0025]
其中，已知本船的航速v，船舶总吨位t，normalize()表示归一化函数，v’表示船速v在各方向上的投影，t0表示反应时间；
[0026]
由此在点云坐标系中圈画出船舶的安全区域，若有其他点云目标进入此安全区域，则产生碰撞风险。
[0027]
所述识别点云目标的方法包含：
[0028]
建立每个点云映射到rgb图像中一个网格中的映射函数s
j
，计算出由高度、强度和密度三个通道编码的rgb图像；
[0029]
将rgb图像输入由卷积神经网络cnn和区域建议网络e
‑
rpn组成的complex
‑
yolo深度学习模型，对rgb图像进行特征提取，通过对目标的位置与姿态估计来预测多类别的3d检
测框，将目标划分为船舶、浮标、桥梁和未知障碍物四种类别，将识别出的点云目标扩充为包含位置信息和类别信息的序列。
[0030]
所述匹配点云数据和ais数据的方法包含：
[0031]
针对点云数据，建立t
‑
1时刻检测目标的状态模型x(t
‑
1)＝{p
t
‑1,v
t
‑1}，其中，p和v分别表示位置和速度，使用卡尔曼滤波预测出点云目标在t时刻的状态模型z(t)，使用公式计算出船舶坐标系下x(t)和z(t)状态下的两个3d框各自中点与8个角点间欧氏距离的平均值表示二者的关联性，再结合匈牙利算法匹配所有的预测结果与检测结果，以此完成多个船舶点云目标的轨迹跟踪；其中，box
ix
和box
iz
分别表示3d检测框x和3d检测框z中第i个关键点，包括各自的中点和其余8个角点在内，共9组关键点；
[0032]
针对ais数据，提取ais数据中的位置信息，剔除与本船距离大于300m的船舶目标，以mmsi编号对目标船舶进行跟踪，经插值处理后形成完整的船舶运动轨迹；
[0033]
在船舶坐标系下，分别计算出点云目标与ais目标的位置相似性、航向相似性与航速相似性，再融合计算出二者的轨迹相似性，将相似性大于等于90％轨迹划归于同一目标，将点云船舶目标跟踪信息扩充为z(t)＝{mmsi，type，distance，sog，cog}，其中，mmsi，type，distance，sog，cog分别表示mmsi编号、类别、距离、航速与航向信息，且随时间更新。
[0034]
本发明具有以下优点：
[0035]
1、使用3d目标检测算法从点云数据中识别出船舶目标，同时接收周围船舶的ais数据，依据两者的空间坐标关系进行匹配，后经可视化处理，可在点云图像中增加更多的船舶信息。
[0036]
2、结合点云数据和导入的航道数据，可准确识别出航道边界、浮标、桥梁等物体，并且在点云图像中进行标示，辅助感知周围环境。
[0037]
3、基于激光雷达精准的探测性能，对船舶与周围障碍物的间距进行实时的监控，在形成碰撞危险时进行报警，确保航行安全。
附图说明
[0038]
图1是本发明提供的一种船舶导航系统的结构框图。
[0039]
图2是船载各模块布置方案平面图。
[0040]
图3是本发明提供的一种船舶导航方法的流程图。
具体实施方式
[0041]
以下根据图1～图3，具体说明本发明的较佳实施例。
[0042]
针对目前船舶导航形式单一且不够直观的缺点，本发明提出了一种船舶导航系统和导航方法，使用船载激光雷达设备，其探测距离和视场角可有效满足内河船舶在航行过程中对周围环境的清晰感知，通过点云目标检测技术与ais信息叠加技术，实现对航行环境的多形态展示，同时基于激光雷达对障碍物的精准探测实现碰撞预警。
[0043]
如图1所示，在本发明的一个实施例中，提供一种船舶导航系统，包含：
[0044]
传感器模块1，用于同时采集点云数据和ais数据，通过激光雷达发射并接收激光
信号，同时使用ais接收机接收甚高频天线信号，将采集到的数据通过通信模块3传输至船舶驾驶室内的数据处理模块2；
[0045]
数据处理模块2，用于同时接收外部激光雷达点云数据与ais数据，从多方面对数据进行处理运算，并将计算结果传输至导航预警模块4，对导航与报警模块做出部署；
[0046]
导航预警模块4，用于接收数据处理模块的计算结果，输出点云图像并显示，实现雷达点云信息增强显示的效果，对船舶碰撞风险做出预警；
[0047]
通信模块3，分别连接传感器模块1、数据处理模块2和导航预警模块4，使用5g网络搭建船舶内部局域网，用于保证各模块间通信的及时性。
[0048]
如图2所示，所述传感器模块1包含：至少三台多线激光雷达11和ais接收机12；所述多线激光雷达11分别布置于船首左侧、船首右侧和船尾中心处，以探测船舶前方和左右的航行环境，激光雷达11共同连接至设置在驾驶舱内的雷达标定设备21，进行外参标定与点云融合，形成以船舶为原心覆盖周围360
°
区域的点云坐标系；所述ais接收机12连接船载vhf天线，可接收周围二十海里范围内的船舶ais信息，将接收到的ais数据同样传输至数据处理模块2，等待进行下一步处理。
[0049]
所述的数据处理模块2包含：雷达标定设备21和工控机设备22；所述雷达标定设备21，连接外部三台激光雷达11，分别进行外参求取，完成激光雷达坐标系向船舶坐标系的转化和各处点云的融合，其标定方法为：建立以船舶中心为原点的坐标系o1，激光雷达坐标系为o2，两个坐标系的转换关系为：o1＝ro2+t，其中，r为3
×
3旋转矩阵，t为3
×
1平移矩阵，找到空间中任意两个点p1、p2在坐标系o1和坐标系o2下所组成的向量v1、v2，称为一组同名向量，有v2＝rv1，结合rodrigues方法来描述坐标系旋转，找到两组以上的同名向量即可求解旋转矩阵r，再使用多个空间点与两个坐标系原点构成多组向量g
1i
、g
2i
，k＝1,2,3,...，i表示第几组向量，k表示向量的组数，使用公式即可求出平移矩阵t，如此依次完成三台激光雷达的标定；所述工控机设备22采用linux系统，可支持gpu运算，其连接雷达标定设备21、ais接收机12和导航预警模块4，用于同时接收点云与ais数据，以完成点云目标识别、碰撞风险计算、点云与ais叠加等工作。
[0050]
进一步，所述工控机设备22用于同时接收来自雷达标定设备与ais接收机的点云和ais数据，并提取ais信息中的mmsi编号、经纬度坐标、航向与航速信息，剔除距离较远的船舶信息，所述工控机设备22包含：碰撞预警单元23，目标识别单元24和信号融合单元25；所述碰撞预警单元23部署于所述工控机设备22内部，用于计算碰撞风险，并且做出预警决策，所述计算和决策方法为：通过船舶坐标系下的点云数据，实时监控船舶与周围障碍物的距离，结合自身航向与航速，建立模型计算出碰撞风险，计算碰撞风险的方法具体包含：建立模型计算出船舶安全区域，已知本船的航速v，船舶总吨位t，计算船舶在周围360
°
各方向上的安全距离：上的安全距离：其中，normalize()表示归一化函数，v’表示船速v在各方向上的投影，t0表示反应时间，由此可在点云坐标系中圈画出船舶的安全区域，若有其他点云目标进入此区域，则产生碰撞风险；所述目标识别单元24部署于工控机设备22内部，用于对点云数据进行目标检测与分类，检测与分类方法为：
首先对点云进行预处理，建立每个点云映射到rgb图像中一个网格中的映射函数s
j
，计算出由高度、强度和密度三个通道编码的rgb图像；再将rgb图像输入由cnn(卷积神经网络)和e
‑
rpn(区域建议网络)组成的complex
‑
yolo深度学习模型，对rgb图像进行特征提取，通过对目标的位置与姿态估计来预测多类别的3d检测框，目标划分为船舶、浮标、桥梁和未知障碍物四种类别，将识别出的点云目标扩充为包含位置信息和类别信息的序列；所述信号融合单元25部署于工控机设备22内部，用于计算点云目标与ais目标的运动轨迹，进行空间坐标系下的匹配计算，并将匹配的结果传输至导航与预警模块4，匹配计算方法为：针对点云数据，建立t
‑
1时刻检测目标的状态模型x(t
‑
1)＝{p
t
‑1,v
t
‑1}，其中p和v分别表示位置和速度，使用卡尔曼滤波预测出点云目标在t时刻的状态模型z(t)，使用公式(其中，box
ix
和box
iz
分别表示检测框x和检测框z中第i个关键点，包括各自的中点和其余8个角点在内，共9组关键点)计算出船舶坐标系下x(t)和z(t)状态下的两个3d框各自中点与8个角点间欧氏距离的平均值表示二者的关联性，再结合匈牙利算法匹配所有的预测结果与检测结果，以此完成多个船舶点云目标的轨迹跟踪；针对ais数据，提取ais数据中的位置信息，剔除与本船距离大于300m的船舶目标，以mmsi编号对目标船舶进行跟踪，经插值处理后形成完整的船舶运动轨迹；在船舶坐标系下，分别计算出点云目标与ais目标的位置相似性、航向相似性与航速相似性，再融合计算出二者的轨迹相似性，将相似性较高的轨迹划归于同一目标，将点云船舶目标跟踪信息扩充为z(t)＝{mmsi，type，distance，sog，cog}，其中，mmsi，type，distance，sog，cog分别表示mmsi编号、类别、距离、航速与航向信息，且随时间更新。
[0051]
所述通信模块3分别使用两条10
‑
20米和一条50米以上的网线连接分布于船首和船尾的激光雷达与驾驶舱内的雷达标定设备，在雷达标定设备21、工控机设备22、ais接收机12、船载显示平板42和报警装置41间构建5g局域网，使用无线网络进行数据传输。
[0052]
所述导航与预警模块4包含：报警装置41和船载显示平板42；所述报警装置41连接所述数据处理模块2，用于接收碰撞报警信号，使用声光结合的方式进行报警；所述船载显示平板42连接所述数据处理模块2，用于接收包含目标位置信息、类别信息和ais信息的点云数据，并进行可视化处理，通过直观的图像显示来辅助船舶驾驶；所述船载显示平板42内部部署有可视化软件43，用于将点云数据处理为rgb图像，同时从导入的航道数据中提取航道边界信息，从点云数据中提取出类别信息(包括船舶、浮标、桥梁和未知障碍物)和ais信息(包括mmsi编号、航向、航速)，对这些信息建立不同的可视化模型，将点云像素化，生成以船舶为中心的鸟瞰图像，根据点云目标的位置标示3d检测框，将浮标、桥梁和航道边界以可视化模型表示，将mmsi编号、类别等信息以文本形式标示于检测框周围。
[0053]
如图3所示，本发明还提供一种船舶导航方法，实施步骤如下：
[0054]
步骤1、船舶通过激光雷达发射并接收激光信号，形成点云数据并通过网线传输至驾驶舱内部的雷达标定设备，雷达标定设备完成激光雷达坐标系向船舶坐标系的转化和各处点云的融合，同时使用ais接收机接收甚高频天线信号，将采集到的数据通过通信模块传输至船舶驾驶室内的数据处理模块；
[0055]
所述雷达标定设备的标定方法为：建立以船舶中心为原点的坐标系o1，激光雷达
坐标系为o2，两个坐标系的转换关系为：o1＝ro2+t，其中，r为3
×
3旋转矩阵，t为3
×
1平移矩阵，找到空间中任意两个点p1、p2在坐标系o1和坐标系o2下所组成的向量v1、v2，称为一组同名向量，有v2＝rv1，结合罗德里格旋转公式(rodrigues'rotation formula)来描述坐标系旋转，找到两组以上的同名向量即可求解旋转矩阵r，再使用多个空间点与两个坐标系原点构成多组向量g
1i
、g
2i
，k＝1,2,3,...，i表示第几组向量，k表示向量的组数，使用公式即可求出平移矩阵t，如此依次完成三台激光雷达的标定；
[0056]
步骤2、使用工控机设备同时接收来自雷达标定设备与ais接收机的信号，分别进行解码处理并剔除异常数据；
[0057]
步骤3、计算碰撞风险：
[0058]
工控机设备通过船舶坐标系下的点云数据来实时监控船舶与周围障碍物的准确距离，结合自身航向与航速，计算出碰撞风险，设置风险阈值以决定是否引发报警，若达到阈值，则向机舱内部的报警装置发送报警信号；
[0059]
所述计算碰撞风险的方法具体包含：
[0060]
建立模型计算出船舶在周围360
°
各方向上的安全距离：
[0061][0062]
其中，已知本船的航速v，船舶总吨位t，normalize()表示归一化函数，v’表示船速v在各方向上的投影，t0表示反应时间；
[0063]
由此可在点云坐标系中圈画出船舶的安全区域，若有其他点云目标进入此安全区域，则产生碰撞风险；
[0064]
步骤4、检测点云目标：
[0065]
工控机设备使用映射函数s
j
将点云向rgb图像进行转化，通过预先训练好的complex
‑
yolo深度网络模型进行3d目标边界框的位置预测，将目标划分为船舶、浮标、桥梁和未知障碍物四种类别，识别出的点云目标扩充为包含位置信息和类别信息的序列；
[0066]
所述检测与分类方法为：首先对点云进行预处理，建立每个点云映射到rgb图像中一个网格中的映射函数s
j
，计算出由高度、强度和密度三个通道编码的rgb图像；再将rgb图像输入由cnn(卷积神经网络)和e
‑
rpn(区域建议网络)组成的complex
‑
yolo深度学习模型，对rgb图像进行特征提取，通过对目标的位置与姿态估计来预测多类别的3d检测框，目标划分为船舶、浮标、桥梁和未知障碍物四种类别，将识别出的点云目标扩充为包含位置信息和类别信息的序列；
[0067]
步骤5、匹配点云数据和ais数据：
[0068]
工控机设备分别建立点云船舶目标和ais目标的跟踪模型，且不断更新目标位置形成两组目标轨迹，随每次更新交叉计算两组轨迹间的相似性，将相似度较高的轨迹划归于同一目标，将点云船舶目标跟踪信息扩充为z(t)＝{mmsi，type，distance，sog，cog}，其中mmsi，type，distance，sog，cog分别表示mmsi编号、类别、距离、航速与航向信息，且随时间更新，将所有点云和带有轨迹信息和ais信息的点云目标信息传输至驾驶舱的船载显示平板；
[0069]
所述匹配方法为：
[0070]
针对点云数据，建立t
‑
1时刻检测目标的状态模型x(t
‑
1)＝{p
t
‑1,v
t
‑1}，其中，p和v分别表示位置和速度，使用卡尔曼滤波预测出点云目标在t时刻的状态模型z(t)，使用公式(其中，box
ix
和box
iz
分别表示3d检测框x和3d检测框z中第i个关键点，包括各自的中点和其余8个角点在内，共9组关键点)计算出船舶坐标系下x(t)和z(t)状态下的两个3d框各自中点与8个角点间欧氏距离的平均值表示二者的关联性，再结合匈牙利算法匹配所有的预测结果与检测结果，以此完成多个船舶点云目标的轨迹跟踪；
[0071]
针对ais数据，提取ais数据中的位置信息，剔除与本船距离大于300m的船舶目标，以mmsi编号对目标船舶进行跟踪，经插值处理后形成完整的船舶运动轨迹；
[0072]
在船舶坐标系下，分别计算出点云目标与ais目标的位置相似性、航向相似性与航速相似性，再融合计算出二者的轨迹相似性，以此将船舶目标匹配上与之契合的ais信号，将点云船舶目标跟踪信息扩充为z(t)＝{mmsi，type，distance，sog，cog}，其中，mmsi，type，distance，sog，cog分别表示mmsi编号、类别、距离、航速与航向信息，且随时间更新；
[0073]
步骤6、平板导航和碰撞预警：
[0074]
使用船载显示平板接收来自工控机设备的点云信息，使用自主开发的可视化软件，将点云像素化，生成以船舶为中心的鸟瞰图像，根据点云目标的位置标示3d检测框，将浮标、桥梁和航道边界以可视化模型表示，将mmsi编号、类别等信息以文本形式标示于检测框周围，驾驶舱内部的报警装置与工控机设备也处于实时连接状态，准备在危险情况下做出预警。
[0075]
本发明使用船载激光雷达方案，结合点云目标检测技术与ais信息叠加技术，使用视频显示的手段来代替人眼瞭望，可在各种复杂天气环境下帮助驾驶员直观了解船舶状态与周围环境信息。相比普通的激光雷达显示系统，本发明可实现：1、使用3d目标检测算法从点云数据中识别出船舶目标，同时接收周围船舶的ais数据，依据两者的空间坐标关系进行匹配，后经可视化处理，可在点云图像中增加更多的船舶信息。2、结合点云数据和导入的航道数据，可准确识别出航道边界、浮标、桥梁等物体，并且在点云图像中进行标示，辅助感知周围环境。3、基于激光雷达精准的探测性能，对船舶与周围障碍物的间距进行实时的监控，在形成碰撞危险时进行报警，确保航行安全。
[0076]
需要说明的是，在本发明的实施例中，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述实施例，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0077]
尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。