一种拖体姿态自动识别方法与流程

本发明属于计算机视觉和感知融合的，尤其涉及一种拖体姿态自动识别方法。

背景技术：

1、拖体收放一般指海洋船只搭载收放设备对拖体类物体进行释放回收。在执行拖体类收放控制任务时，通常需要至少一名艉甲板人员去观察拖体的姿态，确保拖体能以较好的姿态被收放机构回收。这一过程至少需要消耗一名人员站位，且在恶劣海况下，观测人员存在较大风险。随着科学技术的高速发展，海洋作业设备也逐步往无人化发展，拖体类收放也需要实现无人收放，亟需人工智能，智能监控等技术能应用至拖体收放领域。但当前拖体收放领域智能化程度并不高，人工依赖较强，提升改进需求非常迫切。

技术实现思路

1、为了解决以上存在的问题，本发明提供了一种拖体姿态自动识别方法，通过将多传感器数据融合和图像识别技术在排缆收放控制领域进行应用，实现拖体收放系统的智能化和无人化。

2、本发明采用如下技术方案：

3、一种拖体姿态自动识别方法，包括以下步骤：

4、(1)对相机进行标定，获取相机内参矩阵mi和去畸变矩阵md；

5、(2)固定激光雷达和相机的相对位置，对激光雷达和相机进行联合标定，获取雷达相机的外参矩阵me；

6、(3)由相机内参矩阵mi与雷达相机外参矩阵me计算得到三维雷达坐标系到二维像素坐标系的转换矩阵mt；

7、(4)相机使用rtsp流模式，通过网口，转码得到每一帧的图像数据；

8、(5)利用去畸变矩阵md对每一帧图像进行去畸变处理，从而得到去畸变的图像数据；

9、(6)根据拖体检测模型实现对拖体目标的实时检测，得到拖体目标的检测框；

10、(7)遍历激光雷达的点云数据，利用转换矩阵mt计算点云投影到图像平面的像素坐标，如果在检测框内则保留，如果在检测框外则删除，从而提取出目标拖体的点云；

11、(8)根据拖体点云数据求得拖体纵向中轴单位向量，从而得到拖体的姿态信息。

12、优选的，在步骤(1)中对相机进行标定的方法是张友正标定法，具体过程是：

13、基于相机成像原理，像素坐标系与相机坐标系之间的坐标变换关系表示如以下公式所示：

14、

15、式中fx为相机在x方向的焦距，fy为相机在y方向的焦距，cx、cy分别是图像坐标系的原点o’在像素坐标系中的横坐标和纵坐标；(u，v)代表像素坐标，(xc，yc，zc)代表相机坐标，代表相机内参矩阵mi；

16、在图像坐标系上点的理想坐标和畸变后坐标的关系如以下公式所示：

17、

18、式中，(x0，y0)表示畸变纠正后的位置，(x，y)表示畸变点原始位置，k1，k2，k3为径向畸变参数，p1，p2为切向畸变参数，(k1，k2，k3，p1，p2)代表去畸变矩阵md；

19、利用相机拍摄多张不同姿态的标准黑白标定棋盘，通过张友正标定法获得相机内参矩阵mi和去畸变矩阵md。

20、优选的，在步骤(2)中对激光雷达和相机进行联合标定的方法是dlt法，具体过程是：

21、雷达坐标系与像素坐标系之间的变换关系如以下公式所示：

22、

23、式中，相机雷达外参矩阵me为r代表旋转矩阵，t代表平移矩阵，(xw，yw，zw)代表雷达坐标；

24、确定激光雷达和相机的安装位置，使用dlt法对激光雷达和相机进行联合标定，标定过程中选定九对对应特征点，即相机像素坐标点和对应的激光雷达点云点，以此获得雷达相机的外参矩阵me。

25、优选的，在步骤(3)中由相机内参矩阵mi与雷达相机外参矩阵me相乘得到三维雷达坐标系到二维像素坐标系的转换矩阵mt，如以下公式所示：

26、

27、优选的，在步骤(5)中去畸变处理的方法是：

28、根据公式(2)，将纠正畸变后的点在像素平面上的坐标计算出来，如以下公式所示：

29、

30、再将纠正畸变的像素放到正确的位置。

31、优选的，在步骤(8)中通过取均值计算得到拖体纵向中轴线单位向量t，通过向量点积求得当前拖体纵向中轴线单位向量t和初始拖体纵向中轴线单位向量t’的夹角α，夹角α的计算公式如下所示：

32、α＝arccos(t·t′)  (6)，

33、并由此得到拖体的姿态信息。

34、本发明具有以下优点：

35、1、本发明对传感器内外参的标定建立三维空间坐标系和二维图像坐标系的映射关系，结合图像识别技术可以得到目标拖体的姿态信息，通过融合了激光雷达和相机的数据，获取的拖体姿态信息更加准确。

36、2、本发明可以替代人眼观测提供拖体姿态信息，减少人员站位，提高了拖体收放控制系统的智能化和无人化水平。

技术特征：

1.一种拖体姿态自动识别方法，其特征在于,包括如下步骤：

2.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(1)中，采用张友正标定法对相机进行标定。

3.根据权利要求2所述的一种拖体姿态自动识别方法，其特征在于：在步骤(1)中，基于相机成像原理，像素坐标系与相机坐标系之间的坐标变换关系表示如以下公式所示：

4.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(2)中，采用dlt法对激光雷达和相机进行联合标定。

5.根据权利要求4所述的一种拖体姿态自动识别方法，其特征在于：在步骤(2)中，雷达坐标系与像素坐标系之间的变换关系如以下公式所示：

6.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(3)中，由相机内参矩阵mi与雷达相机外参矩阵me相乘得到三维雷达坐标系到二维像素坐标系的转换矩阵mt，如以下公式所示：

7.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(5)中，去畸变处理的方法是根据公式(2)，将纠正畸变后的点在像素平面上的坐标计算出来，如以下公式所示：

8.根据权利要求1所述的一种拖体姿态自动识别方法，其特征在于：在步骤(8)中通过取均值计算得到拖体纵向中轴线单位向量t，通过向量点积求得当前拖体纵向中轴线单位向量t和初始拖体纵向中轴线单位向量t’的夹角α，夹角α的计算如以下公式所示：

技术总结
本发明提供了一种拖体姿态自动识别方法，属于计算机视觉和感知融合的技术领域。通过对传感器内外参的标定建立了三维空间坐标系和二维图像坐标系的映射关系，结合图像识别技术可以得到目标拖体的姿态信息。该方法有效减少了收放控制系统的人员站位，进一步提高了拖体收放装置的智能化和无人化水平。

技术研发人员：周启票,王俊雷,马立伟,徐晨晨,张梦蝶
受保护的技术使用者：中国船舶重工集团公司第七一五研究所
技术研发日：
技术公布日：2024/1/12