一种自动化码头集装箱的箱型识别系统及其方法与流程

1.本发明涉及自动化码头集装箱箱型检测识别与定位技术，更具体地说，涉及一种自动化码头集装箱的箱型识别系统及其方法。


背景技术：

2.自新冠疫情发生以来，随着全球对物资需求的爆发式增长，贸易货物运输量也是飞速增长，集装箱的需求比例不断提高，集装箱的运输量也呈现爆发式增长趋势。从航次经济核算分析，通过缩短集装箱船舶的停泊时间可以降低停泊成本，提高集装箱运输船舶的航行效率并充分发挥船舶单位运输成本的优势，提高经济效益，这就对集装箱装卸作业的效率提出更高的要求。
3.目前，自动化码头起重机作业集装箱箱型分为单20尺、单40尺、单45尺和双20尺四种类型，其中双20尺集装箱是由两个单20尺集装箱组成。通常情况下，集装箱卡车上的集装箱在进行装卸前需要集卡按既定车道停在指定区域位置，集装箱卡车在引导到位后，起重机设备行驶至集卡上方，起重机吊具开始对集卡进行装箱、卸箱作业，而在抓放箱作业前，能够提前分辨出具体哪一种箱型就显得尤为重要，不仅可以大大提高作业效率，而且还可以提高作业的安全性。
4.现有技术中，大都采用传统人工参与或激光扫描检测的方式。前者集装箱的信息一般依靠自动化码头理货员的信息操作系统或者码头起重机作业司机肉眼观察识别集装箱箱型，然后控制起重机吊具设置在相应的尺度位置，对应相应集装箱的大小。根据吊具的臂展伸出的长度位置，码头起重机中控系统可以获知作业的集装箱箱型，再将集装箱箱型信息反馈给需要该信息的机构。现有技术中，有些机构无法与码头起重机中控系统建立通讯，该机构必须依靠自身探测箱型，但目前并没有单独检测箱型的机构。后者利用激光集卡引导系统，也只能分辨出单20尺、40尺和45尺箱型，对于单40尺和双20尺箱型是很难分辨出的，在检测识别上遇到了瓶颈。


技术实现要素：

5.针对现有技术中存在的上述缺陷，本发明的目的是提供一种自动化码头集装箱的箱型识别系统及其方法，利用ai结合机器视觉检测、分割与定位技术实现对自动化码头集装箱箱型的检测识别，检测精度高、速度快、实时性好，适用于自动化码头集装箱箱型的识别的要求。
6.为实现上述目的，本发明采用如下技术方案：
7.一方面，一种自动化码头集装箱的箱型识别系统，包括：
8.标定模块，获取现场车道的实时视频流，并对所述实时视频流作去畸变处理；
9.采集模块，获取所述实时视频流，解码成图片，并对所述图片作预处理；
10.算法模块，获取所述图片，通过算法处理判断出集装箱是单20尺、单40尺、双20尺或45尺箱型；
11.数据记录模块，记录各模块的历史记录、状态信息及故障信息、数据存储。
12.较佳的，所述标定模块选用工业相机，设于起重机上。
13.较佳的，所述算法模块进一步包括：
14.ai检测算法模块一，用以实现所述图片中集卡车头车身整车粗定位；
15.ai分割算法模块，用以实现所述图片中集装箱轮廓的像素级高精定位；
16.坐标系转换算法模块，用以计算得到集装箱的长度；
17.判断模块一，用以初步判断集装箱是单20尺、单40尺、双20尺或45尺箱型；
18.ai检测算法模块二，用以实现所述图片中对集装箱箱间隙或集装箱锁孔数量的检测；
19.判断模块二，用以最终判断集装箱是单20尺、单40尺、双20尺或45尺箱型。
20.另一方面，一种自动化码头集装箱的箱型识别系统，采用所述的自动化码头集装箱的箱型识别系统执行以下步骤：
21.s1、通过所述标定模块获取现场车道的实时视频流，并对所述实时视频流作去畸变处理；
22.s2、通过所述采集模块获取所述实时视频流，解码成图片，并对所述图片作预处理；
23.s3、将预处理后的所述图片输入所述算法模块中，判断出集装箱是单20尺、单40尺、双20尺或45尺箱型。
24.较佳的，所述步骤s1中，所述标定模块选用工业相机，安装在起重机上；
25.安装前，对所述工业相机进行相机内参标定；
26.安装后，对所述工业相机进行相机外参标定。
27.较佳的，所述相机内参标定进一步包括：
28.利用标定板和张氏标定法获取所述工业相机内参矩阵m和畸变参数k1、k2、k3、p1和p2，并通过内参矩阵m和畸变参数k1、k2、k3、p1和p2对所述工业相机进行去畸变校正。
29.所述相机外参标定进一步包括：
30.利用标定板角点在起重机坐标系下的坐标和在相机像素坐标系下的坐标，通过pnp算法或非线性高斯牛顿优化算法得到相机坐标系到起重机坐标系的旋转矩阵r和平移矩阵t。
31.较佳的，所述步骤s2中，预处理为滤波去燥、灰度化或直方图均衡化处理算法。
32.较佳的，所述步骤s3中，所述算法模块的计算进一步包括以下步骤：
33.s31、通过所述ai检测算法模块一对所述图片中集卡车头车身整车粗定位，即将预处理后的所述图片输入yolo深度学习卷积神经网络的预训练目标检测算法模型中得到集卡车头车身整车检测结果，然后对车头车身整车roi区域进行剪切提取车头车身整车粗定位图像；
34.s32、通过所述ai分割算法模块对所述图片中集装箱轮廓的像素级高精定位，即将得到的车头车身整车粗定位图像经过ai分割算法，获取集装箱轮廓的像素级高精定位图像，并通过集装箱轮廓最小面积外接框后处理算法得到车头轮廓外接框及框的左上角和右下角像素坐标，通过所述ai检测算法模块一剪切的车头车身整车roi区域图像与原始图像的比例关系还原到原始图像上得到原始图像上集装箱轮廓外接框及框的左上角和右下角
高精像素坐标；
35.s33、通过所述坐标系转换算法模块将集装箱轮廓外接框的左上角和右下角高精像素坐标通过标定的相机内参矩阵m和外参旋转矩阵r与平移矩阵t换算得到集装箱左上角和右下角在起重机坐标系下的坐标，通过计算得到集装箱的长度；
36.s34、通过所述判断模块一获取所述ai分割算法模块得到集装箱左上角和右下角在起重机坐标系下的坐标，通过计算可得集装箱的实际长度，可以初步判断集装箱是单20尺、单40尺、双20尺或45尺箱型；
37.s35、通过所述ai检测算法模块二对所述图片中集装箱箱间隙或集装箱锁孔数量的检测，将分割后的集装箱图片输入yolo深度学习卷积神经网络的预训练目标检测算法模型中得到集装箱的箱间隙或集装箱的锁孔数量的检测结果；
38.s36、通过所述判断模块二获取所述ai检测算法模块二得到集装箱的箱间隙或集装箱的锁孔数量的检测结果，即最终判断集装箱是单20尺、单40尺、双20尺或45尺箱型。
39.较佳的，所述ai检测算法模块一、所述ai检测算法模块二与所述ai分割算法模块的神经网络算法模型的训练过程进一步包括以下步骤：
40.a)建立集装箱卡车数据库；
41.b)制作集装箱卡车训练、验证及测试数据集；
42.c)搭建所述神经网络算法模型。
43.较佳的，所述步骤a)中，建立集装箱卡车数据库具体如下：
44.获取所述标定模块的去畸变后的视频流，通过解码获取集装箱卡车图像，并利用标注工具对所述集装箱卡车图像进行标注；
45.所述步骤b)中，制作数据集具体如下：
46.从所述集装箱卡车数据库中提取训练集、验证集、测试集；
47.所述步骤c)中，搭建所述ai检测与分割神经网络算法模型具体如下：
48.使用所述训练集进行所述集装箱卡车检测分割模型的训练，通过所述验证集评判ai检测算法模块一、所述ai检测算法模块二与所述ai分割算法模块的神经网络算法模型是否符合要求，再通过所述测试集进行测试，得到训练好的ai检测算法模块一、所述ai检测算法模块二与所述ai分割算法模块的神经网络算法预训练模型。
49.本发明所提供的一种自动化码头集装箱的箱型识别系统及其方法，具有以下几点有益效果：
50.1)在使用前只需在起重机上安装一台工业相机，安装前，对相机进行内参的标定，安装后，对相机进行外参的标定，建立相机坐标系与起重机坐标系的转换关系，标定过程简单、使用方便、成本较低；
51.2)采用训练好的ai检测与分割神经网络算法模型进行车头车身整车粗定位检测和roi剪切，然后对roi图像进行高精度的集装箱轮廓分割，并通过最小面积外接框和剪切的roi区域图像与原始图像的比例关系还原到原始图像上，得到原始图像上集装箱轮廓的左上角和右下角的高精度像素坐标，通过计算可得集装箱的实际长度，可以初步判断出是单20尺、40尺还是45尺箱型，再通过箱间隙或锁孔数量检测，可判断出待识别的集装箱是双20尺箱型还是单40尺箱型，是一种像素级的高精度定位，在识别不重叠物体的速度上更快，准确度更高，有效地提高了检测定位精度；
52.3)在实际应用中，随着数据记录模块存储新的数据样本，标定数据集的增加，可定期训练ai算法模型，使系统识别精度不断提升。
附图说明
53.图1是本发明箱型识别系统的框架示意图；
54.图2是本发明箱型识别系统的现场布置示意图；
55.图3是图2的右视示意图；
56.图4是本发明箱型识别方法的流程示意图。
具体实施方式
57.为了能更好地理解本发明的上述技术方案，下面结合附图和实施例进一步说明本发明的技术方案。
58.结合图1至图3所示，本发明所提供的一种自动化码头集装箱的箱型识别系统，包括：
59.标定模块100，获取现场车道的实时视频流，并对实时视频流作去畸变处理；
60.采集模块101，获取实时视频流，解码成图片，并对图片作预处理；
61.算法模块102，获取图片，通过算法处理判断出集装箱2是单20尺、单40尺、双20尺或45尺箱型；
62.数据记录模块103，记录各模块的历史记录、状态信息及故障信息、数据存储。
63.标定模块100选用工业相机1，安装在起重机3上。
64.算法模块102进一步包括：
65.ai检测算法模块一，用以实现图片中集装箱卡车车头车身整车粗定位；
66.ai分割算法模块，用以实现图片中集装箱2轮廓的像素级高精定位；
67.坐标系转换算法模块，用以计算得到集装箱2的长度；
68.判断模块一，根据集装箱2的长度，初步判断集装箱2是单20尺、单40尺、双20尺或45尺箱型；
69.ai检测算法模块二，用以实现图片中对集装箱2的箱间隙或集装箱2的锁孔数量的检测；
70.判断模块二，根据集装箱2的箱间隙或集装箱2的锁孔数量，最终判断集装箱2是单20尺、单40尺、双20尺或45尺箱型。
71.再结合图1至图4所示，本发明所提供的一种自动化码头集装箱的箱型识别方法，采用本发明自动化码头集装箱的箱型识别系统执行以下步骤：
72.s1、通过标定模块100获取现场车道的实时视频流，并对实时视频流作去畸变处理；
73.s2、通过采集模块101获取实时视频流，解码成图片，并对图片作预处理；
74.s3、将预处理后的图片输入算法模块102中，判断出集装箱2是单20尺、单40尺、双20尺或45尺箱型。
75.步骤s1中，标定模块100选用工业相机1，安装在起重机3上，安装前，对工业相机1进行相机内参标定，去畸变校正；安装后，对工业相机1进行相机外参标定，获得相机坐标系
到起重机坐标系的旋转矩阵r和平移矩阵t。
76.相机内参标定进一步包括：
77.利用标定板和张氏标定法获取工业相机1内参矩阵m和畸变参数k1、k2、k3、p1和p2，并通过内参矩阵m和畸变参数k1、k2、k3、p1和p2对工业相机1进行去畸变校正。
78.相机外参标定进一步包括：
79.利用标定板角点在起重机坐标系下的坐标和在相机像素坐标系下的坐标，通过pnp算法或非线性高斯牛顿优化算法得到相机坐标系到起重机坐标系的旋转矩阵r和平移矩阵t。
80.步骤s2中，预处理为滤波去燥、灰度化或直方图均衡化处理算法。
81.步骤s3中，算法模块的计算进一步包括以下步骤：
82.s31、通过ai检测算法模块一对图片中集装箱卡车车头车身整车粗定位，即将预处理后的图片输入yolo等深度学习卷积神经网络的预训练目标检测算法模型中得到集装箱卡车车头车身整车检测结果，然后对车头车身整车roi区域进行剪切提取车头车身整车粗定位图像；
83.s32、通过ai分割算法模块对图片中集装箱2轮廓的像素级高精定位，即将得到的车头车身整车粗定位图像经过ai分割算法，如fcn、u-net等语义分割或mask-rcnn等实例分割算法获取集装箱2轮廓的像素级高精定位图像，并通过集装箱2轮廓最小面积外接框后处理算法得到车头轮廓外接框及框的左上角和右下角像素坐标，通过ai检测算法模块一剪切的车头车身整车roi区域图像与原始图像的比例关系还原到原始图像上得到原始图像上集装箱2轮廓外接框及框的左上角和右下角高精像素坐标；
84.s33、通过坐标系转换算法模块将集装箱2轮廓外接框的左上角和右下角高精像素坐标通过标定的相机内参矩阵m和外参旋转矩阵r与平移矩阵t换算得到集装箱2左上角和右下角在起重机坐标系下的坐标，通过计算得到集装箱2的长度；
85.s34、通过判断模块一获取ai分割算法模块得到集装箱2左上角和右下角在起重机坐标系下的坐标，通过计算可得集装箱2的实际长度，即可初步判断集装箱2是单20尺、单40尺、双20尺或45尺箱型；
86.s35、通过ai检测算法模块二对图片中集装箱2的箱间隙或集装箱2的锁孔数量的检测，将分割后的集装箱2图片输入yolo深度学习卷积神经网络的预训练目标检测算法模型中得到集装箱2的箱间隙或集装箱2的锁孔数量的检测结果；
87.s36、通过判断模块二获取ai检测算法模块二得到集装箱2的箱间隙或集装箱2的锁孔数量的检测结果，即最终判断集装箱2是单20尺、单40尺、双20尺或45尺箱型。
88.ai检测算法模块一、ai检测算法模块二与ai分割算法模块的神经网络算法模型的训练过程进一步包括以下步骤：
89.a)建立集装箱卡车数据库；
90.b)制作集装箱卡车训练、验证及测试数据集；
91.c)搭建神经网络算法模型。
92.步骤a)中，建立集装箱卡车数据库具体如下：
93.获取标定模块100的去畸变后的视频流，通过解码获取集装箱卡车图像，并利用标注工具对集装箱卡车图像进行标注；
94.步骤b)中，制作数据集具体如下：
95.从集装箱卡车数据库中提取训练集、验证集、测试集；
96.步骤c)中，搭建ai检测与分割神经网络算法模型具体如下：
97.使用训练集进行集装箱卡车检测分割模型的训练，通过验证集评判ai检测算法模块一、ai检测算法模块二与ai分割算法模块的神经网络算法模型是否符合要求，再通过测试集进行测试，得到训练好的ai检测算法模块一、ai检测算法模块二与ai分割算法模块的神经网络算法预训练模型。
98.实施例
99.请结合图1所示，本发明所提供的一种自动化码头集装箱箱型识别方法及系统，包括：
100.标定模块100，选用工业相机1安装前预先进行内参标定和畸变矫正，安装后再进行相机的外参标定；
101.采集模块101，获取工业相机1的实时视频流，解码成图片，并对图片进行预处理；
102.算法模块102，将预处理后的图片输入到算法模块102，算法模块102处理流程主要包含：1)ai检测算法模块一；2)ai分割算法模块；3)坐标系转换算法模块；4)判断模块一；5)ai检测算法模块二，6)判断模块二，通过六个算法处理流程，最终判断出集装箱2是单20尺、单40尺、双20尺还是45尺箱型；
103.数据记录模块103，主要用于记录各模块的历史记录，状态信息及故障信息、数据存储等，主要包括部分原始图像数据，一方面可以定期训练检测系统，训练数据越多，网络的参数就被优化得越好，整个算法最终识别率也会越高，另一方面留档备用。
104.请结合图2至图4所示，本发明还提供了一种自动化码头集装箱箱型识别方法，包括以下步骤：
105.1)集装箱卡车2在作业车道上的位置导引结束，预先安装标定好内参且去畸校正的工业相机1在起重机3上拍摄车道视频。
106.2)采集模块101读取工业相机1的实时视频流，解码成图片，对图片进行预处理；具体的，可采用c++和第三方opencv开源库读取工业相机1基于rtsp(实时流协议)的流，得到图片流。其中，对图片进行预处理包括滤波去燥算法、灰度化、直方图均衡化等算法，便于后续的检测识别；
107.3)将处理后的图片输入算法模块102进行检测、分割和坐标系转换等六个算法处理流程，最终判断出集装箱2是单20尺、单40尺、双20尺还是45尺箱型。
108.本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。