一种集装箱抓放箱门朝向识别方法及系统与流程

本发明涉及起重吊装设备，尤其涉及一种集装箱抓放箱门朝向识别方法及系统。

背景技术：

1、近年来，随着集装箱运输的蓬勃发展，我国港口集装箱吞吐量稳步增长；然而，集装箱运输存在诸多不规范之处，集装箱箱门朝向异常就是其中较为突出的问题，如何规范集装箱箱门朝向，从而减少箱门朝向调转作业带来的成本支出和安全隐患。

2、公开号为cn112816976b揭示了一种集装箱箱门朝向检测方法及其系统、存储介质及电子设备，采用了雷达来检测集装箱两侧的第一点云数据组合第二点云数据组，并计算集装箱两侧的点云数据组的离散度，通过判断第一点云数据组的第一点云离散度与第二点云数据组的第二点云离散度之间的大小关系，与点云离散度高所对应的集装箱侧则为集装箱门所在侧，从而能够在吊具对集装箱进行抓取或者释放的过程中能够自动检测集装箱箱门所在侧。

3、现有技术中采用吊具对集装箱进行抓放时，使用雷达来检测集装箱的边缘，而由于集装箱箱门平面相对于箱尾平面有一定的凹陷，并且箱门一侧有门把手等部件，从而导致通过点云计算出的集装箱位置存在一定偏差，最终影响到集装箱抓放箱的效果，并且，现有的识别方法只能识别抓放的当前集装箱箱门朝向进行识别，当在叠箱场景作业时，无法获取下方的集装箱的箱门朝向，进而无法适用于叠箱场景下作业使用，从而降低了适用性。

技术实现思路

1、有鉴于此，本发明提出了一种集装箱抓放箱门朝向识别方法及系统，基于深度学习的图像识别模型，对吊具下方的集装箱箱门及箱尾按照多种工况进行分类训练识别，综合多方位和连续多次的识别结果，准确地实现了集装箱抓放箱作业流程中的箱门朝向识别功能，具有良好的识别准确率和稳定性。

2、本发明的技术方案是这样实现的：本发明提供了一种集装箱抓放箱门朝向识别方法，包括以下步骤：

3、s1，在吊具的两侧边分别设置相机，通过相机采集工作区域图像，工作区域包括集装箱两侧的箱门及箱尾顶部区域；

4、s2，在集装箱抓放箱工况下，人工对采集到的工作区域进行分类标注，使用基于深度学习的方法迭代训练识别模型，识别模型用于识别出箱门和箱尾的特征信息；

5、s3，作业中吊具从距离下方待抓放平面的第一高度位置下放至第二高度位置时，运动过程中吊具两侧的相机同时连续采集工作区域图像；

6、s4，根据训练后的识别模型对同时刻采集到的工作区域图像进行特征信息识别，得到每时刻采集到的集装箱箱门或箱尾的特征识别结果；

7、s5，收集每时刻采集到的集装箱箱门或箱尾的特征识别结果，判断收集到的数量是否大于预设的阀值，如果小于阀值则返回至步骤s3中继续采集工作区域图像，如果大于阀值则进入到步骤s6；

8、s6，对收集所有的集装箱箱门或箱尾的特征识别结果进行统计分析，判定得到最终的识别结果。

9、在以上技术方案的基础上，优选的，步骤s1所述在吊具的两侧边分别设置相机，通过相机采集工作区域图像，工作区域包括集装箱两侧的箱门及箱尾顶部区域，其中，相机安装在吊具的短侧边上，且相机位于吊具短侧边的中间位置；相机的安装角度其采集到的画面横向方向与集装箱短边处于平行状态。

10、在以上技术方案的基础上，优选的，步骤s1所述通过相机采集工作区域图像，其中，采集工作区域图像是基于不同场桥、不同时间、不同天气以及不同的场景作业环境下进行拍摄。

11、在以上技术方案的基础上，优选的，步骤s2所述集装箱抓放箱工况包括：抓箱作业场景，即下方集装箱短边区域不会有遮挡；放箱作业场景，即吊具上带有待放集装箱，且待放区域内无集装箱；叠箱作业场景，即吊具上带有待放集装箱，且待放区域内有集装箱；其中，识别模型基于三种分类作业场景下训练所得。

12、在以上技术方案的基础上，优选的，所述步骤s3作业中吊具从距离下方待抓放平面的第一高度位置下放至第二高度位置时，运动过程中吊具两侧的相机同时连续采集工作区域图像，其中，

13、第一高度位置离待抓放平面的距离大于第二高度位置离待抓放平面的距离，且第二高度位置与待抓放平面之间留有间隙，用于对集装箱位置进行微调整。

14、在以上技术方案的基础上，优选的，所述步骤s4中根据训练后的识别模型对同时刻采集到的工作区域图像进行特征信息识别，得到每时刻采集到的集装箱箱门或箱尾的特征识别结果，其中，

15、识别每时刻采集到的集装箱箱门或箱尾的特征信息时，当只有箱门或箱尾一侧识别成功时，取识别成功的一侧作为识别结果；当箱门和箱尾两侧均识别成功且结果不同时，取任意一侧作为识别结果；当箱门和箱尾两侧均识别成功且结果相同时，取识别置信度更高的一侧作为识别结果。

16、在以上技术方案的基础上，优选的，步骤s5中所述的判断收集到的数量是否大于预设的阀值，如果小于阀值则返回至步骤s3中继续采集工作区域图像，其中，当作业中吊具从距离下方待抓放平面的第一高度位置下放至第二高度位置时，下放过程中总收集到集装箱朝向识别结果的数量还小于阀值时，则输出识别失败信号。

17、在以上技术方案的基础上，优选的，步骤s6中所述对收集所有的集装箱箱门或箱尾的特征识别结果进行统计分析后，还包括对收集的所有特征识别结果进行整理，根据每个特征识别结果判定转换成统一相对应的集装箱朝向识别结果。

18、在以上技术方案的基础上，优选的，所述步骤s6对收集所有的集装箱箱门或箱尾的特征识别结果进行统计分析，判定得到最终的识别结果，其中，

19、统计分析中如果其中一种集装箱朝向识别结果的数量占比超过80％时，则向外输出识别成功信号，并将该集装箱朝向识别结果作为最终集装箱的箱门识别朝向结果，反之则输出识别失败信号。

20、本发明还提供了一种集装箱抓放箱门朝向识别系统，包括：

21、采集模块，分别安装在吊具的两侧边，用于分别采集集装箱的箱门及箱尾顶部区域图像；

22、图像识别模块，用于人工对采集到的工作区域进行分类标注，使用基于深度学习的方法迭代训练识别模型，图像识别模块用于识别出箱门和箱尾的特征信息；

23、图像收集模块，作业中吊具从距离下方待抓放平面的第一高度位置下放至第二高度位置，吊具两侧的相机同时连续采集工作区域图像，根据训练后的识别模型对同时刻采集到的工作区域图像进行特征信息识别，得到每时刻采集到的集装箱箱门或箱尾的特征识别结果，收集每时刻采集到的集装箱箱门或箱尾的特征识别结果；

24、判断模块，判断收集到的数量是否大于预设的阀值，小于阀值则继续采集收集图像，大于阀值则对收集所有的集装箱箱门或箱尾的特征识别结果进行统计分析，判定得到最终的识别结果。

25、本发明的一种集装箱抓放箱门朝向识别方法及系统相对于现有技术具有以下有益效果：

26、(1)通过基于深度学习的图像识别模型，对吊具下方的集装箱箱门及箱尾按照多种工况进行分类训练识别，以及在吊具下放过程中短时间内连续多次识别箱门及箱尾的朝向特征信息，并最终输出置信度较高的箱门朝向结果，具有良好的识别准确率和稳定性；

27、(2)通过设置的深度学习的图像识别模型，采用目标检测的方法识别集装箱箱门及箱尾区域特征信息，即使是箱门或箱尾大部分区域被遮挡，通过其顶部少量的特征信息也可确定集装箱的朝向，保证箱门朝向的稳定识别；

28、(3)设置的识别模型基于抓箱作业场景、放箱作业场景和叠箱作业场景训练所得，并且采集输入的图像是基于不同场桥、不同时间、不同天气以及不同的场景作业环境下进行拍摄，从而保证了识别系统更具有鲁棒性。