基于机器视觉的起重机大车位置定位方法及系统与流程

1.本发明属于港口自动化领域，特别涉及一种基于机器视觉的起重机大车位置定位方法及系统。


背景技术：

2.当前，自动化成为各行各业的发展趋势，而港口是作为我国对外贸易的重要枢纽，对于港口高效自动化作业的需求越来越强烈。在港口自动化作业技术领域中，各类轨道式龙门起重机作业时，或者是对于轮胎式龙门起重机的作业，均需要将其大车移动至堆场中指定的位置，所以如何准确获取大车所在的位置成为其自动化作业的难题。
3.机器视觉作为一项快速发展的综合技术，应用范围已涵盖了各行各业。机器视觉系统图像摄取装置获取目标的图像信号，使用特定的数字图像处理方法，得到目标的位置和形态等各种信息，从而根据结果来控制现场各种设备的运作。本发明结合传统机器视觉方法和较为流行的深度学习方法，提供了一种起重机大车精确定位的方法。
4.如今常用的大车定位方法大多是基于gps系统，但是在复杂的港口作业环境下，当卫星信号由于集装箱等原因出现遮挡时，其定位信号会存在丢失或干扰问题，从而导致大车定位功能失效的情况。另外gps的定位精度一般较低，是无法满足大车自动化作业的这种高精度需求场景，而大车的定位精度直接影响到其自动化作业的效果。另外有基于二维码实现大车定位的方法，但该方法依赖现场环境，无法将二维码放置于地面，否则易脏污和损坏。


技术实现要素：

5.有鉴于此，本发明提出了一种基于机器视觉的起重机大车位置定位方法及系统，用于解决传统的gps的定位在复杂的港口作业环境下，大车定位功能失效或精度降低的问题。
6.本发明第一方面，公开一种基于机器视觉的起重机大车位置定位方法，所述方法包括：
7.起重机大车在行驶过程中通过相机采集有标识物的地面图像；
8.使用深度学习方法对有标识物的地面图像中目标标识物的区域进行粗定位；
9.使用霍夫变换提取目标标识物的轮廓，将目标标识物的轮廓的几何中心作为目标标识物的特征点；
10.根据目标标识物的特征点计算起重机大车当前位置与集装箱贝位中心线的偏移量；
11.根据起重机大车当前位置与集装箱贝位中心线的偏移量进行定位。
12.在以上技术方案的基础上，优选的，所述相机设置在起重机大车侧面，标识物沿起重机大车跑道的外侧设置，并保证标识物处于相机视野中，在小车运行方向，标识物设置于集装箱贝位中心线上；所述标识物包括道钉、贴纸或喷漆。
13.在以上技术方案的基础上，优选的，通过相机采集有标识物的地面图像之前还包括：
14.将相机朝向有标识物的地面，通过张正友相机标定法获取相机在固定状态下的内参矩阵、畸变系数和位姿信息，构建出相机图像中二维坐标点到世界坐标系中的坐标点之间的映射关系。
15.在以上技术方案的基础上，优选的，所述使用霍夫变换检测目标标识物的轮廓具体包括：
16.对于圆形标识物，使用霍夫变换检测得出标识物半径和圆心，得到初始轮廓，在初始轮廓的周围进一步使用霍夫变换，只使用沿第一轮廓的预设距离范围内的轮廓点来进行霍夫变换的投票，得到目标标识物的轮廓；
17.对于非圆形标识物，使用广义霍夫变换提取目标标识物的轮廓。
18.在以上技术方案的基础上，优选的，所述根据目标标识物的特征点计算起重机大车当前位置与集装箱贝位中心线的偏移量具体包括：
19.使用相机标定得到的映射关系分别计算出标识物和基准点的世界坐标，根据标识物和基准点的世界坐标计算得到标识物相对于基准点的偏移量，将标识物相对于基准点的偏移量作为起重机大车当前位置与集装箱贝位中心线的偏移量；所述基准点是由起重机大车位于贝位中心时检测得到的目标标识物几何中心。
20.在以上技术方案的基础上，优选的，所述方法还包括：
21.通过光照度传感器获取环境光照度；
22.在夜晚环境光照度低于预设阈值的状态下，通过补光灯对目标标识物区域进行补光；
23.在白天太阳光照比较复杂的状态下，使用两步曝光时间调整策略使相机在室外条件下调节到可靠曝光时间，保证目标标识物在图像中清晰地呈现。
24.在以上技术方案的基础上，优选的，所述两步曝光时间调整策略具体实现方式为：
25.判断上一帧画面中目标标识物检测是否成功，若成功，继续如下步骤：
26.在目标标识物范围外选取矩形区域，并计算矩形区域图像的均值；若均值小于第一先验阈值范围，则认为目标标识物区域处于欠曝光状态，逐步增加相机的曝光时间，反之则逐步减小相机的曝光时间，直到相机曝光时间处于稳定值，在稳定值下矩形区域图像的均值在第一先验阈值范围内；
27.选取包含目标标识物的区域，对包含目标标识物的区域图像的x方向中心线上的坐标计算梯度幅值，判断标识物两边的梯度幅值是否达到第二先验阈值范围，若否，逐步增加或减少相机的曝光时间，直到标识物两边的梯度幅值处于第二先验阈值范围内；
28.若连续几帧目标标识物检测失败，则根据当前环境光流明值设置相机曝光时间的极限范围，对相机曝光时间由小到大循环搜索，直到稳定检测出目标标识物，且目标标识物的局部均值处于第一先验阈值范围内。
29.本发明第二方面，公开一种基于机器视觉的起重机大车位置定位系统，所述系统包括：
30.标识物：沿起重机大车跑道的外侧设置，在小车运行方向，标识物设置于集装箱贝位中心线上；
31.相机：设置在起重机大车侧面，并朝向设有标识物的地面，用于在起重机大车行驶过程中采集有标识物的地面图像；
32.补光灯：用于在夜晚光照度低于预设阈值的状态下对目标标识物区域进行补光；
33.光照度传感器：用于获取环境光照度，在白天太阳光照比较复杂的状态下，使用两步曝光时间调整策略使相机在室外条件下调节到可靠曝光时间，保证目标标识物在图像中清晰地呈现；
34.特征提取模块：用于使用深度学习方法对有标识物的地面图像中目标标识物的区域进行粗定位；使用霍夫变换提取目标标识物的轮廓，将目标标识物的轮廓的几何中心作为目标标识物的特征点；
35.大车定位模块：用于根据目标标识物的特征点计算起重机大车当前位置与集装箱贝位中心线的偏移量；根据起重机大车当前位置与集装箱贝位中心线的偏移量进行定位。
36.本发明第三方面，公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；
37.其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；
38.所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现如本发明第一方面所述的方法。
39.本发明第四方面，公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使计算机实现如本发明第一方面所述的方法。
40.本发明相对于现有技术具有以下有益效果：
41.1)本发明以一种非接触式、远距离的机器视觉方法实现起重机大车定位功能，能够同时计算起重机大车运行方向和小车运行方向的偏移量，保证起重机大车准确到达指定贝位，同时能校正大车运行过程中两侧的偏位；
42.2)本发明针对起重机室外作业环境的特点，设计一种两步曝光时间调整策略，能自适应搜索相机曝光时间，保证标识物在图像中有清晰的边缘，能够消除环境亮度异常影响，使算法能稳定准确的检测出标识物，保证起重机大车准确到达指定的堆场位置；
43.3)本发明的系统能够集成在多种移动式作业设备上，适用于多种作业环境，特别是对于轮胎式起重机这种无固定作业轨道的情况，可快速解决作业设备的定位问题且安装简单可靠，算法稳定有效，能准确的计算出大车相对于基准点的偏移量，为起重机大车的自动化作业流程提供了基本的保障。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
45.图1为本发明的基于机器视觉的起重机大车位置定位方法流程图；
46.图2为本发明的基于机器视觉的起重机大车位置定位系统结构示意图；
47.图3为本发明的标识物位置安装位置示意图。
具体实施方式
48.下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
49.请参阅图1，本发明公开一种基于机器视觉的起重机大车位置定位方法，所述方法包括：
50.s1、在起重机大车侧面设置相机，沿起重机大车跑道的外侧设置多个标识物。
51.标识物应处于相机视野中，在小车运行方向，标识物设置于集装箱贝位中心线上。
52.如图2所示，在起重机大车1的侧面安装相机2，通过安装支架使相机2竖直向下并朝向装有标识物3的地面，且应尽量与地面保持垂直，可以减小由标定误差产生的影响。
53.如图3所示，所述标识物设置于大车运行跑道7的外侧，保证标识物3处于相机2的视野中，且尽量保证大车在运行过程中标识物3不会被碾压，以免损坏导致后续定位失败。在小车运行方向，标识物3设置于每个集装箱贝位中心线8的位置。
54.一般在堆场中，会有几十个贝位，所以需要在每个贝位均安装一个标识物。当大车运行到两个贝位中间位置时，标识物可能会不存在于相机视野中，所以本发明实现的是一个非连续定位系统，定位结果只保证大车运行到指定贝位的中心。其中定位标识物在作业现场一般选用圆形道钉，因其不会破坏现场作业环境且更容易被检出。本发明的标识物并不局限于圆形道钉，也可以使用的任意符合现场安装需求的标识物进行替换，例如方形道钉，形式可以替换为贴纸或喷漆等方式。当标识物放置于地面时，本发明可以同时对大车运行方向(x)和小车运行方向(y)进行定位；同时本发明可以在大车两侧同时使用，能实现起重机大车在运行过程中的纠偏功能。
55.s2、在起重机大车侧面安装补光灯和光照度传感器，通过光照度传感器获取环境光照度，在夜晚环境光照度低于预设阈值的状态下，通过补光灯对目标标识物区域进行补光；在白天太阳光照比较复杂的状态下，使用两步曝光时间调整策略使相机在室外条件下调节到可靠曝光时间，保证目标标识物在图像中清晰地呈现。
56.由于起重机大车一般位于室外环境，当夜晚环境光线较差时，单纯通过增大相机曝光时间不能使标识物在图像中的亮度处于正常范围。因此，可在起重机大车侧面安装补光灯5，如图2所示，在较暗的环境下对目标标识物区域进行补光，保证相机可以清晰获取到包含标识物的图像，从而稳定检测出目标标识物的轮廓。
57.如图2所示，在起重机大车侧面安装光照度传感器4，光照度传感器4的作用是检测环境亮度，其安装位置应尽可能排除自然光以外的光源影响，一般放置在补光灯5上方，保证补光灯5不会影响其检测结果。
58.对于图像中包含标识物的区域出现相较于周围区域较亮或较暗的画面时，使用两步曝光时间调整策略可以保证标识物的轮廓更加清晰，定位结果更加稳定。
59.该两步曝光时间调整策略主要针对于白天时太阳光照比较复杂的前提下；夜晚状态下环境光比较稳定，只需要对打开补光灯并对相机设置固定的曝光值即可。
60.首先对白天和晚上这两种状态进行判断，采用图像局部信息与传感器检测结果结合的方式。采集图像中补光灯照射不到的角落选取一块较小的区域，并计算均值。同时结合
光照度传感器4的结果，若图像均值小于先验的阈值并且满足环境光流明值小于阈值，则可判断进入夜晚状态，此时控制开启补光灯；反之则可判断进入白天状态。
61.该两步曝光时间调整策略具体实现方式为：
62.在白天太阳光照比较复杂的状态下，判断上一帧画面中目标标识物检测是否成功，若成功，继续如下步骤：
63.a、在目标标识物范围外选取矩形区域，并计算矩形区域图像的均值；若均值小于第一先验阈值范围，则认为目标标识物区域处于欠曝光状态，逐步增加相机的曝光时间，反之则逐步减小相机的曝光时间，直到相机曝光时间处于稳定值，在稳定值下矩形区域图像的均值在第一先验阈值范围内；
64.b、选取包含目标标识物的区域，对包含目标标识物的区域图像的x方向中心线上的坐标计算梯度幅值，判断标识物两边的梯度幅值是否达到第二先验阈值范围，若否，逐步增加或减少相机的曝光时间，直到标识物两边的梯度幅值处于第二先验阈值范围内。
65.若连续几帧目标标识物检测失败，则根据当前环境光流明值设置相机曝光时间的极限范围，对相机曝光时间由小到大循环搜索，直到稳定检测出目标标识物，且目标标识物的局部均值处于第一先验阈值范围内。
66.s3、通过张正友相机标定法进行相机标定。
67.张正友相机标定法可以获取相机在固定状态下的内参矩阵、畸变系数和位姿信息，构建出相机图像中二维坐标系到世界坐标系的坐标点之间的映射关系。
68.在标定相机内参时，棋盘格应覆盖到相机的拍摄的整个画面，设真实世界中点p的坐标为[x,y,z]，成像的点p'的坐标为[x’,y’,z’]，相机焦距为f，像素坐标系为o
’‑
u-v，设像素坐标在u轴上缩放α倍，在v轴上缩放了β倍，同时，像素坐标系的原点平移了[u0,v0]
t
。通过张正友相机标定法可以得出相机内参和畸变系数k＝[k
1 k
2 k
3 k
4 k5]，其中，f
x
＝αf、fy＝βf。将棋盘格的横轴方向按照大车运行方向进行放置，并位于相机视野中心，可以计算出相机的内参，包括旋转矩阵和平移矩阵t＝[t
1 t
2 t3]，像素坐标点根据畸变系数校正畸变后，由以下映射关系求出对应的世界坐标系中的坐标点：其中[u,v]
t
为成像点在像素坐标系的平面坐标，s为世界坐标系到图像的二维坐标系的尺度因子，令z＝0即可求出。像素坐标点根据畸变系数校正畸变后，根据以上参数得到的映射关系求出对应的世界坐标系中的坐标点。在标定的过程中，应保证图像画面不会被遮挡，棋盘格放置高度应于实际检测高度一致。
[0069]
s4、在起重机大车行驶过程中通过相机采集有标识物的地面图像。
[0070]
完成相机标定后，在起重机大车行驶过程中通过相机采集有标识物的地面图像，用于后续起重机大车定位。
[0071]
s5、使用深度学习方法对有标识物的地面图像中目标标识物的区域进行粗定位。
[0072]
对采集到的有目标标识物的地面图像设置roi，其中图像roi的选择应该尽量目标保证标识物在图像竖直方向的中心，防止目标标识物出现在roi区域之外的部分。
[0073]
设置roi后，对图像做下采样处理，这样可以大大降低算法处理的数据量。
[0074]
然后使用深度学习方法对目标标识物区域进行粗定位，排除其他相似目标的影响。
[0075]
以yolo模型为例，使用预训练的yolo模型，。当采集到足够的标识物图像数据后，对图像进行标注，并送入yolo模型进行训练，最后使用训练好的yolo模型对下采样处理后的地面图像进行识别，得到包含目标标识物的区域。除了yolo目标检测方法以外，也可以使用其他推理效率较高的深度学习检测方法，保证算法运行的帧率。
[0076]
使用深度学习方法进行粗定位是为了过滤掉大部分不包含标识物的区域，若现场地面环境较单一，这一过程非必须。
[0077]
s6、使用霍夫变换提取目标标识物的轮廓，将目标标识物的轮廓的几何中心作为目标标识物的特征点。
[0078]
对于圆形标识物，使用霍夫变换检测得出标识物半径和圆心，得到初始轮廓，在初始轮廓的周围进一步使用霍夫变换，只使用沿第一轮廓的预设距离范围内的轮廓点来进行霍夫变换的投票，得到目标标识物的轮廓，这样可以增加计算的分辨率，使检测边界更加准确稳定。
[0079]
对于非圆形标识物，使用广义霍夫变换提取目标标识物的轮廓，也可以使用基于深度学习的语义分割方法等。
[0080]
s7、根据目标标识物的特征点计算起重机大车当前位置与集装箱贝位中心线的偏移量。
[0081]
使用相机标定得到的映射关系分别计算出标识物和基准点的世界坐标，标识物和基准点的世界坐标计算得到标识物相对于基准点的偏移量，标识物相对于基准点的偏移量作为大车当前位置与集装箱贝位中心线的偏移量；所述基准点是由大车位于贝位中心时检测得到的目标标识物几何中心。
[0082]
除了使用相机参数等计算世界坐标的方式外，也可以使用图像校正畸变后的像素当量来计算起重机大车相对于标识物的实际偏移量。
[0083]
s8、根据起重机大车当前位置与集装箱贝位中心线的偏移量进行定位。
[0084]
图2中距离d即为起重机大车相对于标识物的实际偏移量，根据该实际偏移量指挥起重机大车运行到指定贝位的中心。
[0085]
与上述方法实施例相对应，本发明还提出一种基于机器视觉的起重机大车位置定位系统，请参阅图2～3，所述系统包括：
[0086]
标识物3：沿起重机大车跑道7的外侧设置，在小车运行方向，标识物3设置于集装箱贝位中心线8上；
[0087]
相机2：设置在起重机大车1的侧面，并朝向设有标识物3的地面，用于在起重机大车行驶过程中采集有标识物3的地面图像；
[0088]
补光灯5：用于在夜晚光照度低于预设阈值的状态下对目标标识物区域进行补光；
[0089]
光照度传感器4：用于获取环境光照度，在白天太阳光照比较复杂的状态下，使用两步曝光时间调整策略使相机2在室外条件下调节到可靠曝光时间，保证目标标识物在图
像中清晰地呈现；
[0090]
特征提取模块：用于使用深度学习方法对有标识物的地面图像中目标标识物的区域进行粗定位；使用霍夫变换提取目标标识物的轮廓，将目标标识物的轮廓的几何中心作为目标标识物的特征点；
[0091]
大车定位模块：用于根据目标标识物的特征点计算起重机大车当前位置与集装箱贝位中心线的偏移量；根据起重机大车当前位置与集装箱贝位中心线的偏移量进行定位。
[0092]
以上系统实施例和方法实施例是一一对应的，系统实施例简述之处请参阅方法实施例即可。
[0093]
本发明还公开一种电子设备，包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令，以实现本发明前述的方法。
[0094]
本发明还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括：u盘、移动硬盘、只读存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0095]
以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下，可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0096]
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。