智能天车图像识别钢卷车辆装载系统及方法与流程

本发明涉及钢铁工业仓储运输系统技术领域，特别涉及一种智能天车图像识别钢卷车辆装载系统及方法。

背景技术：

针对钢铁工业仓储运输系统，对于识别钢卷车辆装载，目前国际上流行的方法是采用激光测距的方法，在载重卡车停车区域的上方安装带有旋转机构的激光雷达，通过激光雷达前后左右运动识别载重卡车的车厢长度、宽度，再由移动激光笔由操作人员人工确定钢卷的装载位置，再通过计算机通信传输到智能天车控制系统，然后进行钢卷装载。由于目前国际上长距离测量激光器本身误差在2cm以上，再加上计算带来的误差，造成装车钢卷位置误差较大；采用激光设备需要激光器本身和转台精度高，造成激光测量系统成本高，调试周期长；难于适应中国现有的各种车辆，由于高帮车辆宽度方向视场增加非常大，激光系统很难适应高帮车的测量；此外由于长距离激光定位技术误差，激光技术很难确定钢卷的精确位置，对于鞍座宽度基本为1000mm的车辆来说，激光系统很难装载窄卷。

技术实现要素：

本发明实施例提供了一种智能天车图像识别钢卷车辆装载系统，用以提高钢卷装载的精度和效率，节约成本，该系统包括：

相机子系统包括工业相机和激光测距仪；其中，工业相机用于采集待装载车辆的图像信息，激光测距仪用于测量待装载车辆的高度信息；

监控子系统，与工业相机连接，用于根据待装载车辆的图像信息，以及预先标定的停车区域的位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息；接收用户根据待装载车辆的图像信息选取的钢卷在车厢内长度方向的图像坐标位置信息；

装载执行子系统，与监控子系统和激光测距仪连接，用于根据宽度方向的图像坐标位置信息，确定钢卷在车厢内宽度方向的坐标位置信息，根据长度方向的图像坐标位置信息，确定钢卷在车厢内长度方向的坐标位置信息；根据待装载车辆的高度信息及钢卷直径，确定钢卷在车厢内高度方向的坐标位置信息；将所有钢卷在车厢内宽度方向和长度方向的坐标位置信息，以及高度方向的坐标位置信息传输至天车调度系统执行钢卷装载。

本发明实施例还提供了一种智能天车图像识别钢卷车辆装载方法，用以提高钢卷装载的精度和效率，节约成本，该方法包括：

相机子系统的工业相机采集待装载车辆的图像信息；相机子系统的激光测距仪测量待装载车辆的高度信息；

监控子系统根据待装载车辆的图像信息，以及预先标定的停车区域的位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息；接收用户根据待装载车辆的图像信息选取的钢卷在车厢内长度方向的图像坐标位置信息；

装载执行子系统根据宽度方向的图像坐标位置信息，确定钢卷在车厢内宽度方向的坐标位置信息，根据长度方向的图像坐标位置信息，确定钢卷在车厢内长度方向的坐标位置信息；根据待装载车辆的高度信息及钢卷直径，确定钢卷在车厢内高度方向的坐标位置信息；将所有钢卷在车厢内宽度方向和长度方向的坐标位置信息，以及高度方向的坐标位置信息传输至天车调度系统执行钢卷装载。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述智能天车图像识别钢卷车辆装载方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行智能天车图像识别钢卷车辆装载方法的计算机程序。

本发明实施例提供的技术方案：

首先，通过相机子系统采集待装载车辆的图像信息，监控子系统根据待装载车辆的图像信息，以及预先标定的停车区域的位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息，与现有技术中通过带有旋转机构的激光测量方案确定钢卷在车厢内的坐标位置存在误差相比，提高了钢卷定位的精度和效率，可以应用于高帮车的装载以及窄卷的装载，进而提高了钢卷装载的精度和效率。

其次，监控子系统接收用户根据待装载车辆的图像信息选取的钢卷在车厢内长度方向的图像坐标位置信息，实现了车辆长度方向位置由操作人员通过图像进行选取，也提高了钢卷装载的精度和效率。

再次，装载执行子系统根据激光测距仪测量的待装载车辆的高度信息，确定钢卷在车厢内高度方向的坐标位置信息，该激光测距仪仅用于测量高度信息，该激光测距仪与工业相机共同配合实现钢卷定位，与现有技术中通过激光雷达及x、y方向旋转机构再加上激光笔系统相比，大大节约了成本。

综上所述，本发明实施例提供的技术方案提高了钢卷定位的精度，从而提高了钢卷装载的精度和效率，节约了成本。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：

图1是现有智能天车图像识别钢卷车辆装载系统的结构示意图；

图2是本发明实施例中智能天车图像识别钢卷车辆装载系统的结构示意图；

图3是本发明另一实施例中智能天车图像识别钢卷车辆装载系统的结构示意图；

图4是本发明实施例中停车区域的示意图；

图5是本发明实施例中标定区域、标志物的示意图；

图6是本发明实施例中监控子系统接收用户选取钢卷在车厢内长度方向的坐标位置信息的界面示意图；

图7是本发明实施例中智能天车图像识别钢卷车辆装载方法的流程示意图；

图8是本发明实施例中智能天车图像识别钢卷车辆装载工作方法的流程示意图；

图9是本发明实施例中宽度补偿(校正处理)的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。

在介绍本发明实施例方案之前，首先对本发明涉及的技术术语进行介绍。

1、智能天车：带有智能运行系统的天车。

2、视场：包括车厢停放的固定区域。

3、激光雷达：通过多点检测实现距离测量的仪器。

4、激光测距仪：通过单点检测实现距离测量的仪器。

下面介绍发明人在长期工作过程中发现现有钢卷车辆装载系统存在问题。

目前，针对钢卷车辆装载系统，业界常规采用的是激光雷达的方案，即在停车区域的上部安装带有旋转装置的激光雷达，通过激光雷达测量车辆的宽度、高度，再通过移动激光笔确定钢卷在车厢长度方向的安装位置。

如图1所示，激光测量技术方案由两部分组成，测量系统与监控子系统。其中：该测量系统包括：2d激光仪、x方向旋转机构(水平)、y方向旋转机构(垂直)、x方向旋转机构控制系统、y方向旋转机构控制系统、相关供电及传输系统(测量系统参见图1中车辆扫描头/外壳及旋转机构)；监控子系统包括：人机接口计算机、声响报警系统、相应板卡、移动激光笔系统、操作柜。

发明人发现：上述智能天车装置方案中的激光测量技术方案存在如下缺点：

(1)很难装载窄卷(例如1000mm钢卷)：激光雷达的角分辨率和距离检测精度会造成6cm以上的系统误差，从而导致难以实现窄卷的装载。

(2)不适应高帮车：对于激光系统来说，激光雷达的角分辨率会影响对车帮的检测，从而影响车厢测量的精度，一般来讲，激光车辆装载系统很难适应高帮车车厢高度变化的情况。

(3)很难适应车辆倾斜情况：一般激光车辆装载系统车辆宽度计算只选取车厢1、2个位置进行，由于车辆状况的复杂性，再加上激光系统本身误差，很难有比较准确的宽度计算，对于车辆倾斜情况更不能准确计算。

(4)由于激光仪及x、y方向旋转机构要求精度很高，再加上移动激光笔，造成整个激光车辆装载系统成本高。

因此，考虑到上述技术问题，发明人提出了一种智能天车图像识别钢卷车辆装载方案，该方案采用图像识别技术，针对装车区域首先进行标定，确保视场内通过图像计算车辆区域位置，再通过车辆宽度的精准计算，确保钢卷安装在车箱的中心位置，同时车辆长度方向位置由操作人员通过图像进行选取，提高了车厢内钢卷位置的精确度，使得钢卷自动装载时间缩短及钢卷定位精度大为提高。下面对该智能天车图像识别钢卷车辆装载方案进行详细介绍如下。

图2是本发明实施例中智能天车图像识别钢卷车辆装载系统的结构示意图，该系统利用图像识别技术识别大范围装载车辆特征位置信息和钢卷特征位置信息，提供钢卷位置准确坐标，供智能天车进行钢卷装载，如图2所示，该智能天车图像识别钢卷车辆装载系统包括：相机子系统10和监控子系统20和装载执行子系统30；其中：

相机子系统10包括工业相机和激光测距仪；其中，工业相机用于采集待装载车辆的图像信息，激光测距仪用于测量待装载车辆的高度信息；

监控子系统20，与所述工业相机连接，用于根据所述待装载车辆的图像信息，以及预先标定的停车区域的位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息；接收用户根据待装载车辆的图像信息选取的钢卷在车厢内长度方向的图像坐标位置信息；

装载执行子系统30，与所述监控子系统和激光测距仪连接，用于根据所述宽度方向的图像坐标位置信息，确定钢卷在车厢内宽度方向的坐标位置信息，根据所述长度方向的图像坐标位置信息，确定钢卷在车厢内长度方向的坐标位置信息；根据所述待装载车辆的高度信息及钢卷直径，确定钢卷在车厢内高度方向的坐标位置信息；将所有钢卷在车厢内宽度方向和长度方向的坐标位置信息，以及高度方向的坐标位置信息传输至天车调度系统(可以是成品卷库天车调度系统)执行钢卷装载。

本发明实施例提供的技术方案：

首先，通过相机子系统采集待装载车辆的图像信息，监控子系统根据待装载车辆的图像信息，以及预先标定的停车区域的位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息，与现有技术中通过带有旋转机构的激光测量方案确定钢卷在车厢内的坐标位置存在误差相比，提高了钢卷定位的精度和效率，可以应用于高帮车的装载以及窄卷的装载，进而提高了钢卷装载的精度和效率。

其次，监控子系统接收用户根据待装载车辆的图像信息选取的钢卷在车厢内长度方向的图像坐标位置信息，实现了车辆长度方向位置由操作人员通过图像进行选取，也提高了钢卷装载的精度和效率。

再次，装载执行子系统根据激光测距仪测量的待装载车辆的高度信息，确定钢卷在车厢内高度方向的坐标位置信息，该激光测距仪与工业相机共同配合实现钢卷定位，与现有技术中通过激光雷达及x、y方向旋转机构再加上激光笔系统相比，大大节约了成本。

综上所述，本发明实施例提供的技术方案提高了钢卷定位的精度，从而提高了钢卷装载的效率，节约了成本。

下面结合图2和图3，对上述相机子系统10、监控子系统20和装载执行子系统30进行详细介绍如下。

(一)首先，介绍相机子系统10。

具体实施时，相机子系统可以包括工业相机、激光测距仪、相关通信及电源模块。由于上述激光测距仪只需测量高度，可选成本低的元器件。

具体实施时，采用相机系统，没有旋转机构，大大降低成本。利用高清晰度相机采样相关视场内所有位置的图像坐标，监控系统进行长度及宽度计算精确度达到3个像素。激光测距仪采用型号可为dt500-a112。通过该系统方案，大大提升了系统精度，解决了窄卷的装载问题。

在一个实施例中，所述工业相机可以安装在停车区域上方的中间位置。

由于相机安装位置在厂房停车区域上方顶部的中间位置，无论是高帮车还是低帮车，对车厢宽度的影响是对称的，再通过车宽检测算法的处理，提高了钢卷定位精度。

(二)其次，介绍监控子系统20。

具体实施时，监控子系统20可以包括：人机接口计算机，声响报警、串口通信卡、控制柜等。监控子系统整个硬件设备可以安装在控制柜内，与操作人员互动通过其内的计算机完成。监控子系统完成车辆装载所有钢卷(待装载钢卷)的图像位置计算，包括长度、宽度及车厢宽度。

在一个实施例中，所述监控子系统具体用于：根据所述待装载车辆的图像信息，确定车辆在标定区域相对于标志物(可以为图5中的地面标志物)的相对坐标位置信息，根据所述相对坐标位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息；接收用户根据待装载车辆的图像信息通过计算机鼠标点击选取的钢卷在车厢内长度方向的图像坐标位置信息。

具体实施时，监控子系统20可以包括控制柜与计算机，与所述工业相机通信连接。其中，控制柜可以根据所述待装载车辆的图像信息，以及预先标定的停车区域(如图4所示)的位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息，具体地可以根据所述待装载车辆的图像信息，确定车辆在标定区域相对于标志物的相对坐标位置信息，根据所述相对坐标位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息；用户可以通过计算机鼠标点击选取的钢卷在车厢内长度方向的图像坐标位置信息，根据该标定方案定位钢卷的装载位置可以进一步地提高钢卷的定位精度，从而提高了钢卷装载的精度。具体如何根据预先标定的方法进行图像识别计算，请参见下面实施例的详细介绍。

(三)接着，介绍装载执行子系统30。

具体实施时，装载执行子系统功能有三：其一是将监控子系统计算出的车厢相对位置坐标转换为世界坐标系；其二是对车厢由于倾斜对车厢宽度中心坐标进行补偿(详见下面实施例的介绍)，宽度补偿过程如图9，将补偿后的整个钢卷坐标发给智能天车进行吊装；其三是计算每个钢卷装载的高度坐标。

在一个实施例中，所述装载执行子系统还用于根据所述待装载车辆的图像信息，确定待装载车辆的倾斜状况信息，根据所述倾斜状况信息，对钢卷在车厢内宽度方向的坐标位置信息进行校正处理。

具体实施时，对于车辆倾斜，采用整个车厢两个位置测量宽度误差，整体进行补偿，即在监控到车辆倾斜的情况时，对钢卷的宽度方向的装载位置进行校正，例如通过车厢两边地面标志物(见图9)与车厢灰度对比确定车厢倾斜状况，再修正宽度方向位置信息，进一步地精确定位，从而提高了钢卷装载的精度。

下面再对上述智能天车图像识别钢卷车辆装载系统的工作过程进行详细介绍如下。

(1)首先车辆需要停放在停车区域内，而且需要整个车厢停在标定区域内。

(2)如图5所示，首先对相关标定区域进行标定，标定时在标定区域的角部(标定点)放入高亮led灯，通过亮度变化获取图像信息中角部像素坐标，由于标定点区域宽度、长度物理位置、像素位置已知，所以可计算任何图像坐标相对标定点宽度方向，长度方向的距离，进而可计算任何图像点的坐标。

(3)选取钢卷安装位置(接收用户根据待装载车辆的图像信息选取的钢卷在车厢内长度方向的坐标位置信息)：通过点击画面(如图6点击鼠标位置所示)中相应鞍座位置确定钢卷的装载位置(宽度中心位置系统自动给出，即监控子系统根据所述待装载车辆的图像信息，以及预先标定的停车区域的位置信息，确定钢卷在车厢内宽度方向的坐标位置信息)。

(4)钢卷在车厢内高度方向的坐标位置信息已经由激光测距仪测得，其值为车厢高度加钢卷半径，车厢高度由激光测距仪在车辆进入停车区域时计算得出，这样钢卷的长宽高各个方向的坐标信息已经确定。选择完成后，按确定按钮将钢卷安装位置(钢卷在车厢内宽度方向的坐标位置信息、高度方向的坐标位置信息和长度方向的坐标位置信息)传送到智能天车执行。

经过发明人大量的反复试验，本发明实施实例提供的技术方案是目前最优技术方案，比国外同类产品精度高、成本大幅度降低、可以装高帮车，可以装窄卷。

基于同一发明构思，本发明实施例中还提供了一种智能天车图像识别钢卷车辆装载方法，如下面的实施例。由于智能天车图像识别钢卷车辆装载方法解决问题的原理与上述智能天车图像识别钢卷车辆装载系统相似，因此智能天车图像识别钢卷车辆装载方法的实施可以参考上述智能天车图像识别钢卷车辆装载系统的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图7是本发明实施例中智能天车图像识别钢卷车辆装载方法的流程示意图，如图7所示，该智能天车图像识别钢卷车辆装载方法包括如下步骤：

步骤101：相机子系统的工业相机采集待装载车辆的图像信息；相机子系统的激光测距仪测量待装载车辆的高度信息；

步骤102：监控子系统根据待装载车辆的图像信息，以及预先标定的停车区域的位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息；接收用户根据待装载车辆的图像信息选取的钢卷在车厢内长度方向的图像坐标位置信息；

步骤103：装载执行子系统根据宽度方向的图像坐标位置信息，确定钢卷在车厢内宽度方向的坐标位置信息，根据长度方向的图像坐标位置信息，确定钢卷在车厢内长度方向的坐标位置信息；根据待装载车辆的高度信息及钢卷直径，确定钢卷在车厢内高度方向的坐标位置信息；将所有钢卷在车厢内宽度方向、长度方向和高度方向的坐标位置信息传输至天车调度系统执行钢卷装载。

在一个实施例中，上述智能天车图像识别钢卷车辆装载方法还可以包括：

装载执行子系统根据所述待装载车辆的图像信息，确定待装载车辆的倾斜状况信息，根据所述倾斜状况信息，对钢卷在车厢内宽度方向的坐标位置信息进行校正处理。

在一个实例中，监控子系统根据所述待装载车辆的图像信息，以及预先标定的停车区域的位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息；接收用户根据待装载车辆的图像信息选取的钢卷在车厢内长度方向的图像坐标位置信息，可以包括：

监控子系统根据所述待装载车辆的图像信息，确定车辆在标定区域相对于标志物的相对坐标位置信息，根据所述相对坐标位置信息，确定钢卷在车厢内宽度方向的图像坐标位置信息；接收用户根据待装载车辆的图像信息通过计算机鼠标点击选取的钢卷在车厢内长度方向的图像坐标位置信息。

图8是本发明实施例中智能天车图像识别钢卷车辆装载工作方法的流程示意图，如图8所示，该智能天车图像识别钢卷车辆装载方法可以包括如下步骤：

步骤1：车辆到达，相机子系统开始工作，工业相机开始采集停车区域图像，相机子系统的激光仪采集车辆高度信息，待车辆到达停车位后，监控子系统计算出车厢高度信息；

步骤2：点击监控子系统(控制柜)装载按钮或面板上的启动按钮，监控子系统计算车厢宽度，同时通过鼠标点击画面图像位置确定钢卷长度方向装载位置；

步骤3：监控子系统计算图像宽度位置信息，并将长度和宽度方向图像坐标信息传送给装载执行子系统；

步骤4：装载执行子系统将图像坐标转换为世界坐标系，并对宽度中心点进行修正，同时给出每个钢卷的高度坐标，传送到天车调度系统进行吊装，执行钢卷装载。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述智能天车图像识别钢卷车辆装载方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行智能天车图像识别钢卷车辆装载方法的计算机程序。

本发明实施提供的技术方案的有益技术效果为：本发明实施后，由于系统方便操作，使得钢卷装载时间减少2分钟，精度提高到3个像素，同时由于采用相机子系统，可以装载高帮车，可以装窄卷，成本比国际同类产品大幅度下降。因此，本发明实施例提供的技术方案提高了钢卷定位的精度，从而提高了钢卷装载的精度和效率，节约了成本。

显然，本领域的技术人员应该明白，上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明实施例不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。