场桥下集卡对位方法、装置、终端、存储介质及处理器与流程

文档序号:23471703发布日期:2020-12-29 13:17阅读:171来源:国知局
场桥下集卡对位方法、装置、终端、存储介质及处理器与流程

本发明属于集装箱运输技术领域,具体涉及一种场桥下集卡对位方法、装置、终端、存储介质及处理器,尤其涉及一种基于视觉技术的场桥下集卡辅助对位方法、装置、终端、存储介质及处理器。



背景技术:

集装箱码头的堆场作业中,集装箱卡车(后简称集卡)司机需要凭借经验、人员指挥或一些简单的标记完成与集装箱门式起重机(后简称场桥)的停车对位。

集装箱码头的场桥通用装卸车流程中,场桥司机通过小车的平移将吊具运动至集卡上方,并通过高空观察判断吊具与集卡的水平相对距离。当吊具与集卡出现场桥小车方向的相对距离时,场桥司机需要通过对小车位置的微调进行修正;当吊具与集卡出现大车方向的相对距离时,一般来说场桥大车不动,由起重机司机指挥集卡司机进行集卡的前后移动,消除位置误差进而完成装卸作业。另一方面,在生产作业时,集卡司机首先需要针对不同尺寸和型号的场桥进行停车对位。在停车对位过程中,一般仅有一些简单的标记,部分港口的岸桥下方有人员的指挥。当起重机吊具到达集卡上方附近时,集卡司机还需要通过目测的方式反复的前后移动集卡,辅助完成场桥装卸作业的对位。

在这种集装箱门式起重机装卸车流程中的任务前期吊具距离集卡较远时,集卡司机仅通过肉眼判断很难完成与场桥的准确的停车对位。因此装卸误差调整均需等到吊具与集卡逐渐的接近,再通过场桥司机与集卡司机紧密配合、逐步微调,依靠操作人员的能力和经验完成每一次的装卸作业。该种作业方式,造成了执行前期门式起重机司机等小车到位、集卡司机等吊具到位,才能进一步逐渐消除误差的局面,花费时间长;且由于操作难度较大、作业往往难以一次成功。多次装卸也容易出现吊具、集装箱与集卡间的摩擦、碰撞,造成设备损坏,而带来诸多安全问题。

上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。



技术实现要素:

本发明的目的在于,提供一种场桥下集卡对位方法、装置、终端、存储介质及处理器,以解决集装箱门式起重机下集装箱卡车停车对位的操作难度较大的问题,达到降低集装箱门式起重机下集装箱卡车停车对位的操作难度的效果。

本发明提供一种场桥下集卡对位方法,在实施该方法前,需先预置标识目标,将所述标识目标布设于所述集卡上;并将图像采集装置安装于所述场桥的行走机构腿部横梁处;所述场桥下集卡对位方法,包括:在所述场桥就位、所述集卡进入预设的装卸区域的情况下,通过所述图像采集装置采集所述集卡侧面所述标识目标的图像信息;根据所述集卡侧面所述标识目标的图像信息,对所述集卡进行视觉定位,得到视觉定位结果;根据所述视觉定位结果、以及所述场桥和所述集卡的系统性静态偏移量,确定所述集卡的对位偏差,并确定所述集卡的对位偏差是否小于预设的偏差阈值;若所述集卡的对位偏差小于所述偏差阈值,则确定所述集卡对位成功,并发出所述集卡对位成功的第一提醒消息;若所述集卡的对位偏差大于或等于所述偏差阈值,则确定所述集卡对位不成功,并输出所述集卡的对位偏差以发出所述集卡的位置需要调整的第二提醒消息。

可选地,所述标识目标,包括:圆的图案和一组字符序列的图案;其中,所述圆的图案,用于标识所述集卡的目标并提供粗定位的目标基准;所述以组字符序列的图案,用于标识所述集卡的车辆本身。

可选地,其中,所述对所述集卡进行视觉定位,包括:对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理后,得到图像处理结果;基于所述图像处理结果,进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出后,得到对所述集卡的定位结果;对所述集卡的定位结果进行解析,得到所述集卡的视觉定位结果;和/或,所述确定所述集卡的对位偏差,并确定所述集卡的对位偏差是否小于预设的偏差阈值,包括:按以下的公式(1)确定所述集卡的对位偏差,并按以下的公式(2)确定所述集卡的对位偏差是否小于预设的偏差阈值:

dd=dc+dv-di(1);

|dc+dv-di|≤ld(2);

其中,di为水平x轴上,坐标原点与通过所述集卡进行视觉定位获得的视觉定位结果的距离;dv为坐标系水平x轴上,集卡的集装箱装卸中心点与标识目标中心点的距离;ld为坐标系水平x轴上,判断对位成功的距离阈值;dd为坐标系水平x轴上,车辆当前位置与对位完成位置的距离。

可选地,其中,对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理,包括:将摄像机获取的高分辨率图片,处理为二值化的低分辨率图片;自所述二值化的低分辨率图片中,提取标识目标区域,并输出圆的粗定位组;使用所述使用圆的粗定位组对高分辨率图像进行图像分割,得到所述图像处理结果;和/或,所述基于所述图像处理结果,进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出,包括:使用高分辨率roi图像对所述图像处理结果进行字符识别,输出图像中获取的符合车辆代码规则的字符串组;使用车辆代码识别所述字符串组,输出伪车辆代码或伪车辆代码组进行数据库相关信息查询,并输出停车对位相关查询结果;对停车对位相关查询结果进行分析,得到对所述集卡的定位结果。

与上述方法相匹配,本发明另一方面提供一种场桥下集卡对位装置,在实施该装置前,需先预置标识目标,将所述标识目标布设于所述集卡上;并将图像采集装置安装于所述场桥的行走机构腿部横梁处;所述场桥下集卡对位装置,包括:获取单元,用于在所述场桥就位、所述集卡进入预设的装卸区域的情况下,通过所述图像采集装置采集所述集卡侧面所述标识目标的图像信息;定位单元,用于根据所述集卡侧面所述标识目标的图像信息,对所述集卡进行视觉定位,得到视觉定位结果;所述定位单元,还用于根据所述视觉定位结果、以及所述场桥和所述集卡的系统性静态偏移量,确定所述集卡的对位偏差,并确定所述集卡的对位偏差是否小于预设的偏差阈值;所述定位单元,还用于若所述集卡的对位偏差小于所述偏差阈值,则确定所述集卡对位成功,并发出所述集卡对位成功的第一提醒消息;所述定位单元,还用于若所述集卡的对位偏差大于或等于所述偏差阈值,则确定所述集卡对位不成功,并输出所述集卡的对位偏差以发出所述集卡的位置需要调整的第二提醒消息。

可选地,所述标识目标,包括:圆的图案和一组字符序列的图案;其中,所述圆的图案,用于标识所述集卡的目标并提供粗定位的目标基准;所述以组字符序列的图案,用于标识所述集卡的车辆本身。

可选地,其中,所述定位单元对所述集卡进行视觉定位,包括:对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理后,得到图像处理结果;基于所述图像处理结果,进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出后,得到对所述集卡的定位结果;对所述集卡的定位结果进行解析,得到所述集卡的视觉定位结果;和/或,所述定位单元确定所述集卡的对位偏差,并确定所述集卡的对位偏差是否小于预设的偏差阈值,包括:按以下的公式(1)确定所述集卡的对位偏差,并按以下的公式(2)确定所述集卡的对位偏差是否小于预设的偏差阈值:

dd=dc+dv-di(1);

|dc+dv-di|≤ld(2);

其中,di为水平x轴上,坐标原点与通过所述集卡进行视觉定位获得的视觉定位结果的距离;dv为坐标系水平x轴上,集卡的集装箱装卸中心点与标识目标中心点的距离;ld为坐标系水平x轴上,判断对位成功的距离阈值;dd为坐标系水平x轴上,车辆当前位置与对位完成位置的距离。

可选地,其中,所述定位单元对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理,包括:将摄像机获取的高分辨率图片,处理为二值化的低分辨率图片;自所述二值化的低分辨率图片中,提取标识目标区域,并输出圆的粗定位组;使用所述使用圆的粗定位组对高分辨率图像进行图像分割,得到所述图像处理结果;和/或,所述定位单元基于所述图像处理结果,进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出,包括:使用高分辨率roi图像对所述图像处理结果进行字符识别,输出图像中获取的符合车辆代码规则的字符串组;使用车辆代码识别所述字符串组,输出伪车辆代码或伪车辆代码组进行数据库相关信息查询,并输出停车对位相关查询结果;对停车对位相关查询结果进行分析,得到对所述集卡的定位结果。

与上述装置相匹配,本发明再一方面提供一种终端,包括:以上所述的场桥下集卡对位装置。

与上述方法相匹配,本发明再一方面提供一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行以上所述的场桥下集卡对位方法。

与上述方法相匹配,本发明再一方面提供一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行以上所述的场桥下集卡对位方法。

由此,本发明的方案,通过基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位,解决集装箱门式起重机下集装箱卡车停车对位的操作难度较大的问题,达到降低集装箱门式起重机下集装箱卡车停车对位的操作难度的效果。

本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。

下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。

附图说明

图1为本发明的场桥下集卡对位方法的一实施例的流程示意图;

图2为本发明的方法中对所述集卡进行视觉定位的一实施例的流程示意图;

图3为本发明的方法中对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理的一实施例的流程示意图;

图4为本发明的方法中进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出的一实施例的流程示意图;

图5为本发明的场桥下集卡对位装置的一实施例的结构示意图;

图6为集卡停车对位方法的流程示意图;

图7为集卡停车对位方法中车的空间结构示意图;

图8为集卡对位标识目标的图形结构示意图;

图9为集卡停车对位总体流程的流程示意图;

图10为图像预处理实现逻辑的流程示意图;

图11为粗定位实现逻辑的流程示意图;

图12为外围空间示意图;

图13为图像分割实现逻辑的流程示意图;

图14为车辆代码识别实现逻辑的流程示意图;

图15为数据关联查询实现逻辑的流程示意图;

图16为高精度定位实现逻辑的流程示意图;

图17为定位结果输出实现逻辑的流程示意图;

图18为对位结果解析实现逻辑的流程示意图。

结合附图,本发明实施例中附图标记如下:

102-获取单元;104-定位单元。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

根据本发明的实施例,提供了一种场桥下集卡对位方法,如图1所示本发明的方法的一实施例的流程示意图。该场桥下集卡对位方法具体为基于视觉技术的集装箱门式起重机(即场桥)下集装箱卡车(即集卡)辅助对位方法,主要应能够用于集装箱码头堆场的场桥作业环境。在集装箱堆场的生产运行中,集卡的主要任务是实现集装箱进出场的水平运输。在场桥进行装卸操作时,集卡需要在场桥大车方向上进行准确对位停车。在实施该方法前,需先预置标识目标,将所述标识目标布设于所述集卡上;并将图像采集装置(如摄像机)安装于所述场桥的行走机构腿部横梁处,以使所述图像采集装置能够水平采集所述集卡侧面所述标识目标的图像信息。例如:设计了与定位流程和算法高度结合的预置的标识目标,并将其布设于集卡上如布设于集卡侧面的车门附近。其次将摄像机安装于场桥行走机构腿部横梁,使之水平采集集卡侧面的图像,拉近了摄像机与定位目标的距离,提高了前景目标在整体图像的比例及图像定位测量的分辨率。如集卡进入停车对位点约1米范围内即整体画面水平方向约需1.5米进行简单测算,720p分辨率下单像素约代表1.17mm。

其中,标识目标可以布设于集卡上的任意合适位置处。例如:集卡的车门处可以作为一个较为理想的位置选择点,因为需要具备一定面积较为平坦且垂直的立面。具体布设位置需要考虑摄像机安装位置、不同场桥的尺寸、不同集卡尺寸等很多因素,可以根据实际情况选择布设位置。

所述场桥下集卡对位方法,能够包括:步骤s110至步骤s150。

在步骤s110处,在所述场桥就位、所述集卡进入预设的装卸区域的情况下,通过所述图像采集装置采集所述集卡侧面所述标识目标的图像信息。

可选地,所述标识目标,能够包括:圆的图案和一组字符序列的图案。其中,所述圆的图案,能够用于标识所述集卡的目标并提供粗定位的目标基准。所述以组字符序列的图案,能够用于标识所述集卡的车辆本身。

例如:该标识目标整体为呈正方形黑白二阶图案,该图案主体由一个圆和一组字符序列组成。圆的设计的主要目的是标识集卡目标并提供粗定位的目标基准。由于圆是较容易进行图像识别和定位的基础图形之一,且其识别算法无需进行多目标识别的组合,从而节省了目标判定时间和所使用的计算资源。“aaaaa”所表示的字符序列主要能够用于标识车辆,是车辆的标识代码。字符可由纯数字或数字加英文字母组成,其组成规则和字符序列长度需由码头作业车辆上限决定。

例如:在设计上,圆直径与标识目标整体(正方形)的边长比值为kc,字符序列尺度与圆直径的比值为kah、kav。字符序列与圆直径的比值中,字符序列的长度与圆直径的比值为水平比值kah,水平比值kah是一个在低分辨率下较为有用的设计。为了保障对标识目标提取和定位过程中的图像处理不会对目标图像本身造成破坏,因此设置该比值。字符序列与圆直径的比值中,字符序列的高度与圆直径的比值为垂直比值kav,垂直比值kav是在水平比值kah确定后,实际字体的占比测量值。圆直径占目标整体边长的比例kc,也是一个在低分辨率下较为有用的设计,特别是在完成圆检测后,进行圆初筛时有较大意义。

由此,标识目标图像的结构设计对定位算法优化有较大意义。其中圆直径占目标整体边长的比例kc参数在粗定位(s2)流程中的圆初筛和标识目标判定模块中的应用,可剔除绝大部分通过了半径参数优化的霍夫变换圆检测输出的伪结果。字符序列与圆的比例kav、kah在粗定位(s2)和高精度定位(s6)流程中的圆拟合模块中的应用,可很大程度上的提高对圆的定位精度及其稳定性。

在步骤s120处,根据所述集卡侧面所述标识目标的图像信息,对所述集卡进行视觉定位,得到视觉定位结果。

可选地,步骤s120中所述根据所述集卡侧面所述标识目标的图像信息,对所述集卡进行视觉定位的具体过程,能够参见以下示例性说明。

下面结合图2所示本发明的方法中对所述集卡进行视觉定位的一实施例流程示意图,进一步说明步骤s120中对所述集卡进行视觉定位的具体过程,能够包括:步骤s210至步骤s230。

步骤s210,对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理后,得到图像处理结果。

更可选地,可以结合图3所示本发明的方法中对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理的一实施例流程示意图,进一步说明步骤s210中对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理的具体过程,可以包括:步骤s310至步骤s330。

步骤s310,将摄像机获取的高分辨率图片,处理为二值化的低分辨率图片。

例如:图像预处理的作用是将摄像机获取的高分辨率图片,处理为粗定位(s2)所需要的二值化的低分辨率图片,具体能够包括:输入高分辨率图像,对输入的高分辨率图像进行降低分辨率处理,如将高分辨率图像降低为水平分辨率约为320的低分辨率图像(如320*240分辨率);对降低分辨率处理后的图像进行图像二值化处理,如使用thresh_binary_inv方法进行图像的二值化(同时将黑白取反),黑白取反能够用于将标识目标中的黑色变为白色(前景),得到图像二值化处理后的图像,并输出至粗定位(s2)。

其中,thresh_binary_inv方法如公式(3):

步骤s320,自所述二值化的低分辨率图片中,提取标识目标区域,并输出圆的粗定位组。

例如:粗定位是终端使用较小的计算代价提取标识目标区域作为高精度定位roi的处理过程,并向图像分割(s3)输出圆的粗定位组,具体能够包括:对图像预处理(s1)输出的图像二值化处理结果,进行圆检测,输出第一圆组。例如:粗定位使用图像预处理输出的图像进行霍夫变换圆检测,检测将输出包含圆心坐标、半径等信息的第一圆组。进一步对第一圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。如非空,则对第一圆组进行圆初筛。圆初筛使用第一圆组的圆心和半径信息,配合圆直径占目标整体边长的比例kc值进行标识目标范围反推。使用公式(4)判断第一圆组中的圆所代表的“标识目标”是否完整出现在图像内。满足公式(4)的圆输出为第二圆组,其后对第二圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。如非空,则对第二圆组进行标识目标判定。

在公式(4)中,px为圆心横轴坐标(单位pixel),py为圆心纵轴坐标(单位pixel),r为圆半径(单位pixel),pxmax为图像横轴总像素数(单位pixel),pymax为图像纵轴总像素数(单位pixel)。进一步标识目标判定使用圆直径占目标整体边长的比例kc值对第二圆组中各圆的外围空间(如图12所示的矩形框间的区域)进行推算,并对其中的前景信息进行统计。前景信息如src(x,y)=255占外围空间的百分比低于检测阈值的圆信息组成第三圆组。其后对第三圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。如非空,则对第三圆组进行圆拟合。进一步圆拟合使用第三圆组中的圆信息,构建圆的外切正方形roi。其后将该roi中以圆心为几何中心,2*r*kah为长、2*r*kav为宽的字符区域均赋值为0。将剩余前景信息坐标计算的重心为新圆心,剩余前景信息距新圆心距离平均值为新半径。全部完成圆拟合的数据输出为圆的粗定位组。

粗定位(s2)中的圆检测、圆初筛、标识目标判定流程及其实现方式均有助于减少对标识目标的误判定,从而较大程度上的避免了终端向系统传输无标识目标的图像,降低了终端与系统之间数据传输的频次和数据量。粗定位(s2)中的圆拟合在终端部分有效的提高了对标识目标的定位精度,从而可以一定程度上的降低图像分割(s3)所输出的roi区域大小,也一定程度上的避免了roi未能包含标识目标整体而导致的终端与系统间无效数据通信。

步骤s330,使用所述使用圆的粗定位组对高分辨率图像进行图像分割,得到所述图像处理结果。

例如:图像分割使用圆的粗定位组对高分辨率图像进行图像分割,以达到保障定位精度的同时降低数据传输量的目的,具体能够包括:图像分割首先判断粗定位(s2)过程输出的圆的粗定位组中的圆信息是否为1,如仅有1个圆信息,则依据该信息进行图像分割。如有超过1个圆信息,则进行圆信息的roi融合。其中,roi融合首先将圆的粗定位组中的每个圆信息按圆直径占目标整体边长的比例kc转换为包含潜在标识目标的矩形roi区域,并提取各个roi区域x、y轴的最小值和最大值,组成能够包括所有潜在标识目标的圆的外切正方形roi区域。进一步地,图像分割使用单一圆转换的roi区域或经过roi融合的区域将高精度图像进行分割,获取其中包含标识目标的高分辨率图像roi部分,并将该部分图像与终端id、圆的粗定位组信息、图像高低分辨率比值、时间戳信息一起发送至系统端。图像分割(s3)所使用的roi融合和根据粗定位的图像分割,在使用高分辨率图像从而保障了后续图像分析定位的精度的同时,仅传输经过算法分析包含标识目标的图像部分,也较大程度上的减少了数据传输量。

由此,通过摄像机安装于场桥行走机构,水平拍摄安装于集卡垂直立面的标识目标,拉近了摄像机与定位目标的空间距离,从而提高了定位测量的分辨率(每像素代表物理空间距离),给高精度定位创造了基础;由于集卡进入摄像机视野时,受限于场桥下方集卡通道宽度,标识目标在摄像机获取图像中的尺寸变化将非常有限,因此可以对粗定位过程中的霍夫变换圆检测中的圆半径参数进行框定。具体实现圆半径参数框定方式有两种。其一是依据所安装场桥的集卡通道宽度、集卡宽度、标识目标中圆的物理尺寸、摄像机(镜头)安装位置和参数等现实情况进行详细测算获取,其二是使集卡在集卡通道中垂直光轴最靠近和最远离位置拍摄图片,并对图片中圆的像尺寸测量获取。该参数的框定将减少大量伪结果,节省粗定位后续算法的算力和与系统端的通信量,并能提升霍夫变换圆检测输出正确圆信息的定位稳定性。

步骤s220,基于所述图像处理结果,进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出后,得到对所述集卡的定位结果。

更可选地,步骤s220中基于所述图像处理结果,进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出的具体过程,能够参见以下示例性说明。

下面结合图4所示本发明的方法中进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出的一实施例流程示意图,进一步说明步骤s220中进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出的具体过程,可以包括:步骤s410至步骤s430。

步骤s410,使用高分辨率roi图像对所述图像处理结果进行字符识别,输出图像中获取的符合车辆代码规则的字符串组。

例如:车辆代码识别使用高分辨率roi图像进行字符识别,输出图像中获取的符合车辆代码规则的字符串组,具体能够包括:车辆代码识别首先对接收到的高分辨率roi图像进行字符识别,获取含位置信息的代表车辆代码的字符串组。进一步地,车辆代码规则校验信息,即根据车辆代码的长度、英文和数字组合等规则对字符串组进行规则校验,并将通过校验的伪车辆代码组进行空判断。如存在满足车辆代码规则的字符串(非空),则将伪车辆代码及其概略位置向数据关联计算(s5)输出。如不存在满足车辆代码规则的字符串(为空),则将空结果向定位结果输出(s7)输出。

步骤s420,使用车辆代码识别所述字符串组,输出伪车辆代码或伪车辆代码组进行数据库相关信息查询,并输出停车对位相关查询结果。

例如:数据关联查询使用车辆代码识别输出的伪车辆代码(组)进行数据库相关信息查询,并输出停车对位相关查询结果。具体能够包括:数据关联查询首先进行车辆静态信息查询,即根据伪车辆代码为约束条件,于数据库查询定位计算所需信息dv。进一步地,对查询结果进行验证,即判断车辆信息是否匹配成功。如不存在匹配信息,即数据库中无伪车辆代码所对应信息,则向定位结果输出(s7)输出空结果。如伪车辆代码在数据库中存在匹配信息,则根据终端号进行场桥相关信息查询dc、ld,并将全部查询结果向高精度定位(s6)输出。

步骤s430,对停车对位相关查询结果进行分析,该分析的精度可以根据设定精度进行灵活调节,得到对所述集卡的定位结果。

例如:高精度定位使用高分辨率roi图像作为分析对象,以数据库验证后的车辆信息为依据进行标识目标的高精度定位。具体能够包括:首先根据粗定位圆数量和验证后的车辆信息数量进行唯一性检测,如圆数量和车辆信息数量均为1,则进入s6-1子流程;如圆数量为1、车辆信息数量大于1则进入s6-2子流程;如圆数量和车辆信息数量均大于1,则进入s6-3子流程。

其中,s6-1子流程:圆数量和车辆信息数量均为1时,需要对roi图像进行圆检测,此时检测结果应唯一,其后对圆检测结果进行圆拟合。圆检测和圆拟合方法与粗定位(s2)中的相应方法相同。最后将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

s6-2子流程:圆数量为1、车辆信息数量大于1时,首先对roi图像进行圆检测。圆检测方法与粗定位(s2)中的相应方法相同。其后对检测出的圆信息组与车辆信息组进行位置匹配。位置匹配使用圆中心与字符串中心进行欧氏距离匹配,距离小于阈值则判定匹配成功,并输出至多一对圆-字符数据。如不存在匹配成功的圆-字符对,则向定位结果输出(s7)输出空结果。如存在匹配成功的圆-字符对,则对该圆-字符对中的圆进行圆拟合,拟合方法与粗定位(s2)中相同,并将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

s6-3子流程:圆数量和车辆信息数量均大于1时,首先对roi图像进行圆检测。圆检测方法与粗定位(s2)中的相应方法相同。其后对检测出的圆信息组与车辆信息组进行位置匹配。位置匹配使用圆中心与字符串中心进行欧氏距离匹配,距离小于预设阈值则判定匹配成功,并输出所有匹配成功的圆-字符对。如不存在匹配成功的圆-字符对,则向定位结果输出(s7)输出空结果。如存在匹配成功的圆-字符对,则对匹配性(欧式距离小)进行排序,并输出位置匹配性最高的圆-字符对。对该圆-字符对中的圆进行圆拟合,拟合方法与粗定位(s2)中相同,并将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

由此,通过采取视觉分析的方式进行集卡的定位进而实现集卡与场桥的对位功能,定位结果输出使用高精度定位(s6)所得结果,计算对位完成偏差并向终端输出计算结果,集卡对位定位难度小,且成本低。

步骤s230,对所述集卡的定位结果进行解析,得到所述集卡的视觉定位结果。

其中,对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理,可以在终端侧进行,也可以在系统侧即服务器侧进行,还可以根据数据传输量、数据处理量的大小等按实际使用情况一部分在终端侧处理、另一部分在服务器侧处理。进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出,可以在终端侧进行,也可以在系统侧即服务器侧进行,还可以根据数据传输量、数据处理量的大小等按实际使用情况一部分在终端侧处理、另一部分在服务器侧处理。集卡停车对位总体流程涉及集卡对位应用终端(后简称终端)、集装箱门式起重机装卸车快速对位辅助系统(后简称系统)两个处理单元进行实现。其中终端与摄像机一起安装于场桥、系统布设于码头机房。

例如:向终端输入高精度图像,如输入为摄像机获取的一帧图像,终端对高精度图像进行图像预处理(s1)、粗定位(s2)和图像分割(s3)后,得到图像处理结果。终端将图像处理结果发送至系统端,系统端基于图像处理结果,进行车辆代码识别(s4)、数据关联查询(s5)、高精度定位(s6)和定位结果输出(s7)后,得到系统定位结果。系统端将系统定位结果发送至终端,终端对系统定位结果进行解析后,输出停车对位结果,即输出集卡停车对位判定结果。

由此,通过在终端使用低分辨率图像进行目标检测,实现了对集卡接近的检测以及目标的粗定位,并将对应区域的高分辨率图像向服务器传输,减少了终端与服务器间的数据传输频率和传输量,减少了图像分析的计算量,降低了对终端和服务器性能的需求,从而降低了技术应用成本。

在步骤s130处,根据所述视觉定位结果、以及所述场桥和所述集卡的系统性静态偏移量,确定所述集卡的对位偏差,并确定所述集卡的对位偏差是否小于预设的偏差阈值。

可选地,步骤s130中所述根据所述视觉定位结果、以及所述场桥和所述集卡的系统性静态偏移量,确定所述集卡的对位偏差,并确定所述集卡的对位偏差是否小于预设的偏差阈值的具体过程,能够包括:按以下的公式(1)确定所述集卡的对位偏差,并按以下的公式(2)确定所述集卡的对位偏差是否小于预设的偏差阈值:

dd=dc+dv-di(1);

|dc+dv-di|≤ld(2)。

其中,di为水平x轴上,坐标原点与通过所述集卡进行视觉定位获得的视觉定位结果的距离;dv为坐标系水平x轴上,集卡的集装箱装卸中心点与标识目标中心点的距离;ld为坐标系水平x轴上,判断对位成功的距离阈值;dd为坐标系水平x轴上,车辆当前位置与对位完成位置的距离。

例如:集卡定位技术的实现以求解空间定位数据解为基础。坐标系使用以摄像机像平面原点为原点的平面直角坐标系。由于门式起重机装卸车对位应用的核心功能是对集卡在场桥大车方向的距离计算,因此技术核心计算变量为坐标系水平x轴数据。其中在图像空间中使用像素(pixel)为单位,在物理空间中使用毫米(mm)为单位。

在对位计算中的核心计算常量与变量的描述如:dc为水平x轴上,坐标原点至场桥装卸集装箱时吊具中心点的距离,取负值(针对各场桥进行预先测量,计算视为静态已知量、单位mm)。dv为水平x轴上,集卡的集装箱装卸中心点与标识目标中心点的距离,取正值(针对各集卡进行预先测量,计算视为静态已知量、单位mm)。ld为水平x轴上,判断对位成功的距离阈值(系统设置值,计算视为已知量、单位mm)。di为水平x轴上,坐标原点与通过目标定位算法获得的位置的距离(实时变量,单位:mm)。dd为水平x轴上,车辆当前位置与对位完成位置的距离(实时变量,单位:mm)。

集卡定位偏差判断使用公式(1),集卡对位完成判断使用公式(2):

dd=dc+dv-di(1)。

|dc+dv-di|≤ld(2)。

由于公式(1)和公式(2)中,dc、dv和ld均为已知量,因此本发明的方案中为使用图像分析获取标识目标定位结果di,并通过di计算dd、以及使用公式(2)进行集卡对位成功判定。当定位的处理结果满足公式(2)时,输出停车对位成功信息;当不满足公式(2)时,输出公式(1)的停车对位偏差计算结果。

由此,通过设计一个可辅助定位算法的标识目标,该标识目标需要设置在集卡上,并根据设置位置对dv进行准确测量,可以获得稳定高效的获取di值,并降低实现方式对硬件设备的需求。

在步骤s140处,若所述集卡的对位偏差小于所述偏差阈值,则确定所述集卡对位成功,并发出所述集卡对位成功的第一提醒消息。

在步骤s150处,若所述集卡的对位偏差大于或等于所述偏差阈值,则确定所述集卡对位不成功,并输出所述集卡的对位偏差以发出所述集卡的位置需要调整的第二提醒消息,进而需要根据在对所述集卡的位置进行调整后,重新根据所述图像采集装置采集到的所述集卡侧面所述标识目标的图像信息对所述集卡进行视觉定位。

例如:场桥就位后,集卡进入装卸区域。在集卡进入装卸区域后,对集卡进行视觉定位。根据对集卡进行视觉定位的结果,控制集卡调整位置。控制集卡调整位置后,通过对标识目标的图像定位结合已知的场桥、车辆的系统性静态偏移量,计算对位偏差。若位置偏差小于能够用于判定对位成功的阈值,则确定集卡对位成功,如当某时刻所测量的对位偏差小于了判定对位成功的阈值,则判定为对位成功,并输出信息提示司机对位成功;若位置偏差大于或等于能够用于判定对位成功的阈值,则将对位偏差进行输出显示以告知司机进行调整,返回重新对集卡进行视觉定位。

由此,通过预置标识目标,使用基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位,可以减小集卡对位的实现难度,且成本低。

经大量的试验验证,采用本实施例的技术方案,通过基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位,将摄像机安装于场桥行走机构,水平拍摄安装于集卡垂直立面的标识目标,拉近了摄像机与定位目标的空间距离,从而提高了定位测量的分辨率。

根据本发明的实施例,还提供了对应于场桥下集卡对位方法的一种场桥下集卡对位装置。参见图5所示本发明的装置的一实施例的结构示意图。该场桥下集卡对位装置具体为基于视觉技术的集装箱门式起重机(即场桥)下集装箱卡车(即集卡)辅助对位装置,主要应能够用于集装箱码头堆场的场桥作业环境。在集装箱堆场的生产运行中,集卡的主要任务是实现集装箱进出场的水平运输。在场桥进行装卸操作时,集卡需要在场桥大车方向上进行准确对位停车。在实施该装置前,需先预置标识目标,将所述标识目标布设于所述集卡上;并将图像采集装置(如摄像机)安装于所述场桥的行走机构腿部横梁处,以使所述图像采集装置能够水平采集所述集卡侧面所述标识目标的图像信息。例如:设计了与定位流程和算法高度结合的预置的标识目标,并将其布设于集卡上如布设于集卡侧面的车门附近;其次将摄像机安装于场桥行走机构腿部横梁,使之水平采集集卡侧面的图像,拉近摄像机与定位目标的距离,提高了前景目标在整体图像的比例及图像定位测量的分辨率。如集卡进入停车对位点约1米范围内即整体画面水平方向约需1.5米进行简单测算,720p分辨率下单像素约代表1.17mm。

所述场桥下集卡对位装置,能够包括:

获取单元102,能够用于在所述场桥就位、所述集卡进入预设的装卸区域的情况下,通过所述图像采集装置采集所述集卡侧面所述标识目标的图像信息。该获取单元102的具体功能及处理参见步骤s110。

可选地,所述标识目标,能够包括:圆的图案和一组字符序列的图案。其中,所述圆的图案,能够用于标识所述集卡的目标并提供粗定位的目标基准。所述以组字符序列的图案,能够用于标识所述集卡的车辆本身。

例如:该标识目标整体为呈正方形黑白二阶图案,该图案主体由一个圆和一组字符序列组成。圆的设计的主要目的是标识集卡目标并提供粗定位的目标基准。由于圆是较容易进行图像识别和定位的基础图形之一,且其识别算法无需进行多目标识别的组合,从而节省了目标判定时间和所使用的计算资源。“aaaaa”所表示的字符序列主要能够用于标识车辆,是车辆的标识代码。字符可由纯数字或数字加英文字母组成,其组成规则和字符序列长度需由码头作业车辆上限决定。

例如:在设计上,圆直径与标识目标整体(正方形)的边长比值为kc,字符序列尺度与圆直径的比值为kah、kav。字符序列与圆直径的比值中,字符序列的长度与圆直径的比值为水平比值kah,水平比值kah是一个在低分辨率下较为有用的设计。为了保障对标识目标提取和定位过程中的图像处理不会对目标图像本身造成破坏,因此设置该比值。字符序列与圆直径的比值中,字符序列的高度与圆直径的比值为垂直比值kav,垂直比值kav是在水平比值kah确定后,实际字体的占比测量值。圆直径占目标整体边长的比例kc,也是一个在低分辨率下较为有用的设计,特别是在完成圆检测后,进行圆初筛时有较大意义。

由此,标识目标图像的结构设计对定位算法优化有较大意义。其中圆直径占目标整体边长的比例kc参数在粗定位(s2)流程中的圆初筛和标识目标判定模块中的应用,可剔除绝大部分通过了半径参数优化的霍夫变换圆检测输出的伪结果。字符序列与圆的比例kav、kah在粗定位(s2)和高精度定位(s6)流程中的圆拟合模块中的应用,可很大程度上的提高对圆的定位精度及其稳定性。

定位单元104,能够用于根据所述集卡侧面所述标识目标的图像信息,对所述集卡进行视觉定位,得到视觉定位结果。该定位单元104的具体功能及处理参见步骤s120。

可选地,所述定位单元104根据所述集卡侧面所述标识目标的图像信息,对所述集卡进行视觉定位,能够包括:

所述定位单元104,具体还能够用于对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理后,得到图像处理结果。该定位单元104的具体功能及处理还参见步骤s210。

更可选地,所述定位单元104对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理,能够包括:

所述定位单元104,具体还能够用于将摄像机获取的高分辨率图片,处理为二值化的低分辨率图片。该定位单元104的具体功能及处理还参见步骤s310。

例如:图像预处理的作用是将摄像机获取的高分辨率图片,处理为粗定位(s2)所需要的二值化的低分辨率图片,具体能够包括:输入高分辨率图像,对输入的高分辨率图像进行降低分辨率处理,如将高分辨率图像降低为水平分辨率约为320的低分辨率图像(如320*240分辨率);对降低分辨率处理后的图像进行图像二值化处理,如使用thresh_binary_inv装置进行图像的二值化(同时将黑白取反),黑白取反能够用于将标识目标中的黑色变为白色(前景),得到图像二值化处理后的图像,并输出至粗定位(s2)。

其中,thresh_binary_inv装置如公式(3):

所述定位单元104,具体还能够用于自所述二值化的低分辨率图片中,提取标识目标区域,并输出圆的粗定位组。该定位单元104的具体功能及处理还参见步骤s320。

例如:粗定位是终端使用较小的计算代价提取标识目标区域作为高精度定位roi的处理过程,并向图像分割(s3)输出圆的粗定位组,具体能够包括:对图像预处理(s1)输出的图像二值化处理结果,进行圆检测,输出第一圆组。例如:粗定位使用图像预处理输出的图像进行霍夫变换圆检测,检测将输出包含圆心坐标、半径等信息的第一圆组。进一步对第一圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。如非空,则对第一圆组进行圆初筛。圆初筛使用第一圆组的圆心和半径信息,配合圆直径占目标整体边长的比例kc值进行标识目标范围反推。使用公式(4)判断第一圆组中的圆所代表的“标识目标”是否完整出现在图像内。满足公式(4)的圆输出为第二圆组,其后对第二圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。如非空,则对第二圆组进行标识目标判定。#

在公式(4)中,px为圆心横轴坐标(单位pixel),py为圆心纵轴坐标(单位pixel),r为圆半径(单位pixel),pxmax为图像横轴总像素数(单位pixel),pymax为图像纵轴总像素数(单位pixel)。进一步标识目标判定使用圆直径占目标整体边长的比例kc值对第二圆组中各圆的外围空间(如图12所示的矩形框间的区域)进行推算,并对其中的前景信息进行统计。前景信息如src(x,y)=255占外围空间的百分比低于检测阈值的圆信息组成第三圆组。其后对第三圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。如非空,则对第三圆组进行圆拟合。进一步圆拟合使用第三圆组中的圆信息,构建圆的外切正方形roi。其后将该roi中以圆心为几何中心,2*r*kah为长、2*r*kav为宽的字符区域均赋值为0。将剩余前景信息坐标计算的重心为新圆心,剩余前景信息距新圆心距离平均值为新半径。全部完成圆拟合的数据输出为圆的粗定位组。

粗定位(s2)中的圆检测、圆初筛、标识目标判定流程及其实现方式均有助于减少对标识目标的误判定,从而较大程度上的避免了终端向系统传输无标识目标的图像,降低了终端与系统之间数据传输的频次和数据量。粗定位(s2)中的圆拟合在终端部分有效的提高了对标识目标的定位精度,从而可以一定程度上的降低图像分割(s3)所输出的roi区域大小,也一定程度上的避免了roi未能包含标识目标整体而导致的终端与系统间无效数据通信。

所述定位单元104,具体还能够用于使用所述使用圆的粗定位组对高分辨率图像进行图像分割,得到所述图像处理结果。该定位单元104的具体功能及处理还参见步骤s330。

例如:图像分割使用圆的粗定位组对高分辨率图像进行图像分割,以达到保障定位精度的同时降低数据传输量的目的,具体能够包括:图像分割首先判断粗定位(s2)过程输出的圆的粗定位组中的圆信息是否为1,如仅有1个圆信息,则依据该信息进行图像分割。如有超过1个圆信息,则进行圆信息的roi融合。其中,roi融合首先将圆的粗定位组中的每个圆信息按圆直径占目标整体边长的比例kc转换为包含潜在标识目标的矩形roi区域,并提取各个roi区域x、y轴的最小值和最大值,组成能够包括所有潜在标识目标的圆的外切正方形roi区域。进一步地,图像分割使用单一圆转换的roi区域或经过roi融合的区域将高精度图像进行分割,获取其中包含标识目标的高分辨率图像roi部分,并将该部分图像与终端id、圆的粗定位组信息、图像高低分辨率比值、时间戳信息一起发送至系统端。图像分割(s3)所使用的roi融合和根据粗定位的图像分割,在使用高分辨率图像从而保障了后续图像分析定位的精度的同时,仅传输经过算法分析包含标识目标的图像部分,也较大程度上的减少了数据传输量。

由此,通过摄像机安装于场桥行走机构,水平拍摄安装于集卡垂直立面的标识目标,拉近了摄像机与定位目标的空间距离,从而提高了定位测量的分辨率(每像素代表物理空间距离),给高精度定位创造了基础;由于集卡进入摄像机视野时,受限于场桥下方集卡通道宽度,标识目标在摄像机获取图像中的尺寸变化将非常有限,因此可以对粗定位过程中的霍夫变换圆检测中的圆半径参数进行框定。具体实现圆半径参数框定方式有两种。其一是依据所安装场桥的集卡通道宽度、集卡宽度、标识目标中圆的物理尺寸、摄像机(镜头)安装位置和参数等现实情况进行详细测算获取,其二是使集卡在集卡通道中垂直光轴最靠近和最远离位置拍摄图片,并对图片中圆的像尺寸测量获取。该参数的框定将减少大量伪结果,节省粗定位后续算法的算力和与系统端的通信量,并能提升霍夫变换圆检测输出正确圆信息的定位稳定性。

所述定位单元104,具体还能够用于基于所述图像处理结果,进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出后,得到对所述集卡的定位结果。该定位单元104的具体功能及处理还参见步骤s220。

更可选地,所述定位单元104基于所述图像处理结果,进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出,包括:

所述定位单元104,具体还能够用于使用高分辨率roi图像对所述图像处理结果进行字符识别,输出图像中获取的符合车辆代码规则的字符串组。该定位单元104的具体功能及处理还参见步骤s410。

例如:车辆代码识别使用高分辨率roi图像进行字符识别,输出图像中获取的符合车辆代码规则的字符串组,具体能够包括:车辆代码识别首先对接收到的高分辨率roi图像进行字符识别,获取含位置信息的代表车辆代码的字符串组。进一步地,车辆代码规则校验信息,即根据车辆代码的长度、英文和数字组合等规则对字符串组进行规则校验,并将通过校验的伪车辆代码组进行空判断。如存在满足车辆代码规则的字符串(非空),则将伪车辆代码及其概略位置向数据关联计算(s5)输出。如不存在满足车辆代码规则的字符串(为空),则将空结果向定位结果输出(s7)输出。

所述定位单元104,具体还能够用于使用车辆代码识别所述字符串组,输出伪车辆代码或伪车辆代码组进行数据库相关信息查询,并输出停车对位相关查询结果。该定位单元104的具体功能及处理还参见步骤s420。

例如:数据关联查询使用车辆代码识别输出的伪车辆代码(组)进行数据库相关信息查询,并输出停车对位相关查询结果。具体能够包括:数据关联查询首先进行车辆静态信息查询,即根据伪车辆代码为约束条件,于数据库查询定位计算所需信息dv。进一步地,对查询结果进行验证,即判断车辆信息是否匹配成功。如不存在匹配信息,即数据库中无伪车辆代码所对应信息,则向定位结果输出(s7)输出空结果。如伪车辆代码在数据库中存在匹配信息,则根据终端号进行场桥相关信息查询dc、ld,并将全部查询结果向高精度定位(s6)输出。

所述定位单元104,具体还能够用于对停车对位相关查询结果进行分析,该分析的精度可以根据设定精度进行灵活调节,得到对所述集卡的定位结果。该定位单元104的具体功能及处理还参见步骤s430。

例如:高精度定位使用高分辨率roi图像作为分析对象,以数据库验证后的车辆信息为依据进行标识目标的高精度定位。具体能够包括:首先根据粗定位圆数量和验证后的车辆信息数量进行唯一性检测,如圆数量和车辆信息数量均为1,则进入s6-1子流程;如圆数量为1、车辆信息数量大于1则进入s6-2子流程;如圆数量和车辆信息数量均大于1,则进入s6-3子流程。

其中,s6-1子流程:圆数量和车辆信息数量均为1时,需要对roi图像进行圆检测,此时检测结果应唯一,其后对圆检测结果进行圆拟合。圆检测和圆拟合装置与粗定位(s2)中的相应装置相同。最后将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

s6-2子流程:圆数量为1、车辆信息数量大于1时,首先对roi图像进行圆检测。圆检测装置与粗定位(s2)中的相应装置相同。其后对检测出的圆信息组与车辆信息组进行位置匹配。位置匹配使用圆中心与字符串中心进行欧氏距离匹配,距离小于阈值则判定匹配成功,并输出至多一对圆-字符数据。如不存在匹配成功的圆-字符对,则向定位结果输出(s7)输出空结果。如存在匹配成功的圆-字符对,则对该圆-字符对中的圆进行圆拟合,拟合装置与粗定位(s2)中相同,并将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

s6-3子流程:圆数量和车辆信息数量均大于1时,首先对roi图像进行圆检测。圆检测装置与粗定位(s2)中的相应装置相同。其后对检测出的圆信息组与车辆信息组进行位置匹配。位置匹配使用圆中心与字符串中心进行欧氏距离匹配,距离小于预设阈值则判定匹配成功,并输出所有匹配成功的圆-字符对。如不存在匹配成功的圆-字符对,则向定位结果输出(s7)输出空结果。如存在匹配成功的圆-字符对,则对匹配性(欧式距离小)进行排序,并输出位置匹配性最高的圆-字符对。对该圆-字符对中的圆进行圆拟合,拟合装置与粗定位(s2)中相同,并将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

由此,通过采取视觉分析的方式进行集卡的定位进而实现集卡与场桥的对位功能,定位结果输出使用高精度定位(s6)所得结果,计算对位完成偏差并向终端输出计算结果,集卡对位定位难度小,且成本低。

所述定位单元104,具体还能够用于对所述集卡的定位结果进行解析,得到所述集卡的视觉定位结果。该定位单元104的具体功能及处理还参见步骤s230。

其中,对所述集卡侧面所述标识目标的图像信息进行图像预处理、粗定位和图像分割处理,可以在终端侧进行,也可以在系统侧即服务器侧进行,还可以根据数据传输量、数据处理量的大小等按实际使用情况一部分在终端侧处理、另一部分在服务器侧处理。进行所述集卡的车辆代码识别、数据关联查询、高精度定位和定位结果输出,可以在终端侧进行,也可以在系统侧即服务器侧进行,还可以根据数据传输量、数据处理量的大小等按实际使用情况一部分在终端侧处理、另一部分在服务器侧处理。集卡停车对位总体流程涉及集卡对位应用终端(后简称终端)、集装箱门式起重机装卸车快速对位辅助系统(后简称系统)两个处理单元进行实现。其中终端与摄像机一起安装于场桥、系统布设于码头机房。

例如:向终端输入高精度图像,如输入为摄像机获取的一帧图像,终端对高精度图像进行图像预处理(s1)、粗定位(s2)和图像分割(s3)后,得到图像处理结果。终端将图像处理结果发送至系统端,系统端基于图像处理结果,进行车辆代码识别(s4)、数据关联查询(s5)、高精度定位(s6)和定位结果输出(s7)后,得到系统定位结果。系统端将系统定位结果发送至终端,终端对系统定位结果进行解析后,输出停车对位结果,即输出集卡停车对位判定结果。

由此,通过在终端使用低分辨率图像进行目标检测,实现了对集卡接近的检测以及目标的粗定位,并将对应区域的高分辨率图像向服务器传输,减少了终端与服务器间的数据传输频率和传输量,减少了图像分析的计算量,降低了对终端和服务器性能的需求,从而降低了技术应用成本。

所述定位单元104,还能够用于根据所述视觉定位结果、以及所述场桥和所述集卡的系统性静态偏移量,确定所述集卡的对位偏差,并确定所述集卡的对位偏差是否小于预设的偏差阈值。该定位单元104的具体功能及处理还参见步骤s130。

可选地,所述定位单元104根据所述视觉定位结果、以及所述场桥和所述集卡的系统性静态偏移量,确定所述集卡的对位偏差,并确定所述集卡的对位偏差是否小于预设的偏差阈值,能够包括:

所述定位单元104,具体还能够用于按以下的公式(1)确定所述集卡的对位偏差,并按以下的公式(2)确定所述集卡的对位偏差是否小于预设的偏差阈值:

dd=dc+dv-di(1);

|dc+dv-di|≤ld(2)。

其中,di为水平x轴上,坐标原点与通过所述集卡进行视觉定位获得的视觉定位结果的距离;dv为坐标系水平x轴上,集卡的集装箱装卸中心点与标识目标中心点的距离;ld为坐标系水平x轴上,判断对位成功的距离阈值;dd为坐标系水平x轴上,车辆当前位置与对位完成位置的距离。

例如:集卡定位技术的实现以求解空间定位数据解为基础。坐标系使用以摄像机像平面原点为原点的平面直角坐标系。由于门式起重机装卸车对位应用的核心功能是对集卡在场桥大车方向的距离计算,因此技术核心计算变量为坐标系水平x轴数据。其中在图像空间中使用像素(pixel)为单位,在物理空间中使用毫米(mm)为单位。

在对位计算中的核心计算常量与变量的描述如:dc为水平x轴上,坐标原点至场桥装卸集装箱时吊具中心点的距离,取负值(针对各场桥进行预先测量,计算视为静态已知量、单位mm)。dv为水平x轴上,集卡的集装箱装卸中心点与标识目标中心点的距离,取正值(针对各集卡进行预先测量,计算视为静态已知量、单位mm)。ld为水平x轴上,判断对位成功的距离阈值(系统设置值,计算视为已知量、单位mm)。di为水平x轴上,坐标原点与通过目标定位算法获得的位置的距离(实时变量,单位:mm)。dd为水平x轴上,车辆当前位置与对位完成位置的距离(实时变量,单位:mm)。

集卡定位偏差判断使用公式(1),集卡对位完成判断使用公式(2):

dd=dc+dv-di(1);

|dc+dv-di|≤ld(2)。

由于公式(1)和公式(2)中,dc、dv和ld均为已知量,因此本发明的方案中为使用图像分析获取标识目标定位结果di,并通过di计算dd、以及使用公式(2)进行集卡对位成功判定。当定位的处理结果满足公式(2)时,输出停车对位成功信息。当不满足公式(2)时,输出公式(1)的停车对位偏差计算结果。

由此,通过设计一个可辅助定位算法的标识目标,该标识目标需要设置在集卡上,并根据设置位置对dv进行准确测量,可以获得稳定高效的获取di值,并降低实现方式对硬件设备的需求。

所述定位单元104,还能够用于若所述集卡的对位偏差小于所述偏差阈值,则确定所述集卡对位成功,并发出所述集卡对位成功的第一提醒消息。该定位单元104的具体功能及处理还参见步骤s140。

所述定位单元104,还能够用于若所述集卡的对位偏差大于或等于所述偏差阈值,则确定所述集卡对位不成功,并输出所述集卡的对位偏差以发出所述集卡的位置需要调整的第二提醒消息,进而需要根据在对所述集卡的位置进行调整后,重新根据所述图像采集装置采集到的所述集卡侧面所述标识目标的图像信息对所述集卡进行视觉定位。该定位单元104的具体功能及处理还参见步骤s150。

例如:场桥就位后,集卡进入装卸区域。在集卡进入装卸区域后,对集卡进行视觉定位。根据对集卡进行视觉定位的结果,控制集卡调整位置。控制集卡调整位置后,通过对标识目标的图像定位结合已知的场桥、车辆的系统性静态偏移量,计算对位偏差。若位置偏差小于能够用于判定对位成功的阈值,则确定集卡对位成功,如当某时刻所测量的对位偏差小于了判定对位成功的阈值,则判定为对位成功,并输出信息提示司机对位成功;若位置偏差大于或等于能够用于判定对位成功的阈值,则将对位偏差进行输出显示以告知司机进行调整,返回重新对集卡进行视觉定位。

由此,通过预置标识目标,使用基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位,可以减小集卡对位的实现难度,且成本低。

由于本实施例的装置所实现的处理及功能基本相应于前述图1至图4所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。

经大量的试验验证,采用本发明的技术方案,通过基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位,采用一种较为精细的霍夫变换圆检测中圆半径参数框定方法,能够减少大量伪结果,节省粗定位后续算法的算力和与系统端的通信量,并能提升霍夫变换圆检测输出正确圆信息的定位稳定性。

根据本发明的实施例,还提供了对应于场桥下集卡对位装置的一种终端。该终端可以包括:以上所述的场桥下集卡对位装置。

集卡对位的效果对集装箱堆场的装卸效率和作业安全有直接的影响,因此通过技术化的手段实现集卡对位辅助有十分重要的意义。

在一些方案中,基于视觉分析技术的集卡对位研究使用集卡或集装箱的特定物体作为图像分析的标定物品,其具体方式一般为当集卡重载时,通过对集装箱顶部角件锁孔定位并完成装卸中心点的计算;当集卡空载时,则通过对集卡车架上的锁闭装置(锁头)的定位进行装卸中心点的计算。

在一些方案中,为了有效的获取目标区域中集装箱角件和车架锁闭装置的图像信息,作为视觉分析输入装置的摄像机一般安装于起重机主梁结构。将集装箱转锁(重载)和集卡车上特定目标(空载)作为视觉分析的目标,而将摄像机安装于距离集卡较远的位置)。在此框架下,视觉图像采集需要针对较大目标进行图像采集,而对较小目标(如集装箱锁孔)进行定位分析。同等分辨率下的画面所代表的尺度越大,则单像素所代表的尺寸越大。如720p横轴需要容纳约为集卡长度画面,则单像素将代表约7.81mm的空间长度(按单20尺集卡约10米长度计算)。同时,大机抖动或摄像机光轴偏角也会导致随着摄像机与图像采集目标距离的增加而不断放大坐标原点偏移误差。但这些方案较难实现目标的高精度定位,同等定位精度下将付出更多的实现成本。

在一个可选实施方式中,本发明的方案,提供一种基于视觉技术的场桥下集卡辅助对位方案,采取视觉分析的方式进行集卡的定位进而实现集卡与场桥的对位功能。

在一个可选例子中,本发明的方案,针对摄像机安装位置及识别方式等实现成本较高的缺点,提出了一套预置标识目标的集卡对位方法,可有效的降低技术方案实现成本。

本发明的方案,首先设计了与定位流程和算法高度结合的预置的标识目标,并将其布设于集卡上如布设于集卡侧面的车门附近;其次将摄像机安装于场桥行走机构腿部横梁,使之水平采集集卡侧面的图像,拉近摄像机与定位目标的距离,提高了前景目标在整体图像的比例及图像定位测量的分辨率。如集卡进入停车对位点约1米范围内即整体画面水平方向约需1.5米进行简单测算,720p分辨率下单像素约代表1.17mm。

在本发明的方案中,终端使用低分辨率图像进行目标检测,实现了对集卡接近的检测以及目标的粗定位,并将对应区域的高分辨率图像向服务器传输,减少了终端与服务器间的数据传输频率和传输量,减少了图像分析的计算量,降低了对终端和服务器性能的需求,从而降低了技术应用成本。

本发明的方案,主要应用于集装箱码头堆场的场桥作业环境。在集装箱堆场的生产运行中,集卡的主要任务是实现集装箱进出场的水平运输。在场桥进行装卸操作时,集卡需要在场桥大车方向上进行准确对位停车。但凭借肉眼进行数厘米精度的停车有较大难度。因此本发明的方案使用基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位。

在一个可选具体实施方式中,可以结合图6至图18所示的例子,对本发明的方案的具体实现过程进行示例性说明。

在一个可选例子中,本发明的方案中的基本实现逻辑,可以参见以下示例性说明。

图6为集卡停车对位方法的流程示意图。如图6所示,集卡停车对位方法的流程,可以包括:

步骤11、场桥就位后,集卡进入装卸区域。

步骤12、在集卡进入装卸区域后,对集卡进行视觉定位。

步骤13、根据对集卡进行视觉定位的结果,控制集卡调整位置。

步骤14、控制集卡调整位置后,通过对标识目标的图像定位结合已知的场桥、车辆的系统性静态偏移量,计算对位偏差。若位置偏差小于用于判定对位成功的阈值,则确定集卡对位成功,如当某时刻所测量的对位偏差小于了判定对位成功的阈值,则判定为对位成功,并输出信息提示司机对位成功;若位置偏差大于或等于用于判定对位成功的阈值,则将对位偏差进行输出显示以告知司机进行调整,返回步骤12重新对集卡进行视觉定位。

在本发明的方案中,集卡定位技术的实现以求解空间定位数据解为基础。坐标系使用以摄像机像平面原点为原点的平面直角坐标系。由于门式起重机装卸车对位应用的核心功能是对集卡在场桥大车方向的距离计算,因此技术核心计算变量为坐标系水平x轴数据。其中在图像空间中使用像素(pixel)为单位,在物理空间中使用毫米(mm)为单位。

图7为集卡停车对位方法中车的空间结构示意图。参见图7所示的例子,在对位计算中的核心计算常量与变量的描述如下:

dc为水平x轴上,坐标原点至场桥装卸集装箱时吊具中心点的距离,取负值(针对各场桥进行预先测量,计算视为静态已知量、单位mm)。dv为水平x轴上,集卡的集装箱装卸中心点与标识目标中心点的距离,取正值(针对各集卡进行预先测量,计算视为静态已知量、单位mm)。ld为水平x轴上,判断对位成功的距离阈值(系统设置值,计算视为已知量、单位mm)。di为水平x轴上,坐标原点与通过目标定位算法获得的位置的距离(实时变量,单位:mm)。dd为水平x轴上,车辆当前位置与对位完成位置的距离(实时变量,单位:mm)。

集卡定位偏差判断使用公式(1),集卡对位完成判断使用公式(2):

dd=dc+dv-di(1);

|dc+dv-di|≤ld(2)。

由于公式(1)和公式(2)中,dc、dv和dd均为已知量,因此本发明的方案中为使用图像分析获取标识目标定位结果di,并通过di计算dd、以及使用公式(2)进行集卡对位成功判定。

在一个可选例子中,本发明的方案中的标识目标设计,可以参见以下示例性说明。

为了稳定高效的获取di值,并降低实现方式对硬件设备的需求,本发明的方案设计一个可辅助定位算法的标识目标。例如该标识目标需要设置在集卡上,并根据设置位置对dv进行准确测量。

该标识目标整体为呈正方形黑白二阶图案,该图案主体由一个圆和一组字符序列组成。其中圆的设计的主要目的是标识集卡目标并提供粗定位的目标基准。由于圆是较容易进行图像识别和定位的基础图形之一,且其识别算法无需进行多目标识别的组合,从而节省了目标判定时间和所使用的计算资源。“aaaaa”所表示的字符序列主要用于标识车辆,是车辆的标识代码。字符可由纯数字或数字加英文字母组成,其组成规则和字符序列长度需由码头作业车辆上限决定。集卡对位标识目标图形可以参见图8所示的例子。

在设计上,圆直径与标识目标整体(正方形)的边长比值为kc,字符序列尺度与圆直径的比值为kah、kav。该设计可用于对算法中定位的优化。

下面对字符序列与圆的比例进行示例性说明。

字符序列与圆直径的比值中,字符序列的长度与圆直径的比值为水平比值kah,水平比值kah是一个在低分辨率下较为有用的设计。为了保障对标识目标提取和定位过程中的图像处理不会对目标图像本身造成破坏,因此设置该比值。

其中,这些比值的在算法中的应用均是可以通过粗定位中的圆半径推算标识目标整体、字符等个体的尺寸。这些推算出来的尺寸会在使用在后续算法中作为参数发挥作用。

具体来说通过圆心坐标、圆半径(或直径)和kah和kav可以计算出圆中字符的区域。在圆拟合时(如下面的步骤45),使该区域为0(即擦除掉标识目标中的字符部分,仅留下标识目标中圆的部分)的步骤不会把圆的部分也擦除掉。如果没有这个比值则无法计算擦除的区域。

字符序列与圆直径的比值中,字符序列的高度与圆直径的比值为垂直比值kav,垂直比值kav是在水平比值kah确定后,实际字体的占比测量值。

下面对圆直径占目标整体边长的比例进行示例性说明。

圆直径占目标整体边长的比例kc,也是一个在低分辨率下较为有用的设计,特别是在完成圆粗定位后,进行圆初筛时有较大意义。

例如:如kc=0.7。圆直径70,则标识目标为边长100的正方形。下面的步骤43和步骤44中,若没有这个数值则无法计算。

下面对集卡停车对位总体流程进行示例性说明。

根据基本实现逻辑,本发明的方案为实现集卡的对位辅助,需要获取坐标原点与标识目标的距离di。其技术处理总体流程如图9所示。

图9为集卡停车对位总体流程的流程示意图。如图9所示,集卡停车对位总体流程,能够包括:

步骤21、向终端输入高精度图像,如输入为摄像机获取的一帧图像,终端对高精度图像进行图像预处理(s1)、粗定位(s2)和图像分割(s3)后,得到图像处理结果。

步骤22、终端将图像处理结果发送至系统端,系统端基于图像处理结果,进行车辆代码识别(s4)、数据关联查询(s5)、高精度定位(s6)和定位结果输出(s7)后,得到系统定位结果。

步骤23、系统端将系统定位结果发送至终端,终端对系统定位结果进行解析后,输出停车对位结果,即输出集卡停车对位判定结果。当定位的处理结果满足公式(2)时,输出停车对位成功信息;当不满足公式(2)时,输出公式(1)的停车对位偏差计算结果。

集卡停车对位总体流程涉及集卡对位应用终端(后简称终端)、集装箱门式起重机装卸车快速对位辅助系统(后简称系统)两个处理单元进行实现。其中终端与摄像机一起安装于场桥、系统布设于码头机房。

下面对集卡停车对位技术实现方法的具体过程进行示例性说明。

图像预处理(s1):图像预处理的作用是将摄像机获取的高分辨率图片,处理为粗定位(s2)所需要的二值化的低分辨率图片。

图10为图像预处理实现逻辑的流程示意图。如图10所示,图像预处理的实现逻辑,能够包括:

步骤31、输入高分辨率图像,对输入的高分辨率图像进行降低分辨率处理,如将高分辨率图像降低为水平分辨率约为320的低分辨率图像(如320*240分辨率)。

步骤32、对降低分辨率处理后的图像进行图像二值化处理,如使用thresh_binary_inv方法进行图像的二值化(同时将黑白取反),黑白取反用于将标识目标中的黑色变为白色(前景),得到图像二值化处理后的图像,并输出至粗定位(s2)。

其中,thresh_binary_inv方法如公式(3):

在公式(3)中,dst(x,y)是处理后图像数据,src(x,y)是原图像数据,其中x、y是两轴坐标。thresh是阈值,当原图的某个x0、y0坐标的值大于阈值则处理后的图像该点设置值为0,当小于等于阈值,则该点取值maxval(最大数值)在8位图中即255。

公式(3)所示点的操作,在图像处理中,就是把多阶黑白转化为二阶的黑白,即图像中某点的表示不是黑(0)就是白(255)。如原图像某点src(1,3)=90thresh=80则dst(1,3)=0;src(9,9)=25thresh=80则dst(1,3)=255。

粗定位(s2):粗定位是终端使用较小的计算代价提取标识目标区域作为高精度定位roi的处理过程,并向图像分割(s3)输出圆的粗定位组。

图11为粗定位实现逻辑的流程示意图。如图11所示,粗定位实现逻辑,能够包括:

步骤41、对图像预处理(s1)输出的图像二值化处理结果,进行圆检测,输出第一圆组。例如:粗定位使用图像预处理输出的图像进行霍夫变换圆检测,检测将输出包含圆心坐标、半径等信息的第一圆组。

步骤42、对第一圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。如非空,则对第一圆组进行圆初筛。

步骤43、圆初筛使用第一圆组的圆心和半径信息,配合圆直径占目标整体边长的比例kc值进行标识目标范围反推。使用公式(4)判断第一圆组中的圆所代表的“标识目标”是否完整出现在图像内。满足公式(4)的圆输出为第二圆组,其后对第二圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。

如非空,则对第二圆组进行标识目标判定。

在公式(4)中,px为圆心横轴坐标(单位pixel),py为圆心纵轴坐标(单位pixel),r为圆半径(单位pixel),pxmax为图像横轴总像素数(单位pixel),pymax为图像纵轴总像素数(单位pixel)。

步骤44、标识目标判定使用圆直径占目标整体边长的比例kc值对第二圆组中各圆的外围空间(如图12所示的矩形框间的区域)进行推算,并对其中的前景信息进行统计。前景信息如src(x,y)=255占外围空间的百分比低于检测阈值的圆信息组成第三圆组。其后对第三圆组进行是否为空的检测,为空则结束本帧图像的处理流程,等待下一帧输入后从图像预处理(s1)开始处理。如非空,则对第三圆组进行圆拟合。

步骤45、圆拟合使用第三圆组中的圆信息,构建圆的外切正方形roi。其后将该roi中以圆心为几何中心,2*r*kah为长、2*r*kav为宽的字符区域均赋值为0。将剩余前景信息坐标计算的重心为新圆心,剩余前景信息距新圆心距离平均值为新半径。全部完成圆拟合的数据输出为圆的粗定位组。

图像分割(s3):图像分割使用圆的粗定位组对高分辨率图像进行图像分割,以达到保障定位精度的同时降低数据传输量的目的。

图13为图像分割实现逻辑的流程示意图。如图13所示,图像分割实现逻辑,能够包括:

步骤51、图像分割首先判断粗定位(s2)过程输出的圆的粗定位组中的圆信息是否为1,如仅有1个圆信息,则依据该信息进行图像分割。如有超过1个圆信息,则进行圆信息的roi融合。

其中,roi融合首先将圆的粗定位组中的每个圆信息按圆直径占目标整体边长的比例kc转换为包含潜在标识目标的矩形roi区域,并提取各个roi区域x、y轴的最小值和最大值,组成包括所有潜在标识目标的圆的外切正方形roi区域。

步骤52、图像分割使用单一圆转换的roi区域或经过roi融合的区域将高精度图像进行分割,获取其中包含标识目标的高分辨率图像roi部分,并将该部分图像与终端id、圆的粗定位组信息、图像高低分辨率比值、时间戳信息一起发送至系统端。

车辆代码识别(s4):车辆代码识别使用高分辨率roi图像进行字符识别,输出图像中获取的符合车辆代码规则的字符串组,可以减少潜在车辆代码查询量,并辅助s5、s6实现唯一(或空)定位信息的输出。

图14为车辆代码识别实现逻辑的流程示意图。如图14所示,车辆代码识别实现逻辑,能够包括:

步骤61、车辆代码识别首先对接收到的高分辨率roi图像进行字符识别,获取含位置信息的、代表车辆代码的字符串组。

步骤62、车辆代码规则校验信息,即根据车辆代码的长度、英文和数字组合等规则对字符串组进行规则校验,并将通过校验的伪车辆代码组进行空判断。如存在满足车辆代码规则的字符串(非空),则将伪车辆代码及其概略位置向数据关联计算(s5)输出。如不存在满足车辆代码规则的字符串(为空),则将空结果向定位结果输出(s7)输出。

数据关联查询(s5):数据关联查询使用车辆代码识别输出的伪车辆代码(组)进行数据库相关信息查询,并输出停车对位相关查询结果。该部分,依靠数据库静态信息与伪车辆代码(组)匹配的方式,有效地剔除伪车辆代码进入后续处理步骤,并辅助s6实现唯一(或空)定位信息的输出。

图15为数据关联查询实现逻辑的流程示意图。如图15所示,数据关联查询实现逻辑,能够包括:

步骤71、数据关联查询首先进行车辆静态信息查询,即根据伪车辆代码为约束条件,于数据库查询定位计算所需信息dv。

步骤72、对查询结果进行验证,即判断车辆信息是否匹配成功。如不存在匹配信息,即数据库中无伪车辆代码所对应信息,则向定位结果输出(s7)输出空结果。如伪车辆代码在数据库中存在匹配信息,则根据终端号进行场桥相关信息查询dc、ld,并将全部查询结果向高精度定位(s6)输出。

高精度定位(s6):高精度定位使用高分辨率roi图像作为分析对象,以数据库验证后的车辆信息为依据进行标识目标的高精度定位,逻辑判断和空间匹配性的筛选方式,为s7输出高可靠性的唯一(或空)的定位计算提供基础信息。

图16为高精度定位实现逻辑的流程示意图。如图16所示,高精度定位实现逻辑,能够包括:首先根据粗定位圆数量和验证后的车辆信息数量进行唯一性检测,如圆数量和车辆信息数量均为1,则进入s6-1子流程;如圆数量为1、车辆信息数量大于1则进入s6-2子流程;如圆数量和车辆信息数量均大于1,则进入s6-3子流程。

s6-1子流程:

圆数量和车辆信息数量均为1时,需要对roi图像进行圆检测,此时检测结果应唯一,其后对圆检测结果进行圆拟合。圆检测和圆拟合方法与粗定位(s2)中的相应方法相同。最后将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

s6-2子流程:

圆数量为1、车辆信息数量大于1时,首先对roi图像进行圆检测。圆检测方法与粗定位(s2)中的相应方法相同。

其后对检测出的圆信息组与车辆信息组进行位置匹配。位置匹配使用圆中心与字符串中心进行欧氏距离匹配,距离小于阈值则判定匹配成功,并输出至多一对圆-字符数据。

如不存在匹配成功的圆-字符对,则向定位结果输出(s7)输出空结果。

如存在匹配成功的圆-字符对,则对该圆-字符对中的圆进行圆拟合,拟合方法与粗定位(s2)中相同,并将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

s6-3子流程:

圆数量和车辆信息数量均大于1时,首先对roi图像进行圆检测。圆检测方法与粗定位(s2)中的相应方法相同。

其后对检测出的圆信息组与车辆信息组进行位置匹配。位置匹配使用圆中心与字符串中心进行欧氏距离匹配,距离小于预设阈值则判定匹配成功,并输出所有匹配成功的圆-字符对。

如不存在匹配成功的圆-字符对,则向定位结果输出(s7)输出空结果。

如存在匹配成功的圆-字符对,则对匹配性(欧式距离小)进行排序,并输出位置匹配性最高的圆-字符对。对该圆-字符对中的圆进行圆拟合,拟合方法与粗定位(s2)中相同,并将拟合所得圆心、半径以及数据关联查询(s5)的信息向定位结果输出(s7)输出。

定位结果输出(s7):定位结果输出使用高精度定位(s6)所得结果,计算对位完成偏差并向终端输出计算结果。该过程使图像空间与物理空间的转换系数的方式获取定位坐标,较大程度上的减少了计算量。

图17为定位结果输出实现逻辑的流程示意图。如图17所示的定位结果输出实现逻辑,能够包括:

步骤81、如定位结果输出获取高精度定位(s6)所得定位计算基础信息,则进行目标定位计算,即首先根据信息中的圆半径(单位pixel)和标识目标中圆的物理空间半径(单位mm)数值计算图像空间与物理空间的转换系数,并使用定位计算基础信息中的圆心横坐标乘以该转换系数获取目标定位值(di,单位mm)。

步骤82、对位计算使用所获取的di值根据公式(1)和公式(2)获取dd和对位成功判定信息。

步骤83、最终向终端发送dd值、对位成功判定信息、车辆牌号信息、时间戳信息。

如图17所示的定位结果输出实现逻辑,还能够包括:如定位结果输出获取到的是s4、s5或s6的空输入,则向对位结果解析(s8)输出仅包含时间戳的空结果。

对位结果解析(s8):对位结果解析使用定位结果输出(s7)所得结果,解析其中的对位结果信息,并向现场显示单元输出,辅助集卡司机完成停车对位。

图18为对位结果解析实现逻辑的流程示意图。如图18所示的对位结果解析实现逻辑,能够包括:对位结果解析获取到了定位结果输出(s7)发送的对位信息,则对信息进行如下解析。当信息中的对位成功判定信息为true时,则对显示单元输出对位成功。当信息中的对位成功判定信息为false时,则对显示单元输出对位偏差di。

如图18所示的对位结果解析实现逻辑,还能够包括:如对位结果解析获取到的是s7的空输入,则结束本帧图像的处理。

下面对本发明的方案至少可以带来的有益效果进行示例性说明。

(一)定位算法的定位精度及其稳定性的提升。

本发明的方案使用4种方式和技术手段共同作用,保障了集卡定位的定位精度及其稳定性。

首先,本发明的方案中的摄像机安装于场桥行走机构,水平拍摄安装于集卡垂直立面的标识目标。该方法拉近了摄像机与定位目标的空间距离,从而提高了定位测量的分辨率(每像素代表物理空间距离),给高精度定位创造了基础。

其次,也由于上述摄像机布设方式,本发明的方案可以采用一种较为精细的霍夫变换圆检测中圆半径参数框定方法。由于集卡进入摄像机视野时,受限于场桥下方集卡通道宽度,标识目标在摄像机获取图像中的尺寸变化将非常有限,因此可以对粗定位过程中的霍夫变换圆检测中的圆半径参数进行框定。具体实现圆半径参数框定方式有两种。其一是依据所安装场桥的集卡通道宽度、集卡宽度、标识目标中圆的物理尺寸、摄像机(镜头)安装位置和参数等现实情况进行详细测算获取,其二是使集卡在集卡通道中垂直光轴最靠近和最远离位置拍摄图片,并对图片中圆的像尺寸测量获取。该参数的框定将减少大量伪结果,节省粗定位后续算法的算力和与系统端的通信量,并能提升霍夫变换圆检测输出正确圆信息的定位稳定性。

再次,标识目标图像的结构设计对定位算法优化有较大意义。其中圆直径占目标整体边长的比例kc参数在粗定位(s2)流程中的圆初筛和标识目标判定模块中的应用,可剔除绝大部分通过了半径参数优化的霍夫变换圆检测输出的伪结果。字符序列与圆的比例kav、kah在粗定位(s2)和高精度定位(s6)流程中的圆拟合模块中的应用,可很大程度上的提高对圆的定位精度及其稳定性。

最后,将视觉分析获得的标识目标中的车辆代码与数据库中注册的代码进行查询比对也基本避免了圆检测中的误检,从而提高了整体定位算法的稳定性。

(二)减少终端与系统的数据传输量。

为了减少方案对高稳定、大带宽的数据通信需求,方便组网和布设,本发明的方案使用了3种方式和技术手段减少终端与系统的数据传输量。

首先粗定位(s2)中的圆检测、圆初筛、标识目标判定流程及其实现方式均有助于减少对标识目标的误判定,从而较大程度上的避免了终端向系统传输无标识目标的图像,降低了终端与系统之间数据传输的频次和数据量。

其次,粗定位(s2)中的圆拟合在终端部分有效的提高了对标识目标的定位精度,从而可以一定程度上的降低图像分割(s3)所输出的roi区域大小,也一定程度上的避免了roi未能包含标识目标整体而导致的终端与系统间无效数据通信。

再次,图像分割(s3)所使用的roi融合和根据粗定位的图像分割,在使用高分辨率图像从而保障了后续图像分析定位的精度的同时,仅传输经过算法分析包含标识目标的图像部分,也较大程度上的减少了数据传输量。

(三)控制技术实现成本。

本发明的方案的初衷就是定位结果输出使用高精度定位(s6)所得结果,计算对位完成偏差并向终端输出计算结果。

本发明的方案使用了3种方式和技术手段控制技术实现成本。

首先,摄像机布设方式接近识别目标,因此可以使用相对低成本的摄像机及其镜头。

其次,终端使用低分辨率的图像作为预处理和粗定位的分析对象,很大程度上的减少了对终端cpu、内存等资源的需求,降低了终端的成本。

再次,粗定位(s2)中的圆检测、圆初筛、标识目标判定流程及其实现方式均有助于减少对标识目标的误判定,也一定程度上的减少了系统端服务器的算力需求,降低了系统服务器的成本。

需要说明的是,在上述实施方式中,定位结果输出(s7)中进行的相关解算,也可由系统将高精度定位(s6)的结果向终端发送、于终端进行相应计算,并将对位计算的结果回传系统端。高精度定位(s6)中的圆拟合部分还可在原有拟合完成后,进一步剔除一定数量和比例的与一次拟合圆半径偏差过大的点信息,并对剩余点进行圆心和半径求取的二次拟合,从而进一步提高定位精度。

由于本实施例的终端所实现的处理及功能基本相应于前述图5所示的装置的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。

经大量的试验验证,采用本发明的技术方案,通过基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位,将视觉分析获得的标识目标中的车辆代码与数据库中注册的代码进行查询比对也基本避免了圆检测中的误检,从而提高了整体定位算法的稳定性。

根据本发明的实施例,还提供了对应于场桥下集卡对位方法的一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行以上所述的场桥下集卡对位方法。

由于本实施例的存储介质所实现的处理及功能基本相应于前述图1至图4所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。

经大量的试验验证,采用本发明的技术方案,通过基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位,减少终端与系统的数据传输量,满足高稳定、大带宽的数据通信需求,方便组网和布设。

根据本发明的实施例,还提供了对应于场桥下集卡对位方法的一种处理器,所述处理器用于运行程序,其中,所述程序运行时执行以上所述的场桥下集卡对位方法。

由于本实施例的处理器所实现的处理及功能基本相应于前述图1至图4所示的方法的实施例、原理和实例,故本实施例的描述中未详尽之处,可以参见前述实施例中的相关说明,在此不做赘述。

经大量的试验验证,采用本发明的技术方案,通过基于视觉技术的集卡定位分析技术,对集卡进入装卸区域后的停车对位进行量化测量,辅助集卡司机调整位置并完成停车对位,在使用高分辨率图像从而保障了后续图像分析定位的精度的同时,仅传输经过算法分析包含标识目标的图像部分,也较大程度上的减少了数据传输量。

综上,本领域技术人员容易理解的是,在不冲突的前提下,上述各有利方式可以自由地组合、叠加。

以上所述仅为本发明的实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1