基于闸道的集卡图像采集方法、系统、设备及存储介质与流程

1.本发明涉及ai光学识别领域，具体地说，涉及用于无人码头的基于闸道的集卡图像采集方法、系统、设备及存储介质。


背景技术：

2.集装箱道闸一般位于港口的出入口，需要结合智能管理系统对过往的集卡车牌、拖运的集装箱识别号进行识别和拍照，从而帮助港口提升管理效率、降低人工成本。
3.道闸一般通过地感线圈、红外对射、毫米波雷达探测等方式来检测车辆的存在并触发识别和拍照，然而这些方法各自存在如下问题：地感线圈埋于地下不便于维修和更换，较长的施工周期会导致道闸长时间不可用。红外对射对安装角度、位置要求较高，并易受温度、光线等因素影响，导致较高的误报率。毫米波雷达安装方便，但仍存在易受电磁干扰、功耗相对较高的缺点。
4.因此，本发明提供了一种基于闸道的集卡图像采集方法、系统、设备及存储介质。


技术实现要素：

5.针对现有技术中的问题，本发明的目的在于提供基于闸道的集卡图像采集方法、系统、设备及存储介质，克服了现有技术的困难，能够为集装箱闸道定制更为高效和准确的空间感知方法，进而为集卡车牌、集装箱号识别系统和拍照系统提供更为准确的触发信号，提升港口智能管理的可靠性和高效性。
6.本发明的实施例提供一种基于闸道的集卡图像采集方法，包括以下步骤：
7.s110、通过至少一点云采集装置采集闸道区域内激光点云，建立所述点云采集装置的内参坐标系与世界坐标系的转换关系，所述世界坐标系中的x轴、y轴、z轴分别对应所述闸道的长度、宽度以及高度方向；
8.s130、将所述待检测激光点云投影转化为一二维待测图像并建立平面坐标系，所述二维待测图像的u轴平行于x轴、v轴平行于z轴；
9.s140、通过点云采集装置采集集卡经过所述闸道区域时的激光点云，并投影转化到所述二维待测图像；
10.s150、当所述集卡在二维待测图像中的投影图案到达预设触发位置时，触发所述预设触发位置对应的图像采集装置采集所述集卡的图像。
11.优选地，所述步骤s110中，通过点云采集装置采集闸道区域内激光点云，根据所述激光点云进行平面拟合，获得闸道区域的地面所在的平面，建立所述点云采集装置的内参坐标系与世界坐标系的转换关系，所述世界坐标系中的x轴平行于所述闸道的长度方向，y轴平行于所述闸道的宽度方向，z轴平行于所述闸道的高度方向。所述点云采集装置被悬空设置于一条闸道的上方，并且沿着闸道的长度方向平行设置(即将设备的采集方向沿着x轴设置，预设x轴方向)，则可基于拟合后的平面内获得与x轴相垂直的y轴以及垂直于拟合后的平面的z轴方向。
12.优选地，所述步骤s110中包括以下步骤：
13.s111、通过点云采集装置采集闸道区域内激光点云，根据所述激光点云进行平面拟合，获得闸道区域的地面所在的平面，建立所述点云采集装置的内参坐标系与世界坐标系的转换关系；
14.s112、当集卡驶入所述闸道区域，过滤低于地面3.5米以下的点云；
15.s113、将剩余的点云通过现有技术的pca算法获得点云分布的主方向，所述主方向作为x轴方向；
16.s114、基于拟合后的平面内获得与x轴相垂直的y轴和垂直于拟合后的平面的z轴方向，所述世界坐标系中的x轴平行于所述闸道的长度方向，y轴平行于所述闸道的宽度方向，z轴平行于所述闸道的高度方向。pca(principal component analysis，主成分分析)是一种常用的数据分析方法。pca通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。点云法向量的估计在很多场景都会用到，比如icp配准，以及曲面重建、点云中的方向预测等等。
17.优选地，所述步骤s110之后、步骤s130之前还包括：
18.s120、基于预设的闸道区域的长宽高数据过滤所述激光点云数据，仅保留位于闸道区域的空间范围内的待检测激光点云。
19.优选地，所述步骤s130包括以下步骤：
20.s131、建立一m行n列的矩形二值化图像，所述矩形二值化图像的u轴平行于x轴、v轴平行于z轴，并根据矩形二值化图像与实际闸道的长度以及高度的比例，在矩形二值化图像中设置预设触发位置。
21.s132、将所述待检测激光点云投影到所述矩形二值化图像；
22.s133、通过二值化区别所述矩形二值化图像中获得所述待检测激光点云投影的每个所述第一类像素和未获得所述待检测激光点云投影的第二类像素；
23.s134、将第一类像素和第二类像素的集合形成的图像作为二维待测图像。
24.优选地，所述步骤s131中，所述矩形图像的长度和宽度的第一比例与所述闸道区域的长度和高度的第二比例相同。
25.优选地，所述步骤s132中，将所述激光点云中的三维点(x，y，z)通过一下公式投影到矩形二值化图像(xu，yv)中：
26.int(*)为取整函数；
27.其中，x
min
为所述闸道区域的空间范围在所述世界坐标系的x轴坐标的最小值；
28.x
max
为所述闸道区域的空间范围在所述世界坐标系的x轴坐标的最大值；
29.y
min
为所述闸道区域的空间范围在所述世界坐标系的y轴坐标的最小值；
30.y
max
为所述闸道区域的空间范围在所述世界坐标系的y轴坐标的最大值；
31.z
min
为所述闸道区域的空间范围在所述世界坐标系的z轴坐标的最小值；
32.z
max
为所述闸道区域的空间范围在所述世界坐标系的z轴坐标的最大值。
33.优选地，所述步骤s133中，将获得所述激光点云投影的每个所述第一类像素的像素值标记为1，将未获得所述激光点云投影的每个所述第一类像素的像素值标记为0。
34.优选地，所述步骤s140包括下步骤：
35.s141、通过点云采集装置采集集卡经过所述闸道区域时的激光点云；
36.s142、将所述激光点云分别投影转化到所述二维待测图像中；
37.s143、基于所述图像识别的第一神经网络获得各自对应所述车头、车尾、集装箱前端面和集装箱后端面对应的图像区域，每个所述图像区域的像素分别具有代表所在的图像区域的类别的标签。
38.优选地，所述步骤s143之后还包括，当在同一集卡上识别到两个车头或者集装箱前端面，分别获得两个所述图像区域中轮廓线的夹角度数与90
°
之间的差值，差值小的所述图像区域为对应所述集装箱前端面的图像区域，差值大的所述图像区域为对应所述车头的图像区域。
39.优选地，所述步骤s140包括下步骤：
40.s146、通过点云采集装置采集集卡经过所述闸道区域时的激光点云；
41.s147、通过基于点云识别的第二神经网络获得各自对应所述车头、车尾、集装箱前端面和集装箱后端面对应的点云簇，每个所述点云簇中的点云分别具有代表所在的所述点云簇类别的标签；
42.s148、将所述点云簇分别投影转化到所述二维待测图像中，将投影于同一个所述二维待测图像的像素的激光点云的标签中出现次数最大的标签作为所述像素的标签。
43.优选地，所述点云采集装置和前车牌图像采集装置、前箱面图像采集装置分别设置于所述闸道出口侧，所述闸道入口侧设有车身环向图像采集装置、后车牌图像采集装置、后箱面图像采集装置。
44.优选地，所述闸道出口背离所述闸道入口的一侧设有一栏杆闸机，对所述图像采集装置采集所述集卡的图像进行图文识别，获得集卡和集装箱的编号信息并与预设数据进行鉴权，当通过鉴权时，打开所述栏杆闸机。
45.优选地，所述步骤s150中，所述预设触发位置包括自所述闸道进口到闸道出口之间依次间隔排列的车身环向图像采集触发垂线、前车牌图像采集触发垂线、前箱面图像采集触发垂线、后箱面图像采集触发垂线以及后车牌图像采集触发垂线；
46.当对应所述车头的点云簇到达所述车身环向图像采集触发垂线，则触发所述车身环向图像采集装置启动，采集车身环向图像；
47.当对应所述车头的点云簇到达所述前车牌图像采集触发垂线，则触发所述前车牌图像采集装置启动，采集前车牌图像；
48.当对应所述集装箱前端面的点云簇到达所述前箱面图像采集触发垂线，则触发所述前箱面图像采集装置启动，采集前箱面图像；
49.当对应所述集装箱后端面的点云簇到达所述后箱面图像采集触发垂线，则触发所述后箱面图像采集装置启动，采集后箱面图像；
50.当对应所述集装箱后端面的点云簇到达所述后车牌图像采集触发垂线，则触发所述后车牌图像采集装置启动，采集后车牌图像。
51.优选地，所述车身环向图像采集装置的物镜的焦点位于车身环向图像采集触发垂线对应的闸道区域中的第三垂面中；
52.所述前车牌图像采集装置的物镜的焦点位于前车牌图像采集触发垂线对应的闸道区域中的第一垂面中；
53.所述前箱面图像采集装置的物镜的焦点位于前箱面图像采集触发垂线对应的闸道区域中的第二垂面中；
54.所述后箱面图像采集装置的物镜的焦点位于后箱面图像采集触发垂线对应的闸道区域中的第四垂面中；
55.所述后车牌图像采集装置的物镜的焦点位于后车牌图像采集触发垂线对应的闸道区域中的第五垂面中。
56.本发明的实施例还提供一种基于闸道的集卡图像采集系统，用于实现上述的基于闸道的集卡图像采集方法，基于闸道的集卡图像采集系统包括：
57.激光点云采集模块，通过至少一点云采集装置采集闸道区域内激光点云，建立所述点云采集装置的内参坐标系与世界坐标系的转换关系，所述世界坐标系中的x轴、y轴、z轴分别对应所述闸道的长度、宽度以及高度方向；
58.激光点云投影模块，将所述待检测激光点云投影转化为一二维待测图像并建立平面坐标系，所述二维待测图像的u轴平行于x轴、v轴平行于z轴；
59.二维待测图像模块，通过点云采集装置采集集卡经过所述闸道区域时的激光点云，并投影转化到所述二维待测图像；以及
60.图像采集触发模块，当所述集卡在二维待测图像中的投影图案到达预设触发位置时，触发所述预设触发位置对应的图像采集装置采集所述集卡的图像。
61.本发明的实施例还提供一种基于闸道的集卡图像采集设备，包括：
62.处理器；
63.存储器，其中存储有处理器的可执行指令；
64.其中，处理器配置为经由执行可执行指令来执行上述基于闸道的集卡图像采集方法的步骤。
65.本发明的实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现上述基于闸道的集卡图像采集方法的步骤。
66.本发明的基于闸道的集卡图像采集方法、系统、设备及存储介质，能够为集装箱闸道定制更为高效和准确的空间感知方法，进而为集卡车牌、集装箱号识别系统和拍照系统提供更为准确的触发信号，提升港口智能管理的可靠性和高效性。
附图说明
67.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
68.图1是本发明的基于闸道的集卡图像采集方法的流程图。
69.图2至8是本发明的基于闸道的集卡图像采集方法的实施过程示意图。
70.图9是本发明的基于闸道的集卡图像采集系统的结构示意图。
71.图10是本发明的基于闸道的集卡图像采集设备的结构示意图。以及
72.图11是本发明一实施例的计算机可读存储介质的结构示意图。
73.附图标记
[0074]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第一监控支架
[0075]
11
ꢀꢀꢀꢀꢀꢀꢀꢀ
激光雷达
[0076]
12
ꢀꢀꢀꢀꢀꢀꢀꢀ
前箱面图像采集装置
[0077]
13
ꢀꢀꢀꢀꢀꢀꢀꢀ
前车牌图像采集装置
[0078]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第二监控支架
[0079]
21
ꢀꢀꢀꢀꢀꢀꢀꢀ
车身环向图像采集装置
[0080]
22
ꢀꢀꢀꢀꢀꢀꢀꢀ
后箱面图像采集装置
[0081]
23
ꢀꢀꢀꢀꢀꢀꢀꢀ
后车牌图像采集装置
[0082]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
载有集装箱的卡车
[0083]
31
ꢀꢀꢀꢀꢀꢀꢀꢀ
车头
[0084]
32
ꢀꢀꢀꢀꢀꢀꢀꢀ
集装箱
[0085]
321
ꢀꢀꢀꢀꢀꢀꢀ
前端面
[0086]
322
ꢀꢀꢀꢀꢀꢀꢀ
后端面
[0087]
33
ꢀꢀꢀꢀꢀꢀꢀꢀ
前车牌
[0088]
34
ꢀꢀꢀꢀꢀꢀꢀꢀ
后车牌
[0089]
z1
ꢀꢀꢀꢀꢀꢀꢀꢀ
第一垂面
[0090]
z2
ꢀꢀꢀꢀꢀꢀꢀꢀ
第二垂面
[0091]
z3
ꢀꢀꢀꢀꢀꢀꢀꢀ
第三垂面
[0092]
z4
ꢀꢀꢀꢀꢀꢀꢀꢀ
第四垂面
[0093]
z5
ꢀꢀꢀꢀꢀꢀꢀꢀ
第五垂面
具体实施方式
[0094]
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式。相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
[0095]
图1是本发明的基于闸道的集卡图像采集方法的流程图。如图1所示，本发明的实施例提供一种基于闸道的集卡图像采集方法，包括以下步骤：
[0096]
s110、通过至少一点云采集装置采集闸道区域内激光点云，建立点云采集装置的内参坐标系与世界坐标系的转换关系，世界坐标系中的x轴、y轴、z轴分别对应闸道的长度、宽度以及高度方向。
[0097]
s130、将待检测激光点云投影转化为一二维待测图像并建立平面坐标系，二维待测图像的u轴平行于x轴、v轴平行于z轴。
[0098]
s140、通过点云采集装置采集集卡经过闸道区域时的激光点云，并投影转化到二维待测图像。
[0099]
s150、当集卡在二维待测图像中的投影图案到达预设触发位置时，触发预设触发位置对应的图像采集装置采集集卡的图像。
[0100]
本发明旨在提出一种更为精确、稳定的集装箱道闸识别和拍照的触发方法和系统，充分利用激光雷达抗干扰、分辨率高、造价低的特点，为集装箱闸道定制更为高效和准确的空间感知方法，进而为集卡车牌、集装箱号识别系统和拍照系统提供更为准确的触发信号，提升港口智能管理的可靠性和高效性。
[0101]
在一个优选实施例中，步骤s110中，通过点云采集装置采集闸道区域内激光点云，根据激光点云进行平面拟合，获得闸道区域的地面所在的平面，建立点云采集装置的内参坐标系与世界坐标系的转换关系，世界坐标系中的x轴平行于闸道的长度方向，y轴平行于闸道的宽度方向，z轴平行于闸道的高度方向。该方法中，通过将点云采集装置设置于一条闸道的上方，并且沿着闸道的长度方向平行设置(即将设备的采集方向沿着x轴设置，并且可以基于点云采集装置的内参坐标系中预设x轴方向)，则可基于拟合后的平面内获得与x轴相垂直的y轴以及垂直于拟合后的平面的z轴方向，这种结构更适用于单个点云采集装置管理一个闸道的应用场景，计算速度更快。
[0102]
步骤s110中包括以下步骤：
[0103]
s111、通过点云采集装置采集闸道区域内激光点云，根据激光点云进行平面拟合，获得闸道区域的地面所在的平面，建立点云采集装置的内参坐标系与世界坐标系的转换关系。
[0104]
s112、当集卡驶入闸道区域，过滤低于地面3.5米以下的点云。
[0105]
s113、将剩余的点云通过pca算法获得点云分布的主方向，主方向作为x轴方向。
[0106]
s114、基于拟合后的平面内获得与x轴相垂直的y轴和垂直于拟合后的平面的z轴方向，世界坐标系中的x轴平行于闸道的长度方向，y轴平行于闸道的宽度方向，z轴平行于闸道的高度方向。
[0107]
实际实施过程中：确定xoy平面后，根据平面方程求得变换矩阵，对点云进行坐标变换，使得点云内的地面，平行于新坐标系下的xoy面。然后将装载集装箱驶入闸道区域，此时高于地面3.5m以上的点云，主要散布于集装箱顶，呈现为一个长度同闸道长度，宽度同闸道宽度的平面不规则多边形形状。提取集装箱箱顶点云，由pca算法求得点云分布的主方向，该方向即可近似为x轴方向，取xoy面内与x轴成90
°
的方向为y轴方向。这种结构更适用于单个点云采集装置管理多个闸道的应用场景，能够根据每个闸道的实际点云数据来进行判断，设备适用范围更广，整体经济效益更高。
[0108]
在一个优选实施例中，步骤s110之后、步骤s130之前还包括：
[0109]
s120、基于预设的闸道区域的长宽高数据过滤激光点云数据，仅保留位于闸道区域的空间范围内的待检测激光点云。
[0110]
在一个优选实施例中，步骤s130包括以下步骤：
[0111]
s131、建立一m行n列的矩形二值化图像，矩形二值化图像的u轴平行于x轴、v轴平行于z轴，并根据矩形二值化图像与实际闸道的长度以及高度的比例，在矩形二值化图像中设置预设触发位置。
[0112]
s132、将待检测激光点云投影到矩形二值化图像。
[0113]
s133、通过二值化区别矩形二值化图像中获得待检测激光点云投影的每个第一类像素和未获得待检测激光点云投影的第二类像素。
[0114]
s134、将第一类像素和第二类像素的集合形成的图像作为二维待测图像。
[0115]
在一个优选实施例中，步骤s131中，矩形图像的长度和宽度的第一比例与闸道区域的长度和高度的第二比例相同。
[0116]
在一个优选实施例中，步骤s132中，将激光点云中的三维点(x，y，z)通过一下公式投影到矩形二值化图像(xu，yv)中：
[0117][0118]
其中，int(*)为取整函数，x
min
为闸道区域的空间范围在世界坐标系的x轴坐标的最小值。
[0119]
x
max
为闸道区域的空间范围在世界坐标系的x轴坐标的最大值。
[0120]ymin
为闸道区域的空间范围在世界坐标系的y轴坐标的最小值。
[0121]ymax
为闸道区域的空间范围在世界坐标系的y轴坐标的最大值。
[0122]zmin
为闸道区域的空间范围在世界坐标系的z轴坐标的最小值。
[0123]zmax
为闸道区域的空间范围在世界坐标系的z轴坐标的最大值。此操作可将三维空间内的前景检测转化为二维图像平面的前景检测，进一步降低了运算的复杂度。
[0124]
本发明通过设置的阈值x
min
、x
max
、y
min
、y
max
、z
min
、z
max
用于限定点云位于闸道区域范围内，经过该过滤，剩余的经过坐标变换的点云全部位于道闸区域的中间位置，一方面减少了后续参与计算的点云数量，另外还可以避免闸道内出现其他物体造成误触发，降低了检测过程的计算量，并且提高检测准确性。
[0125]
在一个优选实施例中，步骤s133中，将获得激光点云投影的每个第一类像素的像素值标记为1，将未获得激光点云投影的每个第一类像素的像素值标记为0。
[0126]
在一个优选实施例中，步骤s140包括下步骤：
[0127]
s141、通过点云采集装置采集集卡经过闸道区域时的激光点云。
[0128]
s142、将激光点云分别投影转化到二维待测图像中。
[0129]
s143、基于图像识别的第一神经网络获得各自对应车头、车尾、集装箱前端面和集装箱后端面对应的图像区域，每个图像区域的像素分别具有代表所在的图像区域的类别的标签。该方案中，由于采用第一神经网络进行平面的图像识别(第一神经网络经过了海量的集卡侧面轮廓线的训练，所以能够基于平面图像，通过较少的计算量，获得集卡的各个部分)。
[0130]
在一个优选实施例中，步骤s143之后还包括，当在同一集卡上识别到两个车头或者集装箱前端面，分别获得两个图像区域中轮廓线的夹角度数与90
°
之间的差值，差值小的图像区域为对应集装箱前端面的图像区域，差值大的图像区域为对应车头的图像区域。
[0131]
在一个优选实施例中，步骤s140包括下步骤：
[0132]
s146、通过点云采集装置采集集卡经过闸道区域时的激光点云。
[0133]
s147、通过基于点云识别的第二神经网络获得各自对应车头、车尾、集装箱前端面和集装箱后端面对应的点云簇，每个点云簇中的点云分别具有代表所在的点云簇类别的标签。
[0134]
s148、将点云簇分别投影转化到二维待测图像中，将投影于同一个二维待测图像的像素的激光点云的标签中出现次数最大的标签作为像素的标签。该步骤中，由于采用了原始的三维点云来分别集卡的各部分，然后再将各部分投影到二维待测图像中，集卡局部的准确性更高，但是会存在计算量过大的问题。
[0135]
在一个优选实施例中，点云采集装置和前车牌图像采集装置、前箱面图像采集装置分别设置于闸道出口侧，闸道入口侧设有车身环向图像采集装置、后车牌图像采集装置、后箱面图像采集装置。
[0136]
在一个优选实施例中，闸道出口背离闸道入口的一侧设有一栏杆闸机，对图像采集装置采集集卡的图像进行图文识别，获得集卡和集装箱的编号信息并与预设数据进行鉴权，当通过鉴权时，打开栏杆闸机。
[0137]
在一个优选实施例中，步骤s150中，预设触发位置包括自闸道进口到闸道出口之间依次间隔排列的车身环向图像采集触发垂线、前车牌图像采集触发垂线、前箱面图像采集触发垂线、后箱面图像采集触发垂线以及后车牌图像采集触发垂线。
[0138]
当对应车头的点云簇到达车身环向图像采集触发垂线，则触发车身环向图像采集装置启动，采集车身环向图像。
[0139]
当对应车头的点云簇到达前车牌图像采集触发垂线，则触发前车牌图像采集装置启动，采集前车牌图像。
[0140]
当对应集装箱前端面的点云簇到达前箱面图像采集触发垂线，则触发前箱面图像采集装置启动，采集前箱面图像。
[0141]
当对应集装箱后端面的点云簇到达后箱面图像采集触发垂线，则触发后箱面图像采集装置启动，采集后箱面图像。
[0142]
当对应集装箱后端面的点云簇到达后车牌图像采集触发垂线，则触发后车牌图像采集装置启动，采集后车牌图像。
[0143]
在一个优选实施例中，车身环向图像采集装置的物镜的焦点位于车身环向图像采集触发垂线对应的闸道区域中的第三垂面中。前车牌图像采集装置的物镜的焦点位于前车牌图像采集触发垂线对应的闸道区域中的第一垂面中。前箱面图像采集装置的物镜的焦点位于前箱面图像采集触发垂线对应的闸道区域中的第二垂面中。后箱面图像采集装置的物镜的焦点位于后箱面图像采集触发垂线对应的闸道区域中的第四垂面中。后车牌图像采集装置的物镜的焦点位于后车牌图像采集触发垂线对应的闸道区域中的第五垂面中。
[0144]
在一个优选的实施例中，平面的检测采用ransac方法。路面包含路肩和其他物体，集装箱的前箱面和顶面包含凹槽，均不是完整平面，使用ransac方法更能排除非平面处局外点的影响。ransac为randomsample consensus的缩写，它是根据一组包含异常数据的样本数据集，计算出数据的数学模型参数，得到有效样本数据的算法。ransac算法经常用于计算机视觉中。例如，在立体视觉领域中同时解决一对相机的匹配点问题及基本矩阵的计算。ransac算法的基本假设是样本中包含正确数据(inliers，可以被模型描述的数据)，也包含异常数据(outliers，偏离正常范围很远、无法适应数学模型的数据)，即数据集中含有噪声。这些异常数据可能是由于错误的测量、错误的假设、错误的计算等产生的。同时ransac也假设，给定一组正确的数据，存在可以计算出符合这些数据的模型参数的方法。
[0145]
在一个优选的实施例中，前箱面与顶面相交的顶梁部位，在二值图像中表现为一直角，以直角区域作为触发前箱面拍照的前景，此操作可以更精确定位前箱面位置，避免相机画面中前箱面受车头遮挡，导致拍不全。
[0146]
在一个优选的实施例中，截取一张直角局部图作为模板，在二值图上若有区域可匹配该模板，该区域即为前箱面与顶面相交的顶梁部位在二值图像中对应的直角，如图3所示。集卡行进过程中直角移动到设定横坐标时，触发前箱面的拍照。
[0147]
在一个优选的实施例中，当二值图像中直角移动到设定横坐标时，在激光雷达点云中检测平面，如能同时检测到两个平面，同时两平面夹角在85
°
至95
°
范围内，且平面的交
线转换至二值图像内，包含于直角范围内，则判定该次触发确实为前箱面拍照触发信号，否则予以过滤。比如部分集卡车头较高，同时前挡和车头顶部均可近似为平面，用平面夹角可避免集卡车头导致的误触发。
[0148]
图2至8是本发明的基于闸道的集卡图像采集方法的实施过程示意图。如图2所示，本发明的实施例提供一种基于闸道的集卡图像采集方法，采用设置于闸道两端的第一监控支架1和第二监控支架2。其中，位于闸道出口侧的第一监控支架1上设有激光雷达1和前车牌图像采集装置13、前箱面图像采集装置12。激光雷达1安装在道闸中间高约6m的龙门架上，朝向集卡驶入方向，其视场中心线与水平面成45度夹角。位于闸道入口侧的第二监控支架2设有车身环向图像采集装置21、后车牌图像采集装置23、后箱面图像采集装置22。其中，车身环向图像采集装置21的物镜的焦点位于车身环向图像采集触发垂线对应的闸道区域中的第三垂面z3中。前车牌图像采集装置13的物镜的焦点位于前车牌33图像采集触发垂线对应的闸道区域中的第一垂面z1中。前箱面图像采集装置12的物镜的焦点位于前箱面图像采集触发垂线对应的闸道区域中的第二垂面z2中。后箱面图像采集装置22的物镜的焦点位于后箱面图像采集触发垂线对应的闸道区域中的第四垂面z4中。后车牌图像采集装置23的物镜的焦点位于后车牌34图像采集触发垂线对应的闸道区域中的第五垂面z5中。通过至少一激光雷达1采集闸道区域内激光点云，建立激光雷达1的内参坐标系与世界坐标系的转换关系，世界坐标系中的x轴、y轴、z轴分别对应闸道的长度、宽度以及高度方向。通过激光雷达1采集闸道区域内激光点云，根据激光点云进行平面拟合，获得闸道区域的地面所在的平面，建立激光雷达1的内参坐标系与世界坐标系的转换关系，世界坐标系中的x轴平行于闸道的长度方向，y轴平行于闸道的宽度方向，z轴平行于闸道的高度方向。其中，第一监控支架1与第五垂面z5之间的间距的取值范围为2.5至3.5m；第五垂面z5与第二垂面z2之间的间距的取值范围为0.2至0.7m；第二垂面z2与第四垂面z4之间的间距的取值范围为0.7至1.5m；第四垂面z4与第一垂面z1之间的间距的取值范围为0.2至0.7m；第一垂面z1与第三垂面z3之间的间距的取值范围为3至8m。本实施例中，第一监控支架1与第五垂面z5之间的间距约3m；第五垂面z5与第二垂面z2之间的间距约0.5m；第二垂面z2与第四垂面z4之间的间距约1m；第四垂面z4与第一垂面z1之间的间距约0.5m；第一垂面z1与第三垂面z3之间的间距约5m。
[0149]
基于预设的闸道区域的长宽高数据过滤激光点云数据，仅保留位于闸道区域的空间范围内的待检测激光点云。建立一m行n列的矩形二值化图像，本实施例中，m为640，n为360。矩形二值化图像的u轴平行于x轴、v轴平行于z轴，并根据矩形二值化图像与实际闸道的长度以及高度的比例，在矩形二值化图像中设置预设触发位置(即第一垂面z1、第二垂面z2、第三垂面z3、第四垂面z4以及第五垂面z5，先调度装箱集卡低速驶入闸道时，获得的矩形二值化图像，来建立对应的预设触发位置，将第一垂面z1、第二垂面z2、第三垂面z3、第四垂面z4以及第五垂面z5等相互之间的距离比例关系投影到矩形二值化图像中，或者在矩形二值化图像内通过预设数据来设置对应的预设触发位置)，并建立每个预设触发位置与对应图像采集装置的触发关系。
[0150]
矩形图像的长度和宽度的第一比例与闸道区域的长度和高度的第二比例相同。将待检测激光点云投影到矩形二值化图像，将激光点云中的三维点(x，y，z)通过一下公式投影到矩形二值化图像(xu，yv)中：
[0151][0152][0153]
其中，int(*)为取整函数，x
min
为闸道区域的空间范围在世界坐标系的x轴坐标的最小值。
[0154]
x
max
为闸道区域的空间范围在世界坐标系的x轴坐标的最大值。
[0155]ymin
为闸道区域的空间范围在世界坐标系的y轴坐标的最小值。
[0156]ymax
为闸道区域的空间范围在世界坐标系的y轴坐标的最大值。
[0157]zmin
为闸道区域的空间范围在世界坐标系的z轴坐标的最小值。
[0158]zmax
为闸道区域的空间范围在世界坐标系的z轴坐标的最大值。
[0159]
通过二值化区别矩形二值化图像中获得待检测激光点云投影的每个第一类像素和未获得待检测激光点云投影的第二类像素。
[0160]
将第一类像素和第二类像素的集合形成的图像作为二维待测图像，二维待测图像的u轴平行于x轴、v轴平行于z轴。将获得激光点云投影的每个第一类像素的像素值标记为1，将未获得激光点云投影的第二类像素的像素值标记为0。
[0161]
通过激光雷达1采集集卡经过闸道区域时的激光点云，实时将激光点云中的三维点(x，y，z)通过一下公式投影到矩形二值化图像(xu，yv)中：
[0162][0163][0164]
其中，int(*)为取整函数，x
min
为闸道区域的空间范围在世界坐标系的x轴坐标的最小值。
[0165]
x
max
为闸道区域的空间范围在世界坐标系的x轴坐标的最大值。
[0166]ymin
为闸道区域的空间范围在世界坐标系的y轴坐标的最小值。
[0167]ymax
为闸道区域的空间范围在世界坐标系的y轴坐标的最大值。
[0168]zmin
为闸道区域的空间范围在世界坐标系的z轴坐标的最小值。
[0169]zmax
为闸道区域的空间范围在世界坐标系的z轴坐标的最大值。
[0170]
本实施例中，基于图像识别的第一神经网络获得各自对应车头31、车尾、集装箱32前端面321和集装箱32后端面322对应的图像区域，每个图像区域的像素分别具有代表所在的图像区域的类别的标签。本发明中，由于采用了基于平面图像识别的第一神经网络，从而大大降低了识别的计算量(基于点云的神经网络的计算量要远大于基于平面图像识别的第一神经网络，也会大大降低计算速度。)
[0171]
当集卡在二维待测图像中的投影图案到达预设触发位置时，触发预设触发位置对应的图像采集装置采集集卡的图像。通过预设触发位置包括自闸道进口到闸道出口之间依次间隔排列的车身环向图像采集触发垂线、前车牌33图像采集触发垂线、前箱面图像采集触发垂线、后箱面图像采集触发垂线以及后车牌34图像采集触发垂线。
[0172]
通过上述实时监测集卡各部分在二维待测图像中的投影图案，以便及时触发对应的采集装置：
[0173]
如图3所示，当对应车头31的点云簇到达车身环向图像采集触发垂线，则触发车身环向图像采集装置21启动，采集车身环向图像。
[0174]
如图4所示，当对应车头31的点云簇到达前车牌33图像采集触发垂线，则触发前车牌图像采集装置13启动，采集前车牌图像。
[0175]
如图5所示，当对应集装箱32前端面321的点云簇到达前箱面图像采集触发垂线，则触发前箱面图像采集装置12启动，采集前箱面图像。
[0176]
在实际检测过程中，不但集装箱的前端面是立方体的局部，由于部分集卡的车头也接近立方体的局部，在识别过程中容易发生混淆。为了进一步准确识别，当在同一集卡上识别到两个车头31或者两个集装箱32前端面321，分别获得两个图像区域中轮廓线的夹角度数与90
°
之间的差值，差值小的图像区域为对应集装箱32前端面321的图像区域，差值大的图像区域为对应车头31的图像区域。图6为本实施例中的矩形二值化图像，其中行方向具有m个像素，列方向具有n个像素，并且满足m/n的比例与实际闸道的长度、高度的比例相同。如图6所示，本实施例中，对应图5所示的时刻，车头部分以及集装箱前端面分别投影在二维待测图像的平面坐标系中(o为原点，u轴、v轴分别为长、宽方向)，集装箱部分的图像区域具有两个轮廓线41、42，基于图像中的轮廓线41、42之间的夹角a(夹角a为90
°
)。车头部分的图像区域具有两个轮廓线43、44，基于图像中的轮廓线43、44之间的夹角b(夹角b为110
°
)。夹角a与90
°
之间的差值为0，夹角b与90
°
之间的差值为20
°
。所以，夹角a的图像区域为对应集装箱32前端面321的图像区域，夹角b的图像区域为对应车头31的图像区域。
[0177]
如图7所示，当对应集装箱32后端面322的点云簇到达后箱面图像采集触发垂线，则触发后箱面图像采集装置22启动，采集后箱面图像。
[0178]
如图8所示，当对应集装箱32后端面322的点云簇到达后车牌图像采集触发垂线，则触发后车牌图像采集装置23启动，采集后车牌图像。
[0179]
通过上述过程，可以清楚地获得车身环向图像、前车牌图像、前箱面图像、后箱面图像以及后车牌图像，再利用图像识别，获得集卡的车牌编码以及集装箱编码。闸道出口背离闸道入口的一侧设有一栏杆闸机，可以对图像采集装置采集集卡的图像进行图文识别，获得集卡和集装箱32的编号信息并与预设数据进行鉴权，当载有集装箱的卡车3通过鉴权时，打开栏杆闸机。
[0180]
图9是本发明的基于闸道的集卡图像采集系统的结构示意图。如图9所示，本发明的基于闸道的集卡图像采集系统，包括：
[0181]
激光点云采集模块51，通过至少一点云采集装置采集闸道区域内激光点云，建立点云采集装置的内参坐标系与世界坐标系的转换关系，世界坐标系中的x轴、y轴、z轴分别对应闸道的长度、宽度以及高度方向。
[0182]
待检测点云过滤模块52，基于预设的闸道区域的长宽高数据过滤激光点云数据，仅保留位于闸道区域的空间范围内的待检测激光点云。
[0183]
激光点云投影模块53，将待检测激光点云投影转化为一二维待测图像并建立平面坐标系，二维待测图像的u轴平行于x轴、v轴平行于z轴。
[0184]
二维待测图像模块54，通过点云采集装置采集集卡经过闸道区域时的激光点云，
并投影转化到二维待测图像。
[0185]
图像采集触发模块55，当集卡在二维待测图像中的投影图案到达预设触发位置时，触发预设触发位置对应的图像采集装置采集集卡的图像。
[0186]
本发明的基于闸道的集卡图像采集系统，能够为集装箱闸道定制更为高效和准确的空间感知方法，进而为集卡车牌、集装箱号识别系统和拍照系统提供更为准确的触发信号，提升港口智能管理的可靠性和高效性。
[0187]
本发明实施例还提供一种基于闸道的集卡图像采集设备，包括处理器。存储器，其中存储有处理器的可执行指令。其中，处理器配置为经由执行可执行指令来执行的基于闸道的集卡图像采集方法的步骤。
[0188]
如上，本发明的基于闸道的集卡图像采集设备能够为集装箱闸道定制更为高效和准确的空间感知方法，进而为集卡车牌、集装箱号识别系统和拍照系统提供更为准确的触发信号，提升港口智能管理的可靠性和高效性。
[0189]
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“平台”。
[0190]
图10是本发明的基于闸道的集卡图像采集设备的结构示意图。下面参照图10来描述根据本发明的这种实施方式的电子设备600。图10显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0191]
如图10所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同平台组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
[0192]
其中，存储单元存储有程序代码，程序代码可以被处理单元610执行，使得处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，处理单元610可以执行如图1中所示的步骤。
[0193]
存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
[0194]
存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0195]
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
[0196]
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当
明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储平台等。
[0197]
本发明实施例还提供一种计算机可读存储介质，用于存储程序，程序被执行时实现的基于闸道的集卡图像采集方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
[0198]
如上所示，该实施例的计算机可读存储介质的程序在执行时，能够为集装箱闸道定制更为高效和准确的空间感知方法，进而为集卡车牌、集装箱号识别系统和拍照系统提供更为准确的触发信号，提升港口智能管理的可靠性和高效性。
[0199]
图11是本发明的计算机可读存储介质的结构示意图。参考图11所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0200]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0201]
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0202]
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0203]
综上，本发明的基于闸道的集卡图像采集方法、系统、设备及存储介质，能够为集装箱闸道定制更为高效和准确的空间感知方法，进而为集卡车牌、集装箱号识别系统和拍照系统提供更为准确的触发信号，提升港口智能管理的可靠性和高效性。
[0204]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。