用于确定地面运输工具的定向的方法和系统与流程

1.本发明涉及一种用于定向地面运输工具的方法。本发明此外涉及一种用于定向地面运输工具的系统。


背景技术：

2.地面运输工具通常用于仓库环境中，以便容纳和取下商品、货物和其他物体。要由地面运输工具运输的物品通常在货物支架上被运输并且例如存放在货架和其他存放处中。为了容纳和取下货物重要的是，地面运输工具以正确的方向容纳货物。相对于在存放区域中的货物或结构的定向例如表示车辆纵向方向与结构的边缘或面的角度。通常来说，地面运输工具垂直地驶向货架或货物，以便可以容纳或取下货物。


技术实现要素：

3.按照本发明的目的在于，提供一种用于确定地面运输工具相对于结构的定向的方法，所述方法能够利用尽可能简单的手段来可靠地求取所述地面运输工具的定向。
4.按照本发明，所述目的通过具有根据权利要求1所述的特征的方法实现。有利的设计方案形成从属权利要求的技术方案。
5.按照本发明的方法规定和确定，求取地面运输工具相对于具有水平元件的结构的定向。在该方法中，所述地面运输工具装备有摄像机，所述摄像机指向具有水平元件的结构。按照本发明的方法具有一系列实施的步骤，其中特别是在图像处理的各步骤中所述各步骤的不同的顺序是可能的。在按照本发明的方法中，记录具有至少一个水平元件的结构的图像。因此，在此使得所述结构的图像是二维图像，所述二维图像也包含水平元件。由于在所述摄像机与所述结构之间的空间定向，在空间中的水平线在所记录的图像中非水平地延伸。在接着的步骤中，确定所记录的图像中的至少两个几何参量。几何参量可以是点、线、角度或区域。在此，所述几何参量配置给水平元件或水平元件的映射的一部分。按照本发明，现在在使用所述至少两个几何参量的情况下确定在图像平面与通过水平元件的竖直平面之间的相交角度。在此的基本构思在于，这两个几何参量属于在图像中倾斜延伸的对象并且因此允许相交角度的识别，其中，所述相交角度也存在于与图像平面平行的平面与通过水平元件的竖直平面之间。
6.在一个优选的设计方案中，在所记录的图像中识别边缘。图像中的边缘检测是本身已知的方法。在按照本发明的方法中，优选识别如下边缘，所述边缘根据其位置可以来自空间中的水平结构。
7.在一个优选的设计方案中，所述两个几何参量是在图像中的参考点的图像坐标和在图像中的所述边缘的倾斜角度。例如可以通过配置规则由在图像中的图像坐标(x、y)的参考参量和所述边缘的倾斜角度来确定相交角度。
8.对于所述边缘的倾斜角度在此优选确定在图像中的所述边缘的角度。为此，例如可以确定在图像中的所述边缘的斜率。
9.在备选的设计方案中，该备选的设计方案自然也可以附加地应用，所述两个几何参量形成与对象的点的间距和角距(abstandswinkel)。在此，作为所述两个几何参量可以应用极坐标，所述极坐标从所观察的摄像机出发来描述间距和角度。在此也可以借助于所述间距和角度来确定水平结构与图像平面的相交角度。
10.对于特别有利的几何参量的另外的可能性在于，沿着所识别的边缘来识别至少两个点。优选地，在所述边缘上的各点彼此远离，以便获得尽可能精确的角度分辨率。
11.优选地，从所述两个点出发分别确定一个射线，所述射线的在3d坐标系统中的相应的各点被映射到相应的图像点上。在此涉及在三维空间中的各点的射线，所述各点被映射到所述图像点上。在这些射线中，可以对于如下点对来确定相交角度，所述点对具有在射线上的各一个点。在此优选地，在三维坐标系统中计算相交角度。
12.上述列举的三种可能性在此仅是对于从图像中获得的两个几何参量的示例，这些几何参量允许确定在图像平面与具有水平元件的结构之间的相交角度。几何参量的另外的对同样是可能的。
13.在一个优选的设计方案中，所述摄像机指向具有一个或多个水平的货架支架的货架。因此，按照本发明的方法特别适用于在存在多个水平元件的空间区域中运动的地面运输工具。在图像处理的过程中能特别简单且可靠地识别货架连同所述货架的水平的货架支架。无需耗费的或者此外例如精细的图像处理，以便从所记录的图像去除竖直的或主要竖直的边缘，并且确定水平的或根据定向几乎水平的线。
14.在一个优选的进一步扩展方案中，所述摄像机安置在地面运输工具上，从而所述摄像机即使在地面运输工具运行时也具有相对于所述地面运输工具并且特别是相对于地面运输工具的纵轴的限定的定向。借助所述安置，摄像机获得相对于地面运输工具的优选预定的定向。优选地，摄像机竖直地安置在地面运输工具上，从而所述摄像机的图像平面垂直于车辆纵向轴线竖立。按照这种方式可以将在所述点对中的各点的连接线与图像平面之间的相交角度直接换算为车辆纵向轴线相对于水平元件的定向角。
15.已经证实为特别有利的是，从所记录的图像中滤除竖直的图像边缘。通过例如在求取水平元件的线之前进行滤除，缺少的竖直的线避免在求取水平元件的线时的错误。在一个优选的设计方案中，对于所述至少一个要分析的线而选择在图像中间之外的线。以摄像机的特别的透视角度来观察在图像中间之外的线，所述角度允许更精确的分析定向。
16.在一个优选的进一步扩展方案中，所述摄像机构成为2d摄像机。此外，所述摄像机是经校准的，亦即所述摄像机的图像比例是已知的。由所述图像比例对于图像坐标可以计算在3d坐标系统中的射线的方向矢量。在该换算中，将位于在平面中的两个图像点换算为射线，其中，在3d坐标系统中的位于在射线上的所有点被摄像机映射到图像点上。
17.已经证实为特别有利的是，不仅利用一个点对，而且为了确定定向角而使用多个点对(其中每次使用两个点对)并且如独立的测量那样对所获得的结果(例如利用平均值)进行统计分析。
18.本发明此外涉及一种用于用于确定地面运输工具相对于具有至少一个水平元件的结构的定向的系统，所述地面运输工具具有摄像机，所述摄像机指向所述结构，所述系统包括：
19.记录模块，所述记录模块用于记录具有所述至少一个水平元件的结构的图像；
20.第一确定模块，所述第一确定模块用于确定在所记录的图像中的与所述水平元件相对应的至少两个几何参量；以及
21.第二确定模块，所述第二确定模块用于由所述至少两个几何参量确定在图像平面与通过所述水平元件的竖直平面之间的相交角度。
22.在一种实施方式中，所述第一确定模块包括识别模块，所述识别模块构成用于在所记录的图像中识别边缘。
23.在一种实施方式中，所述至少两个几何参量包含在所述图像中的参考点的两个图像坐标以及所述边缘的倾斜角度。
24.在一种实施方式中，所述第一确定模块构成用于将所述倾斜角度确定为图像中的所述边缘的角度。
25.在一种实施方式中，所述识别模块构成用于在所记录的图像中沿着所识别的边缘识别至少两个点作为几何参量。
26.在一种实施方式中，所述第二确定模块构成用于确定朝向所述两个点中的一个点的各一个射线，所述射线的在3d坐标系统中的各点被分别映射到具有所述图像坐标的点上。
27.在一种实施方式中，所述第二确定模块构成用于由至少一个如下点对来确定相交角度，所述点对包括在3d坐标系统中的所述两个射线之一中的各一个点。
28.在一种实施方式中，所述系统包括过滤模块，所述过滤模块构成用于在所记录的图像中滤除竖直的边缘。
29.在一种实施方式中，所述过滤模块用于滤除在图像中间区域中的线。
30.在一种实施方式中，所述系统包括分析模块，所述分析模块用于分析多个每次至少两个几何参量，并且对得出的多个相交角度进行统计分析。
附图说明
31.以下借助实施例更详细地阐述本发明。图中：
32.图1示出在货架前方的地面运输工具的俯视图，
33.图2示出货架的斜视图，
34.图3示出与水平元件相对应的水平图像边缘的构造，
35.图4示出第一滤波的结果，其中抑制竖直线，
36.图5示出适用于在中间之外的水平图像线，
37.图6示出将水平线中的端点l、r确定为水平平面的交点，
38.图7示出将图像点换算为具有3d坐标的射线，
39.图8示出用于地面运输工具相对于图像平面定向的角度的计算，
40.图9以示意图示出在图像中倾斜延伸的边缘，对于该边缘确定图像点和倾斜角度α，以及
41.图10示出作为极坐标的几何参量的确定。
具体实施方式
42.图1示出地面运输工具10的俯视图，所述地面运输工具在示例中构成为具有两个
轮臂12、14的推动式叉车。在轮臂12、14之间存在示意示出的抬升架16，所述抬升架包括两个叉尖齿18、20作为货物承载机构。在叉尖齿18、20的后壁22上安装2d摄像机24。所述2d摄像机24在图1中示意性示出并且为了应用可以可靠地安装在地面运输工具上，从而所述2d摄像机能够不被运输的货物损坏或遮挡。在地面运输工具中还可以考虑的是，摄像机24与抬升架16一起改变所述摄像机与抬升架的位置。在此，位置变化在于摄像机24的升高或降低以及抬升架相对于轮臂的前移或后移。
43.地面运输工具以其纵向轴线相对于货架28竖立，以俯视图示出所述货架。货架28具有前侧30，所述前侧面向地面运输工具10。同样地，货架28在背离地面运输工具10的侧上具有后侧32。在图1中在所述前侧30与后侧32之间示出三个货物辅助机构34a至c的示图。所述货物辅助机构34分别涉及装入到货架中的底板，为了更好的清晰性而空地示出所述底板。
44.图2以示意图示出2d摄像机24的图像。能看出货架28的前侧30。货架的前侧30由两个竖直的货架支柱36a、b形成。在货架支柱36a、b之间设置有水平延伸的货架支架38a、b、c。术语水平延伸的货架支架或元件对于图2是需要解释的：如在图2中能容易看出的那样，货架支架的图像非水平地延伸。图2的左侧相比于货架的右侧显得更大且更近。亦即在图像中存在透视的渐缩。尽管在图像中存在透视的渐缩，所述货架支架38仍是水平的。在货架支架中示出货物辅助机构34。图2中的图像是所谓的梯度图像，在所述梯度图像中滤除图像的在空间上进入深处的区域并且在图像中仅示出前侧。因为丢失深度信息，所以这样的适用于面向摄像机的前方的边缘而减少图像的信息内容。
45.图3示出图像处理的接着的步骤，其中水平线40被描绘到图像中。这些水平线例如由存在的图像数据通过边缘提取来求取。在图3中能看出，形成的线40非相互平行地延伸，而是表现出透视的渐缩，所述透视的渐缩由于地面运输工具相对于货架的定向而得出。
46.图4示出接着的步骤，其中对于携带信息的边缘进行第一滤波。在此滤除竖直的线。同样地，所构造的水平线40又减少到图像中的边缘。
47.图5示出如下步骤，即去除图像中的大致延伸穿过图像中间或者在图像中间的周围区域延伸的水平线。剩余部分保留携带信息的图像边缘44，所述图像边缘示出最明显的透视的渐缩。
48.从这些携带信息的图像边缘中选取一个图像边缘、例如被存放的底板的图像边缘46。对于该图像边缘46确定点，在此例如为端点l48和r50。找出端点是在图像处理中常用的过程。对于端点l和r，图6示出几何关系。矢量从摄像机24出发通至端点l48。矢量描述射线52，射线54同样如此。
49.图7帮助理解射线的概念。图7示出理想化的摄像机24的原点fc。在此附上惯用右手定向的三面角xc、yc和zc。z轴是摄像机的光轴并且出于简单的目的将考虑为平行于车辆纵向方向。摄像机24产生图像平面56。在图像平面56中的点作为二维图像坐标可以描述为u、v坐标。在图7中示例性地示出在图像的第一象限中的图像像素。因为摄像机24的映射比例是已知的，所以对于图像点(u、v)可以构造射线58。在射线58上的每个点p在摄像机的图像上以像素(u、v)示出。因此，该系统描述：如何能够从摄像机(所述摄像机的映射比例已知)的像素值构造射线58。图7也清楚地示出，点p与摄像机24的距离无法由图像点(u、v)求取。这也不是令人吃惊的，因为借助于摄像机将三维坐标映射到二维图像上。对于摄像机
24，为了重构具有可能的图像点p的射线，必须已知摄像机的、特别是三个轴xc、yc和zc的焦距。
50.再次观察图6。这里具有两个方向矢量l矢量r矢量所述两个方向矢量源自在图像中非水平设置的图像点，亦即在图像中不具有相同的v值、亦即行值。对于这样形成的具有l矢量和r矢量的所述两个射线未知的是，各端点相对于彼此的间距。原则上，所述射线穿过三维空间运动，并且在所述两个射线之间的每个线可以与在三维空间中的所拍摄的具有端点l、r的元件相对应。但是因为由所述元件已知所述元件是水平设置的，所以可以选择在3d坐标系统中具有相同高度的值。亦即从l射线中选择对于y坐标具有确定的值的点，从r射线中同样如此。在图6中示出这两个点的连接。该连接具有在图6中示出的走向。
51.图8示出最后的步骤。在此摄像机三面角在穿透平面(durchstoβebene)中以其x、z坐标示出。现在已知，位于射线l、r上的所述两个点具有相同的y坐标。于是由此算出相同的坐标。应该是：
[0052][0053][0054]
假设所述两个射线l和r的y坐标相同，得出：
[0055]n·
ly＝n2·ry
[0056]
由这两个等式通过简单的变换得出：在图8中示出的三角形对于角度α具有长度a的邻边缘：
[0057][0058]
同样可以直接读取对边的尺寸b并且得出：
[0059][0060]
对于按照本发明的方案特别之处仅在于，为了计算角度α而由此消去未知数n。考虑定向角的正切，因此得出：
[0061][0062][0063]
在等式中包含的参量是通向各点的射线的坐标。这些坐标与摄像机24在方向x和y方向上的焦距f
x
、fy有关。对图像坐标中的这些坐标的计算是充分已知的，并且由以下等式得出：
[0064]
x
‘
＝x/z
[0065]y‘
＝y/z
[0066]
u＝f
x
·
x
‘
+c
x
[0067]
v＝fy·y‘
+cy。
[0068]
参量x
‘
和y
‘
是辅助参量，所述辅助参量与焦距f
x
、fy和图像中心c
x
、y
x
一起描述到图像坐标uv的映射。通过简单的变形得出如下关系：
[0069]
x
‘
＝(u
–cx
)/f
x
[0070]y‘
＝(v
–cy
)/fy。
[0071]
与由摄像机校准已知的参量c
x
、cy、f
x
、fy相结合，对于三维坐标(x、y、z)得出在三维坐标中方向为(x
‘
、y
‘
、1)的射线。应注意的是，射线的该方向矢量没有标准化，但是这对于接着的计算也不是必需的。
[0072]
图9中的示例示出具有所描绘的边缘60的图像。所述边缘60相对于水平线62倾斜。此外，在图像中确定在边缘60上的点64。为了确定64可以选择不同方案。例如可以选择边缘60的中心。但是也可以选择如下点64，其中在所述点64的两侧上在边缘60与水平线62之间包围的图像面积大小相同。由对边缘60的分析得出具有点和角度的两个几何参量，所述几何参量总体上可以被称作(x、y、α)。为了分析现在例如可以在关于值x、y、α的查阅表中查阅相交角度。查阅表可以在准备阶段中已经计算并且因此可供快速分析使用。特别是在应该分析图像中的多个边缘方面，查阅表可以被证实为有助的。
[0073]
图10示出与在图9中非常相似的情况，其中边缘66在图像中倾斜地延伸。为了确定所述两个几何参量，基于边缘66上的点70确定间距r、72和角度74。在此，相对于水平线68来确定角度74。在该示例中，间距72垂直于边缘66。原则上，所述间距也可以垂直于水平线68竖立并且以倾斜角度与边缘66相交。
[0074]
在该方案中也例如通过几何参量r、的查阅表来查阅和应用相交角度。如果对于多个点70或多个边缘66得出不同相交角度，那么可以对这些相交角度进行统计分析。
[0075]
附图标记列表：
[0076]
10
ꢀꢀꢀꢀ
地面运输工具
[0077]
12
ꢀꢀꢀꢀ
轮臂
[0078]
14
ꢀꢀꢀꢀꢀ
轮臂
[0079]
16
ꢀꢀꢀꢀꢀ
抬升架
[0080]
18
ꢀꢀꢀꢀꢀ
叉尖齿
[0081]
20
ꢀꢀꢀꢀꢀ
叉尖齿
[0082]
22
ꢀꢀꢀꢀꢀ
后壁
[0083]
24
ꢀꢀꢀꢀꢀ
2d摄像机
[0084]
28
ꢀꢀꢀꢀꢀ
货架
[0085]
30
ꢀꢀꢀꢀꢀ
货架的前侧
[0086]
32
ꢀꢀꢀꢀꢀ
货架的后侧
[0087]
34a-c
ꢀꢀ
货物辅助机构
[0088]
36a-b
ꢀꢀ
货架支柱
[0089]
38a-c
ꢀꢀ
货架支架
[0090]
40
ꢀꢀꢀꢀꢀ
水平线
[0091]
44
ꢀꢀꢀꢀꢀ
图像边缘
[0092]
46
ꢀꢀꢀꢀꢀ
图像边缘
[0093]
48
ꢀꢀꢀꢀꢀ
端点l
[0094]
50
ꢀꢀꢀꢀꢀ
端点r
[0095]
52
ꢀꢀꢀꢀꢀ
射线
[0096]
56
ꢀꢀꢀꢀꢀ
图像平面
[0097]
58
ꢀꢀꢀꢀꢀ
射线
[0098]
60
ꢀꢀꢀꢀꢀ
边缘
[0099]
62
ꢀꢀꢀꢀꢀ
水平线
[0100]
64
ꢀꢀꢀꢀꢀ
点
[0101]
66
ꢀꢀꢀꢀꢀ
边缘
[0102]
68
ꢀꢀꢀꢀꢀ
水平线
[0103]
70
ꢀꢀꢀꢀꢀ
点
[0104]
72
ꢀꢀꢀꢀꢀ
间距r
[0105]
74
ꢀꢀꢀꢀꢀ
角度