一种基于双目视觉和对称性的偏移量检测方法

1.本发明属于图像处理技术领域，涉及基于图像的相对位姿测量技术，具体涉及一种基于双目视觉和对称性的偏移量检测方法。


背景技术：

2.在仓储物流或者回收视觉导引过程中有时候需要测量估算机动目标(带双目相机)相对舱门的实际偏移位移，便于后续的姿态调整，实现自动化作业。利用相机安装的对称性以及舱门的对称性，来计算机动目标相对舱门中心的偏移量，这种计算方式具有无接触，灵活，可远程实现等等优点，但图像测量在偏移量测量中由于边缘纹理准确获取难度大，亮度场、色彩场、条纹方向场连续变化等难题的存在使得基于图像的偏移量计算变得十分困难。
3.例如刘炳宪等人发表的文献“基于线阵相机拍摄的图像拼接方法和装置”中将待拼接的图像按照宽度x方向和长度y方向分成多个矩形区域，通过分割重合部分计算偏移量，该方法由于受制于分割重合部分的影响较大导致偏移量的计算困难，并且由于图像拼接数据量较大导致实时性较差。


技术实现要素：

4.发明目的：为了克服现有技术中存在的不足，提供一种基于双目视觉和对称性的偏移量检测方法，根据计算拍摄的矩形舱门图像中心点到舱门左右垂直边缘中心偏移像素之差，与标定的每个像素代表的实际尺寸相乘可以得到机动目标相对舱门的实际水平偏移位移，采用双目视觉，兼顾了精度和实时性要求，分两阶段标定像素尺寸提高了整个运动过程中偏移量检测的精度，可用于无人艇自动导引回收，智能叉车自动导引装卸货物。
5.技术方案：为实现上述目的，本发明提供一种基于双目视觉和对称性的偏移量检测方法，包括如下步骤：
6.s1：利用安装于机动载体上的双目视觉相机采集机动目标需要对正的矩形舱门的两个垂直边的图像；
7.s2：由左边相机所获取的图像分别求取图像中心到其相距最近的左边垂直舱门边缘的像素距离d1和图像中心到其相距最近的右边垂直舱门边缘的像素距离d2，根据d1/d2的比值判断两车叉是全部位于单个货舱内部还是横跨左/右舱门边缘，当机动目标在某个单独的货舱矩形平面内但可能发生左偏或者右偏时，进入步骤s3；
8.s3：提取左相机中图像中心o1左边的垂直舱门边缘距离图像中心的偏移像素p1，同时提取右相机中右边的垂直舱门边缘距离图像中心o2的偏移像素p2；
9.利用相机安装的对称性和舱门的对称性，根据p1和p2的差值，计算机动目标相对舱门中心的水平偏移像素p，若p＝0则未发生偏移，否则发生左偏或右偏；
10.s4：通过标定每个像素代表的实际尺寸s与偏移像素p相乘，可以得到机动目标相对舱门的实际偏移位移x。
11.进一步地，所述机动载体上安装有图形处理器，所述双目视觉相机通过相机数据采集线连接图形处理器，所述图形处理器用于根据双目视觉相机的采集数据完成步骤s2-步骤s4；图形处理器(工控机)负责软件处理系统的运行；双目视觉相机负责采集矩形舱门的垂直边缘图像；软件处理系统负责根据采集的垂直边原图像计算机动目标相对舱门的水平偏移像素，并进一步根据标定的每个像素代表的实际尺寸与偏移像素相乘得到实际水平偏移位移。
12.进一步地，所述步骤s1中矩形舱门所在平面垂直于水平面，并且双目相机所在平面也垂直于水平面。
13.进一步地，所述步骤s2中根据比值d1/d2判断两车叉是全部位于单个货舱舱门之内还是横跨左/右舱门边缘，d1/d2的比值可以根据舱门实际尺寸确定，本文假设车叉间距和舱门两纵梁间隔距离比为2/3。当0《d1/d2《1/2时，两车叉全部位于单个货舱舱门之内，否则横跨左/右舱门边缘：其中，d1为图像中心到其相距最近的左边垂直舱门边缘的像素距离，d2为图像中心到其相距最近的右边垂直舱门边缘的像素距离。
14.进一步地，所述步骤s3中水平偏移像素p1、p2的获取需要对采集的图像进行预处理，包括图像分割、二值化、形态学处理、轮廓提取。
15.进一步地，所述步骤s3中水平偏移像素p1、p2的获取通过计算图像中心点横坐标与轮廓提取所得点集横坐标的均值作差得到。
16.机动目标相对舱门中心的水平偏移像素p＝p
1-p2。
17.进一步地，所述步骤s4中机动目标相对舱门的实际水平偏移位移
18.x＝s
×
p
19.其中，s为每个像素代表的实际尺寸，p为偏移像素。
20.进一步地，所述步骤s3中左相机中图像中心o1左边的垂直舱门边缘距离图像中心的水平偏移像素p1的提取方式为：先通过图像分割将垂直边缘黄色部分单独分割出来，再进行轮廓提取并得到轮廓点集，将点集横坐标均值作为垂直边缘水平中心，通过点集横坐标的均值与图像中心横坐标作差得到左偏移像素p1；
21.类似的在右图像中可以得到右偏移像素p2。
22.进一步地，所述步骤s4中每个像素代表的实际尺寸s的标定方法为：
23.当机动目标距离舱门超过设定值时，可以同时采集到舱门的左右两个垂直边缘时，根据已知左右垂直边缘的间隔d1和像素距离a1，得到当前每个像素代表的实际尺寸s；当机动目标距离舱门低于设定值，只能采集舱门的一个垂直边缘时，根据已知垂直边缘的宽度尺寸d2和像素宽度b1，得到当前每个像素代表的实际尺寸s，通过分远近两个阶段标定像素尺寸提高了导引的精度。
24.有益效果：本发明与现有技术相比，具备如下优点：
25.1、通过分阶段标定，分别在远处以及近处标定每个像素代表的实际尺寸s，在远处通过舱门左右两个垂直边缘的实际间隔距离d1和像素距离a1标定s，在近处通过一个舱门的实际宽度尺寸d2和像素尺寸b1标定s，采用两阶段标定，提高了偏移量估算的精度。
26.2、通过左右偏移像素相减来求实际水平偏移量，通过相减结果的符号即可判断机动目标相对货舱是发生了左偏还是右偏。
27.3、与单目相机需要拍摄整幅货架来判断相比，采用双目相机只需要分别拍摄货架
部分区域图像来计算偏移量，处理分辨率较小的图像使得程序运行效率更高。
附图说明
28.图1为本发明的估算方法流程图；
29.图2为本发明中的左右相机拍摄矩形货舱垂直边缘的左右图像；
30.图3为本发明中两车叉正好位于货舱中的示意图；
31.图4为本发明中两车叉分别位于右边货舱左垂直边缘的左右两边的示意图；
32.图5为本发明中货舱左右两垂直边缘间隔像素距离示意图；
33.图6为本发明中货舱垂直边缘宽度像素尺寸示意图；
34.图7为本发明中图像中心到垂直边缘中心水平像素偏移量示意图。
具体实施方式
35.下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本技术所附权利要求所限定的范围。
36.本发明提供一种基于双目视觉和对称性的偏移量检测方法，如图1所示，包括如下步骤：
37.s1：在机动载体上安装工控机和双目视觉相机，双目视觉相机通过相机数据采集线连接工控机；
38.双目视觉相机负责采集矩形舱门的垂直边缘图像，工控机设置有软件处理系统，其负责对采集图像进行预处理，计算机动目标相对于矩形货舱的偏移位移；
39.s2：通过双目视觉相机采集矩形舱门两个垂直边缘的图像，如图2所示，垂直边缘黄色矩形部分的实际高宽尺寸已知；
40.s3：根据左边相机拍摄的图像，检测出相距图像中心最近的左边垂直舱门边缘的轮廓，以及相距图像中心最近的右边垂直舱门边缘的轮廓,得到轮廓点集，将轮廓点集横坐标的均值与图像中心横坐标作差，得到图像中心到其相距最近的左，右两边垂直舱门边缘的水平像素距离d1、d2，根据d1/d2的比值判断叉车两车叉是全部处于单独某个货舱之内还是横跨左/右舱门边缘，如图3、图4所示，若两车叉都在一个舱内但偏离舱门正前方则计算偏移量；
41.s4：当机动目标在某个单独的货舱矩形平面内但可能发生左偏或者右偏时，由左、右相机采集图像，分别检测出左相机图像中心左边垂直舱门黄色部分轮廓，以及右相机图像中心右边垂直舱门黄色部分轮廓。分别得到轮廓点集，将轮廓点集横坐标作为垂直边缘的水平中心与图像中心横坐标作差得到左偏移像素p1，类似的在右图像中得到右偏移像素p2，如图5所示。
42.由于相机安装是对称的，并且舱门同样具有对称性，根据p1、p2的差值求取机动目标相对舱门中心的水平偏移像素p；
43.s5：在左相机图像中能同时采集到舱门的左右两个垂直边缘时，利用两个垂直边缘间隔的实际距离d1和像素距离a1，标定每个像素代表的实际尺寸如图6所示；在
左相机图像中只能采集一个舱门的左边垂直边缘时，利用舱门边缘的实际宽度尺寸d2和像素尺寸b1，标定每个像素代表的实际尺寸如图7所示，根据标定每个像素代表的实际尺寸s与偏移像素p相乘，可以得到机动目标相对舱门的实际偏移位移x；
44.基于上述内容，为了验证上述方案的有效性，基于pycharm软件将上述方案进行实例应用，具体如下：
45.首先在机动目标上安装工控机、双目视觉相机以及相机数据采集线，通过双目视觉相机采集机动目标需要对正的矩形舱门的两个垂直边的图像，通过相机拍摄垂直边黄色部分高宽尺寸已知的图像完成后续偏移量估算。对拍摄图像进行预处理，将拍摄的图像在rgb空间进行颜色分割，这里用到opencv中的cv2.inrange和cv2.bitwise_and两个方法，首先定义rgb空间中垂直边缘黄色部分范围，再使用cv2.inrange构建掩膜，将图像中垂直边黄色部分的像素赋值为1，反之为0，这样就完成了指定颜色的提取，最后，利用cv2.bitwise_and将掩膜部分的像素进行“与”运算，只保留垂直边黄色部分的色彩。根据设的阈值，将彩色图像进行二值化处理，减少数据量。至此，完成对垂直边缘黄色部分的分割并得到二值化图像。分割后得到的图像具有毛刺和孔洞，利用opencv中的cv2.morphologyex方法进行闭运算、开运算得到形态学处理后的图像。此时再进行轮廓检测，通过cv2.findcontours方法可以得到分割图像的轮廓和相应的轮廓点集。遍历轮廓点集，将轮廓点集横坐标保存到预先设置的列表中,计算得到左轮廓点集的横坐标均值作为垂直边缘的水平中心，再与图像中心o1的横坐标作差即可得到水平像素偏移量p1，类似的在右图像中根据图像中心o2得到水平像素偏移量p2,根据p1、p2的差值求取机动目标相对舱门中心的水平偏移像素p。
46.分两阶段标定像素尺寸，在左相机图像中能同时采集到舱门的左右两个垂直边缘时，利用两个垂直边缘间隔的实际距离d1和像素距离a1，标定每个像素代表的实际尺寸s，在左相机图像中只能采集一个舱门的左边垂直边缘时，利用舱门边缘的实际宽度尺寸d2和像素尺寸b1，标定每个像素代表的实际尺寸s。将标定得到的每个像素代表的实际尺寸s与水平像素偏移量p相乘，即可得到机动目标相对舱门的实际水平偏移位移。