一种激光-单目视觉融合的物体识别与定位方法与流程

文档序号:20841642发布日期:2020-05-22 17:34阅读:来源:国知局

技术特征:

1.一种激光-单目视觉融合的物体识别与定位方法,其特征在于包括:

s1,相机安装位置保证相机光轴平行于地面,激光测距模块安装位置保证激光测距模块光心与相机光心的连线垂直于地面且使激光测距模块与单目相机之间的垂直间距为c,对单目相机和激光测距模块测距光线进行标定,得到标定参数,包含相机内参矩阵k;

s2,利用物体识别算法识别单目相机视野中的物体,并获取已识别物体种类与物体中心点二维坐标;

s3,利用步骤s1标定得到的相机内参与步骤s2获取到的物体中心点二维坐标,可以得到物体中心点在相机坐标系中的航向角β和俯仰角α;

s4,根据步骤s3中得到的物体中心点在相机坐标系中的航向角β和俯仰角α,控制执行机构驱动激光测距模块转动到相应角度对物体进行初步测距,根据初步测距结果调整激光测距模块转动角度得α′对物体中心点进行精确测距得d′;

s5,根据s4中激光测距模块测得的物体中心点距离和激光测距模块在航向轴、俯仰轴实际转动角度,可计算转换得到物体中心点在激光测距模块坐标系即系统世界坐标系下的三维坐标(xc,yc,zc),实现物体的识别与定位,

2.根据权利要求1所述的一种激光-单目视觉融合的物体识别与定位方法,其特征在于所述步骤s1具体包括:

s11,相机标定板选取为11×9的国际象棋盘图案标定板,结合相机视场范围采集了50张不同位姿的标定图像以覆盖相机的全部视场;

s12,利用采集到的标定图像通过张正友标定法完成单目相机的标定,得到相机的内参矩阵;

s13,选取激光测距模块坐标系作为本系统的世界坐标系,根据单目相机和激光测距模块之间的相对位置获取激光测距模块的外参。

3.根据权利要求1所述的一种激光-单目视觉融合的物体识别与定位方法,其特征在于所述步骤s2具体包括:

s21,单目相机获取视野中的环境原始图像;

s22,对获取到的环境原始图像进行预处理,包括图像的裁切,实现单目相机数码变焦;

s23,根据获取到的环境图像利用物体识别神经网络进行物体检测,检测出待识别物体的种类以及其检测框顶点在像素坐标系中的二维坐标;

s24,根据物体检测框顶点在像素坐标系中的二维坐标计算出物体中心点在像素坐标系中的二维坐标。

4.根据权利要求3所述的一种激光-单目视觉融合的物体识别与定位方法,其特征在于所述步骤s22具体为:

s221,读入单目相机获取到的原始图像数据;

s222,按照一定的裁切系数以原始图像中心为中心点对图像进行裁切;

s223,将裁切完成图像发布出去,以供物体识别神经网络使用,有效提升物体的识别范围。

5.根据权利要求1所述的一种激光-单目视觉融合的物体识别与定位方法,其特征在于所述步骤s3具体包括:

s31,将s2获得的物体中心点在像素坐标系中的二维坐标转换为相机坐标系下的三维坐标,式(1)为像素坐标系与相机坐标系之间的转换关系,(u,v)为物体中心点像素坐标系坐标,当目标在像素坐标系坐标已知时,世界坐标系有无穷多个点与之对应,但均在目标点与相机光心连线上,根据转换关系可以得到在任意给定zc时物体中心点在相机坐标系下的坐标(xc,yc,zc);

s32,根据s31中得到物体中心点在相机坐标系下的坐标(xc,yc,zc),可求解出物体中心点在相机坐标系下与相机光心oc连线的俯仰角和航向角。

6.根据权利要求1所述的一种激光-单目视觉融合的物体识别与定位方法,其特征在于所述步骤s4具体包括:

s41,根据s32求解出的俯仰角α和航向角β控制执行机构驱动激光测距模块转动到相应角度对物体进行初步测距,测得距离为d;

s42,根据s41初步测得的距离d,对俯仰角进行修正,根据式(2)求得修正后的俯仰角为α′,其中c为相机光心和激光测距模块光心在yc轴上的间距;

s43,根据修正后的俯仰角α′重新调整激光测距模块角度,精确测量物体中心点距离。


技术总结
本发明公开一种激光‑单目视觉融合的物体识别与定位方法。包括:S1,相机安装位置保证相机光轴平行于地面,对单目相机和激光测距模块测距光线进行标定,得到标定参数;S2,利用物体识别算法识别单目相机视野中的物体,并获取已识别物体种类与物体中心点二维坐标;S3,利用S1标定得到的相机内参与S2中物体中心点二维坐标,得到物体中心点在相机坐标系中的航向角β和俯仰角α;S4,根据航向角β和俯仰角α,激光测距模块转动到相应角度对物体进行初步测距,根据初步测距结果调整激光测距模块转动角度得α′,对物体中心点进行精确测距得d′;S5,计算得到物体中心点在激光测距模块坐标系下的三维坐标(Xc,Yc,Zc),实现物体的识别与定位。

技术研发人员:王滔;张雲策;葛鸿昌;朱世强;祝义朋;胡纪远
受保护的技术使用者:浙江大学
技术研发日:2020.01.03
技术公布日:2020.05.22
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1