折反射全景相机与激光雷达数据融合标定方法
【技术领域】
[0001] 本发明属于环境感知系统数据融合技术领域，特别涉及折反射全景相机与激光雷 达数据融合标定方法。
【背景技术】
[0002] 环境感知系统一直是移动机器人核心技术研究的一大热点，是实现移动机器人自 动化、智能化的关键。为了能实现移动机器人的自我环境感知，自主行走功能，测距定位平 台的搭建起着重要的作用。
[0003] 激光雷达和摄像机是现阶段最常使用的两种测距传感元件。其中，摄像机可以快 速获取空间中的图像通过数字图像处理，标定算法实现定位;激光雷达可以直接获取方位 和距离信息。然而移动机器人在未知的复杂环境中行走，仅仅通过单一种类的传感器很难 对环境进行准确的定位，将多种类传感器得到的数字信息进行合理的融合，成为机器人环 境感知系统研究的一个重要发展方向。其中，通过激光雷达是主要的测距手段，结合摄像机 实现联合标定是一种合理可行的联合标定方法。
[0004] 摄像机的标定一般基于单目、双目或多目。其标定方法大致可分为三类:传统摄像 机标定方法、主动视觉摄像机标定方法、摄像机自标定方法。传统的摄像机利用已知物体的 结构信息如标定板或标定快，优点是可以使用任意摄像机模型，标定精度高，但标定过程较 为复杂，需要标定物具有较高精度;主动视觉摄像机利用已知摄像机的相关运动信息，通过 线性求解标定，其鲁棒性较高但不能用于摄像机运动未知和无法控制的场合;摄像机自标 定方法是依靠多幅图像之间的相对关系进行标定，其灵活性强，仅需建立图像与图像之间 的转换关系便可进行标定，但这种标定方法属于非线性标定，鲁棒性不高。目前较为常用的 是传统的摄像机标定方法。
[0005] 随着摄像机技术、数字图像处理技术的快速发展，普通摄像机受到成像范围的影 响，在面对大视场的应用时往往需要多个摄像机进行拼接。这给成像系统的稳定性上造成 影响，同时也会增加摄像机标定的难度。近年来全景相机的引入解决了这一硬件问题。全景 相机的成像系统主要有旋转拼接全景成像、鱼眼镜头成像、折反射全景成像。基于传统拼接 技术的全景成像与多目相机的标定技术较为类似，形成的柱面全景图其标定方法较为复 杂，处理图像数据量比较大，不易进行联合标定;采用鱼眼镜头的全景成像图像，使用超广 角物镜，畸变模型不满足透视投影，设计加工成本大，标定难度高，也较为不适用于联合标 定;折反射式的全景相机利用折反射成像法，结构简单，成本适中，分辨率也可根据需求设 计，适合于联合标定。在折反射式的全景相机中按照反射面的形状又可分为两类:锥面、球 面等反射面属于第一类折反射全景相机，其入射光线不相交于一点，称为非单视点折反射 全景相机;反射面是抛物面、双曲面、椭球面的属于第二类，其入射光线相交于一点，称为单 视点折反射全景相机。
[0006] 激光测距的方法主要分为:相位法、脉冲法、三角法、干涉法。工程上常使用的是脉 冲和相位法。激光雷达探测可分为直接探测和相干探测，市面上绝大多数的激光雷达采用 的是直接探测的方法。探测器有单元、面、阵列三种。成像方法上又可分为无扫描和有扫描， 其中，有扫描的激光雷达会增大体积降低了可靠性与稳定性，它使得雷达只能用于低倾率， 小视场的情况下。无扫描激光雷达，可以避开很多机械运动部分，从而达到体积小、紧凑、大 视场、高可靠性。激光雷达已广泛应用于頂U、AGV、LGV等系统中。
[0007] 现有技术存在的问题有：1)单一的传感器无法准确完整的获取环境信息，2)传统 的摄像机无法完整显示360度范围内的图像信息；3)传统拼接技术的全景成像与采用鱼眼 镜头的全景成像图像不易进行联合标定。
【发明内容】
[0008] 为了获得较高的成像效果，从而得到较高精度的数字图像数据进行联合标定，本 发明提供折反射全景相机与激光雷达数据融合标定方法。
[0009 ]为实现上述目的，本发明通过以下技术方案来实现：
[0010]折反射全景相机与激光雷达数据融合标定方法
[0011] 采用单视点折反射式全景相机与激光雷达进行联合标定，首先建立全景标定模型 坐标系：世界坐标系、折反射镜面坐标系、摄像机镜头坐标系和图像成像坐标系，分别定义 为：Iw、Im、I。、Ip ;世界坐标系原点0w;折反射镜面坐标系原点0m和摄像机坐标系0。原点分别 为镜面二次曲面的上下焦点；图像成像坐标系的原点〇 P为其图像中心点，定义OmOcOp共线； 空间点Q在四个坐标系下的位置分别为:QjXDYwAKQjX^Y^Zd'QcIXc^Yc^ZcJ'QpUp， YP，ZP]T;
[0012] 标定过程包括以下步骤：
[0013 ] 1)单独二维摄像机标定，由图像成像坐标系点和世界坐标点关系Qp = KQC，得到摄 像机内参矩阵K;对摄像机进行内参标定；
[0014] 2)折反射镜面成像点压缩，按照各= 求解得到折反射镜面折射点参数 Xm、Ym、Zm;
[0015 ] 3)按照Qm=AMmwQw对折反射全景相机反求世界坐标点参数Xw、Yw、Zw;
[0016] 4)建立二维激光雷达的三维数据模型，由激光雷达获取参数q、0、Θ，得到
[0017] 5)构建全景相机与激光雷达数据融合标定模型，通过修正全景相机坐标系与激光 雷达坐标系下的共同的世界坐标系，由芯=求解两坐标之间的转换矩阵，得到最终 的全景相机与激光雷达联合标定矩阵：
[0018]
[0019] A(c,p,Xm,Ym,Zm)
[0020]
[0021] 其中，XP，YP，ZP为空间一点Q其在图像成像坐标系下的位置参数;f x，f y，cx，cy为摄 像机内参矩阵K的相关系数；^为折反射镜面成像点压缩比例系数;c全景相机折反射镜面 安装高度;Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数;P为全景相机折反射镜 面安装位置参数;λ为关于(3，!)3^￥^2"这几个镜面参数的系数4、贫、0为激光雷达获得 的相关参数，其中，q为激光雷达所测得的距离数值，炉:为激光雷达的Ζ方向旋转角度，Θ为激 光雷达的扫描角度。
[0022] 作为本发明的进一步改进，步骤1)具体包括：
[0023] 1.1)建立针孔摄像机模型:Q为世界坐标系下的物点，q为图像平面上的成像点，在 针孔模型下有下式成立：
[0024]
[0025]其中，XP，YP为世界中点0?[乂1，￥|，2|]7以偏移方式投影于图像成像平面坐标参数汀 为焦距，引入两个不同焦距fx，fy使单个像素点在成像设备成正方形;cx和c y分别为X和Υ方 向上的相对光轴偏移量，F为物理焦距长度，S为成像仪单元尺寸；
[0026] 1.2)棋盘标定板进行标定:对棋盘的多个视场提取旋转和平移信息，得到世界坐 标系与图像坐标系的转换方程：
[0027]
[0028] 其中，RPW，TPW为成像坐标系向世界坐标系转换的旋转矩阵和平移矩阵；
[0029] 1.3)获得内参矩阵K，
[0030]
[0031]其中，S为畸变参数，在不考虑畸变的时候S = 0;
[0032]由Qp = KQc完成全景相机白盒标定的摄像机内参标定，具体为：
[0033]
[0034] 其中，XP，YP，ZP为空间一点Q在图像成像坐标系下的位置参数;X。，Y c，Zc为空间一点 Q投影于图像成像平面坐标参数;Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数； fX，fy，CX，Cy为摄像机的四个内参。
[0035] 所述的棋盘至少10幅7X8的棋盘。
[0036] 作为本发明的进一步改进，步骤2)具体包括：
[0037] 2.1)单视点成像数学模型建立:得到下面几何关系式：
[0038]
[0039]其中，f为摄像机焦距;c为折反射镜安装高度;XC，YC，ZC为空间一点Q投影于图像成 像平面坐标参数;Xm，Ym，Zm为空间一点Q求解得到的折反射镜面折射点参数；
[0040] 2.改写为I:由于f相对于C很小，为简化计算可以通过改写得到下式：
[0041]
[0042] 其中，Qc、Qm为空间一点Q在图像成像坐标系下与全景相机折反射镜面坐标系下的 投影点；^为折反射镜面成像点压缩比例系数;M?为图像成像坐标系与全景相机折反射镜 面坐标系之间的转换矩阵；