一种基于双相机测量及结构光传感器的实时在线测量方法
【专利摘要】本发明之目的就是提供一种基于双相机测量及结构光传感器的实时在线测量方法，将双相机测量系统与结构光传感器组合使用，将传感器固定在一个测量标定板上，在板子的上面粘贴摄影测量编码标志，在线测量之前，标定出标定板上的摄影测量编码标志在结构光传感器坐标系下的三维坐标，将这些摄影测量编码标志作为标定数据实现三维数据的拼接；在系统标定的基础上实现在线测量，标定板每移动一个位置，双相机测量系统通过测量标定板上的摄影编码点，将结构光传感器采集的二维方向的坐标数据转换成三维方向的坐标数据，实现在线测量；本发明具有测量效率高，速度快，测量准确，应用范围广，有效用于各种产品外形尺寸的在线检测，具有很强的实际应用价。
【专利说明】
一种基于双相机测量及结构光传感器的实时在线测量方法
技术领域
[0001] 本发明涉及测量方法，特别是一种基于双相机测量及结构光传感器的实时在线测 量方法。
【背景技术】
[0002] 在工业生产中，对各种产品外形的尺寸进行测量是常有之事，包括对长度、高度、 平面度的在线测量，目前，常用的测量方法有利用双相机摄影测量系统或是采用结构光传 感器，获得相关数据信息后再进行处理，所述的双相机摄影测量系统:立体视觉技术是机器 人技术研究中最为活跃的一个分支，是智能机器人的重要标志。双相机摄影测量系统是通 过对同一目标的两幅图像提取、识别、匹配和解释，重建三维环境信息的过程。
[0003] 结构光传感器:结构光传感器是利用三角反射式原理，传感器中感光片是一个矩 阵，因此传感器可以打出一条激光线，可以同时测量激光线上所有点的二维坐标，分别为X 方向和Y方向，即激光线上点的坐标可表示为(Χ，γ)。如果要测量一个产品的外形尺寸，需要 移动结构光传感器，将结构光传感器测量点拼接到一起，给激光线上点添加一个Ζ方向的坐 标，即表示为(Χ，γ，ζ)，合成3D数据实现外形尺寸测量。结构光传感器每移动一个位置只能 得到一条激光线上每个激光点的二维方向的坐标，即表示为（x，y)，如果想要得到3D数据 (X、Y、Z)需要移动结构光传感器。
[0004] 而且上述测量方法均是分别进行的，测量速度慢，工作效率低，测量准确性也较 差，因此，如何将双相机摄影系统和结构光传感器结合起来对产品的外形尺寸进行快速、准 确的在线测量，如何将每条激光线拼接起来，得到完整的3D数据完成在线测量至今未见有 公开报道。
【发明内容】
[0005] 针对上述情况，本发明之目的就是提供一种基于双相机测量及结构光传感器的实 时在线测量方法，可有效解决将双相机摄像测量及结构光传感器结合在一起快速、准确对 产品外形、尺寸进行在线测量的问题。
[0006] 本发明解决的技术方案是，将双相机测量系统与结构光传感器组合使用，将传感 器固定在一个测量标定板上，在板子的上面粘贴摄影测量编码标志，在线测量之前，标定出 标定板上的摄影测量编码标志在结构光传感器坐标系下的三维坐标(bX、bY、bZ)，将这些摄 影测量编码标志作为标定数据实现3D(X、Y、Z)数据的拼接；
[0007] 在系统标定的基础上实现在线测量，标定板每移动一个位置，双相机测量系统通 过测量标定板上的摄影编码点，将结构光传感器采集的二维方向的坐标(x，y)数据转换成 三维方向（3D)的坐标(X、Y、Z)数据，实现在线测量;具体包括以下步骤：
[0008] (1 )、结构光传感器测量坐标系与摄影测量编码标志关系的标定:将双相机测量系 统与结构光传感器组合使用，先将传感器固定在测量标定板上，同时在测量标定板上面粘 贴三行三列摄影测量编码标志，（见图3所示)标志点间距50mm，在线测量之前，先标出测量 标定板上的摄影测量编码标志在激光传感器坐标系下的三维坐标(bX，bY，bZ)，将测量标定 板上的摄影测量编码标志的三维坐标(bX、bY、bZ)作为标定参数，实现使用标定参数三维方 向（3D)的坐标(X、Y、Z)数据的拼接;所述的编码标志是一种自身带有数字编码信息的人工 标志，所述的测量标定板是粘贴有用于摄影测量的编码标志的铝合金板；
[0009] (2)、双相机摄影测量系统和结构光传感器的在线测量:通过标定，得到标定板上 的测量编码标志在激光传感器坐标系下的坐标(bX、bY、bZ)，双相机测量系统通过测量标定 板上的编码标志，得到测量标定板上的编码标志在双相机测量系统坐标系下的坐标（sX、 sY、sZ)，同时用计算机软件采集传感器的测量数据，将标定板上的摄影测量编码标志在摄 影测量坐标系下的坐标(sX、s Y、sZ)和在激光传感器坐标系下的坐标(bX、bY、bZ)进行公共 点转换，实现激光传感器的坐标系与双相机测量坐标系之间的关系TCoor = (X0，Y0，Z0，εχ， ey，ez)，在线测量时，激光传感器的测量点转换到摄影测量坐标系下，从而实现每次标定板 和传感器一起移动，将传感器每次采集的数据都转换到双相机测量坐标系下，对传感器采 集测量数据拼接，达到对产品的三维方向（3D)的坐标的数据采集，实现在线产品的测量。
[0010] 本发明是将双相机测量系统与结构光传感器结合在一起，创新性地提供一种基于 双相机测量及结构光传感器的实时在线测量方法，具有测量效率高，速度快，测量准确，应 用范围广，有效用于各种产品外形尺寸的在线检测，研究测量方法可以快速测量产品的长 度、高度、平面度等等，实现产品的各种外形尺寸的在线检测，实时提供测量结果，具有很强 的实际应用价值。
【附图说明】
[0011] 图1为本发明工艺流程图；
[0012] 图2为本发明工艺标定流程图；
[0013] 图3为本发明摄影测量编码标志图；
[0014] 图4为本发明双相机测量及结构光传感器系统装配图；
[0015] 图5为本发明摄影测量条带（点）图；
[0016] 图6为本发明Kardan旋转示意图。
【具体实施方式】
[0017] 以下附图对本发明的【具体实施方式】做详细说明，
[0018] 本发明在具体实施中，如图1、图2所示，包括以下步骤：
[0019] (1)、将双相机测量系统中的两个相机分别安装到两个三脚架上，构成双相机测量 系统，将传感器固定在粘贴有编码标志的铝合金板上，在铝合金板上粘贴三行三列摄影测 量编码标志，标志点的间距为50mm;(见图3、图4所示）
[0020] (2)、在传感器坐标系y坐标方向四个位置-5〇1111]1，-10〇1111]1，5〇1]11]1，10〇1]11]1，首先在传感 器坐标系y坐标方向-50mm位置放置均匀分布有摄影测量编码标志点的摄影测量条带点，如 图5所示，将激光传感器坐标系X坐标轴与条带上摄影测量编码标志点部分重合，调节传感 器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；
[0021] (3)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是 否和传感器测量点个数一致，然后各点方向是否一致，确认双相机测量的点与传感器测量 的点是同一个点，即同名点，将双相机测量出来的条带点和标定板上的标定点保存为SY1点 集，双相机测量系统采集SY1的同时，激光传感器采集条带点并保存为JG1点集；
[0022] (4)、在传感器坐标系y坐标方向-100mm位置放置一个条带上均匀分布的摄影测量 编码标志点的条带上，如图5所示，将激光传感器坐标系X坐标轴与条带上摄影测量编码标 志点部分重合，调节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分 隔开的，并确认点个数；
[0023] (5)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是 否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的 点是同一个点，确认为同名点;将双相机测量出来的条带点和标定板上的标定点保存为SY2 点集;双相机测量系统采集SY2的同时，激光传感器采集条带点并保存为JG2点集；
[0024] (6)、在传感器坐标系y坐标方向50mm位置放置一个条带上均匀分布的摄影测量编 码标志点，将激光传感器坐标系X坐标轴与条带上摄影测量编码标志点部分重合，调节传感 器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数；
[0025] (7)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是 否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的 点是同一个点，确认为同名点;将双相机测量出来的条带点和标定板上的标定点保存为SY3 点集，双相机测量系统采集S32的同时，激光传感器采集条带点并保存为JG3点集；
[0026] (8)、在传感器坐标系y坐标方向100mm位置放置一个条带上均匀分布的摄影测量 编码标志点，将激光传感器坐标系X坐标轴与条带上摄影测量编码标志点部分重合，调节传 感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个 数；
[0027] (9)、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是 否和传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的 点是同一个点，却认为同名点;将双相机测量出来的条带点和标定板上的标定点保存为SY4 点集，双相机测量系统采集SY4的同时，激光传感器采集条带点并保存为JG4点集；
[0028] (10)、以上得到测量点集SY1，SY2，SY3，SY4，JG1，JG2，JG3，JG4;然后将JG1-JG4点 集作为参考点;通过公共点转换；
[0029]激光传感器坐标系与双相机摄影测量坐标系是两个不同坐标系，因此两坐标系之 间有三个平移参数和三个旋转参数，记为T，三个平移量(X0，Y0，Z0)，三个旋转量（εX，ey，ε ζ)，设激光传感器坐标系坐标系下的坐标为(Χ，Υ，Ζ)，在摄影测量坐标系下的坐标为(x，y， z)，激光传感器坐标系与摄影测量坐标系之间的转换关系为：
[0031] 通过解算该方程从而就可求出坐标系转换参数T，ai，bi，C1，a 2，b2，C2，a3，b3，C3为旋 转矩阵的9个参数；
[0032] 将四组测量点和四组参考点计算出新的激光传感器坐标系；
[0033] (11 )、将摄影测量测得的标定点转换到激光传感器坐标系下，方法是先将激光传 感器测量坐标系0-ΧΥΖ缩放k倍，再按Kardan进行旋转，如图6所示，首先绕X轴旋转ε χ，此时Z 轴到达OYZ与ΟΥζ两面的交线位置，其次绕旋转后的Y轴旋转ey，使Z轴最终到达z轴，最后绕z 轴旋转εζ，最终使X、Y轴分别与x、y轴重合；
[0034]平移(X0，Y0，Z0)，转换到被摄影测量坐标系o-xyz中，点P在0-ΧΥΖ中的坐标为(X， Y，Z)，在ο-xyz中的坐标为(x，y，z)，则有：
[0036] 其中Μ称为旋转矩阵，其中已1，131，(31，&2，匕2,02，&3，匕3,03，为旋转角（￡^丫，62)的九个 函数，其中k为尺度因子;其中，
[0038] (12)、在线测量:移动激光传感器与标定板到另外一个位置，激光传感器与标定板 扫描测量产品一条激光线数据，双相机摄影测量系统同时测量标定板上的标定点，通过标 定点在激光传感器坐标系与双相机摄影测量坐标系下关系，激光线数据转换到摄影测量坐 标系下，在线测量出产品的3D方向数据，实现对产品的在线测量。
[0039] 本发明经实地应用和反复试验，取得了非常好的有益技术效果，如实地对某一个 工件进行在线扫描测量，该公件有上下两个平面，平面上有1个大通孔和4个小圆包围的另 一大通孔，需要测量出产品两个面的平面度，及2个大圆的相对位置关系、四个小圆相对所 包围的圆的位置关系;测量误差要求平面度小于〇. 15mm，两个圆的相对位置关系误差X、Y小 于0.15_，四个小圆位置相对大圆距离小于0.1_，采用本发明方法进行实地在线测量，
[0040] 1.首先选定待测量产品，双相机测量系统标定之后，并将标定板和激光传感器标 定连接好(参考步骤标定步骤）；
[0041] 2.移动标定板和激光传感器，对产品进行在线扫描测量(参考在线测量步骤），扫 描得出数据点；
[0042] 3.根据扫描测量的数据计算分析，该产品的平面度为0.12mm，两个大圆相对位置 偏差分别为〇.〇9mm、0.11mm，四个小圆距离包围的圆的距离均小于0.06mm，完全达到了测量 目的。
[0043] 并经反复多次对其他产品也进行了测试，均取得了相同和相近似的结果，这里不 再--重述。
[0044] 本发明方法具有以下有益技术效果：
[0045] 1、测量效率高、速度快:对于6m*3m范围内产品大小，可以在10分钟之内完成外形 尺寸在线检测。
[0046] 2、测量精度高。多种测量需求不需要单独测量，减少了测量误差，提高了测量精 度，测量精度可以达到〇. 〇5_。
[0047] 3、测量精度范围广。测量方法中采用的结构光传感器型号可以任意选择，以满足 不同精度的测量需求，测量精度范围为〇.〇5mm~1mm。
[0048] 4、在测量功能方面:激光传感器采集的数据为线激光，可以采集大量轮廓点，可以 同时完成产品的不同测量需求。
[0049] 5、测量产品尺寸不受限制：可以测量不同范围的产品，只要在双相机测量系统视 场范围内均可以进行测量。
[0050] 6、测量过程中只需保证双相机测量系统稳定，激光传感器的测量并不受现场震 动、杂光等干扰等影响；
[0051 ] 7、测量设备便携性好:重量轻、一个人即可携带，并进行长途运输；
[0052] 8、本发明方法简单，测量精度高，速度快，迭代次数少，收敛速度快，工作效率高， 应用面广，实用性强，是对物体测量方法上的创新，经济和社会效益巨大。
【主权项】
1. 一种基于双相机测量及结构光传感器的实时在线测量方法，其特征是:将双相机测 量系统与结构光传感器组合使用，将传感器固定在一个测量标定板上，在板子的上面粘贴 摄影测量编码标志，在线测量之前，标定出标定板上的摄影测量编码标志在结构光传感器 坐标系下的Ξ维坐标，将运些摄影测量编码标志作为标定数据实现Ξ维坐标数据的拼接； 在系统标定的基础上实现在线测量，标定板每移动一个位置，双相机测量系统通过测 量标定板上的摄影编码点，将结构光传感器采集的二维方向的坐标数据转换成Ξ维方向的 坐标数据，实现在线测量;具体包括W下步骤： (1) 、结构光传感器测量坐标系与摄影测量编码标志关系的标定:将双相机测量系统与 结构光传感器组合使用，先将传感器固定在测量标定板上，同时在测量标定板上面粘贴Ξ 行Ξ列摄影测量编码标志，标志点间距50mm，在线测量之前，先标出测量标定板上的摄影测 量编码标志在激光传感器坐标系下的Ξ维坐标，将测量标定板上的摄影测量编码标志的Ξ 维坐标作为标定参数，实现使用标定参数Ξ维方向的坐标数据的拼接;所述的编码标志是 一种自身带有数字编码信息的人工标志，所述的测量标定板是粘贴有用于摄影测量的编码 标志的侣合金板； (2) 、双相机摄影测量系统和结构光传感器的在线测量:通过标定，得到标定板上的测 量编码标志在激光传感器坐标系下的坐标，双相机测量系统通过测量标定板上的编码标 志，得到测量标定板上的编码标志在双相机测量系统坐标系下的坐标，同时用计算机软件 采集传感器的测量数据，将标定板上的摄影测量编码标志在摄影测量坐标系下的坐标和在 激光传感器坐标系下的坐标进行公共点转换，实现激光传感器的坐标系与双相机测量坐标 系之间的关系，在线测量时，标定板和传感器一起移动，激光传感器的测量点转换到摄影测 量坐标系下，将传感器每次采集的数据都转换到双相机测量坐标系下，对传感器采集测量 数据拼接，达到对产品的Ξ维方向的坐标的数据采集，实现在线产品的测量。2. 根据权利要求1所述的基于双相机测量及结构光传感器的实时在线测量方法，其特 征是:包括W下步骤：（1 )、将双相机测量系统中的两个相机分别安装到两个Ξ脚架上，构成 双相机测量系统，将传感器固定在粘贴有编码标志的侣合金板上，在侣合金板上粘贴Ξ行 Ξ列摄影测量编码标志，标志点的间距为50mm; (2 )、在传感器坐标系y坐标方向四个位置-50mm，-100mm，50mm, 100mm，首先在传感器坐 标系y坐标方向-50mm位置放置均匀分布有摄影测量编码标志点的摄影测量条带点，将激光 传感器坐标系X坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的曝光时间为 180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数； (3) 、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和 传感器测量点个数一致，然后各点方向是否一致，确认双相机测量的点与传感器测量的点 是同一个点，即同名点，将双相机测量出来的条带点和标定板上的标定点保存为SY1点集， 双相机测量系统采集SY1的同时，激光传感器采集条带点并保存为JG1点集； (4) 、在传感器坐标系y坐标方向-100mm位置放置一个条带上均匀分布的摄影测量编码 标志点的条带上，将激光传感器坐标系X坐标轴与条带上摄影测量编码标志点部分重合，调 节传感器的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点 个数； (5) 、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和 传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是 同一个点，确认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为SY2点 集，双相机测量系统采集SY2的同时，激光传感器采集条带点并保存为JG2点集； (6) 、在传感器坐标系y坐标方向50mm位置放置一个条带上均匀分布的摄影测量编码标 志点，将激光传感器坐标系X坐标轴与条带上摄影测量编码标志点部分重合，调节传感器的 曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数； (7) 、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和 传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是 同一个点，确认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为SY3点 集，双相机测量系统采集S32的同时，激光传感器采集条带点并保存为JG3点集； (8) 、在传感器坐标系y坐标方向100mm位置放置一个条带上均匀分布的摄影测量编码 标志点，将激光传感器坐标系X坐标轴与条带上摄影测量编码标志点部分重合，调节传感器 的曝光时间为180-220微妙，使传感器激光打在条带上的点是分隔开的，并确认点个数； (9) 、用双相机测量系统测量条带，和标定板上的标定点，首先确认条带点个数是否和 传感器测量点个数一致，然后各点方向是否一致，当双相机测量的点与传感器测量的点是 同一个点，却认为同名点；将双相机测量出来的条带点和标定板上的标定点保存为点 集，双相机测量系统采集圳4的同时，激光传感器采集条带点并保存为JG4点集； (10) 、W上得到测量点集SY1，SY2，SY3，SY4，JG1，JG2，JG3，JG4;然后将JG1-JG4点集作 为参考点;通过公共点转换； 激光传感器坐标系与双相机摄影测量坐标系是两个不同坐标系，因此两坐标系之间有 Ξ个平移参数和Ξ个旋转参数，记为T，Ξ个平移量(X0，Y0，Z0)，Ξ个旋转量（εχ，ey，εZ)，设 激光传感器坐标系坐标系下的坐标为(X，Υ，ζ)，在摄影测量坐标系下的坐标为(X，y，ζ)，激 光传感器坐标系与摄影测量坐标系之间的转换关系为：通过解算该方程从而就可求出坐标系转换参数T，ai，bl，C1，曰2，b2，C2，曰3，b3，C3为旋转矩 阵的9个参数； 将四组测量点和四组参考点计算出新的激光传感器坐标系； (11 )、将摄影测量测得的标定点转换到激光传感器坐标系下，方法是 先将激光传感器测量坐标系0-XYZ缩放k倍，再按Kardan进行旋转，首先绕X轴旋转εχ，此 时巧由到达ΟΥΖ与OTz两面的交线位置，其次绕旋转后的巧由旋转ey，使巧由最终到达Ζ轴，最后 绕Z轴旋转εζ，最终使Χ、Υ轴分别与x、y轴重合； 平移(X0，Y0，Z0)，转换到被摄影测量坐标系o-xyz中，点P在0-XYZ中的坐标为(X，Y，Z)， 在o-xyz中的坐标为(x，y，z)，则有：其中Μ称为旋转矩阵，其中ai，bi，Cl，曰2，b2，C2，曰3，b3，C3，为旋转角（εχ，Ey，εζ)的九个函 数，k为尺度因子，其中：(12)、在线测量:移动激光传感器与标定板到另外一个位置，激光传感器与标定板扫描 测量产品一条激光线数据，双相机摄影测量系统同时测量标定板上的标定点，通过标定点 在激光传感器坐标系与双相机摄影测量坐标系下关系，激光线数据转换到摄影测量坐标系 下，在线测量出产品的Ξ维方向数据，实现对产品的在线测量。
【文档编号】G01B11/00GK106091930SQ201610676502
【公开日】2016年11月9日
【申请日】2016年8月16日 公开号201610676502.5, CN 106091930 A, CN 106091930A, CN 201610676502, CN-A-106091930, CN106091930 A, CN106091930A, CN201610676502, CN201610676502.5
【发明人】李彦辉, 王河伟, 孙世杰, 范钦红, 冯鹏飞
【申请人】郑州辰维科技股份有限公司