可见光相机与红外相机的参数联合标定方法及装置的制造方法
【技术领域】
[0001] 本发明实施例设及相机参数标定技术，尤其设及一种可见光相机与红外相机的参 数联合标定方法及装置。
【背景技术】
[0002] 在多光谱摄影测量、遥感W及目标监视等应用中，由于可见光相机可W获得丰富 的纹理信息，红外热像仪可W获得溫度信息，因此使可见光相机与红外相机的联合测量获 得了广泛应用。
[0003] 现有技术中，首先设计和制作一张带有发热装置的平面标定板，然后通过该标定 板采集可见光图像和红外图像对应信息，最后利用传统的标定方法获得相机参数。
[0004] 然而，为了获取相机参数需要专口设计并制作标定板，将增加获取相机参数的人 力及物料成本。
【发明内容】
[0005] 本发明提供一种可见光相机与红外相机的参数联合标定方法及装置，W实现无需 标定板即可实现相机参数的标定，降低相机参数标定的人力及物料成本。
[0006] 第一方面，本发明实施例提供了一种可见光相机与红外相机的参数联合标定方 法，包括：
[0007] 对可见光图像和红外图像进行边缘检测，得到可见光边缘图像W及红外边缘图 像；
[000引利用尺度不变特征转换算法SIFT获取所述可见光边缘图像和红外边缘图像的至 少四组匹配点对；
[0009] 根据所述至少四组匹配点对、所述可见光相机的内参矩阵W及所述红外相机的内 参矩阵确定外参矩阵。
[0010] 第二方面，本发明实施例还提供了一种可见光相机与红外相机的参数联合标定装 置，包括：
[0011] 边缘检测单元，用于对可见光图像和红外图像进行边缘检测，得到可见光边缘图 像W及红外边缘图像；
[0012] 匹配点对获取单元，用于利用尺度不变特征转换算法SIFT获取所述边缘检测单元 得到的所述可见光边缘图像和红外边缘图像的至少四组匹配点对；
[0013] 外参矩阵确定单元，用于根据所述匹配点对获取单元获取的所述至少四组匹配点 对、所述可见光相机的内参矩阵W及所述红外相机的内参矩阵确定外参矩阵。
[0014] 本发明通过对可见光图像和红外图像进行边缘检测，并利用尺度不变特征转换算 法SIFT,获取边缘检测得到的可见光边缘图像和红外边缘图像的至少四组匹配点对，进而 无需通过标定板即可得到可见光边缘图像与红外边缘图像中的匹配点对，最后根据所述至 少四组匹配点对、所述可见光相机的内参矩阵W及所述红外相机的内参矩阵确定外参矩 阵，实现在不使用标定板的前提下，确定外参矩阵，进而降低相机参数的标定成本。此外，现 有技术中由于标定板的位置需要与相机焦距相适应，因此当相机焦距发生变化时，需要调 整标定板W及相机的位置，操作繁琐。本发明中当相机(可见光相机或红外相机）的焦距发 生变化时，无需调整相机位置即可确定外参矩阵，提高参数标定的效率。
【附图说明】
[0015] 图1为本发明实施例一中的可见光相机与红外相机的参数联合标定方法的流程 图；
[0016] 图2是本发明实施例二中的可见光相机与红外相机的参数联合标定方法的流程 图；
[0017] 图3是本发明实施例=中的可见光相机与红外相机的参数联合标定方法的流程 图；
[0018] 图4是本发明实施例四中的可见光相机与红外相机的参数联合标定方法的流程 图；
[0019] 图5是本发明实施例五中的可见光相机与红外相机的参数联合标定装置的结构示 意图。
【具体实施方式】
[0020] 下面结合附图和实施例对本发明作进一步的详细说明。可W理解的是，此处所描 述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便 于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0021 ]实施例一
[0022] 图1为本发明实施例一提供的一种可见光相机与红外相机的参数联合标定方法的 流程图，本实施例可适用于对可见光相机及红外相机的参数进行标定的情况，该方法可W 由具有数据处理能力的终端来执行，终端如个人电脑(Personal Computer,PC)、笔记本电 脑、平板电脑等，该方法具体包括如下步骤：
[0023] Sl 10、对可见光图像和红外图像进行边缘检测，得到可见光边缘图像W及红外边 缘图像。
[0024] 对可见光图像进行边缘检测时，可采用基于查找的边缘检测或者基于零穿越的边 缘检测。基于查找的边缘检测方法通过寻找图像一阶导数中的最大和最小值来检测边界， 通常是将边界定位在梯度最大的方向。基于零穿越的边缘检测方法通过寻找图像二阶导数 零穿越来寻找边界，通常将拉普拉斯化aplacian)过零点或者非线性差分表示的过零点确 定为边界。
[0025] 可通过基于多尺度形态学的红外图像边缘检测方法等方法在对红外图像进行边 缘检测。通过边缘检测得到的图像用于表示原图像的边缘轮廓，轮廓线由轮廓线上的像素 点组成。
[0026] S120、利用尺度不变特征转换算法SIFT获取可见光边缘图像与红外边缘图像重合 部分的至少四组匹配点对。
[0027] 尺度不变特征转换（Scale-invariant feature transform,SIFT)是一种计算机 视觉的算法，用于侦测与描述影像中的局部性特征，例如在空间尺度中寻找极值点，并提取 出极值点的位置、尺度W及旋转不变量。具体可通过下述操作进行实施：
[0028] (1)尺度空间极值检测:捜索所有尺度上的图像位置。通过高斯微分函数来识别潜 在的对于尺度和旋转不变的兴趣点。
[0029] (2)特征点定位:在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺 度。特征点的选择依据于它们的稳定程度。
[0030] (3)方向确定：基于图像局部的梯度方向，分配给每个特征点位置一个或多个方 向。所有后面的对图像数据的操作都相对于特征点的方向、尺度和位置进行变换，从而提供 对于运些变换的不变性。
[0031] (4)特征点描述:在每个特征点周围的邻域内，在选定的尺度上测量图像局部的梯 度。运些梯度被变换成一种表示，运种表示允许比较大的局部形状的变形和光照变化。
[0032] 首先获取可见光边缘图像和红外边缘图像重合的部分，然后分别根据尺度不变特 征转换算法对可见光边缘图像与红外边缘图像重合的部分进行尺度不变特征转换，得到可 见光边缘图像对应的特征点描述信息W及红外边缘图像对应的特征点描述信息。根据转换 后得到的可见光边缘图像对应的特征点描述信息W及红外边缘图像对应的特征点描述信 息确定匹配点对。每组匹配点对由可见光边缘图像中的一个点和红外边缘图像中的一个点 组成，运两个点具有共同的方向、尺度和位置。
[0033] S130、根据至少四组匹配点对、可见光相机的内参矩阵W及红外相机的内参矩阵 确定外参矩阵。
[0034] 为了方便描述设定红外相机为Cl和可见光相机为C2，C2相对于Cl的旋转矩阵为R， 平移向量t，被摄物体上的某一点P的世界坐标为(Xw，Yw，Zw)，点P在两个相机的像平面中所 成的像点分别为Pl，P2，Pl的像素坐标为(山，Vl )，P2的像素坐标为(U2，V2 )。
[0035] 假设Cl的摄像机坐标系与世界坐标系重合，贝化2的摄像机坐标系与世界坐标系的 关系可用C2相对于Cl的旋转矩阵R和平移向量t来表示（即公式一），公式一给出了从不同视 角获取包含同一场景的两幅图像之间的几何变换关系，亦可称为基于摄像机运动参数的图 像变换模型：
[0037]其中，K功红外相机Cl的内参矩阵，K2为可见光相机C2的内参矩阵，R表示摄像机C2 相对于摄像机Cl旋转矩阵;t表示摄像机C2相对于摄像机Cl的位移向量，[R t]为外参矩阵，R 为3 X 3矩阵，t为1 X 3矩阵，Zci，Zc2分别表示点P到摄像机Cl，C2像平面的距离，该距离为焦距 与物距之和，其中物距可通过使用测量工具（如皮尺等）测量得到，也可通过超声波传感器 等用于测量距离的传感器获取。
[003引假设S120得到的四组匹配特征点对的特征点坐标分别为(xi，yi)，（x/，y/ )，（X2， 72)，（X2' ,y2' )，（X3,y3)，（X' 3,y3')，（X4,y4)，（X' 4,y4')，且Xi辛X2辛X3辛X4，yi辛y2辛y3辛y4, ^丰义}!丰1^ 3丰乂 丰3"^丰33'丰3^。
[0039]已知红外相机的内参矩阵Ki和可见光相机的内参矩阵K2，分别为：
[0041] 其中，fcxi为红外相机像平面中U轴方向的尺度因子，fcyl为红外相机像平面中V轴 方向的尺度因子，（Cxl，Cyl)表示红外相机的像平面的中屯、点坐标。
[0042] fcx2为可见光相机像平面中U轴方向的尺度因子，fcy2为可见光相机像平面中V轴方 向的尺度因子，（Cx2，Cy2 )表示可见光相机的像平面的中屯、点坐标。
[00创将Ki和拉代入公式一中，得到公式一的展开式为：
[0045] (i = l，2,3，...，N)(公式二）
[0046] N为大于等于4的整数。由于R为3 X 3矩阵，t为1 X 3矩阵，因此共有12个未知量。每