一种图像特征点类型的识别方法和装置的制造方法
【技术领域】
[0001] 本发明涉及数据处理领域，特别是涉及一种图像特征点类型的识别方法和装置。
【背景技术】
[0002] 随着视频采集和图像数据处理的技术愈发成熟，在汽车驾驶等方面已经有了较多 的应用。例如可以通过安装在车辆上的摄像装置采集车辆周围场景的视频，通过对视频进 行逐帧分析，识别出场景中特征点的具体类型，特征点可以理解为图像帧中的具有一定特 征的图像点例如图像中物体上的点等，特征点的类型可以包括相对于地面静止的特征点和 运动的特征点。从场景中识别出的特征点的坐标可以是处于相机坐标系中的坐标，所述相 机坐标系具有相互垂直的三个坐标轴，其中一个坐标轴与摄像装置的光轴重合，另外两个 坐标轴均与图像帧所在平面平行，相机坐标系的坐标原点可以是摄像装置光心的位置。
[0003] 对获取的特征点进行3D重建，计算得出特征点具体在车体坐标系中的坐标值。通 过3D重建获得的坐标值，可以有效的为实现汽车辅助驾驶、汽车自动驾驶等功能提供数据 依据，例如应用在车辆轨迹规划、规避碰撞等。
[0004] 目前能够实现上述图像特征点识别功能的摄像装置需为双目相机，通过双目相机 特殊的双目定位功能，可以有效的识别出场景特征点为静止特征点或运动特征点。然而双 目相机的成本很高，基本只能应用在高档汽车上，限制了在汽车驾驶等方面应用的普及。
【发明内容】
[0005] 为了解决上述技术问题，本发明提供了一种图像特征点类型的识别方法和装置， 使得可以通过成本低廉的单目相机有效的识别图像中特征点的类型。
[0006] 本发明实施例公开了如下技术方案：
[0007] -种图像特征点类型的识别方法，应用于安装了单目相机的车辆，所述方法包 括：
[0008] 分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t帧图像和第t_l 帧图像的特征点对mjPmtpmt为特征点m在第t帧图像中对应的位置，mti为所述特征点 m在第t-1帧图像中对应的位置；
[0009] 假设所述特征点m在第t帧图像和第t-1帧图像中相对于所述场景静止，若^在 相机坐标系下的位置为Pt，mti在相机坐标系下的位置为Pti，根据Pt、R。。和T确定出与Pt : 之间的第一对等关系，其中为相机坐标系从第t-1帧到第t帧的旋转矩阵，T为相机坐 标系从第t_l帧到第t帧的平移向量；
[0010] 根据？#角定出与ms,t的第二对等关系，其中，在相机坐标系下的归一化坐 标点；
[0011] 根据第一对等关系、第二对等关系以及相机成像模型，确定出？，在图像坐标系中 的投影点;
[0012] 根据mt、mti和lil,之间的位置关系，识别所述特征点m为运动特征点或静止特征 点。
[0013] 可选的，所述根据mt、mti和之间的位置关系，识别所述特征点m为运动特征点 或静止特征点，包括：
[0014] 根据mt、mti和A,计算mti和mt构成的光流向量与mti和lily构成的光流向量之 间的光流方向残差角Q;
[0015] 根据mt和！ilf计算叫和ih,的位置残差diS;
[0016] 若所述光流方向残差角0满足第一阈值，且所述位置残差dis满足第二阈值，识 别所述特征点m为运动特征点；
[0017] 若所述光流方向残差角0不满足第一阈值，且所述位置残差dis不满足第二阈 值，识别所述特征点m为静止特征点。
[0018] 可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴 沿图像帧平面竖直向下；所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂 直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行。
[0019] 可选的，所述根据Pt、和T确定出与Pti之间的第一对等关系，所述第一对等 关系具体包括：
[0020] Pt !=RccPt+Tcc;
[0021] 其中，Pti在相机坐标系下的坐标为（Xti，Yti，Zt ^坐标为（Xt，Yt，Zt)。
[0022] 可选的，所述根据？#角定出与mSit的第二对等关系，所述第二对等关系具体包括：
[0023]
[0024] 其中，屯为特征点m在第t帧图像的向量模
[0025] (Xt，Yt，Zt)T为（Xt，Yt，Zt)的转置矩阵。
[0026] 可选的，所述相机成像模型，具体包括：
[0027]
[0028] I由.
[0029]
r(a) =k:a+k3a3+k5a5+k7a7+kga9 ，k1;k3,k5,k7,k9,u。，v。，fx,fy为相机内部参数。
[0030] 可选的，所述根据mt、mti和m,计算mti和mt构成的光流向量与mti和lit,构成 的光流向量之间的光流方向残差角9,具体包括：
[0031]
[0032] 其中，mt在图像坐标系下的坐标为（ut，vt)，mtl在图像坐标系下的坐标为 (utvtJ，A,在图像坐标系下的坐标;
[0033] 所述根据叫和！&f计算叫和的位置残差虹8，具体包括：
[0034]
[0035] 其中，| -瓶(丨为lh, _ :科的向量长度。
[0036] -种图像特征点类型的识别装置，应用于安装了单目相机的车辆，所述装置包 括：
[0037] 分析单元，用于分析所述单目相机采集的所述车辆周围场景图像，匹配获取第t 帧图像和第t-1帧图像的特征点对^和mtpmt为特征点m在第t帧图像中对应的位置， mti为所述特征点m在第t-1帧图像中对应的位置；
[0038] 第一确定单元，用于假设所述特征点m在第t帧图像和第t-1帧图像中相对于所 述场景静止，若mt在相机坐标系下的位置为Pt，mti在相机坐标系下的位置为Pti，根据Pt、 和确定出与Pti之间的第一对等关系，其中为相机坐标系从第t-1帧到第t帧的 旋转矩阵，为相机坐标系从第t_l帧到第t帧的平移向量；
[0039] 第二确定单元，用于根据？4确定出与mSit的第二对等关系，其中，mSitSmt在相机 坐标系下的归一化坐标点；
[0040] 第三确定单元，用于根据第一对等关系、第二对等关系以及相机成像模型，确定出 Pt在图像坐标系中的投影点rh,;
[0041] 识别单元，用于根据mt、mti和间的位置关系，识别所述特征点m为运动特征 点或静止特征点。
[0042] 可选的，所述识别单元还包括：
[0043] 第一计算子单元，用于根据mt、mti和计算mti和mt构成的光流向量与mti和 构成的光流向量之间的光流方向残差角9 ;
[0044] 第二计算子单元，用于根据叫和lil,计算叫和的位置残差dis;
[0045] 第一识别子单元，用于若所述光流方向残差角0满足第一阈值，且所述位置残差 dis满足第二阈值，识别所述特征点m为运动特征点；
[0046] 第二识别子单元，用于若所述光流方向残差角0不满足第一阈值，且所述位置残 差dis不满足第二阈值，识别所述特征点m为静止特征点。
[0047] 可选的，所述图像坐标系中相互垂直的u轴和v轴处于图像帧所在平面，其中v轴 沿图像帧平面竖直向下；所述相机坐标系的坐标原点为所述单目相机的光心位置，Z轴垂 直于图像帧所在平面，X轴与u轴平行，Y轴与v轴平行。
[0048] 可选的，所述根据Pt、R。。和T确定出与Pti之间的第一对等关系，所述第一对等 关系具体包括：
[0049] Pt !=RccPt+Tcc;
[0050] 其中，Pt :在相机坐标系下的坐标为（Xti，Yti，Zt ^坐标为（Xt，Yt，Zt)。
[0051] 可选的，所述根据？#角定出与mSit的第二对等关系，所述第二对等关系具体包括：
[0052]
[0053] 其中，屯为特征点m在第t帧图像的向量模值，
[0054] (Xt，Yt，Zt)T为（Xt，Yt，Zt)的转置矩阵。
[0055] 可选的，所述相机成像模型，具体包括：
[0056]
[0057] 其中，
[0058]
r(a) =k:a+k3a3+k5a5+k7a7+kga9 ，k1;k3,k5,k7,k9,u。，v。，fx,fy为相机内部参数。
[0059] 可选的，所述根据mt、mti和计算mti和m