基于视觉变换的运动目标轨迹预测方法及装置与流程

1.本发明涉及车辆环境感知技术领域，尤其涉及一种基于视觉变换的运动目标轨迹预测方法及装置。


背景技术：

2.无人驾驶车辆是通过感知、预测、规划和控制等技术方式来实现在公开道路上的自动行驶，往往需要借助车载摄像头、激光雷达、imu(惯性测量单元)和gnss(全球导航卫星系统)等车载传感器实现车辆周围环境的感知和定位，以及自车的定位和导航信息，继而基于地图信息和障碍物信息进行实时决策规划。环境感知作为无人驾驶的重要一环，是无人驾驶车辆与外界环境信息交互的关键，通过环境感知能够使无人驾驶车辆更好地模拟人类驾驶员的感知能力，从而理解自身和周边的驾驶态势。对于无人驾驶车辆决策规划而言，准确预测出障碍物的运动轨迹非常关键，轨迹预测的精度将直接影响无人驾驶车辆行驶的安全可靠性。
3.针对于无人驾驶车辆的运动轨迹预测，现有技术中通常是采用以下方式实现：
4.1、针对车载摄像头拍摄的视频，采用基于规则的预测算法或者基于机器学习的无人驾驶运动目标预测算法。但是该类方式，要么会存在因检测算法的不稳定导致的漏检问题，要么会存在目标被遮挡时易导致跟踪失败的问题，因而预测精度有限，不适用于对预测精度要求较高的无人驾驶车中实现实时运动目标轨迹预测。
5.2、采用基于激光点云数据的运动目标轨迹预测方法，即基于激光点云数据来实现运动目标轨迹的预测。但是该类方法所使用的设备费用昂贵、工作环境要求高，且由于其数据的分辨率低，不能准确区分预测目标的类别，当目标相距较近时或者相交时容易产生轨迹预测不准或者错误的情况，对于单帧激光雷达扫描的计算时间和精度也是不稳定的，不能满足无人驾驶应用场景下的安全性要求(稳定，小方差)应用要求。
6.专利申请cn202110331661.2公开一种无人驾驶邻近车辆轨迹预测方法，该方案通过lkdbscan(limit kdbscan)提取出视频数据和点云数据中无人驾驶邻近车辆周围车辆集合以及路况信息，然后使用长短期记忆神经网络lstm对车辆的实时行为进行预测，最后，结合lstm预测的车辆行为与车辆的历史行为数据，通过blstm(behavior basedlstm)对车辆的轨迹进行预测。上述方案仅能够实现邻近车辆的轨迹预测，而车辆在行驶过程中，还可能会遇到人、动物等移动目标，上述方案就无法实现除邻近车辆以外的运动目标轨迹预测，适用局限性较大，且上述方案需要同时处理视频数据和点云数据，同时车辆轨迹的预测需要依赖于车辆行为的预测以及历史行为数据，不仅实现复杂且数据处理量大，会导致预测效率低等问题。


技术实现要素：

7.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、预测速度快、效率以及精度高的基于视觉变换的运动目标轨迹预测方法
及装置，可以实现车辆运行过程中对周围各类运动目标的实时轨迹预测。
8.为解决上述技术问题，本发明提出的技术方案为：
9.一种基于视觉变换的运动目标轨迹预测方法，应用于车载环境感知，其特征在于，该方法步骤包括：
10.s1.实时获取车载图像采集设备采集到的道路环境图像，并进行运动目标的检测，得到运动目标的2d包围盒；
11.s2.使用所述运动目标的2d包围盒进行目标轨迹预测并进行目标跟踪，得到运动目标轨迹预测坐标；
12.s3.根据预先标定得到的图像像素和车体之间的坐标转换关系，将所述运动目标轨迹预测坐标转换至车体坐标系下，得到车体坐标系下的运动目标轨迹预测坐标。
13.进一步的，步骤s1中，通过将实时获取的道路环境图像输入至目标检测网络模型中，进行所述运动目标的检测，所述目标检测网络模型使用车载图像采集设备采集的历史道路环境图像数据集训练得到。
14.进一步的，所述步骤s1中还包括根据检测出的运动目标的运动轨迹以及惯性特征、速度变化特征识别出目标类别，其中当运动目标的运动轨迹趋向于与车道线边界平行的直线，且不会超出车道线边界，以及运动目标的惯性特征大于预设阈值、速度变化率小于预设阈值时判定为车辆。
15.进一步的，所述步骤s2中，使用卡尔曼滤波器对所述运动目标的2d包围盒进行目标轨迹预测；通过使用预先训练好的深度网络模型提取所述2d包围盒的深度特征，然后使用所述2d包围盒以及提取出的所述深度特征进行运动目标跟踪，并使用质量m和速度v作为运动目标的物理特征，对跟踪过程中目标识别的结果进行匹配修正。
16.进一步的，所述步骤s3中，通过以布置在车辆上的激光雷达作为参考坐标系，对车身和激光雷达以及激光雷达和车载摄像头分别进行联合标定，以确定车体坐标系和激光雷达坐标系、激光雷达坐标系和车载摄像头之间的变化关系，联合标定得到激光雷达到车体的外参矩阵、激光雷达到车载摄像头的外参矩阵，将联合标定得到的所述激光雷达到车体的外参矩阵求逆后与所述激光雷达到车载摄像头的外参矩阵相乘，得到车体到车载摄像头的外参变换矩阵，根据车载摄像头内参矩阵、所述车体到车载摄像头的外参变换矩阵，构建得到所述图像像素和车体之间的坐标转换关系。
17.进一步的，所述车载图像采集设备的内参矩阵为其中fx、fy、cx、cy分别为车载图像采集设备在像素坐标系下的u轴方向上的尺度因子、车载图像采集设备在像素坐标系下的v轴方向上的尺度因子、图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数、图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数，所述车体与车载图像采集设备之间的外参矩阵为其中r
11
～r
33
分别为正交旋转矩阵的元素，t1～t3分别为平移矩阵的元素，构建得到所述图像像素和车体之间的坐标转
换关系为：
[0018][0019]
其中，u,v为像素坐标点的坐标，w为比例因子，x
camera
、y
camera
、z
camera
分别为车体坐标系下的x,y,z轴坐标；
[0020]
根据车体与地面之间的距离h配置z
camera
，即zcamera＝-h，并将所述内参矩阵、外参矩阵相乘后转换为：
[0021][0022]
其中，a00～a23分别为所述内参矩阵、外参矩阵相乘得到的矩阵a中各元素；
[0023]
得到最终的所述图像像素和车体之间的坐标转换关系为：
[0024][0025]
其中，x,y分别为车体坐标系下的x,y轴坐标。
[0026]
进一步的，所述步骤s3中，将每个轨迹预测得到的2d包围盒底部中心点坐标，使用所述坐标转换关系进行俯视投影，得到预测出的运动目标在当前帧的对应于车体坐标系的预测轨迹坐标，完成运动目标的轨迹预测。
[0027]
进一步的，所述步骤s3后还包括根据前后两帧的运动目标的轨迹预测坐标之间的位置偏差，得到运动目标的运动速度，并按照式估计下一帧的运动速度，其中vx'、vy'分别为下一帧运动速度中x轴、y轴上的速度分量，vx、vy分别为当前帧运动速度中x轴、y轴上的速度分量，k为预设阈值。
[0028]
一种基于视觉变换的运动目标轨迹预测装置，包括：
[0029]
检测模块，用于实时获取车载图像采集设备采集到的道路环境图像，并进行运动目标的检测，得到运动目标的2d包围盒；
[0030]
预测与跟踪模块，用于使用所述运动目标的2d包围盒进行目标轨迹预测并进行目标跟踪，得到运动目标轨迹预测坐标；
[0031]
视觉变换模块，用于根据预先标定得到的图像像素和车体之间的坐标转换关系，将所述运动目标轨迹预测坐标转换至车体坐标系下，得到车体坐标系下的运动目标轨迹预测坐标。
[0032]
一种计算机装置，包括处理器以及存储器，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，所述处理器用于执行所述计算机程序以执行如上述方
法。
[0033]
与现有技术相比，本发明的优点在于：
[0034]
1、本发明通过实时获取无人车车载摄像头实时采集道路环境图像，检测出道路上的各运行目标的2d包围盒，然后基于2d包围盒进行目标预测以及目标跟踪，对于预测得到的运动目标轨迹预测坐标，通过根据坐标转换关系进行投影，得到车体坐标系下的运动目标轨迹预测坐标，可以结合目标预测跟踪与视觉变换实现可靠、准确的运动目标轨迹预测，避免检测不稳定导致的漏检问题以及目标被遮挡时导致跟踪失败的问题，当目标相距较近时或者相交时仍然能够实现准确的轨迹预测，不仅预测精度高，且预测速度快且灵活性强，可以实现道路环境中各类运动目标的快速、准确检测以及轨迹预测。
[0035]
2、本发明进一步充分考虑物体运动的惯性因素、运动物体的特征以及不同类别物体运动速度的差异，将运动目标的惯性和特征结合起来考虑进行目标类别识别，使得可以很好解决个体目标身份确认不准以及跟踪id切换频繁的问题。
[0036]
3、本发明进一步通过按照车体-车载雷达-车载摄像头3个坐标系之间的连续转换，能够有效构建得到像素和车身之间的坐标转换关系，以及通过令车体的坐标系的高度为一固定值，经过列方程进行求解，实现从低维度(像素坐标系)转换到高维度(车体坐标系)的转换。
[0037]
4、本发明进一步通过利用车身和激光雷达以及车载摄像头与激光雷达分别进行联合标定，得到像素和车身之间的坐标转换关系，然后依据俯视投影，计算出相邻帧运动目标包围盒底部中心点投影坐标的位移，可以快速、精准的实现各类运动目标速度的检测。
附图说明
[0038]
图1是本实施例基于视觉变换的运动目标轨迹预测方法的实现流程示意图。
[0039]
图2是本发明具体应用实施例中实现运动目标轨迹预测的详细流程示意图。
[0040]
图3是本实施例中车载摄像头以及激光雷达的布置原理示意图。
[0041]
图4是本实施例中坐标转换的原理示意图。
具体实施方式
[0042]
以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
[0043]
如图1所示，本实施例基于视觉变换的运动目标轨迹预测方法的步骤包括：
[0044]
s1.实时获取车载图像采集设备采集到的道路环境图像，并进行运动目标的检测，得到运动目标的2d(dimensional)包围盒,2d包围盒即为检测到的运动目标的最小检测矩形框；
[0045]
s2.使用运动目标的2d包围盒进行目标轨迹预测并进行目标跟踪，得到运动目标轨迹预测坐标；
[0046]
s3.根据预先标定得到的图像像素和车体之间的坐标转换关系，将运动目标轨迹预测坐标转换至车体坐标系下，得到车体坐标系下的运动目标轨迹预测坐标。
[0047]
本实施例通过实时获取无人车车载摄像头实时采集道路环境图像，检测出道路上的各运行目标的2d包围盒，然后基于2d包围盒进行目标预测以及目标跟踪，对于预测得到
的运动目标轨迹预测坐标，通过根据坐标转换关系进行投影，得到车体坐标系下的运动目标轨迹预测坐标，可以结合目标预测跟踪与视觉变换实现可靠、准确的运动目标轨迹预测，可以避免检测不稳定导致的漏检问题以及目标被遮挡时导致跟踪失败的问题，当目标相距较近时或者相交时仍然能够实现准确的轨迹预测，不仅预测精度高，且预测速度快且灵活性强，可以实现道路环境中各类运动目标的快速、准确检测以及轨迹预测。由预测到的运动目标轨迹，进一步可以提供给无人驾驶车辆决策端，以为无人驾驶车辆决策规划提供决策支撑。
[0048]
本实施例中，步骤s1中车载图像采集设备具体为车载摄像头，车载摄像头具体布置在无人驾驶车辆顶部，如图3所示，车载摄像头朝向地面，以实时采集道路周围环境信息。车载摄像头的布置位置以及摄像头所使用的类型具体都可以根据实际需求进行配置、选择。
[0049]
本实施例中，步骤s1中具体通过将实时获取的道路环境图像输入至目标检测网络模型中，进行运动目标的检测，目标检测网络模型使用车载图像采集设备采集的历史道路环境图像数据集训练得到。历史道路环境图像数据集即为预先由车载摄像头采用的各类道路周围环境图像，历史道路环境图像数据集中包含有各类的运动目标，运动目标具体可以为车辆、行人以及动物等各类所需识别的目标，通过对历史道路环境图像数据集中各图像中的运动目标进行标记后再进行训练，得到目标检测网络模型，后续即可使用该目标检测网络模型实现目标的检测识别。
[0050]
上述目标检测网络模型构建的详细步骤包括：
[0051]
s101.利用车辆上车载摄像头录制周围的道路交通环境的视频数据，并分割成训练集数据train、测试集数据test。
[0052]
上述车载摄像头采集的视频数据可以但不限于为mp4格式，通过视频处理程序将视频数据以分割并以图片形式保存，然后将图片按预定比例划分成训练集train和测试集test。
[0053]
s102：将训练集train中的图片进行标注，包括所有目标的位置信息及其类别向量，分别制作形成训练用的图片集pa和验证用的图片集pb两部分。
[0054]
上述对训练集train中的图片进行标注时具体可以生成2d包围盒，2d包围盒即为检测到的运动目标的最小检测矩形框，2d包围盒的左上角坐标(x，y)与宽高(w，h)大小即为运动目标的位置信息，然后将标注好的图片按一定比例随机划分为训练用的图片集pa和验证用的图片集pb。
[0055]
s103：利用制作好的训练用的图片集pa输入初始目标检测网络模型进行训练，得到训练后的目标检测模型m1。
[0056]
上述目标检测网络模型可以是深度神经网络模型yolov5，也可以是其他类型的神经网络模型。
[0057]
s104：实时采集车载摄像头的图像，并通过ros以话题tp1的形式发布。
[0058]
进一步说明，话题tp1形式可以自定义，例如“/minibus/camera/image”等。
[0059]
s105：利用s103得到的目标检测模型m1订阅步骤s104的话题tp1，并转换成图片,然后对转换后的图片进行检测，得到该图片中运动目标的2d包围盒和类别。
[0060]
上述具体可以通过opencv等工具库将话题tp1转换成图片形式。
[0061]
本实施例基于车载摄像头采集到的道路环境图像，使用深度神经网络进行目标检测，不仅可以快速、准确的检测出各类运动目标，得到目标的2d包围盒，还可以识别各物体所属类别。
[0062]
不同运动物体之间的惯性因素、运动物体的特征以及不同类别物体运动速度特性不同，如车辆运动速度和行人运动速度是不同的，车辆运动轨迹和行人运动轨迹也是不同的。本实施例中，充分考虑物体运动的惯性因素、运动物体的特征以及不同类别物体运动速度的差异，将运动目标的惯性和特征结合起来考虑，以实现运动目标的分类。
[0063]
车辆沿着车道线边界行走时会有以下特征：
①
运动轨迹满足大致是与车道线边界平行的直线，且不会超出车道线边界
②
车辆运动的惯性较大，且速度变化较均匀，而行人的速度具有不可预测性。本实施例考虑上述特性，根据运动目标的运动轨迹以及惯性特征、速度变化特征来辅助判别目标类别，其中当运动目标的运动轨迹为趋向于与车道线边界平行的直线，且不会超出车道线边界，以及运动目标的惯性特征大于预设阈值，速度变化率小于预设阈值时判定为车辆。通过将运动目标的惯性和特征结合起来考虑进行目标类别识别，可以高效的识别出道路上的各物体所属类别，同时可以很好解决个体目标身份确认不准以及跟踪id切换频繁的问题。
[0064]
本实施例步骤s2中，具体使用卡尔曼滤波器对运动目标的2d包围盒进行目标轨迹预测。通过卡尔曼滤波跟踪运动目标的包围盒底部中心点的x方向和y方向，当然跟踪的包围盒具体目标点除中心点外也可以是其他位置点。
[0065]
本实施例步骤s2中通过使用预先训练好的深度网络模型提取2d包围盒的深度特征，然后使用2d包围盒以及提取出的深度特征进行运动目标跟踪。深度网络模型使用特征提取网络，提取出2d包围盒对应目标的深度特征feature，该特征提取网络可以是resnet(残差网络)等网络结构，对检测得到的2d包围盒以及特征提取网络提取出的2d包围盒对应的深度特征feature进行目标跟踪，构成目标跟踪模块。本实施例通过采用深度学习检测网络检测出道路上的各物体所属类别及2d包围盒后，进一步将2d包围盒和深度网络所提取的特征送给目标跟踪模块进行目标跟踪，能够很好地解决跟踪标签切换频繁的问题。
[0066]
本实施例使用卡尔曼滤波算法预测检测出的运动目标的轨迹时，具体使用多目标跟踪算法deepsort中深度卷积重识别外观模型融合级联匹配算法的目标跟踪模块得到各个目标个体的运动轨迹，然后再将卡尔曼滤波预测出的轨迹信息经过视觉变换转换到世界坐标系。并利用物体的惯性原理使轨迹和reid(重识别)算法结合，采用策略判断，减少遮挡以及外观变化带来的影响，可靠性高、准确性好且鲁棒性更强。根据惯性定律，惯性和所检测到的运动目标的质量m和速度v有关，因此根据牛顿第一定律，所检测到的运动目标质量m越大，即2d包围盒越大，速度v越大，物体的惯性就越不容易改变。本实施例通过使用reid算法进行目标识别，将运动目标的质量m和速度v表示为该运动目标的物理特征，对reid的结果进行匹配修正，由此，能够有效解决遮挡及同一运动目标外观变化导致在前后帧的误匹配问题。
[0067]
本实施例当基于车载摄像头拍摄的图像检测出运动目标并完成跟踪后，进一步根据预先标定得到的图像像素和车体之间的坐标转换关系，将运动目标轨迹预测坐标转换至车体坐标系下，得到车体坐标系下的运动目标轨迹预测坐标，利用视觉变换来实现运动目标轨迹预测。
[0068]
本实施例在无人驾驶车辆上还布置有激光雷达，激光雷达具体可布置在车辆的左、右侧以及前、后侧，如图3所示。上述图像像素和车体之间的坐标转换关具体是通过对车体和激光雷达以及激光雷达和车载摄像头(车载图像采集设备)分别进行联合标定，即以激光雷达作为参照坐标系，分别进行车体和激光雷达、激光雷达和车载摄像头两次联合标定以确定车体坐标系和激光雷达坐标系、激光雷达坐标系和车载摄像头之间的变化关系，联合标定得到激光雷达到车体的外参矩阵、激光雷达到车载摄像头的外参矩阵，外参矩阵包括旋转矩阵和平移矩阵，将联合标定得到的激光雷达到车体的外参矩阵求逆后与激光雷达到车载摄像头的外参矩阵相乘，得到车体到车载摄像头的外参变换矩阵，即得到求解车体坐标与图像像素点之间的投影变换矩阵，根据车载摄像头内参矩阵、联合标定得到的两个外参变换矩阵计算得到的车体到车载摄像头的外参变换矩阵，构建得到图像像素和车体之间的坐标转换关系，即可实现图像像素和车体之间的坐标转换。
[0069]
本实施例中像素坐标到车体坐标的转换具体是分两步进行：先从车体坐标转换到车载摄像头坐标，然后从像素坐标转换到车载摄像头坐标，具体为：
[0070]
第一步、计算车体到车载摄像头的外参变换矩阵：联合标定结果的外参矩阵即为实现车载摄像头到激光雷达的变换，因此需要求逆，得到激光雷达到车载摄像头的变换,同时需要使用tf监听获取到车体到激光雷达的外参，车体到激光雷达和激光雷达到车载摄像头两个外参变换矩阵相乘即可得到车体到车载摄像头的外参变换矩阵。
[0071]
第二步、像素到车载摄像头的坐标转换：像素坐标系是二维，车载摄像头坐标系是三维，正常情况下维度相同可以进行坐标变换，或者从高维度转换到低维度，但是从低维度转换到高维度则因为信息缺失，无法进行转换，本实施例通过给定某一维度值进行列方程求解实现转换。
[0072]
本实施例图像像素和车体之间的坐标转换关系，具体是通过根据车载图像采集设备的内参矩阵、车体与车载摄像头之间的外参矩阵构建得到。车载摄像头的内参矩阵为其中fx、fy、cx、cy分别为车载摄像头在像素坐标系下的u轴方向上的尺度因子、车载摄像头在像素坐标系下的v轴方向上的尺度因子、图像的中心像素坐标和图像原点像素坐标之间相差的横向像素数(即摄像头主点横坐标)、图像的中心像素坐标和图像原点像素坐标之间相差的纵向像素数(即摄像头主点纵坐标)，车体到车载摄像头之间的外参矩阵为其中r
11
～r
33
分别为正交旋转矩阵的元素，t1～t3分别为平移矩阵的元素，即构建得到图像像素和车载摄像头之间的坐标转换关系为：
[0073][0074]
其中，u、v为像素坐标点坐标，w为比例因子，x
camera
、y
camera
、z
camera
分别为车体坐标
系下x,y,z轴坐标；
[0075]
车体坐标系原点在车体后轴中心，后轴中心离地h，根据该h配置zcamera，即zcamera＝-h(地面所在的平面在车体坐标系里是z＝-h的平面)。则根据zcamera＝-h，并将内参矩阵、外参矩阵相乘后转换为：
[0076][0077]
其中，a00～a23分别为述内参矩阵、外参矩阵相乘得到的矩阵a中各元素；
[0078]
矩阵相乘后得到方程组：
[0079][0080]
得到最终的图像像素和车体之间的坐标转换关系为：
[0081][0082]
其中，x,y分别为车体坐标系下的x,y轴坐标。
[0083]
通过交叉相乘即可求出任意一点像素坐标点(u，v)在车体坐标系的坐标(x,y)。
[0084]
本实施例步骤s3中，具体将每个轨迹预测得到的2d包围盒底部中心点坐标，使用坐标转换关系进行俯视投影，得到预测出的运动目标在当前帧的对应于车体坐标系的预测轨迹坐标，完成运动目标的轨迹预测。
[0085]
常规坐标转换往往是两种不同类型的坐标系之间进行转换，如激光和车体的坐标变换可得到激光坐标系下坐标在车体坐标系下的坐标。本实施例通过按照车体-车载雷达-车载摄像头3个坐标系之间的连续转换，再乘上车载摄像头内参，最终能够构建得到像素和车身之间的坐标转换关系，并且由于像素坐标系是二维的，而车体坐标系是三维的，通过令车体的坐标系的高度为一固定值，通过列方程进行求解，可以实现从低维度转换到高维度的转换。转换原理如图4所示，图中self-drivingcar代表无人驾驶车，lsliadar代表前镭神固态激光雷达，camera代表车载前摄像头，r1和t1分别代表激光雷达到车体的旋转矩阵和平移矩阵，r2和t2分别代表车载摄像头到激光雷达的旋转矩阵和平移矩阵，r3和t3是经(r1,t1)和(r2,t2)相乘得到，最终得到车体和像素坐标系之间的变换关系。
[0086]
本实施例步骤s3后还包括根据前后两帧的运动目标轨迹预测坐标的位置偏差，得到运动目标的运动速度。通过车身和激光雷达以及车载摄像头与激光雷达分别进行联合标定，所得到像素和车身之间的坐标转换关系，然后依据俯视投影，计算出相邻帧运动目标包围盒底部中心点投影坐标的x方向的位移、y方向的位移，分别计算出所跟踪到运动目标的x方向的速度和y方向的速度，可以快速、精准的实现各类运动目标速度的检测。
[0087]
本实施例具体计算当前帧目标的2d包围盒底部中心点的投影坐标(u1，v1)与前一帧目标的2d包围盒中心点的投影坐标(u2，v2)的位置偏差，代入上述如式(4)所示的变换方
程式组即可求得其对应于车体坐标系的坐标(x1，y1)、(x2，y2)，最终按照式vx＝(x2-x1)/δt，vy＝(y2-y1)/δt即可计算出目标的运动速度，其中δt为前后两帧的时间间隔。
[0088]
车辆在前一帧运动的速度可沿着车道线分解成x方向的速度vx和y方向的速度vy，因此进一步的速度估计可使用该特征进行约束，其中vx方向为车道线的法线方向，vy方向为车道线的切线方向。由于车辆在靠近车道线边界行驶时，在很短时间内无人车以一个大的法线方向速度vx就会驶出一个很大的距离，则会超出车道线边界，因此vx与vy的比值必须小于阈值k,否则如果vx与vy的比值大于k,则在很短时间内无人车势必会超出车道线边界。本实施例进一步利用下式对下一帧的运动的速度具体依据vx与vy的比值关系更新，更新公式即为：k的值可根据经验取值，如取为0.09，则计算方程式如下：
[0089]
本实施例通过车载摄像头实时采集道路交通环境信息，采用深度学习检测网络有效地检测出道路上的各物体所属类别及2d包围盒，进一步将2d包围盒和深度网络所提取的特征送给目标跟踪模块进行目标跟踪，能够很好地解决跟踪标签切换频繁的问题，进一步通过车载摄像头与激光雷达之间联合标定以及相机到地面的俯视投影，最终可以得到可靠的、精确的目标轨迹预测坐标，能够在任意的车载摄像头下基于视觉变换实现多种运动目标的轨迹预测，提升无人驾驶车辆运动目标轨迹预测的准确率，减少轨迹预测的误差，从而为上层决策规划提供准确信息，可以极大地提高无人驾驶的安全性和效率，同时还能够大大降低环境感知的成本和复杂性。
[0090]
本实施例上述方法是应用于无人驾驶车辆的车辆感知中，以用于实现运动目标轨迹预测，当然也可以根据实际需求适用于有类似需求的普通车辆中，如车辆自动刹车功能等。
[0091]
本实施例基于视觉变换的运动目标轨迹预测装置，包括：
[0092]
检测模块，用于实时获取车载图像采集设备采集到的道路环境图像，并进行运动目标的检测，得到运动目标的2d包围盒；
[0093]
预测与跟踪模块，用于使用运动目标的2d包围盒进行目标轨迹预测并进行目标跟踪，得到运动目标轨迹预测坐标；
[0094]
视觉变换模块，用于根据预先标定得到的图像像素和车体之间的坐标转换关系，将运动目标轨迹预测坐标转换至车体坐标系下，得到车体坐标系下的运动目标轨迹预测坐标。
[0095]
本实施例检测模块具体包括目标检测网络模型，通过将实时获取的道路环境图像输入至目标检测网络模型中，进行所述运动目标的检测，目标检测网络模型使用车载图像采集设备采集的历史道路环境图像数据集训练得到。
[0096]
本实施例检测模块还包括目标类别识别单元，用于根据检测出的运动目标的运动
轨迹以及惯性特征、速度变化特征识别出目标类别，其中当运动目标的运动轨迹趋向于与车道线边界平行的直线，且不会超出车道线边界，以及运动目标的惯性特征大于预设阈值、速度变化率小于预设阈值时判定为车辆。
[0097]
本实施例预测与跟踪模块具体包括轨迹预测单元以及目标跟踪单元，轨迹预测单元使用卡尔曼滤波器对运动目标的2d包围盒进行目标轨迹预测；目标跟踪单通过使用预先训练好的深度网络模型提取所述2d包围盒的深度特征，然后使用2d包围盒以及提取出的所述深度特征进行运动目标跟踪。
[0098]
本实施例视觉变换模块中，通过对车身和激光雷达以及激光雷达和车载摄像头分别进行联合标定，使用车载图像采集设备的内参矩阵、车体与车载图像采集设备之间的外参矩阵，构建得到图像像素和车体之间的坐标转换关系，坐标转换关系如上所述。
[0099]
本实施例上述车载图像采集设备即为车载摄像头，运动目标轨迹预测装置中各模块即可以布置在车辆上，实时依对车载摄像头采集的图像进行处理，也可以采用布置在远程控制端的方式，将数据传输给远程控制端，在控制端进行数据处理，以减少车辆上模块的设置，具体设置方式可以依据实际需求确定。
[0100]
本实施例基于视觉变换的运动目标轨迹预测装置与上述基于视觉变换的运动目标轨迹预测方法为一一对应，在此不再一一赘述。
[0101]
本实施例还包括计算机装置，包括处理器以及存储器，存储器用于存储计算机程序，处理器用于执行计算机程序，处理器用于执行计算机程序以执行如上述方法。
[0102]
本领域技术人员可以理解，上述计算机装置的描述仅仅是示例，并不构成对计算机装置的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
[0103]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0104]
所述计算机装置集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行
时，可实现上述各个基于模板标注的分布式爬虫方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信号以及软件分发介质等。
[0105]
上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。