基于视频和三维空间信息的目标定位和跟踪系统及方法与流程

本发明涉及信息融合
技术领域：
，更具体地，涉及一种基于视频和三维空间信息的目标定位和跟踪系统及方法。
背景技术：
：目前，基于视频和三维空间信息配准融合的目标定位和跟踪方法可以使得用户直观地、准确地从一个虚拟的现实平台上得到运动目标的空间信息定位以及运动轨迹。从目前的技术看来，视频与三维空间信息技术的融合在各行业的应用还主要局限于对各种地理信息要素的管理及二三维空间信息展示方面，在分析、决策及专业服务方面仍处于摸索阶段。如何将宏观复杂的运动物体的空间定位与追踪信息逼真的展示在人们眼前、如何将海量多元的空间信息广泛服务于人们的日常生活中、如何将先进的视频与空间信息融合的平台有效地应用是需要解决的问题。近年来，基于地理空间信息的定位技术在公共安全服务、动态资源管理、船舶管理、导航和智能交通系统(ITS)等多方面都有广泛的应用，定位技术在世界范围内受到了高度的重视并进行了深入研究。通常的定位算法研究都是基于不带视频融合的二维或三维空间信息平台，但是在实际应用中不仅需要确定运动目标的坐标，还需要知道运动目标的具体空间进行定位与追踪，特别是在高层建筑林立的闹市或者高低起伏不定的山地环境下这种需求更加迫切。技术实现要素：本发明提供一种克服上述问题或者至少部分地解决上述问题的基于视频和三维空间信息配准融合的目标定位和跟踪系统及方法。为了解决上述问题，根据透视成像与摄影测量一致性原理，提出基于三维场景仿真成像，并依靠视频图像与仿真图像间的对应关系进行地理场景中目标的空间定位方法。根据本发明的一个方面，提供一种基于视频和三维空间信息配准融合的目标定位和跟踪方法其特征在于，包括：步骤1，通过摄像机获取场景和目标的视频信息；步骤2，建立三维虚拟场景，将摄像机采集的视频信息融合到三维空间信息中，形成具有空间坐标的目标虚拟场景；步骤3，采集运动目标的信息，基于标定物的标定方法获取目标的空间坐标，在三维虚拟场景中成像显示。根据本申请的另一方面，提供一种基于视频和三维空间信息配准融合的目标定位和跟踪系统，包括摄像机采集模块、三维虚拟场景模块、三维空间成像木块和运动目标定位与追踪模块；所述摄像机采集模块用于录制视频和传输视频，获取场景和目标的视频信息；所述三维虚拟场景模块用于建立三维虚拟场景，将摄像机采集的视频拼接融合到三维空间，形成带空间坐标的虚拟场景；所述三维空间成像模块，用于所有运动目标的数据采集以及在三维虚拟场景的成像；所述目标坐标定位与追踪模块，用于运动物体在视频与三维空间融合后的平台上的空间定位与运动轨迹追踪。本申请提供的基于视频与三维空间信息配准融合的目标定位与跟踪系统和方法，可以将视频信息与三维空间信息融合在一起，直观形象地以三维展示表现出来，供人们观察、使用与分析。例如，可以从视频信息与三维空间信息融合的平台中看到某运动物体的在某时刻的三维空间信息与视频信息，也可以跟踪其运动轨迹。本申请可以运用各种技术手段，通过各种渠道收集数据，具体包括空间数据的采集和属性数据的采集。本申请的系统还具有数据管理功能，能够提供视频数据和三维空间数据的统一存储、检索、查询、修改功能，并能够在不同范围内对平台进行编辑，具有多幅视频拼接融合功能，并且自动融合到三维空间信息上。本申请的系统可以实现数据的计算与分析功能，该功能是视频和三维空间信息配准融合系统的核心功能，通过地理信息系统的计算功能和空间位置之间的距离量算等，来计算运动物体的定位与轨迹跟踪。进一步，在一定程度上解决了虚拟现实平台上对目标的定位跟踪的问题。附图说明图1为根据本发明实施例的监控目标的空间定位示意图；图2为根据本发明实施例的基于视频和三维空间信息配准融合的目标定位与跟踪方法的流程图。具体实施方式下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。可以理解，三维空间是指点的位置由三个坐标决定的空间，客观存在的现实空间就是三维空间，具有长、宽、高三种度量。本申请所提及的目标定位是指目标在视频和三维空间信息配准融合后的系统上的位置信息定位。本申请提及的跟踪方法是指跟踪目标在视频和三维空间信息配准融合后的系统上的定位信息的方法。图1示出根据本发明实施例的基于视频和三维空间信息配准融合的目标定位和跟踪方法的总体流程图，如图1所示，所述方法包括：步骤1，通过摄像机获取场景和目标的视频信息；步骤2，基于数字高程模型(DigitalElevationModel，DEM)建立三维虚拟场景，将摄像机采集的视频融合到三维空间，形成具有空间坐标的目标虚拟场景；步骤3，采集运动目标的信息，基于标定物的标定方法获取目标的空间坐标，在三维虚拟场景中成像显示。所述方法还包括步骤4，将多路视频配准融合到三维数字地球系统中。进一步，步骤3还包括：根据每一时刻运动目标的空间坐标，获取运动目标在每个时刻三个方向上的位移、速度和加速度，定位和跟踪运动目标的轨迹。其中，步骤3中，计算运动目标的三维空间绝对坐标中，本方法使用摄像机基于标定物的标定方法。进一步，步骤3还包括，首先利用平面模板标定方法计算主点坐标和纵横比，然后采用Tsai摄像机进行摄像机标定，并计算其投影矩阵；为了得到精确的标定参数，利用初次得到的投影矩阵将三维空间坐标投影到二维图像坐标与真实二维图像坐标的差值，通过迭代优化求得更为精确的摄相机参数；最后利用反投影矩阵和需要定位的运动目标图像坐标来计算运动目标的三维空间绝对坐标位置。其中，步骤2中，采用基于视频和三维信息配准融合来进行目标定位。图2示出基于视频和三维空间信息配准融合的目标定位与跟踪方法的流程图，如图2所示，步骤2包括：进行摄像机标定；求解摄像机模型外部参数，即摄像机的坐标系相关的参数；求解摄像机模型内部参数，即摄像机的焦距，镜头畸变系数等；计算两个摄像机之间的投影矩阵；计算基于视频与三维空间信息融合后的平台的空间三维坐标，并且输出空间定位信息与追踪信息。进一步，为了确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。利用给定物体的参考点坐标(x，y，z)和给定物体的图像坐标(u，v)来确定摄像机内部的几何和光学特性(内部参数)以及摄像机在三维世界中的坐标关系(外部参数)。内部参数包括镜头焦距f、镜头畸变系数(k、s、p)、坐标扭曲因子s和图像坐标原点(u0，v0)等参数。外部参数包括摄像机坐标系相对于世界坐标系的旋转矩阵R和平移向量T等参数。具体地，首先利用最小二乘法求解超定线性方程组，求得模型外部参数；然后在求解过程中将CCD(电耦合器件)阵列感光元的横向间距和纵向间距当作已知参数，求解的摄像机内部参数。经过以上所述的计算过程，摄像机内部参数以及两个摄像机之间的位置关系都已经知道，接下来计算两个摄像机的投影矩阵。令第一个摄像机所在的位置作为世界坐标系的原点，则两个摄像机的投影矩阵为：P1=K1[I/0]P2=K2[R|T]]]>其中，K1,K2为摄像机内参数矩阵，R,T为两个摄像机之间的旋转和平移矩阵，因为第一个摄像机所在位置是世界坐标系的原点，所以R,T也就是第二格摄像机对于世界坐标系的旋转和平移矩阵。接下来，利用空间中已知的两点之间的距离计算比例因子，由三角形定位原理计算出的运动目标空间三维坐标乘以比例因子得到真实的相对空间坐标位置。用同样的方法得到每一时刻运动目标的空间坐标，然后计算运动目标在每个时刻的三个方向上的位移、速度、加速度，根据这些数据便可以跟踪到运动目标的轨迹。其中，步骤4中，将多路视频配准融合到三维数字地球系统的方法包括：通过摄像机标定算法求出摄像机的参数，然后利用摄相机参数求取投影矩阵，最后利用三角形的原理计算空间三维位置。该方法有以下特点：(1)、适用于摄像机之间有重叠视域的场景，即至少存在两个摄像机，并且计算出的空间坐标是相对与设定的第一个摄像机世界坐标原点的位置；(2)、方法适用于室内室外所有场景，因为不使用GPS，因此不受室内室外的限制；(3)、这种方法也有存在的误差：摄像机标定采用的是自标定的方法，摄像机模型并没有考虑畸变的情况，因为本方法采用的是传统标定的方法，摄像机模型采用的是带一阶径向畸变的模型，这样会带来坐标误差，如果需要更高的精度，还需要进一步改进。根据本申请的另一个实施例，提供一种基于视频和三维空间信息配准融合的目标定位和跟踪系统，该系统包括摄像机采集模块、三维虚拟场景模块、三维空间成像木块和运动目标定位与追踪模块。该系统还包括三维数字地球融合模块。具体地，所述摄像机采集模块用于录制视频和传输视频，获取场景和目标的视频信息。三维虚拟场景模块，用于建立三维虚拟场景，将摄像机采集的视频拼接融合到三维空间，形成一个带空间坐标的虚拟场景。三维空间成像模块，用于所有运动目标的数据采集以及在三维虚拟场景的成像。目标坐标定位与追踪模块，用于运动物体在视频与三维空间融合后的平台上的空间定位与运动轨迹追踪。其中，所述三维空间成像模块还用于基于摄像机基于标定物的标定方法，计算运动目标的三维空间绝对坐标中。进一步，所述三维空间成像模块还包括，首先利用平面模板标定方法计算主点坐标和纵横比，然后采用Tsai摄像机进行摄像机标定，并计算其投影矩阵；为了得到精确的标定参数，利用初次得到的投影矩阵将三维空间坐标投影到二维图像坐标与真实二维图像坐标的差值，通过迭代优化求得更为精确的摄相机参数；最后利用反投影矩阵和需要定位的运动目标图像坐标来计算运动目标的三维空间绝对坐标位置。其中，所述目标坐标定位与追踪模块还用于：进行摄像机标定；求解摄像机模型外部参数，即摄像机的坐标系相关的参数；求解摄像机模型内部参数，即摄像机的焦距和镜头畸变系数等；计算两个摄像机之间的投影矩阵；计算基于视频与三维空间信息融合后的平台的空间三维坐标，并且输出空间定位信息与追踪信息。进一步，为了确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立摄像机成像的几何模型,这些几何模型参数就是摄像机参数。利用给定物体的参考点坐标(x，y，z)和给定物体的图像坐标(u，v)来确定摄像机内部的几何和光学特性(内部参数)以及摄像机在三维世界中的坐标关系(外部参数)。内部参数包括镜头焦距f、镜头畸变系数(k、s、p)、坐标扭曲因子s和图像坐标原点(u0，v0)等参数。外部参数包括摄像机坐标系相对于世界坐标系的旋转矩阵R和平移向量T等参数。最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3