一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法与流程

本发明属于北斗导航领域，特别涉及一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法。

背景技术：

近年来，跳伞广泛应用于军事方面，并在灾区救援、军事训练中发挥作用。跳伞具有运动复杂性高、危险性高、强度大、节奏快、联络难度大等特点，对跳伞员身体素质需求高，且受气候条件影响较大。在跳伞员离机后，气候因素会增加跳伞员判断落点方位的难度，导致偏离目标落点，而在夜间跳伞也会由于光线暗、视野小，跳伞难度骤升，如何降低气候、夜晚等环境因素对判断落点方位的影响对于提高跳伞质量，保障跳伞员的人身安全至关重要。

目前定点跳伞中，跳伞员主要通过所处环境的风向、风速并结合自己的经验主观判断目标落点的位置，因此跳伞员需要接受长期专业的训练才能进行定点跳伞。然而在无明显地面标识、无指挥引导的条件下，多变的环境会使跳伞员无法正确判断落点方位。因此，设计能够及时提供空间位置信息、周边地理环境，并规划出引导跳伞员准确降落路线的辅助系统是极为必要的。

技术实现要素：

本发明所设计的系统是可以及时为跳伞员提供实时位置信息与目标落点方位的辅助系统。它利用来自北斗定位系统的高精度、高可靠性的位置数据，提取来自gis系统的对应位置的空间地理信息，通过增强现实技术将提取到的信息与跳伞员视野内的场景进行匹配叠加，将目标落点的方位与相关数据显示在跳伞员视野中，为跳伞员提供可视化视觉辅助，从而有效提升跳伞的准确性、安全性，在为跳伞提供辅助功能的同时也表明增强现实技术与北斗导航系统数据的可视化结合具有广阔的前景。

为解决上述技术问题，本发明提供一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，按照功能主要分为北斗导航定位系统、gis空间地理数据处理系统和增强显示系统三个部分。具体分为以下步骤：

步骤1：北斗导航定位系统获取跳伞员的实时位置；

首先对跳伞员进行定位，通过北斗卫星接收机接收北斗卫星信号，并对接收到的信息进行处理，从中提取出所需要的位置信息，并发送至处理系统对数据处理整合。

北斗卫星接收机主要包括以下几个部分：天线、射频模块、基带模块、数字处理模块、定位模块。其中，天线模块负责接收北斗卫星信号，并将信号进行低噪放处理与变频处理，降低信号的载波频率。基带模块负责从复杂信号中提取出北斗卫星信号、持续输出北斗卫星信号、解调出基带信号并翻译基带信号。经过译码的北斗卫星信号将发送到数据处理模块，经过整理后被送往定位解算模块以求出卫星在地心地固坐标系中的坐标。

得到卫星的坐标后我们可以通过最小二乘迭代法、卡尔曼滤波法、扩展卡尔曼滤波法与无迹卡尔曼滤波法等解算算法解算出位置信息、速度信息、时间信息。

卡尔曼滤波法是使用状态方程和量测方程来实现的，在此简要介绍卡尔曼滤波法的解算流程：

首先，我们假设系统状态方程和量测方程如下所示：

其中，xk表示k时刻n×1维系统状态矢量；xk-1则是k-1时刻的系统状态矢量；φk|k-1为k-1时刻的m×1维量测矢量；wk-1为k-1时刻n×1维系统噪声矢量；γk-1为系统噪声驱动矩阵；zk为k时刻m×1维量测矢量；hk为k时刻m×n维量测矩阵；vk为k时刻m×1维量测噪声矢量；

系统噪声矢量wk-1和量测噪声矢量vk都是零均值白噪声序列，且两者互不相关，有如下关系：

其中，qk表示系统的噪声序列的方差矩阵，rk是量测噪声的方差序列的方差矩阵；这里，我们假定qk是非负定矩阵，并且假定rk为正定矩阵；另外，δki为kroneker函数：

结合上面对于滤波方程的数学描述和相关的统计数据，根据一组卡尔曼滤波方程，我们可以利用实际的测量值zk与测量值前一时刻求出的估计值求得k时刻的时间最优估计值

卡尔曼滤波方程如下所示：

状态一步预测方程：

协方差误差预测方程：

滤波增益方程：

状态估计计算方程：

状态一步预测方程：

pk＝[i-kkhk]pk|k-1

在求解位置、速度、时间信息时，使用卡尔曼滤波算法的思路为：首先，选择一个合适的初始值，即第一个状态的值，只有这样才能够保证卡尔曼滤波算法迭代的收敛性；合理运用预测与更新这两个步骤，用前一状态估计当前状态会有一定的误差，而直接测量当前状态时也会有误差，也称为测量误差，充分利用预测和更新两个步骤可以获得一个更加接近最优状态的值；此外，我们可以把位置误差等也作为系统的状态变量，进一步减小误差带来的影响。

步骤2：gis地图数据处理；

由于在空中进行实时的数据通信需要在地面建设多个基站，为了减少系统使用成本，提升系统适用性，本系统中采用从本地移动终端存储的数据中获取地理数据的方法，这种方法被称为c/s(客户端/服务器)结构的两层架构模式。在每次跳伞前，跳伞员将移动gis系统连接至互联网更新存储器中的数据，以保证跳伞过程中实际情况与gis空间地理信息的正确匹配。

在增强现实系统从gis数据库访问数据前需要先在gis数据库中创建数据源，即对存储器中的数据进行编辑。首先获取跳伞目标地点区域附近的遥感矢量图，对其进行投影变换、影像校正，接着利用gis技术对其进行数字化处理，在数字化处理的过程中需要将每个地理要素的名称、经纬度坐标、海拔、高程等属性数据补充完整，得到矢量地图。

步骤3：增强现实技术实现跳伞训练路径的规划；

首先通过特制的护目ar眼镜上设置的摄像头实时获取跳伞员视野，将其作为显示虚拟路径的界面与其他处理系统交互的接口，此步骤交由视频处理模块完成；接着通过跳伞员随身携带的集成传感器组实时获得多项数据，其中包括来自北斗定位接收机中的芯片的跳伞员的实时位置和速度；借助运动状态监测系统中传感器组取得的跳伞员自身的加速度，此步骤通过传感器模块完成；接着将位置信息与存储内的地理数据库中的数据信息匹配，获得跳伞员当前时刻所处地理位置，计算出与目标落点的相对位置，再通过算法在视野内标识出预计落点。通过获得的方位、姿态等数据在视野场景中创建实时坐标系，将规划出的路径通过转换模块进行坐标转换并与现实场景进行结合，显示在ar眼镜中，这个部分称为数据分析与图像生成模块。随着跳伞员的视野转换，以上模块循环工作更新ar眼镜中显示的合成图像，直至跳伞完成，系统结束任务。

跳伞员头部姿态数据的计算过程包括头部朝向与俯仰角、倾斜角的计算。其中头部的朝向可以通过电子罗盘的读数判断。与传统指针式和平衡结构罗盘相比，电子罗盘具有能耗低、体积小、重量轻、精度高、小型化的优点，同时，电子罗盘可以输出数字化信号，便于利用数字电路系统进行处理。

俯仰角和倾斜角的计算主要利用加速度传感器获得的读数。加速度传感器是一种感应加速度并将其转换为数字信号输出的传感器。基本原理是加速度将引起介质的可测量变形，通过测量其形状变量并通过转换电路将其转换为电压变化，并最终通过数模转换输出数字信号。加速度传感器可根据介质分为压电式，压阻式，电容式和伺服式加速度计。

由加速度传感器获取的数据是由作用在传感器的三个坐标轴上的力产生的加速度值。当设备静止时，它获取的值仅是传感器xyz的三轴方向上的重力加速度的投影矢量；当装置运动时，加速度传感器获取由作用在坐标轴上的力产生的加速度与沿轴向的重力加速度的投影矢量之间的差。可以根据装置的每个轴向上的加速度值来计算装置的空间姿态数据pitchandroll。

pitch表示装置绕x轴相对于水平面的角度，即俯仰角，实际上是视觉坐标系的y坐标与水平面之间的角度。其值范围为[-180，180]；roll表示设备绕y轴相对于水平面的旋转角度，即左右倾斜的角度，实际上是视觉坐标系的x坐标与水平面之间的角度。其大小范围为[-90，90]。

考虑到增强现实系统的主要功能是在真实场景中实时准确地叠加虚拟空间数据，并随着摄像机位置和姿态数据的变化，更改叠加的空间数据，也称为增强现实系统的图像配准。图像配准功能涉及以下五个坐标系的转换：

真实空间坐标系，也是基准坐标系，这意味着这里涉及到的所有坐标系都是参照真实空间坐标系定义的；

虚拟物体坐标系，也被称为局部坐标系，在创建虚拟物体时虚拟物体坐标系就已经被确定下来；

摄影机坐标系，是一个以摄影机为原点，以观察者的实际视线为坐标轴建立的坐标系；

投影面坐标系，是一个二维坐标系，用于定义物体在成像面上的所有点；

屏幕坐标系，是以显示器某一位置为原点建立的平面坐标系，以像素为单位。

系统要完成的功能决定了要添加的虚拟物体在真实坐标系中的方位，即虚拟物体坐标系与真实空间坐标系的关系是已知的，所以虚拟物体坐标系中三维虚拟物体的几何描述可以变换为绝对空间坐标系中的几何描述。经过注册计算后，增强现实系统的使用者头部在真实空间中的位置和方位角就已经确定了，观察者坐标系与真实空间坐标系之间的变换矩阵也就可以求出了，因此就可以将虚拟物体坐标系中三位虚拟物体的几何描述变换为观察者坐标系中的几何描述。下一步，再将观察者坐标系中的虚拟物体投影到屏幕坐标系中就可以实现增强现实系统中虚拟物体的绘制。

相对于现有技术，本发明的优点如下：本发明首先通过北斗导航系统获取位置信息数据，再将数据传递给gis数据处理系统进行数字化处理，最后通过增强现实技术把处理后的虚拟空间信息数据与真实景象叠加显示在跳伞员视野中，为跳伞员提供实时目标落点的位置和环境参数，有效保障了跳伞员的人身安全。将北斗导航系统与增强现实技术相结合的视觉辅助系统开发前景十分广泛，可以在此基础上研发更多的创新拓展功能应用到更多领域去。

附图说明

图1为本发明的系统说明图；

图2为技术方案步骤3中在视野场景中创建的实时坐标系图；

图3为实现增强现实立体显示所需的五个坐标系统说明图；

图4为mpu6050数据采集电路；

图5为nebulasuc260芯片。

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。本发明描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的其他实施例，都属于本发明所保护的范围。

实施例1：一种北斗导航定位功能与增强现实技术相结合规划跳伞训练路径的方法，按照功能主要分为北斗导航定位系统、gis空间地理数据处理系统和增强显示系统三个部分，具体分为以下步骤：

步骤1：北斗导航定位系统获取跳伞员的实时位置；

首先对跳伞员进行定位，通过北斗卫星接收机接收北斗卫星信号，并对接收到的信息进行处理，从中提取出所需要的位置信息，并发送至处理系统对数据处理整合；

北斗卫星接收机主要包括以下几个部分：天线、射频模块、基带模块、数字处理模块、定位模块，其中，天线模块负责接收北斗卫星信号，并将信号进行低噪放处理与变频处理，降低信号的载波频率。基带模块负责从复杂信号中提取出北斗卫星信号、持续输出北斗卫星信号、解调出基带信号并翻译基带信号。经过译码的北斗卫星信号将发送到数据处理模块，经过整理后被送往定位解算模块以求出卫星在地心地固坐标系中的坐标；

得到卫星的坐标后我们可以通过最小二乘迭代法、卡尔曼滤波法、扩展卡尔曼滤波法与无迹卡尔曼滤波法等解算算法解算出位置信息、速度信息、时间信息。

卡尔曼滤波法是使用状态方程和量测方程来实现的，在此简要介绍卡尔曼滤波法的解算流程：

首先，我们假设系统状态方程和量测方程如下所示：

其中，xk表示k时刻n×1维系统状态矢量；xk-1则是k-1时刻的系统状态矢量；φk|k-1为k-1时刻的m×1维量测矢量；wk-1为k-1时刻n×1维系统噪声矢量；γk-1为系统噪声驱动矩阵；zk为k时刻m×1维量测矢量；hk为k时刻m×n维量测矩阵；vk为k时刻m×1维量测噪声矢量；

系统噪声矢量wk-1和量测噪声矢量vk都是零均值白噪声序列，且两者互不相关，有如下关系：

其中，qk表示系统的噪声序列的方差矩阵，rk是量测噪声的方差序列的方差矩阵；这里，我们假定qk是非负定矩阵，并且假定rk为正定矩阵；另外，δki为kroneker函数：

结合上面对于滤波方程的数学描述和相关的统计数据，根据一组卡尔曼滤波方程，我们可以利用实际的测量值zk与测量值前一时刻求出的估计值求得k时刻的时间最优估计值

卡尔曼滤波方程如下所示：

状态一步预测方程：

协方差误差预测方程：

滤波增益方程：

状态估计计算方程：

状态一步预测方程：

pk＝[i-kkhk]pk|k-1

在求解位置、速度、时间信息时，使用卡尔曼滤波算法的思路为：首先，选择一个合适的初始值，即第一个状态的值，只有这样才能够保证卡尔曼滤波算法迭代的收敛性；合理运用预测与更新这两个步骤，用前一状态估计当前状态会有一定的误差，而直接测量当前状态时也会有误差，也称为测量误差，充分利用预测和更新两个步骤可以获得一个更加接近最优状态的值；此外，我们可以把位置误差等也作为系统的状态变量，进一步减小误差带来的影响。

步骤2：gis地图数据处理；

由于在空中进行实时的数据通信需要在地面建设多个基站，为了减少系统使用成本，提升系统适用性，本系统中采用从本地移动终端存储的数据中获取地理数据的方法，这种方法被称为c/s(客户端/服务器)结构的两层架构模式。在每次跳伞前，跳伞员将移动gis系统连接至互联网更新存储器中的数据，以保证跳伞过程中实际情况与gis空间地理信息的正确匹配。

在增强现实系统从gis数据库访问数据前需要先在gis数据库中创建数据源，即对存储器中的数据进行编辑。首先获取跳伞目标地点区域附近的遥感矢量图，对其进行投影变换、影像校正，接着利用gis技术对其进行数字化处理，在数字化处理的过程中需要将每个地理要素的名称、经纬度坐标、海拔、高程等属性数据补充完整，得到矢量地图。

步骤3：增强现实技术实现跳伞训练路径的规划；

首先通过特制的护目ar眼镜上设置的摄像头实时获取跳伞员视野，将其作为显示虚拟路径的界面与其他处理系统交互的接口，此步骤交由视频处理模块完成；接着通过跳伞员随身携带的集成传感器组实时获得多项数据，其中包括来自北斗定位接收机中的芯片的跳伞员的实时位置和速度；借助运动状态监测系统中传感器组取得的跳伞员自身的加速度，此步骤通过传感器模块完成；接着将位置信息与存储内的地理数据库中的数据信息匹配，获得跳伞员当前时刻所处地理位置，计算出与目标落点的相对位置，再通过算法在视野内标识出预计落点。通过获得的方位、姿态等数据在视野场景中创建实时坐标系，将规划出的路径通过转换模块进行坐标转换并与现实场景进行结合，显示在ar眼镜中，这个部分称为数据分析与图像生成模块。随着跳伞员的视野转换，以上模块循环工作更新ar眼镜中显示的合成图像，直至跳伞完成，系统结束任务。

跳伞员头部姿态数据的计算过程包括头部朝向与俯仰角、倾斜角的计算。其中头部的朝向可以通过电子罗盘的读数判断。与传统指针式和平衡结构罗盘相比，电子罗盘具有能耗低、体积小、重量轻、精度高、小型化的优点，同时，电子罗盘可以输出数字化信号，便于利用数字电路系统进行处理。

俯仰角和倾斜角的计算主要利用加速度传感器获得的读数。加速度传感器是一种感应加速度并将其转换为数字信号输出的传感器。基本原理是加速度将引起介质的可测量变形，通过测量其形状变量并通过转换电路将其转换为电压变化，并最终通过数模转换输出数字信号。加速度传感器可根据介质分为压电式，压阻式，电容式和伺服式加速度计。

由加速度传感器获取的数据是由作用在传感器的三个坐标轴上的力产生的加速度值。当设备静止时，它获取的值仅是传感器xyz的三轴方向上的重力加速度的投影矢量；当装置运动时，加速度传感器获取由作用在坐标轴上的力产生的加速度与沿轴向的重力加速度的投影矢量之间的差。可以根据装置的每个轴向上的加速度值来计算装置的空间姿态数据pitchandroll。

pitch表示装置绕x轴相对于水平面的角度，即俯仰角，实际上是视觉坐标系的y坐标与水平面之间的角度。其值范围为[-180，180]；roll表示设备绕y轴相对于水平面的旋转角度，即左右倾斜的角度，实际上是视觉坐标系的x坐标与水平面之间的角度。其大小范围为[-90，90]。

考虑到增强现实系统的主要功能是在真实场景中实时准确地叠加虚拟空间数据，并随着摄像机位置和姿态数据的变化，更改叠加的空间数据，也称为增强现实系统的图像配准。图像配准功能涉及以下五个坐标系的转换：

真实空间坐标系(图3中xyz)，也是基准坐标系，这意味着这里涉及到的所有坐标系都是参照真实空间坐标系定义的；

虚拟物体坐标系(图3中εηδ)，也被称为局部坐标系，在创建虚拟物体时虚拟物体坐标系就已经被确定下来；

摄影机坐标系(图3中xyz)，是一个以摄影机为原点，以观察者的实际视线为坐标轴建立的坐标系；

投影面坐标系(图3中u′v′)，是一个二维坐标系，用于定义物体在成像面上的所有点；

屏幕坐标系(图3中uv)，是以显示器某一位置为原点建立的平面坐标系，以像素为单位。

系统要完成的功能决定了要添加的虚拟物体在真实坐标系中的方位，即虚拟物体坐标系与真实空间坐标系的关系是已知的，所以虚拟物体坐标系中三维虚拟物体的几何描述可以变换为绝对空间坐标系中的几何描述。经过注册计算后，增强现实系统的使用者头部在真实空间中的位置和方位角就已经确定了，观察者坐标系与真实空间坐标系之间的变换矩阵也就可以求出了，因此就可以将虚拟物体坐标系中三位虚拟物体的几何描述变换为观察者坐标系中的几何描述。下一步，再将观察者坐标系中的虚拟物体投影到屏幕坐标系中就可以实现增强现实系统中虚拟物体的绘制。

应用实施例：如图1为系统的构成框架，分为北斗导航定位系统、gis空间地理数据系统和增强现实系统。

首先采用我国北斗导航定位终端实时快速的提供跳伞员空间位置与运动数据，首先通过北斗卫星接收机解算出卫星在地心地固坐标系中的坐标，之后可以通过最小二乘迭代法、卡尔曼滤波法、扩展卡尔曼滤波法与无迹卡尔曼滤波法等解算算法解算出跳伞员的位置信息、速度信息以及时间信息。

之后利用移动gis系统进行跳伞员空间位置数据与地理信息的综合处理与动态存取，采用从本地移动终端存储的数据中获取地理数据的方法。在每次跳伞前，跳伞员将移动gis系统连接至互联网更新存储器中的数据，以保证跳伞过程中实际情况与gis空间地理信息的正确匹配。获取跳伞目标地点区域附近的遥感矢量图，对其进行投影变换、影像矫正，接着利用gis技术对其进行数字化处理，得到矢量地图。

最终由增强现实系统在移动gis系统的空间地理数据库中调取相关地理信息，依靠增强现实技术实现数据的可视化。通过特质的护目ar镜上设置的摄像头实时获取跳伞员视野，通过跳伞员随身携带的集成传感器组实时获得多项所需数据，进行数据的处理。

为了提高跳伞员跳伞的准确度，将跳伞员的周边地理信息、自身运动数据与目标落点方位用增强现实技术显示在带有显示器护目镜上。让跳伞员可以实时获得目标落点方位及周边环境信息，在跳伞过程中及时调整自己的降落方向。

此实施例用到了两种芯片，分别是mpu-6050模块和和芯星通uc260，如图4和图5。

mpu-60x0是世界上首个集成6轴的运动处理组件。由于它消除了组合陀螺仪与加速器时间轴之间存在差异的问题，mpu-6000的封装尺寸仅为4x4x0.9mm。将mpu-60x0连接到三轴磁强计时，它将提供完整的9轴运动融合输出到其主i2c或spi端口。该芯片能够对6轴或9轴的旋转矩阵、欧拉角格式、四元数等数据进行融合演算后，以数字形式输出。它的敏感度高达131lsbs/°/sec，并具有全格感测范围为±250、±500、±1000与±2000°/sec的3轴角速度感测器。它具有可编程控制功能，可编程控制范围为±2g、±4g、±8g和±16g的3轴加速器。它的数字运动处理(dmp)引擎可降低融合演算数据的负载、同步传感器并感应姿势。

和芯星通uc260芯片支持北斗卫星导航系统(bdsb1/b2/b3)及北斗系统的所有频率点。每颗芯片支持最多6路不同的北斗导航信号。该芯片利用嵌入的cpu高度集成了算法功能，仅使用一枚芯片就可实现自主定位。该芯片支持接收器的自主完整性检测，确保位置信息的安全性与可靠性。该芯片使用90nm工艺，低功耗，低发热。其内置200+mhz处理器支持单芯片接收器解决方案。系统外设接口支持uartx4，spix3，i2c，gpios，sim，usb，原始载波相位观测值为1mmrms，芯片的数据更新频率为1hz-20hz，1pps输出为20ns，芯片的工作温度范围在-40℃～85℃，符合跳伞环境要求。

需要说明的是上述实施例仅仅是本发明的较佳实施例，并没有用来限定本发明的保护范围，在上述技术方案的基础上做出的等同替换或者替代，均属于本发明的保护范围。