一种基于共视基准的无人机集群对目标三维运动精确测量方法

1.本技术涉及无人机集群技术领域，特别是涉及一种基于共视基准的无人机集群对目标三维运动精确测量方法。


背景技术：

2.运动捕捉是一种获取运动物体关键部位的三维空间坐标的技术，可应用于动画制作、步态分析、生物力学、人机工程等领域。主要的运动捕捉技术有机械式运动捕捉、声学式运动捕捉、电磁式运动捕捉、光学式运动捕捉以及惯性导航式运动捕捉。其中，光学式运动捕捉由于捕捉空间范围大、无电缆与机械装置的限制等优点，广泛应用于室内运动捕捉场景。
3.现阶段光学式运动捕捉技术主要依靠固定式红外相机采集目标运动数据，其主要技术理论为空间中的一个点只要能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。这种技术需要在目标关键部位上粘贴marker，通过6～8台相机环绕场景布设，这些相机的视野重叠区域就是可测量范围。由于固定式红外相机的缘故，其无法在移动场景或室外场景中应用。因此，现有技术存在适应性不佳的问题。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够实现可随场景移动的室外光学式运动捕捉的基于共视基准的无人机集群对目标三维运动精确测量方法。
5.一种基于共视基准的无人机集群对目标三维运动精确测量方法，所述方法包括：
6.通过悬停在相同高度的多台无人机从不同视角对目标场景进行观测，并同时采集序列图像数据；
7.对任一时间点，根据各无人机采集的所述序列图像数据，确定各无人机图像间的单应矩阵；
8.根据预先选定的场景特征，获取任一台无人机图像中所述场景特征对应的场景特征图像坐标，根据所述各无人机图像间的单应矩阵确定所述场景特征在其他无人机图像中对应的同名场景特征图像坐标；
9.根据预先获取的所述场景特征的实际尺寸信息，以及各无人机图像中的同名场景特征图像坐标，通过epnp算法得到各无人机的机载相机相对所述目标场景的精确位姿关系信息；
10.获取目标在各无人机图像中的目标图像坐标，根据所述精确位姿关系信息和目标在各无人机图像中的目标图像坐标，根据前方多目交会算法确定当前时间点目标在所述目标场景中的实际三维坐标；
11.根据各个时间点所述序列图像数据确定的目标的实际三维坐标，得到目标在场景中的运动轨迹数据。
12.在其中一个实施例中，还包括：通过悬停在相同高度的多台无人机从不同视角通过机载单目相机对目标场景进行观测，并同时采集序列图像数据。
13.在其中一个实施例中，还包括：对任一时间点，从各无人机图像中提取图像特征点；根据所述图像特征点进行特征点匹配，得到各无人机图像间的同名特征点对；根据所述同名特征点对得到各无人机图像间的单应矩阵。
14.在其中一个实施例中，还包括：对任一时间点，通过sift特征提取算法从各无人机图像中提取图像的sift特征点，使用ransac算法计算得到各无人机图像间的单应矩阵。
15.在其中一个实施例中，还包括：通过随机抽样一致算法根据所述图像特征点进行特征点匹配，得到各无人机图像间的同名特征点对。
16.在其中一个实施例中，还包括：通过预先训练得到训练好的特征识别神经网络；
17.根据预先选定的场景特征，通过所述训练好的特征识别神经网络获取任一台无人机图像中所述场景特征对应的场景特征图像坐标。
18.在其中一个实施例中，还包括：根据所述各无人机图像间的单应矩阵确定所述场景特征在其他无人机图像中对应的同名场景特征图像坐标；
19.若所述场景特征在其他无人机图像中对应的同名场景特征图像坐标超出图像边界，则剔除所述场景特征。
20.在其中一个实施例中，还包括：所述多台无人机的飞行高度由所述目标场景大小和机载镜头参数确定。
21.上述基于共视基准的无人机集群对目标三维运动精确测量方法，通过悬停在相同高度的多台无人机从不同视角对目标场景进行观测，同时采集序列图像数据；对任一时间点，根据各无人机采集的序列图像数据，确定各无人机图像间的单应矩阵；由单应矩阵确定各无人机图像中同名场景特征图像坐标；根据预先获取的场景特征的实际尺寸信息，以及各无人机图像中的同名场景特征图像坐标，通过epnp算法得到各无人机的机载相机相对目标场景的精确位姿关系信息；根据精确位姿关系信息和目标在各无人机图像中的目标图像坐标，由前方多目交会算法确定当前时间点目标在目标场景中的实际三维坐标，进而由多帧图像得到目标在场景中的运动轨迹数据。本发明方法不受gps定位信号与太阳光照影响，可在室内外场景下使用。相较于基于静态红外相机的运动捕捉系统，具有使用场景灵活，测量范围大等优点。
附图说明
22.图1为一个实施例中基于共视基准的无人机集群对目标三维运动精确测量方法的流程示意图；
23.图2为一个实施例中多无人机对共视目标运动测量示意图；
24.图3为一个实施例中多无人机对共视目标运动测量俯视图；
25.图4为一个实施例中单点目标运动测量效果图；
26.图5为另一个实施例中多无人机对共视目标运动测量流程图。
具体实施方式
27.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
28.在一个实施例中，如图1所示，提供了一种基于共视基准的无人机集群对目标三维运动精确测量方法，包括以下步骤：
29.步骤102，通过悬停在相同高度的多台无人机从不同视角对目标场景进行观测，并同时采集序列图像数据。
30.多台指的是三台及以上。如图2所示，测量时至少需要三台无人机，无人机集群中的每台无人机均搭载一台单目相机。无人机飞行高度由场景大小与机载镜头参数确定，集群中的每台无人机飞行高度相同，并从不同的角度观测场景，如图3所示。测量时，各无人机分别使用机载相机采集共视场景的图像序列数据。
31.步骤104，对任一时间点，根据各无人机采集的所述序列图像数据，确定各无人机图像间的单应矩阵。
32.单应矩阵可以表示一个平面到另一个平面的变换关系。本发明通过同名特征点对进行单应矩阵的计算。
33.步骤106，根据预先选定的场景特征，获取任一台无人机图像中的场景特征图像坐标，根据各无人机图像间的单应矩阵确定这些场景特征在其他无人机图像中对应的图像坐标。
34.如图2、3所示，场景特征为多个。在实际应用中，是获取场景中的多个特征在每台无人机机载相机采集的图像中的像素坐标，并确定各无人机机载相机采集的图像中的同名特征对，具体途径是步骤106，使用训练好的神经网络检测某架无人机记载相机采集的图像中的场景特征，再通过各无人机相机间的单应矩阵变换得到同名场景特征在其他无人机机载相机采集的图像中的像素坐标。
35.步骤108，根据预先获取的场景特征的实际尺寸信息，以及各无人机图像中的同名场景特征图像坐标，通过epnp算法得到各无人机的机载相机相对目标场景的精确位姿关系信息。
36.步骤110，获取目标在各无人机图像中的目标图像坐标，根据精确位姿关系信息和目标在各无人机图像中的目标图像坐标，根据前方多目交会算法确定当前时间点目标在目标场景中的实际三维坐标。
37.实际三维坐标为目标的世界坐标。
38.每一时刻各无人机机载相机位姿已知，以下利用前方交会求解共视目标三维坐标。设某时刻某台无人机机载像机位姿为r、t，并记为
39.[0040][0041]
代入相机投影方程并展开得：
[0042][0043]
上式为目标三维坐标x、y、z的线性方程，将该时刻各机载相机的方程联立可求得目标的在世界坐标系下的三维坐标。
[0044]
步骤112，根据各个时间点序列图像数据确定的目标的实际三维坐标，得到目标在场景中的运动轨迹数据。
[0045]
对无人机集群采集的图像序列数据中的每一帧重复执行步骤102-步骤110，即可获得目标在场景中的精确运动轨迹，效果如图4所示。
[0046]
上述基于共视基准的无人机集群对目标三维运动精确测量方法中，通过悬停在相同高度的多台无人机从不同视角对目标场景进行观测，同时采集序列图像数据；对任一时间点，根据各无人机采集的序列图像数据，确定各无人机图像间的单应矩阵；由单应矩阵确定各无人机图像中同名场景特征图像坐标；根据预先获取的场景特征的实际尺寸信息，以及各无人机图像中的同名场景特征图像坐标，通过epnp算法得到各无人机的机载相机相对目标场景的精确位姿关系信息；根据精确位姿关系信息和目标在各无人机图像中的目标图像坐标，由前方多目交会算法确定当前时间点目标在目标场景中的实际三维坐标，进而由多帧图像得到目标在场景中的运动轨迹数据。本发明方法不受gps定位信号与太阳光照影响，可在室内外场景下使用。相较于基于静态红外相机的运动捕捉系统，具有使用场景灵活，测量范围大等优点。
[0047]
在其中一个实施例中，还包括：通过悬停在相同高度的多台无人机从不同视角通过机载单目相机对目标场景进行观测，并同时采集序列图像数据。
[0048]
在其中一个实施例中，还包括：对任一时间点，通过sift特征提取算法从各无人机图像中提取图像的sift特征点；通过随机抽样一致算法(ransac匹配算法)根据图像特征点进行特征点匹配，得到各无人机图像间的同名特征点对。根据同名特征点对得到各无人机图像间的单应矩阵。
[0049]
在其中一个实施例中，还包括：通过预先训练得到训练好的特征识别神经网络；根据预先选定的场景特征，通过训练好的特征识别神经网络获取任一台无人机图像中场景特征对应的场景特征图像坐标。
[0050]
在其中一个实施例中，还包括：根据各无人机图像间的单应矩阵确定场景特征在其他无人机图像中对应的同名场景特征图像坐标；若场景特征在其他无人机图像中对应的同名场景特征图像坐标超出图像边界，则剔除场景特征。
[0051]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行
完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0052]
在另一个实施例中，如图5所示，由三台无人机对共视目标进行测量。各自从无人机采集的图像中确定场景特征图像坐标、目标图像坐标，并确定相机固有的相机内参信息，根据本发明的方法，结合地面特征尺度信息，由epnp算法确定各无人机的机载相机的精确相对位姿关系信息，作为无人机间相对外参，再根据目标图像坐标，由前方多目交会算法确定目标的世界坐标，进而由多帧图像实现目标的运动轨迹测量。
[0053]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0054]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。