一种无人机飞行拍摄规划方法、装置及存储介质与流程

1.本技术涉及无人机技术领域，具体涉及一种无人机飞行拍摄规划方法、装置及存储介质。


背景技术：

2.随着无人机技术、立体视觉和电子传感器等信息技术的高速发展，基于无人机的多相机场景数据采集，大大降低了航空拍摄成本，降低了航空拍摄的专业门槛，提高了大规模场景的重建速度和重建质量，但是当前采用无人机进行城市数据采集和重建仍然存在采集时间过长的问题，相对场景重建的系统计算时间而言，复杂场景数据采集的时间要超过场景重建总时间的三分之二，大大增加了场景重建的时间和人工成本。
3.尽管目前三维场景快速重建在核心算法方面有了很大的进步，但是目前没有受到业界充分重视同时也缺乏高效的解决方法的问题是，场景数据采集技术已经逐渐成为影响复杂场景重建效率和质量的主要障碍。


技术实现要素：

4.本技术实施例的目的在于提供一种无人机飞行拍摄规划方法、装置及存储介质，用以解决现有技术中的无人机场景重建数据采集的费效比高，从而影响场景重建的效率和质量的问题。
5.为实现上述目的，本技术实施例提供一种无人机飞行拍摄规划方法，包括步骤：获取目标场景区域的粗略模型和拍摄初始信息；根据所述拍摄初始信息，对所述粗略模型进行膨胀操作，生成禁飞区域模型；根据所述拍摄初始信息，对所述粗略模型进行几何分割，将所述粗略模型分割为若干目标几何面，获得粗略模型目标几何面集合；根据所述拍摄初始信息、所述禁飞区域模型和所述粗略模型目标几何面集合，获得初始相机网络；根据所述初始相机网络，确定相机的位置和朝向，基于所述相机的位置和朝向以及所述禁飞区域模型，获得无人机的飞行轨迹。
6.可选地，根据所述拍摄初始信息，对所述粗略模型进行膨胀操作，生成所述禁飞区域模型的方法包括：获取所述拍摄初始信息中的安全距离，基于所述安全距离，对所述粗略模型沿法向方向做偏移膨胀操作，生成所述禁飞区域模型。
7.可选地，根据所述拍摄初始信息，对所述粗略模型进行几何分割，将所述粗略模型分割为若干所述目标几何面，获得所述粗略模型目标几何面集合的方法包括：按照法向一致性度量将所述粗略模型的相邻两个第一三角面片进行合并，得到第二三角面片，合并代价大于所述拍摄初始信息中的模型分割角度阈值；按照几何平坦性度量将所述粗略模型的剩余的相邻两个第一三角面片进行合并，得到所述第二三角面片，合并代价大于所述拍摄初始信息中的模型分割位移阈值；根据泊松采样，对所述第二三角面片进行分割得到所述目标几何面，获得所述粗略模型目标几何面集合。
8.可选地，根据所述拍摄初始信息、所述禁飞区域模型和所述粗略模型目标几何面
集合，获得所述初始相机网络的方法包括：将所述目标几何面的质心作为采样点，根据所述粗略模型目标几何面集合，得到采样点集合；根据所述拍摄初始信息和所述禁飞区域模型，将所述采样点集合转换为所述初始相机网络，所述初始相机网络中的所述相机的位置位于所述禁飞区域模型的禁飞区域外。
9.可选地，根据所述初始相机网络，确定所述相机的位置和朝向的方法包括：优化所述初始相机网络获得优化相机网络，基于所述优化相机网络确定所述相机的位置和朝向，优化所述初始相机网络的方法包括步骤：s1、获取所述初始相机网络中所述相机的第一度量，基于所述第一度量对所述相机进行增量排序，所述第一度量用于判断所述相机对目标场景重建过程的价值；s2、移除所述初始相机网络中所述第一度量最小的待检测相机；s3、获取移除所述待检测相机后的所有的可见的所述采样点的第二度量，所述第二度量用于衡量删除冗余相机后所述采样点的重建质量变化情况；s4、判断所述第二度量是否全部大于或者等于所述拍摄初始信息中的采样点可重建性阈值，若是，则从所述初始相机网络中删除所述待检测相机，并对删除所述待检测相机之后的所述初始相机网络重新执行步骤s2至s5，若否，则所述待检测相机保留，并对除去所述待检测相机之后的所述初始相机网络重新执行步骤s2至s4。
10.可选地，基于所述相机的位置和朝向以及所述禁飞区域模型，获得所述无人机的飞行轨迹的方法包括：根据旅行商问题的解决方法和dijkstra算法设计所述无人机的飞行轨迹，使所述飞行轨迹为最短飞行距离。
11.可选地，所述拍摄初始信息包括：相机的分辨率、相机的焦距、照片间的重叠区域比例、拍摄精度、无人机与场景之间的安全距离、模型分割角度阈值、模型分割位移阈值、采样点可重建性阈值和/或相机最小俯视角度。
12.可选地，获取所述目标场景区域的所述粗略模型的方法包括：利用无人机拍摄快速重建出所述粗略模型、利用手工建模得到所述粗略模型或者通过测绘技术得到所述粗略模型。
13.为实现上述目的，本技术还提供一种无人机飞行拍摄规划装置，包括：存储器；以及
14.与所述存储器连接的处理器，所述处理器被配置成：获取目标场景区域的粗略模型和拍摄初始信息；根据所述拍摄初始信息，对所述粗略模型进行膨胀操作，生成禁飞区域模型；根据所述拍摄初始信息，对所述粗略模型进行几何分割，将所述粗略模型分割为若干目标几何面，获得粗略模型目标几何面集合；根据所述拍摄初始信息、所述禁飞区域模型和所述粗略模型目标几何面集合，获得初始相机网络；根据所述初始相机网络，确定相机的位置和朝向，基于所述相机的位置和朝向以及所述禁飞区域模型，获得无人机的飞行轨迹。
15.为实现上述目的，本技术还提供一种计算机存储介质，其上存储有计算机程序，其中所述计算机程序被机器执行时实现如上所述的方法的步骤。
16.本技术实施例具有如下优点：
17.1.本技术实施例提供一种无人机飞行拍摄规划方法，通过上述方法，在给定场景粗略模型和采集初始信息的基础上，为拍摄阶段生成一个最优的执行方案，使得无人机在较短的飞行时间内，采集最有利于场景重建的有限数量照片，以支撑后续基于图像的三维重建算法用尽量少的照片重建满足精度需求的三维场景模型。提升了场景数据采集质量，
降低了数据采集的费效比，可以采用相对廉价的普通无人机和普通拍摄相机，同时可以采用基于场景几何的相机拍摄位姿高效计算技术，从而实现专业的无人机场景重建数据采集系统，能够有效降低费效比。复杂场景拍摄采用廉价普通的无人机和相机，以降低场景拍摄的成本；同时考虑复杂的场景几何特性，充分发挥无人机的灵活飞行特性，通过计算复杂场景几何特征，提高场景拍摄的效率和质量，减少在场景上进行重复拍摄的次数；同时考虑场景特殊区域内不同拍摄精度的需求，自适应提高场景拍摄精度和质量，提高拍摄效率，从而能够形成一套适应不同层次无人机和相机等硬件要求的、低成本高效率的场景拍摄系统，进而大幅度提高三维场景重建效率和重建质量，提高三维场景重建系统的适应性。能够实现通过价格低廉、性能良好的无人机多相机系统进行复杂场景区域的快速覆盖拍摄，为快速重构三维场景提供数据基础。
附图说明
18.为了更清楚地说明本技术的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。
19.图1为本技术实施例提供的一种无人机飞行拍摄规划方法的流程图；
20.图2为本技术实施例提供的一种无人机飞行拍摄规划方法的采样点间距与拍摄照片间重叠区域的关系的示意图；
21.图3为本技术实施例提供的一种无人机飞行拍摄规划方法的第二度量示意图；
22.图4为本技术实施例提供的一种无人机飞行拍摄规划方法的第一度量示意图；
23.图5为本技术实施例提供的一种无人机飞行拍摄规划方法的粗略模型示意图；
24.图6a至图6d为本技术实施例提供的一种无人机飞行拍摄规划方法的几何分割效果示意图；
25.图7a为本技术实施例提供的一种无人机飞行拍摄规划方法的初始相机网络示意图；
26.图7b为本技术实施例提供的一种无人机飞行拍摄规划方法的优化后的相机网络示意图；
27.图8为本技术实施例提供的一种无人机飞行拍摄规划方法的飞行拍摄规划的覆盖情况统计示意图；
28.图9a至图9f为本技术实施例提供的一种无人机飞行拍摄规划方法的对场景狭巷结构的适应的示意图；
29.图10为本技术实施例提供的一种无人机飞行拍摄规划装置的模块框图。
具体实施方式
30.以下由特定的具体实施例说明本技术的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本技术的其他优点及功效，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.此外，下面所描述的本技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
32.本技术一实施例提供一种无人机飞行拍摄规划方法，参考图1，图1为本技术的一实施方式中提供的一种无人机飞行拍摄规划方法的流程图，应当理解的是，该方法还可以包括未示出的附加框和/或可以省略所示出的框，本技术的范围在此方面不受限制。
33.在步骤101处，获取目标场景区域的粗略模型和拍摄初始信息。
34.在一些实施例中，所述拍摄初始信息包括：相机的分辨率、相机的焦距、照片间的重叠区域比例、拍摄精度、无人机与场景之间的安全距离、模型分割角度阈值、模型分割位移阈值、采样点可重建性阈值和/或相机最小俯视角度。
35.在一些实施例中，获取所述目标场景区域的所述粗略模型的方法包括：利用无人机拍摄快速重建出所述粗略模型、利用手工建模得到所述粗略模型或者通过测绘技术得到所述粗略模型。
36.具体地，用户在明确观测需求后，首先要获取目标场景区域的粗略模型，其后将该模型以及拍摄用相机的参数、拍摄精度要求等采集拍摄初始信息等作为无人机飞行拍摄规划算法的输入，经算法处理后输出无人机的飞行路线、相机的朝向及拍摄时机等数据，以此指导无人机实际的拍摄过程，拍摄的照片即可用于后续的三维场景重建过程。粗略模型是目标场景的粗糙表达，不需要场景的细节信息和场景表面纹理，但要求是流型，在算法中作为飞行规划的参照。该模型可以是利用无人机少量拍摄快速重建出的几何模型，也可以是手工建造或是通过其他途径获取的白模等。采集拍摄初始信息包括相机分辨率、相机焦距、拍摄精度要求(像素/米)、照片之间的重叠度等。
37.在步骤102处，根据所述拍摄初始信息，对所述粗略模型进行膨胀操作，生成禁飞区域模型。
38.在一些实施例中，根据所述拍摄初始信息，对所述粗略模型进行膨胀操作，生成所述禁飞区域模型的方法包括：获取所述拍摄初始信息中的安全距离，基于所述安全距离，对所述粗略模型沿法向方向做偏移膨胀操作，生成所述禁飞区域模型。
39.具体地，根据拍摄初始信息，可以推导出相机拍摄时距离目标场景表面的距离、相机视域角等。在拍摄过程中，无人机需要与场景保持一定的距离，以避免发生意外的碰撞，为此本技术对场景模型沿法线方向做偏移，生成一个粗略模型的膨大版本，称为禁飞区域模型，将无人机与场景保持一定距离这个问题转换为避免无人机与禁飞区域模型发生碰撞的问题。飞行安全是无人机飞行拍摄规划中首要考虑的问题，本技术的方法允许用户设定一个安全距离，在规划过程中，要求无人机与场景之间的距离始终不低于这个安全距离。本技术是通过对场景模型进行膨胀操作得到一个禁飞区域模型，将无人机与场景之间的安全距离约束转换为无人机与禁飞区域模型之间的碰撞检测问题来实现的。
40.在步骤103处，根据所述拍摄初始信息，对所述粗略模型进行几何分割，将所述粗略模型分割为若干目标几何面，获得粗略模型目标几何面集合。
41.在一些实施例中，根据所述拍摄初始信息，对所述粗略模型进行几何分割，将所述粗略模型分割为若干所述目标几何面，获得所述粗略模型目标几何面集合的方法包括：按照法向一致性度量将所述粗略模型的相邻两个第一三角面片进行合并，得到第二三角面片，合并代价大于所述拍摄初始信息中的模型分割角度阈值；按照几何平坦性度量将所述
overlapratio)*imagewidth/pixelsperlength。同理当相机位置是沿拍摄照片垂直方向分布时，有sampledistanceh＝(1-overlapratio)*imageheight/pixelsperlength，本技术取sampledistancew和sampledistanceh的几何平均作为场景表面采样间距sampledistance＝(1-overlapratio)*sqrt(imagewidth*imageheight)/pixelsperlength。目标几何面面积可以计算为targetchartarea＝sampledistancew*sampledistanceh59.模型几何分割的目的是将场景粗略模型分割为具有相同或相近几何属性值的小chart(目标几何面)，构建一个比场景粗略模型小，比场景三角面片大的粒度，作为后续运算的单位，在运算灵活性与运算量之间取得平衡。
60.在供相机拍摄语义下，本技术关注的属性是几何是否平坦，法向是否一致。几何平坦时，拍摄才不会有遮挡，确保相机能够将表面覆盖完全；而后续生成初始相机网络过程中，相机的观察方向就是依据场景表面法线方向确定的，场景粗略模型表面法线接近才能得到一个合理的相机观察方向。
61.在生成chart过程中，采用了自底向上的方式。初始时刻场景模型的每个第一三角面片都是一个chart，而后计算每个chart与邻居chart合并的代价，选择代价最小的一对chart加以合并，此后重新计算每个chart与邻居chart合并的代价，再择代价最小的一对chart加以合并，这个过程持续下去直至没有符合合并条件的chart对。
62.对于合并代价的选择，设定了法向一致性和几何平坦性两个度量。法向一致性度量下，合并代价是合并后chart中所有顶点的拟合平面的法向与chart中各个第二三角面片法向夹角的最大值。几何平坦性度量下，合并代价是合并后chart(第二三角面片)中所有顶点的拟合平面与chart中各个顶点距离的最大值。合并过程中先按照法向一致性度量选择合适的chart对进行合并直至所有chart对的合并代价大于用户设定的阈值segmentationanglediffthreshold，而后再按照几何平坦性度量选择合适的chart对进行合并直至所有chart对的合并代价大于用于设定的阈值segmentationgeometricoffsetthreshold。实际上，法向一致性度量比何平坦性度量更为严格，满足法向一致性度量在一定程度上隐含了表面的平坦性。先做法线一致性合并再做平坦性合并的目的是先将场景按照法线一致尽量合并为大的结构，而后将一些较小但法线不一致的结构加以合并，避免对场景的分割过于破碎。一个典型的例子是台阶，根据法线方向一致性，台阶的每个侧面都会合并为一个独立的chart，因为每级台阶的两个侧面是相互垂直的；而后基于几何平坦性度量，这些台阶拟合平面将是一个斜坡，台阶每个侧面距离斜坡的距离都不大，最终这些台阶就合并为一个chart了，这与常识是相符的。
63.chart合并完毕后得到第二三角面片，在每个第二三角面片内部做泊松采样，采样点间的距离设定为sqrt(targetchartarea)，基于采样结果，以采样点为种子对chart中的第二三角面片进行广度遍历直至chart中所有第二三角面片都被占据。由此，将每个chart都进一步分割为面积近似为targetchartarea的小chart(目标几何面)。这里还要考虑一个特殊情况，就是场景模型的第二三角面片过大，甚至大于targetchartarea，此时是无法产出面积接近targetchartarea的chart的。因此在泊松采样前，首先遍历chart中的所有第二三角面片，对于较大的第二三角面片进行细分，使得chart中的第二三角面片大小比较均匀，且远小于targetchartarea。
64.综上所得的粗略模型几何分割的流程如下：
65.1、初始化阶段，将场景模型每个第一三角面片视为一个chart。
66.2、按照法向一致性度量选择合适的chart对进行合并直至所有chart对的合并代价大于用户设定的阈值segmentationanglediffthreshold。
67.3、按照几何平坦性度量选择合适的chart对进行合并直至所有chart对的合并代价大于用于设定的阈值segmentationgeometricoffsetthreshold。
68.4、合并完成后遍历每个chart中的第二三角面片，对于较大的第二三角面片进行细分，使得chart中的第二三角面片大小比较均匀，且远小于targetchartarea。
69.5、在每个chart(第二三角面片)内部做泊松采样，采样点间的距离设定为sqrt(targetchartarea)，以采样点为种子对chart中的第二三角面片进行广度遍历直至chart中所有第二三角面片都被占据，将该chart分割为若干面积近似为targetchartarea的小chart(目标几何面)。
70.6、场景分割过程结束。
71.在步骤104处，根据所述拍摄初始信息、所述禁飞区域模型和所述粗略模型目标几何面集合，获得初始相机网络。
72.在一些实施例中，根据所述拍摄初始信息、所述禁飞区域模型和所述粗略模型目标几何面集合，获得所述初始相机网络的方法包括：将所述目标几何面的质心作为采样点，根据所述粗略模型目标几何面集合，得到采样点集合；根据所述拍摄初始信息和所述禁飞区域模型，将所述采样点集合转换为所述初始相机网络，所述初始相机网络中的所述相机的位置位于所述禁飞区域模型的禁飞区域外。
73.具体地，获得粗略模型目标几何面集合后，计算目标几何面的质心作为采样点s，目标几何面中包含顶点的拟合平面的法向n作为采样点的法线，得到采样点的集合s＝{(si，ni)}。进而为每个采样点生成一个对应的相机v＝(vi，oi)，相机的朝向oi＝-ni，相机位置vi＝s
i-camerasampledistance*oi，(camerasampledistance为相机与采样点间距)也即相机的设定原则是能够以最佳的方式拍摄对应的采样点及其周围区域。在生成初始相机位置和姿态时，需要检查相机位置是否有效，包括以下三点：
74.1、相机的俯视角度不小于用户指定的阈值minimumlookdownangle。
75.2、相机与对应采样点之间没有场景其他区域的遮挡。
76.3、相机位置位于禁飞区域之外。
77.违反上述条件中的一点即视为相机位置无效，当无效情况发生时，将当前相机方向逐步向竖直向下方向过渡，并顺势调整相机位置，直至将相机调整至一个有效位置或者始终无法找到一个有效位置而放弃。最终保留下来的调整后的相机构成了此次规划的初始相机网络v＝{(vi,oi)}。
78.在步骤105处，根据所述初始相机网络，确定相机的位置和朝向，基于所述相机的位置和朝向以及所述禁飞区域模型，获得无人机的飞行轨迹。
79.在一些实施例中，根据所述初始相机网络，确定所述相机的位置和朝向的方法包括：优化所述初始相机网络获得优化相机网络，基于所述优化相机网络确定所述相机的位置和朝向，优化所述初始相机网络的方法包括步骤：
80.s1、获取所述初始相机网络中所述相机的第一度量，基于所述第一度量对所述相机进行增量排序，所述第一度量用于判断所述相机对目标场景重建过程的价值；
81.s2、移除所述初始相机网络中所述第一度量最小的待检测相机；
82.s3、获取移除所述待检测相机后的所有的可见的所述采样点的第二度量，所述第二度量用于衡量删除冗余相机后所述采样点的重建质量变化情况；
83.s4、判断所述第二度量是否全部大于或者等于所述拍摄初始信息中的采样点可重建性阈值，若是，则从所述初始相机网络中删除所述待检测相机，并对删除所述待检测相机之后的所述初始相机网络重新执行步骤s2至s5，若否，则所述待检测相机保留，并对除去所述待检测相机之后的所述初始相机网络重新执行步骤s2至s4。
84.具体地，生成的初始相机网络中包含的相机数目通常是远多于重建场景所需拍摄数目的，通过一个优化过程，移除冗余相机，调整保留相机的位置和姿态，最终得到一个满足重建精度要求前提下的优化相机网络。在优化过程中，引入了一个新的度量以描述相机对场景重建过程的贡献，该度量允许优化过程自适应于场景重建过程中的精度要求，精度要求低时保留较少的相机，精度要求高时保留更多的相机。在此过程中使用了两个度量，reconstructability heuristics(第二度量)和camera contribution(第一度量)来控制优化过程。
85.在一些实施例中，reconstructability heuristics度量提供了一种描述采样点可重建性的量化方式。一个采样点s对两个可见相机vi、vj的reconstructability heuristics可以表示为：
86.rh(s,vi,vj)＝w1(α)*w2(dm)*w3(α)*cos(θm)，其中
87.w1(α)＝(1+exp(-k1*(α-α1)))-1
，
88.w2(dm)＝1-min(dm/d
max
,1)，
89.w3(α)＝1-(1+exp(-k3*(α-α3)))-1
。
90.参考图3，上述表达式中，α是两个相机与采样点连线方向间的夹角(视差角)，θm是采样点与两个相机连线方向与采样点法线方向之间夹角θi、θj中的较大值，dm是两个相机中心与采样点间距离di、dj中的较大值，k1，k3，α1，α3是经验值常数，通常设定为k1＝32，k3＝8，α1＝π/16，α3＝π/4，dmax通常设定为2*groundsampledistance。
91.w1(α)描述的是三角定位过程中视差角对reconstructability heuristics的影响，从三角定位过程角度考虑，两个相机之间的视差角越大，极限越长，三角定位计算得到的结果越准确。
92.w3(α)描述的是特征点匹配过程中视差角对reconstructability heuristics的影响，从特征点匹配角度考虑，两个相机观测场景表面一点的角度越接近，图像中对应像点局部也会更加相似，检出特征点的特征值也会接近，从而能够更准确的发现匹配点对。
93.w2(dm)描述的是拍摄距离对reconstructability heuristics的影响，显然距离变大，三角定位计算和特征点匹配的准确度都会下降。
94.cos(θm)用于描述拍摄角度对reconstructability heuristics的影响，显然相机相对于场景表面的倾斜角度越大，拍摄照片中场景信息会在某个方向上发生挤压，从而丢失细节，降低reconstructability heuristics。
95.定义前述一个采样点s对两个可见相机vi、vj的reconstructability heuristics后，就可以进一步定义一个采样点s对可见相机集合v的reconstructability heuristics：
[0096][0097]
即一个采样点对某个可见相机集合的reconstructability heuristics是该采样点对该集合中所有相机两两组合计算所得reconstructability heuristics之和。
[0098]
在一些实施例中，为了能够准确衡量相机在场景重建计算中的作用，本技术以相机为中心，设计了新的度量camera contribution，对于相机v及它可见的目标几何面集合c，有：
[0099]
cameracontribution(v,c)＝∑
c∈c
sc*(-dot(nc*nv))2/l2[0100]
参考图4，v是相机，nv是相机朝向，c是相机视野范围内的一个目标几何面，c对应的采样点是s，c的法向量(也即s的法向量)为nc，面积为sc，l是相机v与s之间的距离。进而c在相机平面上的投影面积可以近似表示为sc*(-dot(nc*nv))/l，而相机在该目标几何面重建过程中贡献，结合前述的讨论，可以认为反比于相机与目标几何面之间的距离，正比于相机朝向之反向与目标几何面法线夹角的余弦值。由此得到，单就目标几何面c而言，相机v相对于场景重建过程中的贡献是sc*(-dot(nc*nv))/l*(-dot(nc*nv))/l＝sc*(-dot(nc*nv))2/l2。相机对整个场景的重建过程的贡献为所有相机可见的目标几何面按上述方式计算之和，即得到：
[0101]
cameracontribution(v,c)＝∑
c∈c
sc*(-dot(nc*nv))2/l2。
[0102]
在一些实施例中，初始相机网络的优化过程，就是在保障重建质量的前提下，删除冗余相机的过程。在这个过程中，用相机的camera contribution判断相机对场景重建过程的价值，确定相机的删除顺序，用采样点的reconstructability heuristics衡量删除相机后采样点的重建质量变化情况。重建流程如下：
[0103]
1、计算所有相机的camera contribution，并增量排序。
[0104]
2、取出camera contribution最小的相机，从相机网络中移除。
[0105]
3、检查移除相机后所有可见的采样点，计算他们的reconstructability heuristics。
[0106]
4、若所有采样点的reconstructability heuristics均大于或者等于用户设定的阈值reconstructabilityheuristicsthreshold，说明删除该相机不会影响场景重建，相机删除成功，转第2步。
[0107]
5、若有采样点的reconstructability heuristics小于用户设定的阈值reconstructabilityheuristicsthreshold，说明删除该相机将对该采样点重建质量产生负面影响，该相机不能删除。将该相机重新加入网络，转第2步(此时忽略该相机，重新排序)。
[0108]
相对于reconstructability heuristics关注单个采样点的可重建性，camera contribution与视野范围内所有目标几何面相关，对视野范围尺度或更小一些尺度的场景几何结构具有一定的敏感性，不同几何结构会使camera contribution计算结果有所差异，从而影响到相机的顺序，在一定程度上实现对场景几何结构的自适应。
[0109]
在一些实施例中，基于所述相机的位置和朝向以及所述禁飞区域模型，获得所述无人机的飞行轨迹的方法包括：根据旅行商问题的解决方法和dijkstra算法设计所述无人机的飞行轨迹，使所述飞行轨迹为最短飞行距离。
[0110]
在确定所有相机的位置和朝向后，本技术的方法需要设计一条飞行轨迹，使无人
机能够以最小的消耗飞经所有相机位置，并在飞行过程中调整相机朝向，使得无人机到达相机位置后，能够以正确的方向拍摄场景照片。本技术将此转化为标准的traveling salesman problem(tsp)问题来求解。相机位置即为tsp中的节点，节点vi,vj间的距离定义为e(vi,vj)＝l(vi,vj)*exp(alpha/l(vi,vj))。其中l(vi,vj)是vi,vj节点之间的最短飞行距离，alpha是相机vi,vj观察方向间的夹角，在此定义下，节点间的距离不但与两个相机的最短飞行距离相关，也与两个相机间的朝向夹角相关。
[0111]
tsp问题的求解需要首先计算两两可达的节点间的距离e(vi,vj)。在e(vi,vj)的定义中，l(vi,vj)不能等同于vi,vj之间的直线距离，这是由于无人机在飞行过程中需要避开禁止飞行区域。在计算l(vi,vj)的算法实现中，首先判断vi,vj相对于禁止飞行模型是否相互可见，在相互可见的情形下l(vi,vj)即是vi,vj之间的直线距离；如vi,vj之间受到了禁飞区域的遮挡，采用三维空间中的dijkstra算法求出vi,vj间的最短飞行距离，以此计算e(vi,vj)。为了降低计算量，对不直接可见的相机对做了过滤，只有两者之间的直线距离小于一定阈值的才会调用dijkstra算法计算最短飞行距离，大于该阈值的相机对视为不相通。
[0112]
以下通过一个具体实施例来验证本技术的方法的有效性：
[0113]
目标场景区域选用丹麦莱顿市老城中心部分[leiden]，该区域长约1000米，宽600米，面积大约0.4平方公里。设置相机的拍摄分辨率是4000像素x3000像素，焦距2300像素，拍摄精度40像素/米，照片之间的重叠度设为80％，在此基础上计算得到无人机拍摄高度groundsampledistance为57.5米，最终划分的chart目标面积targetchartarea为300平方米。同时设定无人机与场景建筑之间的安全距离是20米。对该区域的完整处理过程包括安全区域生成、模型几何分割、生成初始相机网络、优化相机网络和生成飞行拍摄规划五个阶段，在硬件配置为intel i7 3.8g cpu，64g内存的计算机上总共用时8分钟。参考图5。
[0114]
依据本技术的方法，模型几何分割首先按照法向一致性和几何平坦性原则进行自底向上的chart合并。在法向一致性合并过程中，计算所有相邻的chart合并后拟合平面的法向与chart各个三角面片的法向之间的夹角值的最大值作为合并代价，每次选取合并代价最小的合并操作，直至该值大于15度(segmentationanglediffthreshold)。在随后的几何平坦性合并过程中，计算所有相邻的chart合并后拟合平面的法向与chart各个顶点之间距离的最大值最为合并代价，每次选取合并代价最小的合并操作，直至该值大于1米(segmentationgeometricoffsetthreshold)。图6a为合并后的结果，可以看到产生了较大的平坦区域。参考图6b，而后在前述合并的基础上，对每个chart进行细分，分割为targetchartarea大小，此时场景中chart大小比较均匀，但不排除有一些远小于targetchartarea的chart，这些chart是面积较小但按法向一致性和几何平坦性原则都无法与周围chart合并的chart，如图6d中所示，图像中间区域有几座矮小建筑，他们的每个侧面都合并为一个完整的chart，但不同侧面是无法合并的，导致产生一些面积很小的独立chart。图6c中可见一排细高的圆柱体，如果单独采用向量一致性，每个圆柱体将会有多个朝向不同的chart，但经过表面平坦一致性处理后，每个圆柱体都是一个单独的chart。
[0115]
根据chart生成的初始相机网络包括6077个有效相机位置，经过优化后保留1420个相机位置，如图7a和7b所示。
[0116]
开发无人机飞行拍摄仿真系统，能够根据无人机飞行拍摄规划算法的输出，以可视方式展现算法规划的无人机飞行过程，并在预设的拍摄时间点根据相机的位置、姿态生
成一张目标场景的合成照片。在仿真过程中，还计算每次拍摄对场景的覆盖，统计飞行拍摄过程中，场景各处被拍摄覆盖的情况。
[0117]
场景覆盖统计是以场景中的三角面片为为单位进行的，也即统计的是每个三角面片被相机覆盖的次数。为了与reconstructability heuristics计算一致，根据相机与场景中三角形的距离对覆盖统计做了截断：当相机与三角形之间的距离大于groundsampledistance*2时，就认为相机距离拍摄场景太远，即使能够拍摄到也无法对该处场景的重建作出贡献，因而在统计此次拍照覆盖情况时就不会将该三角形计算在内。
[0118]
统计此次飞行拍摄的最终覆盖情况，以某个覆盖次数下三角面片面积和占场景表面积的部分比形式展现，如图8所示，横轴为覆盖次数，由0次至31次，纵轴为符合该覆盖次数的场景三角面片面积和占场景总表面积的百分比。。覆盖次数为0次和1次的区域面积占场景总面积的0.1％和0.11％；占比最高的三个覆盖是8次、9次、10次，分别占场景总面积的7.31％、7.13％和7.42％；覆盖五次及以上的区域面积占场景总面积的95.47％。在覆盖31次位置的占比有个凸起，与整体下降的趋势不符，是由于在统计时，覆盖次数大于31次的都按31次统计导致的。
[0119]
为了验证算法对场景几何结构的自适应性，手工建造两个简单的狭巷结构，长度均为200米，两侧高度分别是15米和50米。如图9a至图9f所示，图9a、图9d分别是高度为15米和50米的狭巷结构，场景表面已经分割为chart；图9b、图9f是图9a、图9d生成的初始相机网络，独立点和线分别代表相机的位置和观察方向，点的颜色越深说明其cameraimportance值越大；图9c、图9f是优化后的相机网络，可看图9c中更多保留的是沿狭巷中心线竖直向下拍摄的相机，图9f中更多保留的是狭巷两侧倾斜拍摄的相机。应用本文的飞行拍摄规划算法，在所有参数不变的情况下，生成的初始相机网络中，两个场景cameraimportance的计算结果并不一致，在15米高狭巷中，靠近中心线的竖直向下的相机具有更高的cameraimportance，而在50米高狭巷中，在中心线两侧倾斜拍摄的相机具有更高的cameraimportance。因而在对初始相机网络进行优化后，15米高狭巷场景保留的是沿狭巷中心线向下拍摄的相机，50米高狭巷保留的是沿狭巷中心线从两侧倾斜拍摄的相机，这与通常的预期是一致的。
[0120]
通过上述方法，在给定场景粗略模型和采集初始信息的基础上，为拍摄阶段生成一个最优的执行方案，使得无人机在较短的飞行时间内，采集最有利于场景重建的有限数量照片，以支撑后续基于图像的三维重建算法用尽量少的照片重建满足精度需求的三维场景模型。提升了场景数据采集质量，降低了数据采集的费效比，可以采用相对廉价的普通无人机和普通拍摄相机，同时可以采用基于场景几何的相机拍摄位姿高效计算技术，从而实现专业的无人机场景重建数据采集系统，能够有效降低费效比。复杂场景拍摄采用廉价普通的无人机和相机，以降低场景拍摄的成本；同时考虑复杂的场景几何特性，充分发挥无人机的灵活飞行特性，通过计算复杂场景几何特征，提高场景拍摄的效率和质量，减少在场景上进行重复拍摄的次数；同时考虑场景特殊区域内不同拍摄精度的需求，自适应提高场景拍摄精度和质量，提高拍摄效率，从而能够形成一套适应不同层次无人机和相机等硬件要求的、低成本高效率的场景拍摄系统，进而大幅度提高三维场景重建效率和重建质量，提高三维场景重建系统的适应性。能够实现通过价格低廉、性能良好的无人机多相机系统进行复杂场景区域的快速覆盖拍摄，为快速重构三维场景提供数据基础。
[0121]
图2为本技术实施例提供的一种无人机飞行拍摄规划装置的模块框图。该装置包括：存储器201；以及与所述存储器201连接的处理器202，所述处理器202被配置成：获取目标场景区域的粗略模型和拍摄初始信息；根据所述拍摄初始信息，对所述粗略模型进行膨胀操作，生成禁飞区域模型；根据所述拍摄初始信息，对所述粗略模型进行几何分割，将所述粗略模型分割为若干目标几何面，获得粗略模型目标几何面集合；根据所述拍摄初始信息、所述禁飞区域模型和所述粗略模型目标几何面集合，获得初始相机网络；根据所述初始相机网络，确定相机的位置和朝向，基于所述相机的位置和朝向以及所述禁飞区域模型，获得无人机的飞行轨迹。
[0122]
在一些实施例中，所述处理器202还被配置成：根据所述拍摄初始信息，对所述粗略模型进行膨胀操作，生成所述禁飞区域模型的方法包括：获取所述拍摄初始信息中的安全距离，基于所述安全距离，对所述粗略模型沿法向方向做偏移膨胀操作，生成所述禁飞区域模型。
[0123]
在一些实施例中，所述处理器202还被配置成：根据所述拍摄初始信息，对所述粗略模型进行几何分割，将所述粗略模型分割为若干所述目标几何面，获得所述粗略模型目标几何面集合的方法包括：按照法向一致性度量将所述粗略模型的相邻两个第一三角面片进行合并，得到第二三角面片，合并代价大于所述拍摄初始信息中的模型分割角度阈值；按照几何平坦性度量将所述粗略模型的剩余的相邻两个第一三角面片进行合并，得到所述第二三角面片，合并代价大于所述拍摄初始信息中的模型分割位移阈值；根据泊松采样，对所述第二三角面片进行分割得到所述目标几何面，获得所述粗略模型目标几何面集合。
[0124]
在一些实施例中，所述处理器202还被配置成：根据所述拍摄初始信息、所述禁飞区域模型和所述粗略模型目标几何面集合，获得所述初始相机网络的方法包括：将所述目标几何面的质心作为采样点，根据所述粗略模型目标几何面集合，得到采样点集合；根据所述拍摄初始信息和所述禁飞区域模型，将所述采样点集合转换为所述初始相机网络，所述初始相机网络中的所述相机的位置位于所述禁飞区域模型的禁飞区域外。
[0125]
在一些实施例中，所述处理器202还被配置成：根据所述初始相机网络，确定所述相机的位置和朝向的方法包括：优化所述初始相机网络获得优化相机网络，基于所述优化相机网络确定所述相机的位置和朝向，优化所述初始相机网络的方法包括步骤：s1、获取所述初始相机网络中所述相机的第一度量，基于所述第一度量对所述相机进行增量排序，所述第一度量用于判断所述相机对目标场景重建过程的价值；s2、移除所述初始相机网络中所述第一度量最小的待检测相机；s3、获取移除所述待检测相机后的所有的可见的所述采样点的第二度量，所述第二度量用于衡量删除冗余相机后所述采样点的重建质量变化情况；s4、判断所述第二度量是否全部大于或者等于所述拍摄初始信息中的采样点可重建性阈值，若是，则从所述初始相机网络中删除所述待检测相机，并对删除所述待检测相机之后的所述初始相机网络重新执行步骤s2至s5，若否，则所述待检测相机保留，并对除去所述待检测相机之后的所述初始相机网络重新执行步骤s2至s4。
[0126]
在一些实施例中，所述处理器202还被配置成：基于所述相机的位置和朝向以及所述禁飞区域模型，获得所述无人机的飞行轨迹的方法包括：根据旅行商问题的解决方法和dijkstra算法设计所述无人机的飞行轨迹，使所述飞行轨迹为最短飞行距离。
[0127]
在一些实施例中，所述处理器202还被配置成：所述拍摄初始信息包括：相机的分
辨率、相机的焦距、照片间的重叠区域比例、拍摄精度、无人机与场景之间的安全距离、模型分割角度阈值、模型分割位移阈值、采样点可重建性阈值和/或相机最小俯视角度。
[0128]
在一些实施例中，所述处理器202还被配置成：获取所述目标场景区域的所述粗略模型的方法包括：利用无人机拍摄快速重建出所述粗略模型、利用手工建模得到所述粗略模型或者通过测绘技术得到所述粗略模型。
[0129]
具体实现方法参考前述方法实施例，此处不再赘述。
[0130]
本技术可以是方法、装置、系统和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于执行本技术的各个方面的计算机可读程序指令。
[0131]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0132]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0133]
用于执行本技术操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本技术的各个方面。
[0134]
这里参照根据本技术实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本技术的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0135]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其他可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0136]
也可以把计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其他可编程数据处理装置、或其他设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0137]
附图中的流程图和框图显示了根据本技术的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0138]
注意，除非另有直接说明，否则本说明书(包含任何所附权利要求、摘要和附图)中所揭示的所有特征皆可由用于达到相同、等效或类似目的的可替代特征来替换。因此，除非另有明确说明，否则所公开的每一个特征仅是一组等效或类似特征的一个示例。在使用到的情况下，进一步地、较优地、更进一步地和更优地是在前述实施例基础上进行另一实施例阐述的简单起头，该进一步地、较优地、更进一步地或更优地后带的内容与前述实施例的结合作为另一实施例的完整构成。在同一实施例后带的若干个进一步地、较优地、更进一步地或更优地设置之间可任意组合的组成又一实施例。
[0139]
虽然，上文中已经用一般性说明及具体实施例对本技术作了详尽的描述，但在本技术基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本技术精神的基础上所做的这些修改或改进，均属于本技术要求保护的范围。