一种基于无人机视频序列的三维变化检测方法

1.本发明属于无人机技术领域，具体涉及一种基于无人机视频序列的三维变化检测 方法。


背景技术：

2.和二维图像相比，三维点云能够更加完整地保存和展示物体的形状、结构等特性。 随着三维重建技术和三维数据采集技术的发展，三维点云逐渐被用于机器人、无人驾 驶、无人机等多个领域。场景-场景之间的三维变化检测现已被广泛应用于国防工业领 域，如安全监控领域的有无其他目标出现；环境监测领域的检测是否有新建的建筑、 已拆除的建筑或者变化的建筑等。
3.目前二维变化检测方法较为成熟，但只能检测平面变化，缺少三维空间感知能力， 如建筑物高度等。对于需要高度信息的变化检测，三维点云具备极强的优势。通过传 统的航空机载激光雷达获取点云数据需要耗费大量的人力物力。通过多个影像的密集 匹配技术提供了获取三维信息的新技术，但存在较多错误的匹配。根据三维信息使用 的不同，大致可以分为几何信息比较法和几何信息与光谱信息相结合的方法。几何信 息比较法易受高度数据影响、对数据要求高、计算复杂；几何信息与光谱信息相结合 的方法对参数敏感、对样本采集及特征提取要求高。
4.近年来，无人机技术得以快速发展，具有成本低、灵活、高效等特点，通过无人 机视频序列重建获取三维点云逐渐成为一种新的趋势。


技术实现要素：

5.为了克服现有技术的不足，本发明提供了一种基于无人机视频序列的三维变化检 测方法，首先通过无人机视频序列重建三维点云；然后对不同时刻获取的两个点云进 行配准；其次，通过两个点云之间的差值获取候选区域；最后通过候选区域的密度和 长宽高属性及体积等多层次几何属性对候选区域进行筛选。该方法操作简单，在面对 诸多干扰的情况下仍能准确地定位三维变化区域。
6.本发明解决其技术问题所采用的技术方案包括如下步骤：
7.步骤1：通过无人机视频序列重建场景三维点云；
8.步骤2：将不同时刻重建的两个点云pm和ps进行配准；
9.步骤3：利用点云pm中单个点到ps的最小欧式距离值获取候选区域，并采用区域 密度法去除候选区域内的噪声，得到点云pc；
10.步骤4：利用欧式聚类法对点云pc进行分割，分割成若干个候选建筑物，随后根 据候选建筑物的长宽高和体积多层次几何属性进一步筛选，获取最终的结果。
11.进一步地，所述步骤1中根据无人机视频序列重建场景三维点云的具体过程包括：
12.步骤1-1：通过间隔取帧的方式获取无人机视频的图片序列；
13.步骤1-2：通过运动恢复结构法对图片序列进行稀疏重建；
14.步骤1-3：通过多视图立体算法进一步进行稠密重建，获取更加稠密的点云数据， 完成重建。
15.进一步地，所述步骤2中将不同时刻重建的两个点云pm和ps进行配准的具体过程 包括：
16.步骤2-1：分别从两个点云中随机选择n个关键点和获 取每个关键点所在的局部区域并构造局部特征描述符和
17.步骤2-2：根据特征描述符生成两个点云关键点之间的特征匹配并根据特征匹配 的得分挑选k个特征匹配
18.步骤2-3：从挑选的k个特征匹配中任意选择3个特征匹配生成旋转 平移变换(r,t)；
[0019][0020]
式中，r代表一个3x3的旋转矩阵，t代表一个1x3平移变换；
[0021]
步骤2-4：将点云pm降采样得到点云p
′m，根据旋转平移变换(r,t)计算点云p
′m和 ps之间的重叠率，每次迭代过程中保存重叠率r
ov
最高的旋转平移变换为 (r
result
,t
result
)，若迭代达到一定次数或者重叠率达到设置的阈值threshold_r
ov
则停止 迭代；
[0022]
重叠率r
ov
计算方法的具体步骤包括：
[0023]
1)通过旋转平移变换(r,t)对点云p
′m进行变换得到新的点云p
″m；
[0024]
2)在点云ps中寻找距离最近的点如果和的欧氏距离值的欧氏距离值小于阈值dis1，将放入子集合
[0025]
3)重叠率r
ov
计算如下所示：
[0026][0027]
其中，和p
″
m均为点集合，|
·
|表示集合大小；
[0028]
步骤2-5：将点云pm通过旋转平移变换(r
result
，t
result
)得到新的点云pm′
，至此， 点云pm和ps配准完成；
[0029]
进一步地，所述步骤3中获取候选区域和去除噪声的具体步骤如下：
[0030]
步骤3-1：在点云ps中寻找距离最近的点如果和的欧氏距离值 小于阈值dis2，将放入子集合至此获取候选区域 结束，此处获得的候选区域仍具有噪声，在下一步中去除候选区域中存在的噪声；
[0031]
步骤3-2：遍历中的每一个点pk，使用kdtree确 定球形邻域内点的数量，若点的数量大于阈值num，将pk放入子点云pc，至此，去噪 结束。
[0032]
进一步地，所述步骤4具体如下：
[0033]
步骤4-1：从点云pc中任意选择一点将点放入集合将从点
云 pc中移除；
[0034]
步骤4-2：遍历集合中每个点同时遍历点云pc中每一个点若和之间的距离小于设定的阈值，则将点放入集合并从点云pc中移除，已经放入的点 不会重复放入，集合中的点不会被重复遍历，点云pc中已经被移除的点下次遍历pc时不会被再次遍历；重复步骤4-2直至不再有任何点放入集合中
[0035]
步骤4-3：若点云pc仍有剩余的点，则继续重复步骤4-1和步骤4-2构造集合直至构造完集合之后点云pc中无任何剩余的点；所得集合的个数即为建筑物个数， 至此，每个建筑物的可能区域全部获取完成；
[0036]
步骤4-4：计算每个候选建筑物内点数量，若数量小于预设数量阈值，则认为该建 筑物属于未去除干净的噪声，不属于建筑物；
[0037]
步骤4-5：经过步骤4-4筛选之后，计算剩余候选建筑物的边界框，若边界框的体 积小于预设体积阈值，则判定该候选建筑为配准误差所带来的错误结果，将该建筑物 去除，剩余的候选建筑物即为最后的结果。
[0038]
本发明的有益效果如下：
[0039]
1)本发明方法鲁棒性强，面对诸多干扰的情况下仍然能获取较为准确的结果。
[0040]
2)本发明方法简单有效，无需检测关键点所处的区域，所有操作均可手动实现， 不需要使用第三方api。
附图说明
[0041]
图1本发明方法实施流程图。
[0042]
图2本发明实施例无人机视频序列。
[0043]
图3本发明实施例根据无人机视频重建之后的三维点云。
[0044]
图4本发明实施例两个不同时刻获得的无人机视频序列重建之后的点云。
[0045]
图5本发明实施例配准效果图。
[0046]
图6本发明实施例生成候选区域。
[0047]
图7本发明实施例去除噪声示意图。
[0048]
图8本发明实施例实例分割示意图。
[0049]
图9本发明实施例根据实例点数量筛选示意图。
[0050]
图10本发明实施例长宽高和体积等多层次几何属性筛选示意图。
[0051]
图11本发明实施例最终效果图。
具体实施方式
[0052]
下面结合附图和实施例对本发明进一步说明。
[0053]
本发明要解决的技术问题是：基于上述存在的问题和无人机视频序列，提出一种 基于无人机视频序列的三维变化检测方法。该方法首先通过无人机视频序列重建三维 点云；然后对不同时刻获取的两个点云进行配准；其次，通过两个点云之间的差值获 取候选
小于阈值dis2，将放入子集合至此获取候选区域 结束，此处获得的候选区域仍具有噪声，在下一步中去除候选区域中存在的噪声；
[0076]
步骤3-2：遍历中的每一个点pk，使用kdtree确 定球形邻域内点的数量，若点的数量大于阈值num，将pk放入子点云pc，至此，去噪 结束。
[0077]
步骤4：利用欧式聚类法对点云pc进行分割，分割成若干个候选建筑物，随后根 据候选建筑物的长宽高和体积等多层次几何属性进一步筛选，获取最终的结果。
[0078]
步骤4-1：从点云pc中任意选择一点将点放入集合将从点云 pc中移除；
[0079]
步骤4-2：遍历集合中每个点同时遍历点云pc中每一个点若和之间的距离小于设定的阈值，则将点放入集合并从点云pc中移除，已经放入的点 不会重复放入，集合中的点不会被重复遍历，点云pc中已经被移除的点下次遍历pc时不会被再次遍历；重复步骤4-2直至不再有任何点放入集合中
[0080]
步骤4-3：若点云pc仍有剩余的点，则继续重复步骤4-1和步骤4-2构造集合直至构造完集合之后点云pc中无任何剩余的点；所得集合的个数即为建筑物个数， 至此，每个建筑物的可能区域全部获取完成；
[0081]
步骤4-4：计算每个候选建筑物内点数量，若数量小于预设数量阈值，则认为该建 筑物属于未去除干净的噪声，不属于建筑物；
[0082]
步骤4-5：经过步骤4-4筛选之后，计算剩余候选建筑物的边界框，若边界框的体 积小于预设体积阈值，则判定该候选建筑为配准误差所带来的错误结果，将该建筑物 去除，剩余的候选建筑物即为最后的结果。
[0083]
具体实施例：
[0084]
本发明技术方案的实施例提供的一种基于无人机视频序列的三维变化检测方法， 其流程如图1所示，包括通过无人机视频序列重建三维点云；关键点选取及局部特征 构造；点云配准；获取候选区域；筛选候选区域。下面结合示例来具体阐述本发明提 供的一种基于无人机视频序列的三维变化检测方法。
[0085]
(1)首先通过间隔取帧的方式获取无人机视频的图片序列，如图2所示，然后通过 运动恢复结构法对图片序列进行稀疏重建。此时重建出来的点云数据较为稀疏，无法 完整地表现出整个对象的几何特征，需要通过多视图立体算法进一步进行稠密重建， 获取更加稠密的点云数据，至此重建完成，如图3所示，两个不同时刻获取的视频序 列重建之后的三维点云如图4所示。
[0086]
(2)初始状态如图4所示，两个点云并未对齐，因此，需要将两个点云配准对齐之 后再进行后续操作。配准流程如下所示：首先分别从两个点云pm和ps中随机选择关键 点和获取每个关键点所在的局部区域并构造局部特征描述 符和生成两个点云关键点之间的特征匹配并根据特征匹配 的
得分挑选k个特征匹配从挑选的k个特征匹配中任意旋 转3个生成旋转平移变换(r，t)，r代表一个3x3的旋转矩阵，t 代表一个1x3平移变换。将点云pm降采样得到点云p
′m，根据旋转平移变换(r，t)计算 点云p
′m和ps之间的重叠率，每次迭代过程中保存重叠率r
ov
最高的旋转平移变换为 (r
result
，t
result
)，若迭代达到一定次数或者重叠率达到设置的阈值threshold_r
ov
则停止 迭代。将点云pm通过旋转平移变换(r
result
，t
result
)得到新的点云pm′
，至此，点云pm和ps配准完成，配准之后的结果如图5所示。
[0087]
(3)在点云ps中寻找距离最近的点如果和的欧氏距离值的欧氏距离值小于某一阈值dis2，将放入子集合如图6所示。获取的候选区 域内存在很多干扰噪声，需进一步去除噪声。遍历中的每一个点pi，，使用kdtree确定球形邻域内点的数量，若点的数量大于阈值hum， 将pi放入子点云pc，结果如图7所示。
[0088]
(4)对(3)中获得的点云pc进一步分割成若干个候选区域，具体流程为：从点云pc中任意选择一点将点放入集合最开始j＝0，将从点云pc中移除。遍历 集合中每个点同时遍历点云pc中每一个点若和之间的距离小于某个 阈值，则将点放入集合并从点云pc中移除，已经放入的点不会重复放入，集合中的点不会被重复遍历，点云pc中已经被移除的点下次遍历pc时不会被再次遍历。重 复上述操作直至不再有任何点放入集合中若点云pc仍有剩余的点，则继续重复上 述过程构造集合直至构造完集合之后点云pc中无任何剩余的点。所得集合的 个数即为建筑物个数，至此，每个建筑物的可能区域全部获取完成。
[0089]
结果如图8所示。获取全部建筑物区域以后进一步对所获得的区域使用密度法和 长宽高及体积多层次几何属性进一步筛选，最终剩余的区域即为结果区域，如图9和 图10所示。
[0090]
将本发明算法应用到实际三维变化检测中，效果如图11所示，最后的建筑物区 域，其点云被染色且用边界框标记，从图11可以看出本发明的方法检测标注较为准 确。