基于单次三维激光扫描的树木测量和重建方法

专利名称：基于单次三维激光扫描的树木测量和重建方法
技术领域：
本发明涉及计算机图形学和计算机视觉技术领域，是一种基于单次三 维激光扫描的树木测量和重建方法，重建结果主要用于虚拟现实、电脑游 戏、自然场景模拟、城市景观设计等计算机图形学应用领域和农林业调査 用于树木测量等。
背景技术：
树木是自然界中最常见的景物之一，出于增强场景真实感的需要，构 造树木的三维模型成为计算机图形学各应用领域，比如虚拟现实、电脑游 戏、自然场景模拟、城市景观设计等，必不可少的组成部分。另外重建树 枝的三维模型在农林应用方面，比如林木参数测量、植物生长模拟、森林 管理等，也发挥着重要作用。
目前树木重建方法可以分为两大类， 一类是纯虚拟树木重建，另外一 类是现实生活中的真实树木重建。在早期人们基于植物学知识按照一定的 规则生成虚拟植物模型，但是用这种方法很难得到现实世界中特定树木的 三维模型。近年来，人们致力于真实环境中树木的三维重建研究。由于树
5木自身树叶、树枝之间不可避免地存在遮挡，周围环境中也可能存在其它 树木或建筑物的遮挡，因此很难获取完整的树木表面数据；另外由于树木 具有复杂的几何形状和拓扑形态，真实树木的三维重建极富挑战性。目前 这方面的工作不多，而且所采用方法的一个共同特点就是主要从图形学的 角度出发，针对有树叶的树木生成的模型具有比较好的整体视觉效果，但 是由于树叶的遮挡，大部分枝干在测量时不可见无输入信息，这部分枝干 的模型，包括枝干形状、直径信息，只能靠植物学知识虚拟生成，与原始 树木形态相差较大，最后得到原始树木的一个似是而非的三维模型，不具 备形态结构上的保真性。另外，处于树木底部可见部分的枝干，其骨架由 种子点距离聚类方法求取，光滑性差，常需要人工交互调整。
为获取特定树木表面的几何和外观信息，主要采用两种方法第一种 是从不同的角度拍照得到多幅图像，然后利用视觉原理进行三维重建；第 二种，直接对树木进行激光扫描得到三维点云信息。前一种方法操作简单 方便，但得到的几何信息精度有限，后一种则可以达到很高的精度。基于 此，为避免树叶带来的严重遮挡，我们利用三维激光扫描仪获取落叶树的 枝干表面信息，并根据单次扫描数据利用深度图像重建出树干、树枝的三 维模型。

发明内容
本发明的目的在于提供一种基于单次三维激光扫描的树木测量和重建 方法，是利用激光扫描仪对现实世界中真实树木单次扫描即可快速三维重 建的方法，可对树木形状及枝干粗细做出准确的计算，依据数据重建落叶树的枝干模型，所获得的模型能用于计算机图形学各应用领域和农林业调 查。
为实现上述目的，本发明的技术解决方案是
一种基于单次三维激光扫描的树木测量和重建方法，其特征在于，包
括下列步骤
1) 数据预处理，包括两个子步骤
a) 感兴趣树木的分割选择合适的视点用激光扫描仪对树木进行 三维测量，使用聚类方法从扫描得到的原始点云数据中将感兴 趣的树木分割出来；
b) 生成树木深度图像将上一步得到的树木点云表示为深度图像 格式，图像中各像素点的次序与扫描次序相同，像素的深度值 对应各点到扫描仪的距离；
2) 轴向估计，包括五个子步骤-
a) 跳跃边缘提取使用滞后阈值(hysteresis threshold)提取 深度图像的跳跃边缘，初步分离不同的枝干；
b) 初始骨架提取求取上一步分离枝干在各水平、竖直扫描线方 向上的中点及到边缘的距离，去除非骨架点后得到水平、竖直 方向上两套独立的初始骨架点；
c) 枝干分解根据上一步初始骨架点的连续性在水平、竖直方向 上分解树木枝干，使得每一区域仅包含一个枝干或枝干的一部 分；
d) 初始轴向计算在初始骨架点的邻域内进行快速圆柱拟合求取该点处的轴向；
e)轴向求精综合两套初始骨架点及其邻域内的轴向，利用投票 技术(direction voting)得到更准确更鲁棒的轴向信息；
3) 三维骨架计算，包括两个子步骤-
a) 三维骨架点及半径求取根据上一步求得的轴向信息在各横截 面上计算三维骨架点及半径；
b) 骨架点连接按照各骨架点在三维空间及深度图像空间的位置、 轴向信息连接相邻的骨架点，形成分段线性骨架；
4) 三维模型生成，由上一步得到的骨架和半径信息生成广义圆柱模 型；分级骨架模型和广义圆柱模型可以用于树木测量，把广义圆柱 模型离散为网格模型，用于渲染。
所述的方法，其所述第2)步b)步骤中的非骨架点，是不连续中点或 到边缘距离大于设定阈值的中点均视为非骨架点。
所述的方法，其所述连续中点，是两中点的距离小于3个像素则认为 是连续的。
所述的方法，其所述第2)步d)步骤中在快速圆柱拟合时，以所有拟 合点方差最大的方向作为圆柱轴向的初始估计值，拟合点的质心作为轴的 初始位置，骨架点对应的扫描线长度作为枝干的直径初始值。
所述的方法，其所述第2)步e)步骤中的轴向投票技术，是采用与所 有轴向内积平方和最大的单位方向作为投票结果。
所述的方法，其所述第3)步a)步骤中骨架点处的半径根据树木横截 面的宽度计算。所述的方法，其所述第4)步的广义圆柱模型由分段圆台组成。
本发明方法操作简单，仅利用激光扫描仪单次扫描数据得到忠实于原 始树木的枝干形状和半径信息，方法主要操作在二维图像空间进行，算法 简单有效，重建结果准确，可信度高，在虚拟现实、电脑游戏、自然场景 模拟、城市景观设计等计算机图形学应用领域和农林业调查、树木测量等 邻域具有重要的应用价值。


图l本发明方法的算法流程示意图2本发明方法分割后生成的树木深度图像；其中图2 (a)为枫树； 图2 (b)为青桐；
图3本发明方法跳跃边缘提取及枝干初步分离结果示意图；其中图3
(a) 为跳跃边缘；图3 (b)为枝干初步分离；
图4本发明方法的初始骨架点示意图；其中图4 (a)为水平方向初 始骨架点；图4 (b)为竖直方向初始骨架点；
图5本发明方法的枝干分解示意图；其中图5 (a)为水平方向枝干 分解；图5 (b)为竖直方向枝干分解；
图6本发明方法的树木轴向示意图；其中图6 (a)为初始轴向；图6
(b) 为精细化后的轴向；图6 (C)为局部区域轴向三维显示； 图7本发明方法合并后的初始骨架点示意图8本发明方法的三维骨架点及其半径计算示意图；其中图8 (a) 为三维骨架点求取；图8 (b)为半径计算；图9本发明方法的三维骨架示意图；其中图9 (a)骨架段；图9 (b) 树木完整骨架；
图10本发明方法重建得到的三维模型示意图；其中图10 (a)枫树 模型；图10 (b)青桐模型；
图ll本发明方法带纹理模型不同视点渲染结果示意图；图ll (a)枫 树；图ll (b)青桐。
具体实施例方式
本发明方法是利用激光扫描仪单次扫描数据重建落叶树的枝干模型。 由于激光扫描仪测量精确度高，本发明采用激光扫描仪来获取树木表 面信息。 一般来说，多次扫描能获得关于树木表面更多的信息，本发明中 我们仅仅采用单次扫描主要出于如下两点原因第一、单次扫描点云数据 在空间排列规则，可以组织为深度图像格式，利用这种规则性，枝干重建 大部分过程可以简化到二维空间进行，算法简单。第二、多次扫描在很多 现实条件中常常不可行，待扫描树木周围可能被其它树木或建筑物遮挡， 仅在一个视点方向可见，另外单视点扫描足以获取树木的大部分枝干结构 信息。
本发明算法的主要步骤包括
1)数据预处理，包括两个子步骤感兴趣树木的分割和生成树木深度 图像；
a)感兴趣树木的分割，选择合适的视点用激光扫描仪对树木进行 三维测量，使用聚类方法从扫描得到的原始点云数据中将感兴趣的树木分割出来；
b) 生成树木深度图像，将上一步得到的树木点云表示为深度图像 格式，图像中各像素点的次序与扫描次序相同，像素值对应各 点到扫描仪的距离；
2) 轴向估计，包括5个子步骤跳跃边缘提取、初始骨架提取、枝干 分解、初始轴向计算、轴向求精；
c) 跳跃边缘提取，使用滞后阈值(hysteresis threshold)提取 深度图像的跳跃边缘，初步分离不同的枝干；
d) 初始骨架提取，求取上一步分离枝干在各水平、竖直扫描线方 向上的中点及到边缘的距离，去除非骨架点后得到水平、竖直 方向上两套独立的初始骨架点；
e) 枝干分解，根据上一步初始骨架点的连续性在水平、竖直方向 上分解树木枝干，使得每一区域仅包含一个枝干或枝干的一部 分；
f) 初始轴向计算，在初始骨架点的邻域内进行快速圆柱拟合求取 该点处的轴向；
g) 轴向求精，综合两套初始骨架点及其邻域内的轴向，利用投票 技术(direction voting)得到更准确更鲁棒的轴向信息。
3) 三维骨架计算，包括两个子步骤三维骨架点及半径求取和骨架点 连接；
h) 三维骨架点及半径求取，根据上一步求得的轴向在各横截面上 计算三维骨架点及半径；i)骨架点连接，按照各骨架点在三维空间及深度图像空间的位置、
轴向信息连接相邻的骨架点； 4)三维模型生成，由上一步得到的骨架和半径信息生成广义圆柱模 型。
具体实施例
如图1所示，给出了整个算法的流程。
a)数据预处理
现实世界中树木周围会存在其他的物体，比如其它树木或建筑物，进行 激光扫描前选择一个合适的视点，该试点下感兴趣树木不被其它物体遮挡 且树木自身的遮挡最小。树木重建算法的第一步就是从三维激光扫描数据 中分割出对应树木部分的点云数据。我们工作基于单次扫描，点云数据在 空间排列规则，为充分利用这种有序性，将分割后的树木点云数据转换成 深度图像格式。
感兴趣树木的分割
一般来说所选定的树木与周围环境中的树木或建筑物的距离要远远大 于树木内相邻扫米点间的距离。树木分割采用聚类的方法完成:设集合S初
始值为空集，在感兴趣树木上任取一点加入集合s，然后集合s通过迭代
方法不断扩张，每次迭代加入与集合s中任意一点距离小于设定阈值的所 有点，直到不再有新点加入迭代结束，迭代最终得到的集合s即由感兴趣 树木点云组成。 生成树木深度图像三维激光扫描仪单次扫描所得到的点云数据在空间排列规则，可以按 其扫描时的相邻次序表示为深度图像格式每一点的坐标值x，W分别对应 深度图像中像素的坐标值U及像素值/(U)。按上一步分割结果，非感
兴趣树木上的点按背景处理，其像素值设为0。
b)轴向估计
轴向估计是本发明中很重要的一部分，求出轴向后就可以在各横截面 处计算骨架点和半径，准确度高。树木枝干横截面大都近似圆形，单个枝 干可以近似为广义圆柱，各横截面处的轴向由截面邻域内点进行圆柱拟合 得到。
跳跃边缘提取
在生成的树木深度图像中，同一区域内包含不同的分支，这些分支距 离扫描仪的距离一般都有明显差别，因此在邻接处深度值有跳变，即所谓
跳跃边缘(jump edge),通过提取这些跳跃边缘可以初步将不同的枝干分 离看来。
跳跃边缘通过査找与邻域深度值差别较大的像素点得到。由于扫描数 据存在噪声，尤其是在跳跃边缘处测量的深度值更为不精确，为得到鲁棒
的结果，采用滞后阈值技术设定两个阈值^ ，深度差大于^_的像
素点确信为跳跃边缘点，小于^的像素点为非边缘点，其他像素点为可能 边缘点，如果这些候选边缘点与确信边缘相连，则视为跳跃边缘，否则作 为非边缘点处理。通过去掉这些测量不准确的跳跃边缘点，树木枝干被划 分为几个不相连的区域，而区域内的枝干必相连。 初始骨架提取对于树状物体来说，与轴向大致垂直扫描线方向物体边缘的中点可以 作为骨架点的近似，而与轴向大致平行扫描线方向物体边缘的中点一般都 不能作为骨架点。在上一步提取跳跃边缘得到初步分离的不同枝干区域 后，对于每个区域求取水平、竖直方向各扫描线在区域内的中点，并记录 与中点对应的到边缘距离。两相邻扫描线中点的距离小于3个像素时认为 这两点是相连的，否则认为不相连。不相连的中点或到边缘距离大于设定 阈值的中点作为非骨架点去掉，剩下的中点构成水平、竖直方向两套初始 骨架点。
枝干分解
跳跃边缘提取步骤中得到的各枝干区域可能包含分叉，也就是说同一 区域中包含多个枝干，把不同的枝干全部分离开对于后续的圆柱拟合很重 要，这可以借助于上一步得到的两套骨架点来完成，因为不同的枝干骨架 点不相连。所有相连的骨架点及其对应的扫描线区域组成一个独立的区 域，这样树木所有枝干沿水平或竖直方向被分解成多个区域，每个区域仅 包含一个枝干或枝干的一部分。
初始轴向计算
由上面几步得到初始骨架点及枝干分解区域后，在每个初始骨架点邻 域内进行圆柱拟合求轴向。邻域的选取是一个很关键的问题，每个初始骨 架点位于一分解后的独立枝干区域内，该区域与以骨架点为中心的正方形 区域的交集作为圆柱拟合时拟合点的选取范围，该正方形边长大于骨架点 对应扫描线在枝干区域内的长度即可。
圆柱拟合是一个5参数非线性优化问题，其中轴向2参数、轴位置2参数、直径一个参数，优化过程采用迭代求解的方法。非线性优化的一个 关键问题是参数初值的选取，初值选取的好坏直接影响优化结果是否陷入 局部最优解。针对这个问题，本发明提出了一种有效的初值选取方法由 于所选定的拟合邻域边长大于枝干横截面宽度，在轴向上点分布更多，因 此所有拟合点方差最大的主方向可以近似描述轴向信息，作为轴向初始 值；拟合点的质心作为轴的初始位置；骨架点对应的扫描线长度描述了枝 干在水平或竖直方向的宽度，作为枝干的直径初始值。 轴向求精
上一步圆柱拟合后，每个初始骨架点枝干邻域内都计算得到一个轴 向。注意到前面步骤中针对横竖树枝得到了两套骨架点，每个骨架点又同 时位于其它骨架点的邻域内，因此每个骨架点处通过不同的邻域求取了多 个轴向，综合这些轴向可以得到一个更为精确更为鲁棒的轴向信息。这种 综合多个轴向信息得到一个轴向的过程是通过投票技术完成的，也就是说 寻找一个单位向量，使其与所有轴向的内积平方和最大，这一优化问题可 以归结为一个轴向协方差矩阵的最大特征向量求解问题。在每个初始骨架 点邻域内进行轴向求精后得到一个唯一的轴向。
c)三维骨架计算
通过上面的轴向估计得到整棵树木枝干各处的轴向信息，根据这一轴 向及初始骨架点对应的扫描线方向可以判断该初始骨架点是否合适，若轴
向与扫描线方向夹角小于45度，该初始骨架点被视为不合理骨架点去掉， 否则留下来，将留下来的两套初始骨架点合并即可得到整棵树木在深度图 像空间中的骨架。这种深度图像上的骨架点可以在原始三维点云中找到对应，表现为树木表面上的骨架。通过对这种表面骨架的进一步处理可以得 到树木的中心骨架。
三维骨架点及半径求取
深度图像中的每个骨架点对应枝干的一个横截面，该横截面中心即为
枝干的一个三维骨架点。理想情况下横截面中心通过圆柱拟合由横截面圆
心得到，但是实际扫描数据很多情况下只能获得枝干圆周的一小部分，而
且树木截面不是圆形，圆柱拟合得到的中心往往偏差较大。本发明根据初
始骨架点邻域内点的质心来求取三维骨架点，由于邻域质心可能与初始骨
架点不在同一个横截面上，需要将质心沿轴向平移到相同横截面上设初
始骨架点为m(2)，对应轴向a ，邻域质心c ，则中心骨架点 w(3)=c-〈c —w(",a〉.a，如图s(a)所示。
获得枝干骨架点和轴向后，骨架点处枝干半径由骨架点邻域内枝干的
宽度求得，如图8(b)所示，d为骨架点w("对应的枝干宽度平均值，《为
轴向与扫描线夹角，则骨架点处的半径^ = ^^。
2
骨架点连接
在这一步中相邻的骨架点通过直线连接起来构成一个树木完整的骨 架。首先位于同一枝干区域内的骨架点相连，这可以按照各三维骨架点对 应的初始骨架点在深度图像中的连接次序连接起来，这样就得到一序列互 不相连的骨架段。下一步按照骨架段间的距离和轴向一致性将所有的骨架 段连接起来。令p是骨架段的一个端点，"是其对应的轴向，# = {/ ,}是其 它骨架段上骨架点组成的集合，满足下列条件的骨架点^ e M与p相连 (1) m^与p的距离小于给定的阈值；(2) m广;7与a的夹角小于一定的角度，比如30度；
(3) m,与p在轴向。上的投影距离最短。
对所有的骨架端点进行上述操作，对于遮挡过于严重上述方法无法自 动连接的骨架段，以及出现错误连接的地方，进行手工连接和调整。手工 调整完全在深度图像空间进行，然后再通过点云与深度图像的一一对应将 连接关系返回到三维骨架中。
d)三维模型生成
原始树木近似为一个广义圆柱模型，上述步骤得到的骨架为该模型的 轴线，各骨架点处的半径描述了圆柱模型在相应横截面处的半径，两相邻 骨架点之间的半径信息通过线性插值方法得到，也就是说这段枝干用圆台 表示。得到的广义圆柱模型也可以网格化成三角面片模型，或贴上纹理， 用于各种图形学应用领域。该模型的尺度参数完全由原始数据求得，可以 用于林业调查，比如获取树木高度、任意高度枝干的直径、枝条个数、通 过简单计算得到树木体积等。
结论
我们将本发明方法应用于实际扫描得到的不同树种数据， 一种是20米 高的枫树，由于存在大量树叶遮挡，我们从原始数据中去除上层树冠部分 仅保留枝干用于实验，另一棵树是早春扫描得到的落叶后的青桐树，高6 米。图2显示了分割后生成的这两棵树的深度灰度图像，其中，图2 (a) 为枫树，图2 (b)为青桐树，灰度深浅由深到浅对应深度距离由小到大。 图3(a)在浅灰色树木图像背景上用黑色和灰色分别显示了确信跳跃边缘 及其候选点，图3 (b)为根据跳跃边缘得到的枝干初步分离结果。图4显示了水平及竖直方向分别得到的两套初始骨架点，其中，图4(a)为水平方 向初始骨架点，图4(b)为竖直方向初始骨架点，图中黑色像素判断为骨架 点，深浅灰色像素判断为非骨架点，浅灰色为深度图像上的点。图5显示 了根据初始骨架点进行枝干分解后的结果，图5(a)为水平方向枝干分解， 图5(b)为竖直方向枝干分解。图6(a)中箭头显示圆柱拟合计算得到的轴 向及拟合之前估计的轴向初值，图6(b)显示轴向求精后的结果，图6(a) (b) 显示的是轴向在深度图像平面投影结果，图6(c)显示了局部区域的三维轴 向。图7为根据轴向将两套初始骨架点合并后的结果。图9显示了三维骨 架点的连接及结果，图9 (a)为骨架段，图9(b)为树木完整骨架。图10 为生成的三维广义圆柱模型，图10 (a)为枫树模型，图10(b)为青铜树模 型。图11为对模型贴上树皮纹理后不同视点的渲染结果，图ll(a)为枫树， 图11 (b)为青铜树。
本发明方法的特色在于利用单次激光扫描数据重建树木枝干模型，并 充分利用单次扫描数据排列规则的特点将大部分处理简化到二维图像空 间进行，算法简单；另外一大创新在于先估计轴向，再根据轴向信息从不 完整点云数据中提取骨架、计算半径。
上述实验结果和利用单次激光扫描数据进行树木重建的方法，可以用 于计算机图形学各应用领域及农林业调查等领域，具有高可信度、操作简 单、应用前景广的特点。
18
权利要求
1. 一种基于单次三维激光扫描的树木测量和重建方法，其特征在于，包括下列步骤1)数据预处理，包括两个子步骤a)感兴趣树木的分割选择合适的视点用激光扫描仪对树木进行三维测量，使用聚类方法从扫描得到的原始点云数据中将感兴趣的树木分割出来；b)生成树木深度图像将上一步得到的树木点云表示为深度图像格式，图像中各像素点的次序与扫描次序相同，像素的深度值对应各点到扫描仪的距离；2)轴向估计，包括五个子步骤a)跳跃边缘提取使用滞后阈值提取深度图像的跳跃边缘，初步分离不同的枝干；b)初始骨架提取求取上一步分离枝干在各水平、竖直扫描线方向上的中点及到边缘的距离，去除非骨架点后得到水平、竖直方向上两套独立的初始骨架点；c)枝干分解根据上一步初始骨架点的连续性在水平、竖直方向上分解树木枝干，使得每一区域仅包含一个枝干或枝干的一部分；d)初始轴向计算在初始骨架点的邻域内进行快速圆柱拟合求取该点处的轴向；e)轴向求精综合两套初始骨架点及其邻域内的轴向，利用投票技术得到更准确更鲁棒的轴向信息；3)三维骨架计算，包括两个子步骤a)三维骨架点及半径求取根据上一步求得的轴向信息在各横截面上计算三维骨架点及半径；b)骨架点连接按照各骨架点在三维空间及深度图像空间的位置、轴向信息连接相邻的骨架点，形成分段线性骨架；4)三维模型生成，由上一步得到的骨架和半径信息生成广义圆柱模型；分级骨架模型和广义圆柱模型可以用于树木测量，把广义圆柱模型离散为网格模型，用于渲染。
2. 按权利要求l所述的方法，其特征在于，所述第2)步b)步骤中的非骨 架点，是不连续中点或到边缘距离大于设定阈值的中点均视为非骨架 点。
3. 按权利要求2所述的方法，其特征在于，所述连续中点，是两中点的 距离小于3个像素则认为是连续的。
4. 按权利要求l所述的方法，其特征在于，所述第2)步d)步骤中在快速 圆柱拟合时，以所有拟合点方差最大的方向作为圆柱轴向的初始估计 值，拟合点的质心作为轴的初始位置，骨架点对应的扫描线长度作为 枝干的直径初始值。
5. 按权利要求l所述的方法，其特征在于，所述第2)步e)步骤中的轴向 投票技术，是采用与所有轴向内积平方和最大的单位方向作为投票结 果。
6. 按权利要求l所述的方法，其特征在于，所述第3)步a)步骤中骨架点处的半径根据树木横截面的宽度计算。
7. 按权利要求l所述的方法，其特征在于，所述第4)步的广义圆柱模型由分段圆台组成。
全文摘要
本发明一种基于单次三维激光扫描的树木测量和重建方法，涉及计算机图形和计算机视觉技术，包括步骤数据预处理，轴向估计，三维骨架计算，三维模型生成。本发明的方法仅利用激光扫描仪单次扫描数据得到忠实于原始树木的枝干形状和半径信息，方法主要操作在二维图像空间进行，算法简单有效，重建结果准确，在虚拟现实、电脑游戏、自然场景模拟、城市景观设计等计算机图形学应用领域和农林业调查、树木测量等邻域具有重要的应用价值。
文档编号G06T11/00GK101488226SQ200810056259
公开日2009年7月22日 申请日期2008年1月16日 优先权日2008年1月16日
发明者张晓鹏, 程章林 申请人:中国科学院自动化研究所