基于增强型PyrLK光流法的树木轻量化3D重建方法
【专利摘要】本发明公开了一种基于增强型PyrLK光流法的树木轻量化3D重建方法，首先，为了克服传统金字塔LK光流法不支持特征点旋转以及不具有双向匹配性的缺点，对PyrLK光流法进行支持仿射变换和反向追踪的增强，并给出实例说明了增强后的鲁棒性。其次，利用三维体素泛洪和线性拟合的方法抽取完备的树木骨架。然后，基于纵向和横向枝干的合并对树木骨架进行指定程度的轻量化，以适应Web轻量级应用的要求。再然后，还提出了一个客观的树木建模还原度评价方法。最后，为了获得完全符合用户需要的树木模型，还提出了基于用户交互的模型完善方法。采用本发明可获得轻量化更好准确度更高的3D树木模型。
【专利说明】基于增强型PyrLK光流法的树木轻量化3D重建方法
【技术领域】
[0001]本发明涉及一种基于多张图片的树木轻量化建模，尤其涉及的是一种基于增强型PyrLK (金字塔光流法)光流法的树木轻量化3D重建方法。
【背景技术】
[0002]树木作为大自然中最常见的物种，在虚拟场景中的应用十分广泛，已经涉及到生活的方方面面。比如房地产模型、虚拟现实、电脑游戏、建筑工程、城市建模、场景漫游等。随着越来越多的虚拟场景的需要，能否高效而准确的对树木进行建模，直接决定了这些应用的真实感和竞争力。
[0003]主流的手工建模、激光扫描仪重建等树木建模的方法虽然能够得到比较精确的树木模型，但是需要专业人员，并且耗时长、设备昂贵，因此不适宜进行一般用途的建模。而单纯靠分形或事先定义好的规则进行树木的虚拟生长，又背离了真实树木的形态，导致所建出的模型过于简单，形态结构单一，不符合当今应用对真实感的需求。
[0004]为了克服上述问题，目前常用的方法是基于图像对树木进行重建，从真实的树木图像中重建出具有高真实感的树木模型。其主要依靠SIFT方法来进行特征点的匹配，然而由于树木结构之间的遮挡性，以及风扰动等因素，导致SIFT特征匹配有过多丢失，很难进行正确的匹配。在重建出点云模型后，主流的骨架抽取方法是3D瘦化，但是3D瘦化不仅对点云的密度要求比较高，而且在得到骨架以后在恢复树木枝干时容易出现二义性。其次，由于树木结构复杂，如何对重建出的树木模型进行进一步的轻量化也是一个难点。最后，大多数基于图像的树木建模方法只是给出极少方向的投影与树木照片的对比图，试图靠用户来分别它们的相似度，缺乏一个量化的方法。
[0005]因此，现有技术还有待于改进和发展。
【发明内容】
[0006]本发明的目的在于提供一种基于增强型PyrLK光流法的树木轻量化3D重建方法，旨在解决现有的基于图像进行树木建模的方法特征匹配不准确，骨架抽取方式操作要求高的问题。
[0007]本发明的技术方案如下:
[0008]一种基于增强型PyrLK光流法的树木轻量化3D重建方法，其包括以下步骤:
[0009]步骤S1:采用PyrLK光流法进行仿射变换扩展对获取的多张图片进行图像的特征匹配，并将得到的匹配点进行反向追踪，提高匹配的准确性；
[0010]步骤S2:特征匹配后，基于多张图片进行树木的三维重建，得到完整的树木空间点云模型；
[0011]步骤S3:根据该点云的空间分布，并结合树木自底向上的自然生长规律和分形的逻辑结构特征，利用三维体素泛洪和线性拟合的方法抽取完备的树木骨架；
[0012]步骤S4:对抽取的骨架基于用户交互的模型进行改善和轻量化；[0013]步骤S5:分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估，获得轻量化和准确的模型。
[0014]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，反向追踪的方法是:若反向追踪的差异度小于阈值，则认为这两个点确实匹配，否则就作为错误匹配处理，具体为采用公式:d=| |u’ -U| |，判断d是否小于<σ，其中，u为图像2中的V点为通过金字塔LK光流法找到的图像1中的匹配点，u’为以图像2中ν点通过反向的金字塔LK光流法找到的图像1中的匹配点，d表示该两个点的距离，σ为距离阈值，当d〈0时，则称点u与点ν真正匹配，否则称点u与点ν伪匹配或单向匹配，对于伪匹配的点对，将对其进行剔除。
[0015]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，在进行反向追踪后，要进一步对每个点对进行相似度的计算，并统计其相似度的平均值，对低于相似度平均值的点对进行剔除。
[0016]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，在获取了精确的点云模型之后，需要将模型的存储方式由密集的点云转化为逻辑的树形父子结构。
[0017]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，具体为:每个节点表示树枝的起点，存储着该节点的空间位置、半径和该节点的父子节点信息以及兄弟节点信息，一个节点和它的一个子节点形成一个空间线段，若干空间线段组成一条连续的树枝。
[0018]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，进行体素化泛洪是将离散的点的数据组织形式转化为连续的体素的组织形式，主要分为三步:步骤A:求得点云包围盒即找到包围点云模型中所有点的最小的长方体；步骤B:包围盒空间分块即根据上一步得到长方体，进行空间分块，每个分块为一个小的立方体，即体素；步骤C:进行点云索引即对于每一个非空的体素，进行点云的索引，确定三维体素模型。
[0019]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，在确定了三维体素模型以后，便需要从根到叶，自底向上地对树的骨架结构进行生长，将体素模型中点的分布作用于骨架的分支以形成骨架模型。
[0020]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，骨架形成的具体方法是:将根节点置为当前节点，对其进行三维泛洪，首先对其相邻的26个体素进行泛洪，若体素不为空，则将其加入邻域范围，若为空，则停止向该方向进行迭代；同时将加入邻域范围的体素置为无效，表示其已经参与了泛洪，不再参与骨架的重建；然后进行下一次迭代，对新加入的体素进行26方向的泛洪，并把有效的体素加入到邻域范围；接着比较两次迭代体素增加的比例，如果低于设置的阈值，则停止迭代，当前的邻域范围即为三维泛洪得到的当前节点的邻域范围，在得到邻域以后，根据邻域内的体素获取到邻域内的点云分布运用最小二乘法进行线性拟合的方法抽取骨架。
[0021]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，运用最小二乘法进行线性拟合的方法抽取骨架，具体包括以下步骤:步骤S321:首先选择一个点云密度的阈值，对于密度小于阈值的方向，忽略其对产生分支的可能，只对点云密度大于阈值的方向，看作分支方向；步骤S322:根据最小二乘的方法，拟合出将要产生分支的方向；步骤S323:对于半径的获取的方法是对树木半径进行线性地递减，即r=cR，其中r为子枝半径，R是父枝半径，C为一个线性倍数；步骤S324:继续采用拟合的办法从真实的点云中抽取出树木的半径和长度。
[0022]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，从真实的点云中抽取出树木的半径和长度的方法为:统计某分支方向上的点集到拟合直线的距离，并计算出平均距离davg，拟合出的半径为R=2Xdavg，统计某分支方向上点集到直线的投影长度，记它们的平均投影长度为lavg，拟合出的枝干长度为L=2Xlavg。
[0023]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，提出了分别从纵向和横向对树枝进行合并的方法，以去掉一些只是起到微调作用的枝干，实现轻量化。
[0024]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，纵向合并指的是从父到子，从根到叶进行纵向递归式的合并，若当前节点与其父节点和子节点的夹角小于所设定的阈值，那么则将该节点去掉，并将其子节点连接到其父节点；若该节点的子节点数目不只一个，则不对它进行合并操作。
[0025]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，横向合并指的是对非常靠近的叶子节点进行合并，只对叶子节点进行合并，不再是使用角度来衡量两个子枝的靠近程度，而是使用子节点间的欧式距离来表示。
[0026]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估的具体方法为:模型Μ的建模还原度Q定义如下:
[0027]Q=I.R3d.Rs
[0028]建模还原度Q的取值范围为[0，1]，0表示没有还原出任何树木几何信息，1表示准确还原出整棵树木的几何信息，I为图片序`列信息量，R3d为三维重建还原度，Rs为骨架抽取还原度。
[0029]所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其中，给出图像序列信息量的数学定义如下:
【权利要求】
1.一种基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，包括以下步骤:步骤S1:采用PyrLK光流法进行仿射变换扩展对获取的多张图片进行图像的特征匹配，并将得到的匹配点进行反向追踪，提高匹配的准确性；步骤S2:特征匹配后，基于多张图片进行树木的三维重建，得到完整的树木空间点云模型；步骤S3:根据该点云的空间分布，并结合树木自底向上的自然生长规律和分形的逻辑结构特征，利用三维体素泛洪和线性拟合的方法抽取完备的树木骨架；步骤S4:对抽取的骨架基于用户交互的模型进行改善和轻量化；步骤S5:分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估，获得轻量化和准确的模型。
2.根据权利要求1所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，反向追踪的方法是:若反向追踪的差异度小于阈值，则认为这两个点确实匹配，否则就作为错误匹配处理，具体为采用公式:d=| |u’ _u| |，判断d是否小于，其中，u为图像2中的v点通过金字塔LK光流法找到的图像1中的匹配点,u’为以图像2中v点通过反向的金字塔LK光流法找到的图像1中的匹配点，d表示该两个点的距离，σ为距离阈值，当d〈 σ时，则称点u与点ν真正匹配，否则称点u与点ν伪匹配或单向匹配，对于伪匹配的点对，将对其进行剔除。并且 在进行反向追踪后，要进一步对每个点对进行相似度的计算，并统计其相似度的平均值，对低于相似度平均值的点对进行剔除。
3.根据权利要求1或2所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，在获取了精确的点云模型之后，需要将模型的存储方式由密集的点云转化为逻辑的树形父子结构。具体为:每个节点表示树枝的起点，存储着该节点的空间位置、半径和该节点的父子节点信息以及兄弟节点信息，一个节点和它的一个子节点形成一个空间线段，若干空间线段组成一条连续的树枝。
4.根据权利要求1或3所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，进行体素化泛洪是将离散的点的数据组织形式转化为连续的体素的组织形式，主要分为三步:步骤A:求得点云包围盒即找到包围点云模型中所有点的最小的长方体；步骤B:包围盒空间分块即根据上一步得到长方体，进行空间分块，每个分块为一个小的立方体，即体素；步骤C:进行点云索引即对于每一个非空的体素，进行点云的索引，确定三维体素模型。
5.根据权利要求4所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，骨架形成的具体方法是:将根节点置为当前节点，对其进行三维泛洪，首先对其相邻的26个体素进行泛洪，若体素不为空，则将其加入邻域范围，若为空，则停止向该方向进行迭代；同时将加入邻域范围的体素置为无效，表示其已经参与了泛洪，不再参与骨架的重建；然后进行下一次迭代，对新加入的体素进行26方向的泛洪，并把有效的体素加入到邻域范围；接着比较两次迭代体素增加的比例，如果低于设置的阈值，则停止迭代，当前的邻域范围即为三维泛洪得到的当前节点的邻域范围，在得到邻域以后，根据邻域内的体素获取到邻域内的点云分布运用最小二乘法进行线性拟合的方法抽取骨架。
6.根据权利要求5所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，运用最小二乘法进行线性拟合的方法抽取骨架，具体包括以下步骤:步骤S321:首先选择一个点云密度的阈值，对于密度小于阈值的方向，忽略其对产生分支的可能，只对点云密度大于阈值的方向，看作分支方向；步骤S322:根据最小二乘的方法，拟合出将要产生分支的方向；步骤S323:对于半径的获取的方法是对树木半径进行线性地递减，即r=cR，其中r为子枝半径，R是父枝半径，c为一个线性倍数；步骤S324:继续采用拟合的办法从真实的点云中抽取出树木的半径和长度。
7.根据权利要求6所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，从真实的点云中抽取出树木的半径和长度的方法为:统计某分支方向上的点集到拟合直线的距离，并计算出平均距离davg，拟合出的半径为R=2Xdavg，统计某分支方向上点集到直线的投影长度，记它们的平均投影长度为lavg，拟合出的枝干长度为L=2Xlavg。
8.根据权利要求7所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，纵向合并指的是从父到子，从根到叶进行纵向递归式的合并，若当前节点与其父节点和子节点的夹角小于所设定的阈值，那么则将该节点去掉，并将其子节点连接到其父节点；若该节点的子节点数目不只一个，则不对它进行合并操作。横向合并指的是对非常靠近的叶子节点进行合并，只对叶子节点进行合并，不再是使用角度来衡量两个子枝的靠近程度，而是使用子节点间的欧式距离来表示。
9.根据权利要求1或8所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，分别计算输入图像序列的信息量、三维重建的还原度和骨架抽取的还原度对模型进行质量评估的具体方法为:模型Μ的建模还原度Q定义如下:Q=i.R3d.Rs建模还原度Q的取值范围为[0，1]，0表示没有还原出任何树木几何信息，1表示准确还原出整棵树木的几何信息，I为图片序列信息量，R3d为三维重建还原度，Rs为骨架抽取还原度。
10.根据权利要求9所述的基于增强型PyrLK光流法的树木轻量化3D重建方法，其特征在于，给出图像序列信息量的数学定义如下:
【文档编号】G06T17/00GK103646421SQ201310686989
【公开日】2014年3月19日 申请日期:2013年12月13日 优先权日:2013年12月13日
【发明者】贾金原, 张德嘉 申请人:贾金原