专利名称：一种基于形状认知的三维建筑模型匹配与检索的方法
技术领域：
本发明涉及一种基于形状认知的三维建筑模型匹配与检索的方法，属于空间信息技术领域。
ニ背景技术：
三维数字城市在军事、城市导航、旅游等方面都有重要的应用，建筑模型作为城市特质的重要体现，是城市实体重要的组成部分。当前城市建筑模型的通常是1)通过野外数据采集，然后建模渲染而成，如果涉及的模型较多，则费时费力、费用很高；2)从航片或高分辨率影像上获取，但基于航片的建模方法难以构建高分辨率、逼真的模型。虽然GoogleStreet-View> Microsoft Live Street-Side和基于固定视点的ニ维全景图能弥补这种缺陷，但是很多应用(如三维城市导航、城市景点可视化)需要真实感的三维城市模型，Google Street-View及传统的建模、渲染方法和手段显然不能满足要求。目前互联网上三 维空间模型数目增长很快，很多网站(如Google 3D Warehouse)和平台共享模型，供用户免费下载。相信随着空间技术和信息技术的进一歩发展，互联网上的三维城市模型的数量、类型和逼真性会日臻完善，会更加开放。基于互联网的三维空间模型构建城市场景的ー个核心问题是三维模型的精确匹配和捜索。目前的搜索引擎技术仍然局限在文本检索方面，对图像、三维模型等的捜索通常是检索其相关文本信息，故搜索这类数据和模型的精确性很低。虽然有关学者针对三维模型捜索提出了不同的算法，但是城市三维模型捜索和匹配的精确性仍然亟待提闻。借助建筑模型自身的上方向特征以及水平面上的主方向，本发明对经典的LightField描述算子获取和匹配方法进行了改进。通过简化渲染标准化建筑模型的光场，从简化光场对应的系列模型影像中提取只需进行水平方向旋转匹配的HorizontalLightField描述算子，实现了一种新的模型标准化方法。与以往方法相比，本发明能够在更短的时间内获取模型的形状特征，实现三维城市建筑模型间的匹配。本发明实现了ー种快速、廉价、自动构建三维数字城市可视化系统的途径。
发明内容
I、目的如何有效进行三维城市模型的匹配和检索成为当前空间信息领域研究和应用的热点。为了克服传统基于文本检索的缺点，本发明实现了利用形状定性描述算子与形状定量描述算子匹配建筑模型的方法，具有很高的匹配和检索准确性和效率。2、技术方案一种基于形状认知的三维建筑模型匹配与检索的方法，该方法的步骤流程如图I所示。对于三维建筑模型检索来说，给定一个输入的三维模型或ニ维形状作为匹配的參照标准。对输入对象标准化，提取标准化后对象的相应特征，将这些特征与三维建筑模型库中预先提取的模型特征匹配。匹配过程中相似性的判定分为两步定性分类和定量排序。定性分类根据简化外形的特征和全局拓扑的特征对建筑模型进行分类；定量排序根据原始外形提取的形状描述算子在类内对建筑模型进行相似性排序。为了弥补可能出现的错误分类造成的对象遗漏，对同类和异类中的对象分别做相似性排序，并将整个异类排序的结果添加在同类排序的结果之后。具体实现过程如下步骤ー标准化三维建筑模型具有旋转不变性的形状描述算子很可能将不是同一类但旋转后具有相似性的物体匹配为同一类型，这种旋转不变性的缺陷容易造成建筑模型匹配的错误，本发明通过标准化模型摆放方式消除这一匹配错误。模型的正确摆放一般可由竖直平面和水平面的主方向确定，分别称为上方向和右方向。由于数据库中模型的摆放方式并不总是和逻辑上正确的摆放方式吻合，竖直向上的方向并不一定等同于上方向，右方向通常依赖于上方向的确定，定义为和上方向垂直的水平面上的主方向，因此，上方向的确定对标准化模型摆放方式具有重要意义。为了规范化建筑模型的摆放方式，首先将模型库中上方向错误的模型调整为上方向正确的姿势，然后用直方图统计法提取水平面上的长轴方向作为右方向，完成平 移和旋转后，将建筑模型放缩至单位球内以实现放缩标准化。步骤ニ 提取建筑模型特征特征的选取和提取方法直接关系到模型的匹配质量。本发明利用HorizontalLightField描述算子(HLFD)进行形状匹配，结合认知理论和建筑模型标准化的设定，HLFD改进了 LightField描述算子。通过简化标准化的建筑模型光场，从简化光场对应的系列模型影像中提取只需进行水平方向旋转匹配的HLFD描述算子，实现了适合建筑模型匹配的形状特征描述算子的新组合。选取ー个设置有10个相机的十二面体，为每个标准化后的模型生成10张影像，同时，模型匹配吋，由于上方向的固定使得旋转方式限定在上方向的水平旋转，而十二面体中该旋转方式只有5种，因此，只通过这5种影像配对寻找模型间的最佳对应，匹配速率大大提高。从10个不同视角为每个建筑模型获取深度图，用来刻画模型表面的形状变化，分别提取每张深度图影像的Unevenness描述算子，以及LightField描述算子中的角径向变换区域描述算子、傅里叶边界描述算子和基本形状描述算子(圆度、离心率)。对于标准化后的建筑模型，提取它的最小包围框并记录最小包围框的长宽高比例作为外形(Shell)描述算子。一般的建筑模型形状比较规则，考虑到模型简化的效率以及描述算子的维度，直接使用简单的模型最小包围框描述建筑模型的简化外形特征。Unevenness描述子的主要功能是用来刻画模型的全局拓扑特征。它能够表现模型表面的凹凸特性，对于多洞建筑(如罗马建筑)、中空建筑(如凉亭、体育场)、尖顶建筑(如塔、蒙古包)等具有优良的鉴别能力。Unevenness描述子的计算方法如图2所示，深度图可以在一定程度上重构特定视角下的模型可见表面。深度图中所有的深度值限定在O到255之间，深度值越大表示该面元离观察者越远，最大的深度值用Dmax表示，表示该模型当前视角状态下的基底高度。基于Dmax可以计算出三个体积实际体积(Va)、凸体积(Vc)和实心体积(Vs)。Va通过累计前景区域(面积记为Aa)的实际深度值Da与Dmax的深度差绝对值可得。Vc不是针对整个前景区域累计深度，而只是针对前景区域中深度值小于前景区域平均深度值的部分区域(面积记为Ac)。Vs定义在由整个深度图的外边界确定的实心区域(面积记为As)上，Vs的值等于实心区域的面积乘以深度图上最大深度值和最小深度值的差。在计算完这三个体积后，Unevenness定义为凹、凸体积(凹体积等于实际体积与凸体积的差值)中占优势的一方与Vs的比值。步骤三建筑模型特征的匹配在特征匹配之前，提供一个三维模型作为待匹配的參照物，或者自定义ー个包含模型的最小外边界、表面拓扑、表面凹凸等细节信息的模型草图。对输入对象进行相应的形状特征提取之后，将这些特征与建筑模型库中预先提取的建筑模型特征进行匹配。所有的特征均定量化到O到255的范围内，Shell和Unevenness描述算子组成了一个多维的向量，向量的方向用于模型的预分类，设定ー个角度差的阈值，可将模型库中的建筑模型分为參照物的同类和异类两大类。模型库中每个模型的HLFD描述算子向量的LI距离与输入模型(或ニ维对象)HLFD描述算子向量的LI距离的差值作为模型间的差异度。在5种不同的影像配对方式下，每组模型的距离计算过程中，选取最小的距离计算值作为最佳对应状态下两个模型的差异度，按照差异度的大小对同类和异类中的模型分别进行升序排序，将异类中的排序结果整体加在同类的排序结果后返回，得到最終的匹配结果。本发明基于认知的匹配方法很好了消除基于旋转不变性描述算子的匹配错误。 3、优点及功效以往的匹配与搜素方法应用在三维建筑模型匹配上存在ー些缺陷首先，对于大多数具有旋转不变性的描述算子来说，一个严重的错误在于无法区分旋转后形状相似但原始主轴方向不同的建筑；其次，适用于绝大多数模型的描述算子在区分不同外形的三维建筑时存在不足。本发明考虑了建筑模型自身的上方向以及自动提取的模型水平方向的主轴，通过模型标准化方法，将认知理论与经典的LightField描述算子相结合，利用形状定性描述算子与形状定量描述算子实现三维建筑模型的匹配与检索。与以往方法相比，本发明能更好顾及人类对空间地物的认知，且能兼顾匹配的准确性和高效性。
四
图I三维城市建筑模型匹配与检索的流程示意2利用深度图计算Unevenness描述子图3不同匹配方法的精度评价图4不同描述算子匹配拓扑特性明显的建筑模型
五具体实施例方式基于形状认知的三维建筑模型匹配与检索的方法，该方法的步骤流程如图I所
/Jn ο对于三维建筑模型检索来说，给定一个输入的三维模型或ニ维形状作为匹配的參照标准，对输入对象标准化，提取标准化后对象的相应特征，将这些特征与三维建筑模型库中预先提取的模型特征匹配。匹配过程中相似性的判定分为两步定性分类和定量排序。定性分类根据简化外形的特征和全局拓扑的特征对建筑模型进行分类；定量排序根据原始外形提取的形状描述算子在类内对建筑模型进行相似性排序。为了弥补可能出现的错误分类造成的对象遗漏，对同类和异类中的对象分别做相似性排序，并将整个异类排序的结果添加在同类排序的结果之后。具体实现过程如下具有旋转不变性的形状描述算子很可能将不是同一类但旋转后具有相似性的物体匹配为同一类型，这种旋转不变性的缺陷容易造成建筑模型匹配的错误，本发明通过标准化模型摆放方式消除这一匹配错误。模型的正确摆放一般可由竖直平面和水平面的主方向确定，分别称为上方向和右方向。由于数据库中模型的摆放方式并不总是和逻辑上正确的摆放方式吻合，竖直向上的方向并不一定等同于上方向，右方向通常依赖于上方向的确定，定义为和上方向垂直的水平面上的主方向，因此，上方向的确定对标准化模型摆放方式具有重要意义。为了规范化建筑模型的摆放方式，首先将模型库中上方向错误的模型调整为上方向正确的姿势，然后用直方图统计法提取水平面上的长轴方向作为右方向，完成平移和旋转后，将建筑模型放缩至单位球内以实现放缩标准化。步骤ニ 提取建筑模型特征特征的选取和提取方法直接关系到模型的匹配质量。本发明利用HorizontalLightField描述算子(HLFD)进行形状匹配，结合认知理论和建筑模型标准化的设定，HLFD改进了 LightField描述算子。通过简化标准化的建筑模型光场，从简化光场对应的系列模型影像中提取只需进行水平方向旋转匹配的HLFD描述算子，实现了适合建筑模型匹配的形状特征描述算子的新组合。选取ー个设置有10个相机的十二面体，为每个标准化后的模型生成10张影像，同时，模型匹配吋，由于上方向的固定使得旋转方式限定在上方向的水平旋转，而十二面体中该旋转方式只有5种，因此，只通过这5种影像配对寻找模型间的最佳对应，匹配速率大大提高。从10个不同视角为每个建筑模型获取深度图，用来刻画模型表面的形状变化，分别提取每张深度图影像的Unevenness描述算子，以及LightField描述算子中的角径向变换区域描述算子、傅里叶边界描述算子和基本形状描述算子(圆度、离心率)。对于标准化后的建筑模型，提取它的最小包围框并记录最小包围框的长宽高比例作为外形(Shell)描述算子。一般的建筑模型形状比较规则，考虑到模型简化的效率以及描述算子的维度，直接使用简单的模型最小包围框描述建筑模型的简化外形特征。Unevenness描述子的主要功能是用来刻画模型的全局拓扑特征。它能够表现模型表面的凹凸特性，对于多洞建筑(如罗马建筑)、中空建筑(如凉亭、体育场)、尖顶建筑(如塔、蒙古包)等具有优良的鉴别能力。Unevenness描述子的计算方法如图2所示，深度图可以在一定程度上重构特定视角下的模型可见表面。深度图中所有的深度值限定在O到255之间，深度值越大表示该面元离观察者越远，最大的深度值用Dmax表示，表示该模型当前视角状态下的基底高度。基于Dmax可以计算出三个体积实际体积(Va)、凸体积(Vc)和实心体积(Vs)。Va通过累计前景区域(面积记为Aa)的实际深度值Da与Dmax的深度差绝对值可得。Vc不是针对整个前景区域累计深度，而只是针对前景区域中深度值小于前景区域平均深度值的部分区域(面积记为Ac)。Vs定义在由整个深度图的外边界确定的实心区域(面积记为As)上，Vs的值等于实心区域的面积乘以深度图上最大深度值和最小深度值的差。在计算完这三个体积后，Unevenness定义为凹、凸体积(凹体积等于实际体积与凸体积的差值)中占优势的一方与Vs的比值。步骤三建筑模型特征的匹配在特征匹配之前，提供一个三维模型作为待匹配的參照物，或者自定义ー个包含模型的最小外边界、表面拓扑、表面凹凸等细节信息的模型草图。对输入对象进行相应的形 状特征提取之后，将这些特征与建筑模型库中预先提取的建筑模型特征进行匹配。
所有的特征均定量化到O到255的范围内，Shell和Unevenness描述算子组成了一个多维的向量，向量的方向用于模型的预分类，设定ー个角度差的阈值，可将模型库中的建筑模型分为參照物的同类和异类两大类。模型库中每个模型的HLFD描述算子向量的LI距离与输入模型(或ニ维对象)HLFD描述算子向量的LI距离的差值作为模型间的差异度。在5种不同的影像配对方式下，每组模型的距离计算过程中，选取最小的距离计算值作为最佳对应状态下两个模型的差异度，按照差异度的大小对同类和异类中的模型分别进行升序排序，将异类中的排序结果整体加在同类的排序结果后返回，得到最終的匹配结果。本发明基于认知的匹配方法很好了消除基于旋转不变性描述算子的匹配错误。实施例I :建立了三维建筑模型库对本发明的方法进行了实施。构建的数据库中共包含了13，502个三维建筑模型，模型种类包括仓库、普通房屋、摩天大楼、塔式建筑、城堡、圆顶建筑、哥特建筑、罗马建筑、亭子、桥、体育场、帐篷和一些其它类型的建筑设施。利用该建筑模型库，对不同的形状描述算子和相似度度量方法进行了对比。 本发明基于认知的形状匹配方法使用了 Shell和Unevenness描述子作为模型预分类过程中的全局特征分类依据，并进ー步使用Horizontal LightField描述算子的LI距离带权和对分类后的结果进行更细致的相似度计算以及排序。为了比较不同的描述算子选取方法对匹配的影响，如图3,分别对使用LightField描述算子(LF)、HorizontalLightField 描述算子(HLF)、Horizontal LightFieId+SHELL 描述算子(HLF+SHL)、Horizontal LightField+Shell+Unevenness 描述算子(HLF+SHL+EVN)四种情形下的建筑模型匹配精度进行了统计。无论从所有建筑模型还是从各建筑模型子类角度来看，使用了Shell描述算子进行预分类后的匹配精度整体高于不预分类直接进行相似度排序得到的匹配精度。Unevenness对于某些拓扑特征突出的建筑类型(如桥、亭子、罗马建筑)具有相对较高的匹配精度(如图4所示)。和LF匹配方法相比，本发明的基于认知的形状匹配方法能有效地过滤全局形状特征差异明显的建筑模型，使得更相似的建筑模型能优先在检索结果中出现。本发明建筑模型库中的13，502个建筑模型精度不一，最高精度的模型具有19098个顶点和35104个面片。本发明的方法提取单个模型的特征平均只需0. 139秒，远快于LightField描述算子特征提取方法所需的I. 423秒。对于形状匹配捜索，使用本发明的匹配方法检索平均只需0. 016秒的反应时间，而使用LightField描述算子匹配方法检索平均需要0. 297秒的时间。
权利要求
1.一种基于形状认知的三维建筑模型匹配与检索的方法，其特征在于，包括如下步骤 步骤ー标准化三维建筑模型 模型的正确摆放一般可由竖直平面和水平面的主方向确定，由于数据库中模型的摆放方式并不总是和逻辑上正确的摆放方式吻合，竖直向上的方向并不一定等同于上方向，右方向又通常依赖于上方向的确定，定义为和上方向垂直的水平面上的主方向，为了规范化建筑模型的摆放方式，首先将模型库中上方向错误的模型调整为上方向正确的姿势，然后用直方图统计法提取水平面上的长轴方向作为右方向，完成平移和旋转后，将建筑模型放缩至单位球内以实现放缩标准化。
步骤ニ 提取建筑模型特征 选取ー个设置有10个相机的十二面体，为每个标准化后的模型生成10张影像，同吋，模型匹配时，由于上方向的固定使得旋转方式限定在上方向的水平旋转，而十二面体中该旋转方式只有5种，因此，只通过这5种影像配对寻找模型间的最佳对应，匹配速率大大提高，从10个不同视角为每个建筑模型获取深度图，用来刻画模型表面的形状变化，分别提取姆张深度图影像的Unevenness描述算子，以及LightField描述算子中的角径向变换区域描述算子、傅里叶边界描述算子和基本形状描述算子(圆度、离心率)，对于标准化后的建筑模型，提取它的最小包围框并记录最小包围框的长宽高比例作为建筑外形描述算子，考虑到模型简化的效率以及描述算子的维度，直接使用最小模型包围框描述建筑模型的简化外形特征。
步骤三建筑模型特征的匹配 在特征匹配之前，提供一个三维模型作为待匹配的參照物，或者自定义ー个包含模型的最小外边界、表面拓扑、表面凹凸等细节信息的模型草图，对输入对象进行相应的形状特征提取之后，将这些特征与建筑模型库中预先提取的建筑模型特征进行匹配。
对模型库中姆个模型的Horizontal LightField描述算子向量的LI距离与输入模型(或ニ维对象)Horizontal LightField描述算子向量的LI距离的差值作为模型间的差异度，每组模型的距离计算过程中，在5种不同的影像配对方式下，选取最小的距离计算值作为最佳对应状态下两个模型的差异度，按照差异度的大小对同类和异类中的模型分别进行升序排序，将异类中的排序结果整体加在同类的排序结果后返回，得到最終的三维建筑模型匹配結果。
全文摘要
本发明涉及一种基于形状认知的三维建筑模型匹配与检索的方法。目前较成熟的信息搜索技术仍然局限在基于文本检索方面，对图像、三维模型等的搜索通常是检索其相关文本信息，故搜索这类数据、模型的精确性很低。本发明借助三维建筑模型自身的上方向特征以及水平面上的主方向，通过模型归一化方法，将认知理论与经典的LightField描述子相结合，通过简化渲染标准化建筑模型的光场，从简化光场对应的系列模型影像中提取只需进行水平方向旋转匹配的Horizontal LightField描述算子，利用形状定性描述算子与形状定量描述算子实现三维建筑模型的匹配与检索。与以往方法相比，本发明能更好顾及人类对空间地物的认知，且能兼顾匹配的准确性和高效性。本发明为快速、廉价、自动构建三维数字城市系统提供了一种新方法。
文档编号G06K9/64GK102693285SQ201210143910
公开日2012年9月26日 申请日期2012年5月11日 优先权日2012年5月11日
发明者张立强, 张良, 邓浩 申请人:北京师范大学