一种基于手绘草图部件分割的三维模型检索系统及方法
【技术领域】
[0001] 本发明涉及计算机图像处理技术领域，尤其涉及一种基于手绘草图部件分割的三 维模型检索系统及方法。
【背景技术】
[0002] 近年来，伴随着计算机辅助设计、计算机辅助制造、虚拟现实、三维动画和三维游 戏等领域的快速发展，互联网上的三维模型数量急剧增长。然而，三维模型不同于传统的图 片、音频或视频等多媒体信息，它本身包含了许多细节信息难以用文字表达出来。
[0003] 然而，目前的三维模型检索方法在应用上仍不尽如人意。一方面，当用户需要某种 三维模型资源时，往往手边并没有现成的模型文件；另一方面，随着触摸屏和电子笔的快速 普及，用户能轻松地通过手绘草图的方式勾勒出模型的轮廓。三维模型的手绘草图，可以视 为是从某个视角投影视图的轮廓线。手绘草图可以是简单的外轮廓线，也可以包含内轮廓 线的细节信息。由于手绘草图的用户美术基础不同，输入设备不同，描绘模型的详细程度自 然也不尽相同。而三维模型的手绘草图通常包含重叠的、分离的或不闭合的部件轮廓线，现 有的相关研宄通常基于对手绘草图进行的手工分割或标记，虽然这些手工指定的信息有助 于计算机对手绘草图进行分析，但是它通常要求用户手绘草图时遵循一定的规则约束，这 在某种程度上限制了用户手绘的自由程度，或者说对用户的绘画基础提出了要求。
[0004] 按照检索方式分类，目前的三维模型的检索主要分为两大类，分别是传统的基于 文本的检索（Text-basedRetrieval)方法和基于内容的检索（Content-basedRetrieval) 方法。
[0005] (1)基于文本的三维模型检索方法
[0006] 基于文本的三维模型检索方法是基于关键词的，是目前最为普遍的检索方式。这 需要对数据库中的三维模型人为地添加用以描述它的关键词，比如SketchUp的3D模型 库（3DWarehouse)、TurboSquid的专业模型库和中国台湾大学的3D蛋白质检索系统（3D ProteinRetrievalSystem)等，现在能够在网上找到一些大型的商用的模型检索平台，它 们大多是这类基于关键词的三维模型检索方式。
[0007] (2)基于内容的三维模型检索方法
[0008] 基于内容的检索方法是三维模型检索的研宄热点。如图1所示为基于内容的三维 模型检索的基本框架，框架整体分为离线部分和在线部分。对于离线部分，每个3D模型都 需要用形状描述符标示。为了提升检索效率，通常对数据库中各模型特征描述符建立索引。 对于在线部分，进行查询表达的输入主要可分为两种方式：一种是提供一个与目标模型同 类的三维模型；另一种是手绘目标模型的草图。在计算特征描述符后，将用户检索输入数据 的描述符与数据库中模型特征描述符进行相似度比较，然后按照相似度大小递减的顺序将 结果返回，并可视化地呈现给用户。
[0009] 现有技术中存在的缺点：
[0010] (1)基于文本的三维模型检索方法
[0011] 传统的基于文本关键词的方式并不能很好地适用在三维模型检索的场景里，其主 要原因有三点：第一，三维模型具有复杂的拓扑结构、形状特征，且种类繁多，其本身蕴含很 多细节信息难以用几个关键词来表达清楚。第二，给三维模型添加文本关键词的加标签过 程需要手工完成，而互联网上三维模型数量快速增长，手工添加的方式较为繁琐，工作量也 很大。第三，由于不同人对种类繁多的三维模型的理解不同，所想到的描述它的关键词也有 较大差异，容易导致检索关键词与目标模型的标签不一致，且手工加关键词标签的方式受 限于标签语言种类，也不便于进行国际化推广。正是基于这些原因，仅采用简单的关键词进 行检索，成功率会很低，许多时候得不到想要的结果。比如，用户想要检索某种特定外形和 图案的轿车，那么仅仅依靠关键词难以搜索到准确的、满意的结果。
[0012] (2)基于内容的三维模型检索方法
[0013] 对于基于三维模型实例的模型检索，其缺点是用户在发起检索时，通常很难找到 一个非常合适的模型实例作为输入，因为假如用户手头有非常合适的目标模型的话，那么 也就没必要进行检索了。
[0014] 对于基于手绘草图的三维模型检索，其缺点在于它通常没有考虑草图整体的结 构，它只是基于区域局部来考虑的；它的另一个缺点就是对用户草图的风格比较敏感，如果 用户在局部的轮廓线绘制风格差异较大，那么它提取的结果差异就会放大，这势必会影响 最终的检索结果。
【发明内容】
[0015] 本发明的目的在于克服现有技术的不足，本发明提供了一种基于手绘草图部件分 割的三维模型检索系统及方法，可以使得基于手绘草图的三维模型检索更加精准有效。
[0016] 为了解决上述问题，本发明提出了一种基于手绘草图部件分割的三维模型检索系 统，所述系统包括：
[0017] 预处理模块，用于接收手绘查询草图，对所述手绘查询草图进行去噪处理获得灰 度图，并对所述灰度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的 图像；
[0018] 部件标记模块，用于对所述处理后的图像进行等间隔采样，获得采样点，并对所述 采样点添加部件标签；
[0019] 采样点特征提取模块，用于提取所述采样点的各种特征向量；
[0020] 部件分割模块，用于根据添加部件标签后的采样点的各种特征向量进行分割模型 训练；
[0021] 相似度计算与总评分排序模块，用于基于分割模型进行部件局部特征提取以及部 件局部相似度计算，并对所述处理后的图像进行视图全局特征提取及视图全局相似度计 算，按照总评分进行排序，并将排序结果返回给客户端。
[0022] 优选地，所述预处理模块包括：
[0023] 草图去噪处理单元，用于对所述手绘查询草图进行去噪处理获得灰度图；
[0024] 二值化处理单元，用于对所述灰度图进行二值化处理；
[0025] 边界扩展处理单元，用于对二值化处理后的图像四周进行空白填充处理；
[0026] 图像孔洞填充处理单元，用于对空白填充处理后的图像进行图像孔洞填充处理。
[0027] 优选地，所述部件标记模块包括：
[0028] 轮廓线提取单元，用于对所述处理后的图像进行轮廓线提取；
[0029] 采样单元，用于对提取轮廓线后的图像进行等间隔采样，获得采样点；
[0030] 部件标记单元，用于对所述采样点添加部件标签。
[0031] 优选地，所述采样点特征提取模块包括：
[0032] -元特征提取单元，用于对添加部件标签后的采样点进行一元特征提取；
[0033] 二元特征提取单元，用于对添加部件标签后的采样点进行二元特征提取。
[0034] 优选地，所述部件分割模块包括：
[0035] 分割模型训练单元，用于根据添加部件标签后的采样点的各种特征向量进行分割 丰吴型训练；
[0036] 部件分割单元，用于根据分割模型对添加部件标签后的采样点进行部件分割。
[0037] 相应地，本发明还提供一种基于手绘草图部件分割的三维模型检索方法，所述方 法包括：
[0038] 接收手绘查询草图，对所述手绘查询草图进行去噪处理获得灰度图，并对所述灰 度图进行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像；
[0039] 对所述处理后的图像进行等间隔采样，获得采样点，并对所述采样点添加部件标 签；
[0040] 提取所述采样点的各种特征向量；
[0041] 根据添加部件标签后的采样点的各种特征向量进行分割模型训练；
[0042] 基于分割模型进行部件局部特征提取以及部件局部相似度计算，并对所述处理后 的图像进行视图全局特征提取及视图全局相似度计算，按照总评分进行排序，并将排序结 果返回给客户端。
[0043] 优选地，所述对所述手绘查询草图进行去噪处理获得灰度图，并对所述灰度图进 行二值化处理、边界扩展处理、图像孔洞填充处理，获得处理后的图像的步骤，包括：
[0044] 对所述手绘查询草图进行去噪处理获得灰度图；
[0045] 对所述灰度图进行二值化处理；
[0046] 对二值化处理后的图像四周进行空白填充处理；
[0047] 对空白填充处理后的图像进行图像孔洞填充处理。
[0048] 优选地，所述对所述处理后的图像进行等间隔采样，获得采样点，并对所述采样点 添加部件标签的步骤，包括：
[0049] 对所述处理后的图像进行轮廓线提取；
[0050] 对提取轮廓线后的图像进行等间隔采样，获得采样点；
[0051] 对所述采样点添加部件标签。
[0052] 优选地，所述提取所述采样点的各种特征向量的步骤，包括：
[0053] 对添加部件标签后的采样点进行一元特征提取；
[0054] 对添加部件标签后的采样点进行二元特征提取。