基于图卷积网络的轻量化三维CAD模型分类与检索的方法

本发明涉及智能制造知识复用，具体指一种基于特征融合自注意力池化的图卷积网络用于由b-rep表示的三维cad模型特征抽取、分类与检索的方法。

背景技术：

1、作为整个生产过程的基础，三维cad(computer-aided design)模型在工业制造中起着至关重要的作用。随着智能制造技术和智能制造系统技术的发展，三维cad模型的数据量迅速增加。这些模型包含了大量值得复用的嵌入式知识。但是设计师需要花费大量的精力来寻找符合他们要求的模型。其中现有相当大比例的三维cad模型可以被重新用于新产品的开发，至少75％的新产品设计复用了现有的知识和模型。只有20％的零件需要全新的设计，而其中40％可以通过直接复用来构建，另外还有40％的零件可以通过修改现有的cad模型来构建。由此可知，复用现有模型大大缩短了工业制造的开发周期，极大的降低了开发成本。

2、而在实现三维cad模型复用所涉及的技术中，三维cad模型分类与检索是其中的关键技术之一，有待更加深入的研究。然而，b-rep作为cad应用中描述三维形状的标准方式，难以被直接用于神经网络学习中的模型分类与检索，以此直接实现复用。影响直接实现复用的主要技术困难有如下几点：

3、首先，现实工业应用中的三维cad模型具有复杂的组成结构、多样的拓扑信息、精确的几何特征，并且是与该领域紧密相关的，包含丰富的工程语义细节。即使同一类别的两个模型虽然包含着相似的工程语义，也可能在外观上有很大区别。因此，以合理的方式抽取模型中丰富的拓扑和几何信息而不损失工程语义至关重要。现有的分类或检索方法大多是基于点云、多视图图像等的应用成果，这些三维模型描述符只能抽取并表示从三维模型表面拟合的离散信息。这意味着b-rep中包含的丰富的内部拓扑信息、工程语义细节等在特征构建过程中没有被利用。

4、其次，在工程中很难找到合适的描述符高效地表达工程语义，并以一种通用方法对来自不同cad系统的三维模型以精确描述进行表征。现有的cad模型格式多样，不同的cad系统(如solidworks、catia、autocad等)使用非互通的文件存储与传输格式。该领域的大部分研究都是在特定的离散数据格式上进行的，但这种离散数据并不适合精确地表示三维cad模型。此外，很少有通用方法能够统一处理不同格式的三维cad模型并进行分类与检索。

5、最后，从三维模型中提取的图描述符包含了大量而复杂的信息，经典的gcns(graph convolutional networks)和图池化方法难以对其进行有效处理。且现有的图级别的图神经网络方法的分类能力并没有达到可用于三维cad模型复用的理想效果。另一方面，为了提高对三维模型识别准确率，制作更深更复杂的三维形状识别模型成为趋势，不可避免地使网络模型参数量愈来愈大，过高的计算资源需求与时间成本导致了这些拥有较好识别效果的模型难以投入现实工业中的cad模型复用任务。

技术实现思路

1、本发明针对现有技术得不足，提出一种基于图卷积网络的轻量化三维cad模型分类与检索的方法，该方法从b-rep信息中提取出模型的拓扑几何信息。b-rep数据存储在以step(standard for the exchange of product data)作为存储与传输格式的三维模型文件中。基于b-rep图设计了名为fus-gcn的轻量化融合自注意力gcns框架，用以聚合拓扑几何特征，并有效地学习全局三维cad形状特征描述符。在此基础上，实现了cad模型的分类与检索。

2、为了解决上述技术问题，本发明的技术方案为：

3、一种基于图卷积网络的轻量化三维cad模型分类与检索的方法，包括如下步骤：

4、步骤s1：构建一个用于工业制造场景的三维cad模型数据集。从当地制造工业零件的公司与工厂收集了一部分应用于实际生产的工业零件数据库，其中的三维cad模型均为精确表示，以step(standard for the exchange of product data)标准作为文件储存与传输格式。并且通过筛选，整理出一个总共含有9419个零件，这些零件被标注为四十个类别的三维cad模型数据集。

5、步骤s2：对该三维cad模型数据集进行数据预处理与特征抽取，从三维cad模型复杂的b-rep信息中尽可能地完整抽取几何信息与拓扑信息，并将其构造为适合现存神经网络有效学习并使用的表示形式，具体步骤如下：

6、步骤s21：基于三维cad模型的b-rep信息，抽取其拓扑信息与几何信息，具体步骤如下：

7、步骤s211：根据其面边之间的相邻关系，抽取模型的拓扑结构信息。

8、步骤s212：根据其面边的形状、大小、方向等几何数据抽取模型的面与边的几何信息。

9、步骤s22：根据特征抽取所得的拓扑信息与几何信息，构建适用于神经网络的图结构的三维模型描述符，以图结构的形式表示三维模型的拓扑结构，以图中的节点属性与边属性表示三维模型的面与边的几何信息。同时对数据集中各个类别的三维模型样本数据进行统计分析。

10、步骤s3：构建可基于拓扑几何信息学习图数据的全局信息与局部信息融合表示的图卷积网络fus-gcn，完整的fus-gcn架构包括三个结构相同的fus-gcn子模块，每个fus-gcn子模块由图卷积模块、融合自注意力图池化模块组成，实现对图结构信息的聚合与基于几何拓扑信息的特征融合进行自注意力图池化，最后通过readout模块获得融合多层图数据局部信息的全局表示的全局特征向量，具体步骤如下：

11、步骤s31：图卷积模块为基于谱图卷积的图卷积方法gcnconv(graphconvolutional network layer)。一个图卷积模块包含一个图卷积隐藏层与一个激活函数层叠加而成。图结构的三维模型以图邻接矩阵与节点特征矩阵的形式输入隐藏层，随后经过激活函数获得输出。在隐藏层中，图节点之间会进行消息传递，捕获邻域内的局部信息，公式如下：

12、

13、其中hl为第l层的节点表示，a∈rn×n表示图的邻接矩阵，表示拥有自连接的邻接矩阵，i表示单位矩阵，为的对角节点度矩阵，wl表示第l个神经网络层的权重矩阵，σ(·)表示一个非线性激活函数，比如relu。

14、步骤s32：自注意力图池化模块分为第一子模块和第二子模块，第一子模块是对基于几何信息和拓扑信息特征融合的自注意力分数计算，第二子模块是基于两种自注意力分数做特征融合，构造融合自注意力mask，具体步骤如下：

15、步骤s321：分别计算三维模型的几何信息与拓扑结构自注意力评价分数，具体分为两个步骤：

16、步骤s3211：使用gcnconv计算拓扑结构自注意力分数stopology∈rn×1，计算公式如下：

17、

18、其中x∈rn×f表示具有n个节点和特征尺寸为f的图的输入特征，θatt∈rf×1表示权重参数矩阵。

19、步骤s3212：使用一个全连接层计算几何信息自注意力分数sgeometric∈rn×1，计算公式如下：

20、sgeometric＝σ(linear(x，a))

21、其中σ(·)表示一个非线性激活函数，linear(·)表示一个全连接层，x表示节点特征矩阵，a为图的邻接矩阵。

22、步骤s322：首先对计算得到的两种自注意力评价分数做特征融合，然后构造基于top-k选择的融合自注意力mask完成节点选择，最后进行图池化操作，具体步骤如下：

23、步骤s3221：构造一个可被学习的融合特征权重矩阵wβ，通过训练优化该权重矩阵，并使用该权重矩阵完成几何信息自注意力与拓扑结构自注意力的特征融合，公式如下：

24、

25、其中s表示经过特征融合得到的最终自注意力分数，wβ表示指导特征融合的权重矩阵，stopology与sgeometric分别为步骤s3211与步骤s3212中计算所得的两种自注意力评价分数。

26、步骤s3222：构造融合自注意力mask，实现对图数据的节点选择与池化。基于步骤s3221构造的融合自注意力分数，保留输入图数据的拥有[kn]个节点的子集，k∈(0，1]为池化比率超参数，控制池化过程中保留的节点个数，n表示输入图数据的节点个数。构造融合自注意力mask的计算公式如下：

27、idx＝top-rank(s，[kn])，smask＝sidx

28、其中top-rank(·)表示基于融合自注意力分数对节点由高到低排序的操作，返回节点的自注意力分数集s中[kn]个最高分数所对应的图节点索引，·idx表示索引操作，smask表示构造的融合自注意力mask。

29、步骤s3223：基于步骤s3222中构造的融合自注意力mask实现下采样与图池化操作，从而得到一个当前输入图数据的子图：

30、xpooled＝xidx，：⊙smask，apooled＝aidx，idx

31、其中xpooled与apooled表示经过图池化后所获得的特征矩阵及对应的邻接矩阵，xidx，：表示按行(即节点)索引的特征矩阵，⊙为广播点积运算符，aidx，idx表示按行和按列索引的邻接矩阵。

32、步骤s33：使用readout模块聚合节点特征，从而以固定尺寸的向量表示图数据。该模块融合多层级的全局表示所得的全局特征向量公式如下：

33、

34、其中n是节点数，xi是第i个节点的特征向量，||表示拼接操作。

35、步骤s4：根据步骤s3中所获的三维cad模型全局特征表示向量，指导三维cad模型分类与检索。全局特征向量作为输入通过一个全连接层，获得分类结果。全局特征向量作为三维模型的高维嵌入表示，基于对样本间的度量实现检索。

36、步骤s5：将构建好的网络模型运用于数据集进行训练测试，以验证网络模型的分类与检索性能，以及模型参数量与推理计算时间。具体步骤如下：

37、步骤s51：对比业内前沿的三维模型分类方法在本文构建的三维cad模型数据集与公开数据集fabwave上的分类实验效果。

38、步骤s52：对比业内前沿的执行图级别任务的图神经网络方法在本文构建的三维cad模型数据集上的分类实验效果。

39、步骤s53：在本文构建的三维cad模型数据集上验证检索任务的实验效果。

40、步骤s54：对比不同结构下的融合自注意力图池化模块的实验效果。

41、步骤s55：对比业内前沿的三维模型分类方法与本文中构建的fus-gcn的模型参数量与计算时间。

42、步骤s6：使用训练后的网络模型对三维cad模型实现智能分类、检索与复用。

43、本发明具有以下的特点和有益效果：

44、1.能够智能分类、检索并复用由b-rep数据表示的三维cad模型的轻量化方法，更直观和自然地使用图结构信息来克服使用三维模型的复杂拓扑和工程语义作为特征的挑战，现有研究大多难以利用三维模型的子构件间的精准拓扑关系与几何信息，并且拥有较高三维形状分类准确率的研究大多拥有较高的网络模型参数量，对计算成本与时间成本有较高的要求。该方法通过对b-rep数据的出色特征抽取与优化的网络模型在学习复杂图数据方面的卓越性能，于没有人工干预的情况下，在三维cad模型分类的任务中达到了最高的准确率，在检索任务中获得了出色的表现。通过训练的网络模型能够在三维模型分类与检索任务上满足智能制造cad模型复用的需求，并且在与三维形状分类前沿方法比较的对比实验中达到了业内先进的水平。

45、2.基于b-rep的三维cad模型的新特征描述符，以图结构的形式捕获拓扑信息，以节点与边属性的形式捕获模型的面与边的几何特征。该描述符可以统一地表示来自不同cad系统的三维cad模型，克服了领域内难以以精确方法表示三维cad模型，从不同数据格式构造特征描述符的过程复杂而困难，难以使用通用方法对不同数据格式的三维cad模型构建用于神经网络学习的特征描述符等痛点。

46、3.为改善现有图神经网络处理图级别任务的效果，我们基于本场景中的复杂图数据的特点，使用融合自注意力池化方法，结合三维模型拓扑结构与几何信息合理地压缩并聚合图数据，使网络更加适用于三维cad模型分类与检索的任务场景。