一种基于图卷积网络的网格去噪方法与流程

本发明属于计算机图形学领域，尤其涉及一种基于图卷积网络的网格去噪方法。

背景技术：

因为顶点位置或面法向本质上是3d信号，因此在网格表面上进行去噪的任务类似于2d图像。因此，网格去噪技术受到图像中去噪技术很大启发，目前已经引入了各种低通和保留特征的滤波器来进行网格去噪。其中，双边过滤器是应用最广泛的过滤器之一，但基于滤波器的方法的一个常见缺点是，一旦特征被噪声严重破坏，它们(尤其是弱特征)就很难用这些方法恢复。另一种方法是基于优化的网格去噪方法。但仅适用满足假设的网格，并且对于具有不同几何特征的网格不能很好地概括噪音模式。

相比之下，基于学习的方法并未对基本特征或噪声模式做出特定假设，并且已成功应用于图像去噪。但是，与图像不同，3d网格通常是不规则的，因此基于图像的卷积运算不能直接适用。为了解决这个问题，我们提出了一种新的方法，将不规则的网格块数据直接输入到图卷积网络中。通过图形卷积操作对局部表面几何图形进行基于图形的表示，我们的网络能够比其他现有的方法更好地捕获噪声下源模型的固有几何特征。

图卷积网络(gcn)已被引入用来处理非欧几里得结构。gcn的早期工作需要静态图结构因此无法扩展为具有变化拓扑的网格。对动态图卷积的最新研究表明，可变边缘可以表现得更好。我们的方法利用块中的静态图结构和卷积期间构造的动态图结构来有效地学习块中的几何特征。另外还有其他一些为网格开发的卷积操作，主要用于理解整个对象或大型场景，并且需要非常深的网络结构。而去噪工作更加关注局部块，在网格面的对偶空间中引入卷积。

技术实现要素：

本发明的提出了一种基于gcn网络的网格去噪方法，通过在网格面的对偶空间上使用旋转不变的图表示，从而通过图卷积实现有效的特征学习。同时在本发明架构中的静态和动态图卷积运算被串联起来，以学习相邻节点之间的有效显式结构特征和潜在隐式特征。

本发明是通过以下技术方案来实现的：

一种基于图卷积网络的网格去噪方法，包括以下步骤：

步骤一：对噪声网格中每个面生成一个局部块并采用张量投票算法对局部块进行旋转对齐。

步骤二：将步骤一对齐的局部块转换为图表示，输入至训练好的图卷积神经网络，预测无噪声的法向，再根据预测出的法向对网格模型的顶点进行更新，得到去噪后的模型。其中，所述图卷积神经网络结构由le层静态edgeconv，ld层动态edgeconv和l1层全连接(fc)层组成。

进一步地，所述步骤一通过以下子步骤来实现：

(1.1)对于选取的面片f，按照其领域的面积的固定比例划定包围球，将包围球内所有的面片作为该块p中的面。

(1.2)定义对于该块中所有面fi投票张量ti，并得到特征值和单位特征向量。

(1.3)根据1.2得到的特征向量构造一个旋转矩阵ri，并将p中每个小面的质心和法向与ri^-1相乘以生成新的块数据

进一步地，所述步骤二通过以下子步骤来实现：

(2.1)对于输入的图像迭代由静态edgeconv进行静态边卷积处理，得到邻面特征。

(2.2)对于2.1得到的结果迭代由动态edgeconv进行动态边卷积处理，得到特征空间中最邻近的特征面。

(2.3)在图卷积的之后，将学习到的特征连接在一起通过全连接层总结特征。

(2.4)通过对称性池化选取最主要的特征最终预测法向。

进一步地，所述图卷积神经网络的训练数据集通过如下方法构建：

应用张量投票算法到数据集中无噪声模型的每个面上，得到三个特征值λ1,λ2,λ3。根据特征值将所有的数据中所有模型的面分为“面”和“边”两组，分别采集块数据构建成训练数据集。

进一步地，训练多个级联的图卷积神经网络进行预测无噪声的法向，训练时，利用前一级图卷积神经网络预测的法向构建去噪后网格模型生成新数据以训练后一级图卷积神经网络，直到级联网络的损失不再下降。

进一步地，在最后一级图卷积神经网络中，通过网格上的双边滤波器对的法向量进行迭代优化，每次迭代都更新顶点，最终得到去噪后的网格模型。

本发明的突出贡献是：

本发明提出了一种gcn-denoiser，一种基于图卷积网络(gcn)的保留特征的网络去噪方法。与先前的基于人为构造特征学习或基于体素的表示进行特征学习的基于学习的网格降噪方法不同，本发明探索三角网格本身的结构，并引入图表示，然后在三角形的对偶空间中引入图卷积运算。本发明展示了这样一种可以自然地捕获了几何特征的图形表示形式，同时对于训练阶段和推断阶段都是轻量级的。为了促进有效的特征学习，这种网络同时利用了静态和动态边缘卷积，这使得能够从显式网格结构和未连接邻近之间的潜在联系中学习信息。为了更好地估计未知噪声函数，本发明引入了多个gcn的级联优化范例，以逐步推断面的无噪声法向。本发明在多个噪声数据集中实现了最好的结果，包括包含清晰特征的cad模型和具有从不同设备捕获的真实噪声的原始扫描模型。本发明方法在达到效果和效率之间良好平衡的同时，实现了目前最好的结果。

附图说明

图1是本发明进行网络去噪的过程示意图。

图2是本发明的gcn网络结构。

图3是本发明的网络去噪效果图。

具体实施方式

由于噪声是网格模型表面的复杂构成，一般采用局部方法对其估计。本发明的目标是在网格三角形对偶域中对每个面片f，利用其一定范围内噪声下的块p，对该面片的原始无噪声法向进行预测，并重构出无噪声模型，具体包括如下步骤：

步骤一：对噪声网格中每个面生成一个局部块并采用张量投票算法对局部块进行旋转对齐。

步骤二：将步骤一对齐的局部块转换为图表示，输入至训练好的图卷积神经网络，预测无噪声的法向，再根据预测出的法向对网格模型的顶点进行更新，得到去噪后的模型。其中，所述图卷积神经网络结构由le层edgeconv，ld层动态edgeconv和l1层全连接(fc)层组成。

图1说明了本发明中多个图卷积神经网络级联的去噪流程。下面，结合一个具体的实施例对本发明方法作进一步说明：

对于一个噪声网格，首先将输入三角形网格定义为m＝{v，f}，其中v＝{vk}1n^v设置所有顶点，f＝{fi}1^nf设置所有面。nv和nf分别是顶点数和面数。对于f中的每个面fi，生成其本地块数据pi。m中所有块的集合被定义为p＝{pi}1^nf。同样，将面fi的法向表示为ni，将其质心表示为ci，并将其面积表示为ai。

其中，块pi指位于小平面fi的质心ci上的半径为r的球体内的所有小平面(包括fi)，即pi为应该满足：

处于不同位置却具有同样性质的块会给神经网络带来麻烦，因为对于深层学习方法很难学习空间变换。为了解决这个问题，本发明采用张量投票理论来将面明确对齐到一个公共坐标系中，即定义对于该块中所有面fi投票张量ti，并得到特征值和单位特征向量，具体如下：

首先将pi转换为原点[0，0，0]，然后将其缩放为单位包围盒。一个投票张量ti对于面fi的定义如下：

其中μj＝(aj/am)exp(-||cj-ci||/σ)，σ为参数，本实施例中设置为1/3，其中am是pi中的最大三角形面积，并且nj'是fj的投票法向量：nj'＝2(nj·wj)wj-nj，其中wj＝normalize{[(cj-ci)×nj]×(cj-ci)}。由于ti是一个半正定矩阵，可以通过其谱分解表示为：

ti＝λ1e1e1^t+λ2e2e2^t+λ3e3e3^t

其中λ1≥λ2≥λ3是其特征值，e1，e2和e3是对应的单位特征向量，它们构成了一组正交基。

然后，构造一个旋转矩阵ri＝[e1，e2，e3]，并将pi中每个小面的质心和法向与ri^-1相乘以生成新的块数据

之后，为每个生成的块建立图结构以使其适应我们随后的图形卷积网络。建立一个无向图g＝(q，e，φ)，其中为块中的每个面f创建一个图上节点qi∈q，和一个边e＝(qi,qj)∈e如果对应的面fi和fj相邻。φ表示节点特征，包含一组节点属性。对于每个对应面fi，和指对齐后平面fi的质心和法向。di是fi的1环邻域中相邻面的数量，有助于区分边界面。

如图2所示，说明了本发明的gcn网络由多个卷积层组成。(martinsimonovskyandnikoskomodakis.2017.dynamicedge-conditionedfiltersinconvolutionalneuralnetworksongraphs.in2017ieeeconferenceoncomputervisionandpatternrecognition(cvpr).29–38.)在每一层中，类似于传统的卷积网络，本发明的gcn会汇总每个节点的相邻节点的特征并进行更新，也被称为卷积操作。尽管每个图在面上有一定的连通性，但是他们的结构在块上差别很多。所以我们采取ecc(edge-conditionedconvolution)策略处理卷积过程中不同的结构。令gl＝(ql，el，φl)是图卷积中的第l层，是gl中第i个节点的特征向量。通过以下方式更新节点特征：

这里ψ是特征聚集，hθ^l＝linearθ^l(flⁱ,fl^j-flⁱ)。网络中的每个图形卷基层有同样的linearθ。

由于从几何图形到连通性的映射不是一对一的函数，因此仅利用原始图形结构可能会在卷积过程中导致某些信息丢失。为了丰富图节点的接受域，本发明进一步允许在卷积过程中连接不相邻的图节点。这种图形转换叫做动态edgeconv。对于此方案，每个节点的邻居都是根据节点的欧几里得距离由knn(在本实施例的实现中为k＝8)动态计算的。

本发明的网络体系结构由le层的静态edgeconv，ld层的动态edgeconv和l1层的全连接(fc)层组成。在图卷积的各层之后，将学习到的特征连接在一起以进行池化。本实施例中，将平均池和最大池都用作对称函数，它们可以选择最重要的特征。最后，fc层回归3d向量，即本发明预测的法向。除最后一个fc层外，本发明体系结构中的每一层都带有批处理规范化和激活函数leakyrelu。

作为一个优选方案，用级联的gcn(gcn1，...，gcnx)逐步回归无噪声的法向。级联优化中所有的gcn有相同的架构，但具有不同的静态edgeconv，动态edgeconv和fc层的数量。本实施例中，对于第一个gcn，使用le＝3，ld＝3，并且ll＝4，对于其余gcn，使用le＝2，ld＝2，ll＝3。

在每一次法向预测更新之后都需要更新顶点的位置，在本发明的方法中顶点更新可以定义为以下公式，其中ω’i是该顶点的领域包含其邻居顶点，该顶点的领域即包含其邻居顶点的关联面片：

k表示顶点更新的迭代次数，上标g表示目标法向，在前x-1级的gcn更新中，为网络输出的预测值，在最后一级更新中，表示优化后的法向；eij表示面片中两个顶点之间的边。

在离线训练步骤中，我们使用gcnx的输出对训练集中的噪声网格进行去噪，然后从这些更新的网格中生成新数据以训练下一个gcnx+1。当网络在验证集上的误差不再减少时，即可停止级联gcn。损失函数是网络输出和标准值之间的mse，即在这里，是面fi的真实无噪声网格的法向，r为上文提到的对应的旋转矩阵。

作为一个优选方案，对于每个3d模型，生成不同级别和类型的噪声进行训练。应用张量投票算法到数据集中无噪声模型的每个面上，得到三个特征值λ1,λ2,λ3。对于每个模型将每个面分到四组：{fi|λⁱ2<0.01∧λⁱ3<0.001}是平表面，{fi|λⁱ2>0.01∧λⁱ3<0.1}是边表面，{fi|λⁱ3>0.1}是角表面，其余的为过渡面。由于边表面和角表面相对于其他两种很少，又进一步的分为两组：由平表面和过渡面组成的无特征面，由边表面和角表面组成的特征面。在这两组中均匀采集块作为训练数据。这个策略在训练所有的gcn中都适用。

作为一个优选方案，给定一个的输入噪声网格的预测法向，为了避免基于局部处理导致的相邻面之间的不连续性，可以应用双边过滤器(youyizheng,hongbofu,oscarkin-chungau,andchiew-lantai.2011.bilateralnormalfilteringformeshdenoising.ieeetransactionsonvisualizationandcomputergraphics17,10(2011),1521–1530.)对gcn预测的法向进行微调：

这项操作迭代可以迭代m次，但是只应用于最后联级gcn里的法向输出。其中是迭代优化m+1次的法向，是根据第m次迭代得到的法向更新顶点后的面片算出来的法向。ωi是相邻fi的集合，ws和wr是分别有σs和σr核心的高斯函数。

图1和3分别展示了本方法的从设备捕获的真实噪声的原始扫描模型和包含清晰特征的cad模型的去噪结果，最左为输入的噪声模型，中间为结果，最右为原始的无噪声真值。从图中可以看出，本发明方法具有很好的去噪效果，能达到效果和效率之间良好平衡。