一种基于手绘草图的参数化三维模型生成方法及系统

本发明涉及计算机图形学和计算机辅助设计领域，尤其涉及一种基于手绘草图的参数化三维模型生成方法及系统。

背景技术：

1、草图绘制和三维建模是工业设计的两个重要步骤。设计师通常先通过绘制草图来表达和修改他们的设计意图；然后将完成的设计草图通过参数化建模软件转换为三维模型，生成高精度和可编辑的cad模型。然而，三维建模软件的使用通常要求操作者经过一定程度的软件培训，以及对物体建模设计和序列生成先后过程的把握；而绘制简略表意的草图却不需要经过训练，任何人都可以通过草图来表达设计意图和设计概念。

2、基于草图生成建模(sketch-based modeling，sbm)是一个研究基于草图自动生成三维模型的领域。早期的研究大多集中在对固定视角的线框图的分析预测上；在深度学习兴起之后，一些学者开始采用卷积神经网络提取图像的特征来进行三维模型的重建，比如基于草图的特征生成网格形式的模型(sketch2mesh，iccv2021)，基于多视角草图的三维模型重建，以及基于草图重建发型的三维模型(deepsketchhair)。

3、但一些采取深度学习的草图生成建模方法都只能产生不可编辑的网格模型，并且对生成模型有一定的限制，比如需要提供多视角草图，或者仅限定于头发模型、汽车、椅子类型模型的三维重建和编辑。因此，针对这些情况，需要设计出一种能够生成多种类型的参数化模型的草图生成建模系统。

技术实现思路

1、针对现有技术的不足，本发明设计提出了一种基于手绘草图的参数化三维模型生成方法及系统，旨在解决现有草图生成建模方法生成限定种类的不可编辑的网格模型的缺陷，从而使没有三维软件经验的用户也可以方便快捷地使自己的设计意图成型，并有效地对已生成的模型进行交互式编辑。

2、本发明是通过以下技术方案来实现的：一种基于手绘草图的参数化三维模型生成方法，其特征在于，该方法包括以下步骤：

3、(1)获取用户的实时草图输入，包括显示和获取当前已生成模型的三维视图；

4、(2)结合当前三维视图分析用户草绘输入，并分割提取出草图中的关键特征；

5、(3)基于分割的草图结果生成规范化的建模操作描述和几何参数计算；

6、(4)根据步骤(3)得到的建模操作描述和几何参数，生成建模操作序列，并输入cad建模软件，进而生成参数化的三维模型。

7、进一步地，所述步骤(1)具体为，获取用户的实时草图输入，进而实时获取当前三维模型视图，并在视图上直接进行草绘绘制，手绘草图可通过鼠标或者数位板进行输入，可进行编辑和重新绘制。

8、进一步地，所述步骤(2)为草绘笔迹的实例分割网络，该网络输入为当前三维模型视图和用户草绘笔迹的合并图像，输出为用户草绘的像素级别的分割结果，用于分析用户草绘的建模行为类别，以及草绘内容的结构特征，并为后续的建模关键参数提取网络提供输入。

9、进一步地，所述草绘笔迹实例分割网络采用了mask r-cnn网络架构，对草绘笔迹和三维视图合并图片进行建模信息的实例分割，实例分割可以将用户的草绘笔迹进行分割提取，并对代表不同操作含义的手绘笔迹像素进行分类；识别出手绘草图代表的建模操作类别，即拉伸、倒角、倒圆角、以及增料螺旋线；针对拉伸的草绘，将草绘几何体的底面轮廓、拉伸后几何体的上表面轮廓，以及侧面曲线分别提取并识别其类别，并对底面轮廓的几何特征进行粗分类，区分出其构成是圆形、正多边形、不规则多边形，还是融合了曲线和直线的不规则草图；

10、所述mask r-cnn网络架构主要由两部分组成，第一部分为在图像上生成目标检测候选框，并生成候选框的类别预测以及尺寸预测，并过滤一部分候选框；另一部分为对目标掩码的预测。

11、进一步地，所述mask r-cnn网络架构的具体为：

12、首先将三维视图和用户草绘内容合并图片输入mask r-cnn中的resnet-fpn模块，提取出特征层；使用mask r-cnn中的候选框生成网络rpn(region proposal network)生成不同尺寸的目标候选框，并使用roialign层将生成的候选框投影至特征图，生成不同候选框的特征图；

13、将特征图输入类别、边框预测分支，对特征进行卷积，生成候选框对应的类别预测，以及候选框尺寸的预测，并过滤部分候选框；

14、对于掩码预测mask的分支，使用另一个roialign层对rpn结构生成的一系列候选框，进行特征图的投影以及提取；

15、对掩码预测mask分支roialign层生成的特征图进行卷积和转置卷积，生成对不同类别信息的掩码预测；

16、训练时采取的损失函数为(1)式所示，总损失由候选框预测类别损失lossclassfication，候选框回归参数损失lossbox和掩码预测损失lossmask共同构成。

17、loss＝lossclassfication+lossbox+lossmask (1)

18、

19、

20、式(2)中，lossclassfication为候选框预测类别损失，nclass为一个batch中的样本数量，使用softmax交叉熵计算每个候选框预测类别的损失；lossbox为候选框回归参数的损失，采用式(3)、式(4)和式(5)计算每个候选框的边界参数与真值候选框边界参数的smoothl1损失，ti为第i个候选框预测的边界参数，为第i个候选框的真实边界参数；

21、

22、

23、lossmask为掩码预测的损失，计算真实类别的预测掩码矩阵与该类别的真值掩码矩阵的平均二分类交叉熵损失。

24、进一步地，所述生成规范化的建模操作描述和几何参数计算，具体为，需要根据分割的图像结果进行规范化参数的计算，包含草绘三维坐标信息分析提取和建模关键参数回归；

25、所述草绘三维坐标信息分析提取为根据草图分割结果提取的底面轮廓，进行形状的分类以及特征点的检测，并通过投影矩阵的逆，得到草图二维特征点的投影射线，计算射线与已生成的模型之间的交点，作为特征点的三维坐标；根据草图分割的结果，若草图的建模类别为不规则形状草图的拉伸，即拉伸形状既不是圆形也不是正多边形，而为不规则的多边形或者由折线和曲线构成的几何图形，则需要首先分析草图的构成，再根据构成提取特征点，并获取特征点的三维坐标，从而生成参数化草图并进行拉伸操作；

26、所述建模关键参数回归为搭建了一个图像特征回归网络，输入为草绘笔迹实例分割网络的分割结果图像以及当前视角的相机参数，输出结果为建模操作的关键参数；特征提取网络需要基于不同的建模操作进行针对性的训练，且输出的结果也由建模操作类别决定，若分割网络的结果显示建模操作为拉伸正多边形，则关键参数为多边形的数量以及拉伸的高度与多边形边长的比值；若分割网络的结果显示建模操作为拉伸圆形，则关键参数为拉伸的高度与圆半径的比值；若分割网络的结果显示建模操作为螺旋线，则关键参数为螺旋线的圈数以及螺距与半径的比值。

27、具体地，所述建模关键参数回归是针对不同的建模操作类别，训练了不同的特征提取网络，网络架构采用了多层卷积层和全连接层，同时将相机参数也作为全连接层的输入；网络的损失函数采用l2损失，计算预测参数值与真实参数值之间的损失，λ||θ||2为正则项，λ惩罚系数，θ为网络权重：

28、

29、针对不同类型的建模操作，设计了不同的参数类型，若针对拉伸正多边形，需要预测边长的数量n，以及正多边形的高度和边长之比(h/l)；若针对圆柱或是上下底面为不同大小圆形的锥体，需要预测的参数为高度和底面半径之比(h/r1)，以及上下底面圆半径之比(r2/r1)；若针对不规则的草图拉伸操作，则需要预测拉伸距离与草图外接圆之比(h/r)；生成螺旋线相关的操作，即增料/减料螺旋线，需要预测螺旋线间距和底面半径的比值：d/r，和螺旋线的圈数n。

30、具体地，所述草绘三维坐标信息分析获取的过程为：

31、首先对草图分割结果提取的底面轮廓图像进行图片的预处理；即二值化，并对轮廓进行膨胀操作，使断裂的底面轮廓恢复封闭完整；

32、对于处理完的图片进行轮廓的提取，并遍历轮廓找到外轮廓；

33、根据草图实例分割的结果，根据底面轮廓的类别进行针对性的特征点检测，若底面的形状为规则几何形状，即正多边形，圆形和不规则多边形，则进行角点检测提取多边形顶点，或者使用圆形检测计算圆心和半径；若分类的结果为复杂几何形状，即曲线、线段和圆弧的组合，则进行下一步的特征点提取步骤；

34、根据实例分割的结果，若底面的轮廓检测为不规则草图，则需要进行先分割后拟合的操作；首先对轮廓中的点进行曲率的计算，曲线曲率的局部极大值对应的点作为分割点，分割草图，对不同的分割结果进行直线、圆弧、b样条曲线的拟合和分类，并将类别信息和对应的特征点保存；

35、根据草图类别识别以及特征点提取，可获取分割后的二维草图的特征点，后续再通过投影矩阵的逆，得到草图二维特征点的投影射线，计算射线与已生成的模型之间的交点，获取特征点的三维位置，从而获取当前建模操作基于的基面或几何体，以及特征点的三维坐标。

36、具体地，所述三维模型生成是建模操作的实例化，是根据草图特征提取的分割输出结果，可获取草绘对应的建模操作类别，即拉伸、倒角倒圆角和增料螺旋线；

37、根据草绘三维坐标信息分析获取不同建模操作的定位信息；针对倒角和倒圆角操作，获取倒角倒圆角草绘轮廓的两个端点，并定位被倒角的边以及倒角的大小；针对增料螺旋线，获取螺旋线的定位：圆心、半径和起始平面；针对拉伸操作获取拉伸基准面以及拉伸的草图的三维信息，从而在三维空间中将草图重建；

38、根据建模关键参数回归获取具体的建模操作的参数；即比如拉伸建模操作，在确定了底面草图后，根据建模关键参数回归获取的拉伸距离和草图边长或半径之比，计算实际的拉伸距离，从而生成完整的建模指令；

39、依据上述操作生成的对应建模操作以及建模参数生成建模操作序列，并输入支持建模操作序列文件的三维建模软件，生成参数化的三维模型。

40、本发明还提供了一种基于手绘草图的参数化三维模型生成系统，该系统包括以下模块：

41、用户草图输入模块：可获取用户的实时草图输入，包括显示和获取当前已生成模型的三维视图；

42、草图特征提取模块：结合当前三维视图分析用户草绘输入，并分割提取出草图中的关键特征；

43、几何参数计算模块：基于分割的草图结果生成规范化的建模操作描述和几何参数计算；

44、三维模型生成模块：根据几何参数计算模块得到的建模操作描述和几何参数，生成建模操作序列，并输入cad建模软件，生成参数化的三维模型。

45、本发明的有益效果如下：

46、相较于现有的草图生成网格模型等方法，这些方法只能生成限定种类的不可编辑的网格模型；而本发明通过对用户草图分析，生成参数化的cad模型，有助于后续编辑模型，并且用户可以实时对模型进行草绘交互式修改，比如倒角、倒圆角、增加新几何体等。本发明能使没有三维软件经验的用户也可以方便快捷地使自己的设计意图成型，并有效地对已生成的模型进行交互式编辑。