本发明涉及三维模型的自动生成,具体涉及一种基于深度学习三维模型的自动生成装置和方法。
背景技术:
三维模型是在计算机中构造虚拟对象的基本元素,随着三维模型采集技术的快速发展,三维模型正在成为娱乐行业的另一个共同主题,因为三维模型数据可以给用户带来身临其境的感受。
但是,由于高昂的费用或专业知识要求,扩大三维形状采集的应用仍然具有挑战性。有很多方法可以得到三维模型,美术创作人员利用三维建模软件如3dsmax、maya按照一定的规则输入参数或者交互操作构造三维模型,但此类软件一般操作很复杂,尤其对于自由曲面的构造。新出现的三维扫描仪可以得到现实景物的点云信息,但其数据量庞大,几乎无法应用在实时系统中,并且价格昂贵,例如,业内的三维物体扫描仪至少要花费数千美元,基于视觉加深度传感器的kinect扫描仪可能需要工程师的调整,而建模工具需要具有良好专业背景。
因此,简便快速的三维模型生成方法一直是图形领域长期关注的问题。
技术实现要素:
本发明的目的在于提供本发明的目的在于提供一种基于深度学习三维模型的自动生成装置,对给定的三维模型,将其特征用二维图像表示后,通过深度学习技术对其的特征信息进行训练,从而驱动该深度神经网络模型实现自动生成三维模型。
一种基于深度学习三维模型的自动生成装置,包括
校验器,与参数数据存储器通讯连接,对输入的三维模型的特征图像的特征信息进行数据预处理;
参数数据存储器,与中央处理器通信连接,存储校验器输出的经神经网络训练后的参数;
中央处理器,根据已设置的训练参数,利用深度神经网络自动生成三维模型;
显示终端,与中央处理器通信连接,呈现生成的三维模型;以及
目标三维模型数据存储器,与中央处理器通信连接,存储生成的三维模型。
一种基于深度学习三维模型的自动生成装置的方法,其特征在于包括如下步骤:
步骤一:输入二维图像,对于用户任意输入的三维模型特征图像(二维),提取出其包含的特征信息并通过校验器进行数据预处理,使得二维图像满足神经网络模型的输入规范;
步骤二:将校验器输出的特征信息经过神经网络训练后的参数存到参数存储器,以此设置生成三维模型的具体参数;
步骤三:中央处理器根据已设置的训练参数,利用深度神经网络自动生成三维模型;
步骤四:将生成的三维模型存到目标三维数据存储器;
步骤五:通过显示终端查看生成的三维模型,呈现其结果。
进一步的,所述二维图像为三维模型数据的特征图像,三维模型数据集是人脸表情。
进一步的,所述中央处理器利用对抗神经网络(gan)自动生成三维模型。
有益效果:与现有技术相比,本发明不在依赖成本高昂的视觉加深度传感器的扫描仪生成新的三维模型数据,能简便快速的生成三维模型,大大降低三维模型采集的成本大大减小了数据生成成本,有利于极大地提高三维模型数据的应用和推广。
附图说明
图1为本发明的结构示意图;
图2为本发明的工作流程图。
具体实施方式
下面结合附图1~2对本发明做详细阐述,在本发明的一个附图或一种实施方式中描述的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。应当注意,为了清楚的目的,附图和说明中省略了与本发明无关的、本领域普通技术人员已知的部件和处理的表示和描述。
一种基于深度学习三维模型的自动生成装置,包括校验器、中央处理器、显示终端、参数数据存储器和目标三维模型数据存储器。
校验器与参数数据存储器通讯连接,参数数据存储器与中央处理器通信连接,中央处理器与显示终端、目标三维模型数据存储器分别通信连接。
所述校验器将三维模型数据集的特征图像进行数据校验使得其包含的特征信息符合神经网络的训练;
二维图像输入,用户提供二维的图像表示三维模型。输入的图像为三维图像的特征矩阵所转化的二维图像。
在本实施例中,三维模型数据集都是人脸表情,那么输入的三维模型即是三维人脸模型的特征图像。
校验器输出的特征信息经过神经网络训练后的参数将存储到参数数据存储器,以此设置生成三维模型的具体参数。
中央处理器借助性能强大的深度学习工具,处理图像并读取其包含的特征信息,并将该特征信息设置生成神经网络的训练参数,从而驱动该模型实现生成三维模型;
中央处理器根据已经成功提取数据集中行为特征,将提取的图像所含的特征信息训练后作为神经网络模型的训练参数,以驱动输入的模型生成三维模型。其利用经典的对抗神经网络(gan)来自动生成三维模型。gan模型由goodfellow等人提出,由两个复杂的神经网络组成,称为generator(g)和discriminator(d),两个网络以交互机制工作,g将随机噪声矩阵转换为图像,并且d尝试从实际训练样本中识别合成图像。通过重复这个过程,g逐渐优化网络以提高输出图像质量以模仿真实图像,直到d不能区分合成图像和真实图像。训练具有3d面部图像的gan模型。最后,在训练gan模型之后,训练好的g网络可以输出合成图像。
在本实施中,选择预先提取的不同人脸表情特征信息,生成具有不同表情的多种三维模型。
中央处理器将生成的三维模型存到目标三维数据存储器,并呈现在显示终端。
一种基于深度学习三维模型的自动生成装置的方法,包括:
步骤一:输入二维图像,对于用户任意输入的三维模型特征图像(二维),提取出其包含的特征信息并通过校验器进行数据预处理,使得二维图像满足神经网络模型的输入规范;
步骤二:将校验器输出的特征信息经过神经网络训练后的参数存到参数存储器,以此设置生成三维模型的具体参数;
步骤三:中央处理器根据已设置的训练参数,利用深度神经网络自动生成三维模型;
步骤四:将生成的三维模型存到目标三维数据存储器;
步骤五:通过显示终端查看生成的三维模型,呈现结果。
本发明实现了三维模型的自动生成,通过深度学习技术对其的特征信息进行处理,从而驱动该深度神经网络模型实现自动生成三维模型,经过对于包含笑、伤心、恶心、大喜等人脸表情的三维模型数据的生成都试验成功。由于该方法不在依赖成本高昂的视觉加深度传感器的扫描仪生成新的三维模型数据,该发明大大减小了数据生成成本,有利于极大地提高三维模型数据的应用和推广。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。