本发明涉及图像处理,具体涉及基于nerf的2d高清数字人生成方法。
背景技术:
1、在现有技术中,在对模型进行建立的时候,通常是需要对模型的各个位置进行建立而后进行相应的渲染,从而得到完整的数字模型。但在对模型的各个位置进行建立的时候,需要耗费大量的时间,并在渲染的时候,由于光线的变化,渲染出来的图像通常会与实际图像存在差距。
2、nerf是一种新兴的图像处理模型,在该模型中,当给定一定视角拍摄图后,nerf能够生成不同视角下的视图,相对于传统的三维建模,nerf通过将场景建模呈一个连续的辐射场并将其储存在神经网络中,当输入多个点位的图像时,nerf能够生成神经辐射模型,并根据神经辐射模型,渲染出不同视角下的图像。
3、本申请基于nerf技术,提出了一种基于nerf的2d高清数字人生成方法。
技术实现思路
1、为此,本发明提供基于nerf的2d高清数字人生成方法,以解决现有技术中的上述问题。
2、为了实现上述目的,本发明提供如下技术方案:
3、根据本发明的第一方面,基于nerf的2d高清数字人生成方法,包括以下步骤,
4、步骤一,模型建立,在二维空间内,基于现场中预设的图像采集的点位信息以及现场中图像所处位置,建立空白模型,空白模型为二维坐标系,二维坐标系即为x-y坐标系,
5、步骤二,数据采集,基于空白模型所在空间,对图像采集点位的信息进行标定,并根据标定后的图像采集点位的相对位置信息,将标定结果输入到空白模型中,以将图像建立在空白模型内,
6、步骤三,图像采集,通过图像采集点位,对该点位所在位置采集到的图像进行采集,并将采集到的图像传输至空白模型内,
7、步骤四,图像标定,将采集到的现场的图像的位置以及现场的图像采集点位相对于图像的角度信息在空白模型中进行标定,以建立采集到的图像与图像采集点在空白模型中的相对位置,
8、步骤五,图像渲染,使用立体渲染方程,对采集到的图像进行优化,以生成高清数字人。
9、优选地,所述步骤二的数据采集是对图像采集点位的以下数据进行采集:对图像采集点位视角下光线的位置a、光线的方向b,以及光线位置、方向对应的在二维空间内的坐标值,x、y。
10、优选地,在步骤二中,还对光线的强度、光线的颜色以及图像的颜色进行采集,通过对光线强度以及光线颜色进行分析,对比采集到的图像的颜色,判断光线颜色与图像反射的颜色,以在对图像进行建立、渲染时,减少偏差,并根据采集到的光线颜色与图像反射的颜色,对其他光线颜色照射图像时,图像反射的颜色进行渲染,以得到不同光线条件下的图像。
11、优选地,所述图像采集用于采集对应图像采集点位下采集到的图像的体素密度以及图像的颜色,并将采集的图像的体素密度与图像的颜色送入到空白模型中以建立图像模型。
12、优选地,在对图像进行渲染时,通过图像采集设备,采集图像的高清影像,并在图像渲染过程中,通过步骤五中的立体渲染方程,渲染出未采集到图像的高清影像。
13、优选地,采集到的图像的分辨率至少为1280×720像素。
14、优选的,所述classical volume rendering方程具有为
15、
16、
17、c为图像最终颜色,
18、采样点记为t1、t2、tf、tn,
19、r为亮度,
20、σ为图像的体素密度,
21、s为所采集的图像厚度,
22、c为照射光线颜色颜色,
23、t为透明度。
24、本发明具有如下优点:
25、在本发明实施的过程中,通过多不同点位的目标图像进行采集,进而生成2d状态下的数字人,并在图像采集的过程中,采集图像的高清图像,使得建立出来的数字人呈现高清状态。传统的模型建立的过程,需要对模型各个位置进行建模渲染,从而得到完整的数字模型,整个过程需要耗费大量的人力物力成本,而本方案仅需要采集不同点位的图像的信息,即可完成对数字模型的建立,不仅能够实现快速建模渲染的过程,减少人员所耗费的时间,还能渲染出不同光线条件下的图像的状态。
1.基于nerf的2d高清数字人生成方法,其特征在于,包括以下步骤,
2.根据权利要求1所述的基于nerf的2d高清数字人生成方法,其特征在于,所述步骤二的数据采集是对图像采集点位的以下数据进行采集:对图像采集点位视角下光线的位置a、光线的方向b,以及光线位置、方向对应的在二维空间内的坐标值,x、y。
3.根据权利要求2所述的基于nerf的2d高清数字人生成方法,其特征在于,在步骤二中,还对光线的强度、光线的颜色以及图像的颜色进行采集,通过对光线强度以及光线颜色进行分析,对比采集到的图像的颜色,判断光线颜色与图像反射的颜色,以在对图像进行建立、渲染时,减少偏差,并根据采集到的光线颜色与图像反射的颜色,对其他光线颜色照射图像时,图像反射的颜色进行渲染,以得到不同光线条件下的图像。
4.根据权利要求1所述的基于nerf的2d高清数字人生成方法,其特征在于,所述图像采集用于采集对应图像采集点位下采集到的图像的体素密度以及图像的颜色,并将采集的图像的体素密度与图像的颜色送入到空白模型中以建立图像模型。
5.根据权利要求1所述的基于nerf的2d高清数字人生成方法,其特征在于,在对图像进行渲染时,通过图像采集设备,采集图像的高清影像,并在图像渲染过程中,通过步骤五中的立体渲染方程,渲染出未采集到图像的高清影像。
6.根据权利要求5所述的基于nerf的2d高清数字人生成方法,其特征在于,采集到的图像的分辨率至少为1280×720像素。
7.根据权利要求1所述的基于nerf的2d高清数字人生成方法,其特征在于,所述classicalvolume rendering方程具有为