
1.本技术涉及图像分析技术领域,特别是一种图像材质确定方法及相关装置。
背景技术:2.随着技术的发展,在很多领域都需要根据物体的图像来确定其真实材质信息,但是由于现实世界材质的内在复杂性,需要额外的摄像机,像机等采集设备对物体进行详尽的空间和角度采样来得到输入图像,这十分影响对图像进行材质分析的效率。
技术实现要素:3.有鉴于此,本技术提供了一种,可以根据单张图像确定准确的材质数据,无需其余参数,可以大大提升对材质估计的效率和准确性。
4.第一方面,本技术实施例提供了一种图像材质确定方法,所述方法包括:
5.确定目标图像的目标特征数据;
6.根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;
7.根据所述高光特征数据和所述标准特征数据确定融合特征数据;
8.根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。
9.第二方面,本技术实施例提供一种图像材质确定装置,所述装置包括:
10.特征确定单元,英语确定目标图像的目标特征数据;
11.分支提取单元,用于根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;
12.融合提取单元,用于根据所述高光特征数据和所述标准特征数据确定融合特征数据;
13.材质估计单元,用于根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。
14.第三方面,本技术实施例提供了一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本技术实施例第一方面任一方法中的步骤的指令。
15.第四方面,本技术实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本技术实施例第一方面任一方法中所描述的部分或全部步骤。
16.第五方面,本技术实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算
机执行如本技术实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
17.可见,通过上述图像材质确定方法及相关装置,首先,确定目标图像的目标特征数据;然后,根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;接着,根据所述高光特征数据和所述标准特征数据确定融合特征数据;最后,根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。无需对输入的目标图像进行过多的采集,只需要单张目标图像就可以得到准确的材质数据,大大提升了对材质进行估计的效率和准确性。
附图说明
18.为了更清楚地说明本发明实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
19.图1为本技术实施例提供的一种图像材质确定方法的系统架构图;
20.图2为本技术实施例提供的一种图像材质确定方法的流程示意图;
21.图3a为本技术实施例提供的一种材质估计模型的架构示意图;
22.图3b为本技术实施例提供的另一种材质估计模型的架构示意图;
23.图3c为本技术实施例提供的另一种材质估计模型的架构示意图;
24.图4为本技术实施例提供的另一种图像材质确定方法的流程示意图;
25.图5为本技术实施例提供的一种电子设备的结构示意图;
26.图6为本技术实施例提供的一种图像材质确定装置的功能单元组成框图;
27.图7为本技术实施例提供的另一种图像材质确定装置的功能单元组成框图。
具体实施方式
28.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
29.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
30.应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。另外,本文中字符“/”,表示前后关联对象是一种“或”的关系。本技术实施例中出现的“多个”是指两个或两个以上。
31.本技术实施例中出现的“连接”是指直接连接或者间接连接等各种连接方式,以实现设备间的通信,本技术实施例对此不做任何限定。
32.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
33.下面对本技术的背景技术及相关术语进行说明。
34.背景技术相关:
35.基本概念:
36.基于真实物理的渲染(physically based rendering,pbr)指的是基于基本的真实物理规律和数学推导,建立模拟真实现象的渲染方程来渲染真实画面的技术。相对于之前传统的基础模拟渲染,pbr开始遵守物理规律,使得渲染更加真实,但由于目前硬件水平等的限制也并没有完全按照现实世界的规律去计算,是介于纯经验算法模拟渲染和真实物理渲染之间的渲染技术。pbr渲染中加入了能量守恒、菲涅耳反射定律、光的吸收现象等物理规律的考虑,更好的表现物体表面的细节和粗糙度,各向异性,区分金属和非金属材质,半透明材质等各种复杂的材质特性。
37.可见,在图形学领域,对物体材质的分析越来越重要,渲染技术也越来越精细,现有的分析方法可以采用多个摄像机去对物体进行详尽的空间和角度采样,并基于采样得到的多张图像进行物体的材质分析,这十分影响对物体进行材质分析的效率,并且,采集到的多张图像本身可能存在一些噪点,现有的方法无法去除噪点带来的影响,无法保证最终确定的材质信息的准确性。
38.为解决上述问题,本技术提供了一种图像材质确定方法及相关装置,可以基于单张图像确定图像中物体的材质数据,无需额外摄像头采集多张图像也无需其余参数作为额外输入,并且采用双分支的神经网络模型排除噪点的影响,可以大大提升确定材质数据的效率和准确性。
39.首先,结合图1对本技术实施例提供的一种图像材质确定方法的系统架构进行说明,图1为本技术实施例提供的一种图像材质确定方法的系统架构图,该系统架构100包括采集设备110和材质确定设备120,其中上述采集设备110可以为采集图像的设备,如摄像机、激光设备等,用于采集物体的图像,上述采集设备110可以有线或无线连接材质确定设备120,向上述材质确定设备120发送采集到的图像,或者,上述采集设备110可以将图像上传至网络,无需与材质确定设备120连接。上述材质确定设备120可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(user equipment,ue),移动台(mobile station,ms),终端设备(terminal device)、服务器等等。
40.在一种可能的实施例中,上述材质确定设备120可以搭载材质估计模型或者相关的材质估计算法,用于从采集设备110或其他渠道(如网络平台等)获取图像,并通过材质估计模型进行相应的处理,得到材质数据。
41.可以理解的是,无论采集设备110采集了多少张图像,材质确定设备120都会基于单张图像进行材质确定方法的流程。
42.可见,通过上述系统架构,无需通过大量摄像头进行详尽采样,只需要单张图像就可以获得其材质数据,大大提升了对材质估计的效率和准确性。
43.在了解了本技术的系统架构后,下面结合图2对本技术实施中的一种图像材质确定方法进行说明,图2为本技术实施例提供的一种图像材质确定方法的流程示意图,具体包括以下步骤:
44.步骤201,确定目标图像的目标特征数据。
45.其中,目标图像可以为包含目标物体的图像,目标特征数据可以为反映目标图像的特征向量。
46.在一个可能的实施例中,可以首先对目标图像进行特征提取前的前置处理,前置处理的步骤可以包括灰度化、颜色空间的标准化等,然后可以进行初步的特征提取处理,初步的特征提取处理的步骤可以包括确定每个像素的梯度、将图像划分为多个单位区域、统计每个单位区域的梯度直方图、根据直方图得到目标特征数据等,可以根据不同的需求采用不同的前置处理和特征提取处理,在此不做具体限定。
47.在一个可能的实施例中,可以将目标图像输入材质估计模型的特征提取模块,根据特征提取模块的输出得到目标特征数据,可以理解的是,上述特征提取模块可以先对目标图像的规则化处理,举例来说,彩色图像可以解析为r(红)g(绿)b(蓝)三个通道,其中每个值介于0~255之间,将目标图像规则化处理后,可以通过卷积模块进行卷积运算,并得到目标特征数据,卷积模块中的卷积层个数与目标特征数据的复杂度成正比关系。举例来说,目标特征数据可以为128维的特征向量,也可以为64维的特征向量,在此不做具体限定,可以根据需求灵活调整特征提取模块中的卷积模块来调整最终确定的目标特征数据的维度。
48.可见,通过确定目标图像的目标特征数据,可以基于单证目标图像提取目标特征数,为后续的材质估计提供数据参考。
49.步骤202,根据所述目标特征数据确定高光特征数据和标准特征数据。
50.其中,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征。
51.其中,可以将所述目标特征数据输入材质估计模型的高光分支模组,根据所述高光分支模组的输出确定所述高光特征数据;以及,将所述目标特征数据输入所述材质估计模型的标准分支模组,根据所述标准分支模组的输出确定所述标准特征数据。
52.在一个可能的实施例中,高光分支模组包括第一高光卷积模块、第一空洞卷积模块以及第一标准卷积模块,可以将所述目标特征数据输入所述第一高光卷积模块,根据所述第一高光卷积模块的输出得到第一高光卷积数据、第二高光卷积数据和第三高光卷积数据;将所述第二高光卷积数据和所述第三高光卷积数据输入所述第一空洞卷积模块,根据所述第一空洞卷积模块的输出得到第四高光卷积数据;将所述第一高光卷积数据和所述第四高光卷积数据输入所述第一标准卷积模块,根据所述第一标准卷积模块的输出得到所述高光特征数据。
53.在一个可能的实施例中,标准分支模组包括第二标准卷积模块、第二空洞卷积模块以及第三标准卷积模块,可以将所述目标特征数据输入所述第二标准卷积模块,根据所述第二标准卷积模块的输出得到第一标准卷积数据、第二标准卷积数据和第三标准卷积数据;将所述第二标准卷积数据和所述第三标准卷积数据输入所述第二空洞卷积模块,根据
所述第二空洞卷积模块的输出得到第四标准卷积数据;将所述第一标准卷积数据和所述第四标准卷积数据输入所述第三标准卷积模块,根据所述第三标准卷积模块的输出得到所述标准特征数据。
54.可见,根据所述目标特征数据确定高光特征数据和标准特征数据,可以排除图像中饱和像素的影响,避免提取到不必要的特征,提升材质估计的准确性。
55.步骤203,根据所述高光特征数据和所述标准特征数据确定融合特征数据。
56.其中,可以将所述高光特征数据和所述标准特征数据输入材质估计模型的特征融合模组,根据所述特征融合模组的输出得到所述融合特征数据。
57.在一个可能的实施例中,特征融合模组包括特征连接模块、自注意力特征选择模块以及融合卷积模块。可以将所述高光特征数据和所述标准特征数据输入所述特征连接模块,根据所述特征连接模块的输出得到特征连接数据;将所述特征连接数据输入所述自注意力特征选择模块,根据所述自注意力特征选择模块的输出得到特征权重数据;将所述特征权重数据输入所述融合卷积模块,根据所述融合卷积模块的输出得到所述融合特征数据。
58.可见,根据所述高光特征数据和所述标准特征数据确定融合特征数据,可以将高光特征数据和标准特征数据进行融合,使得描述目标图像的特征增加,而每一特征下的信息不增加,在排除饱和像素干扰的同时提升材质估计的准确性。
59.步骤204,根据所述融合特征数据确定所述目标图像的材质数据。
60.其中,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。
61.可见,通过上述图像材质确定方法,首先,首先,确定目标图像的目标特征数据;然后,根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;接着,根据所述高光特征数据和所述标准特征数据确定融合特征数据;最后,根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。无需对输入的目标图像进行过多的采集,只需要单张目标图像就可以得到准确的材质数据,大大提升了对材质进行估计的效率和准确性。
62.为便于理解,下面对本技术实施例中的材质估计模型进行说明,如图3a所示,图3a为本技术实施例提供的一种材质估计模型的架构示意图,该材质估计模型300包括特征提取模块310、高光分支模组320、标准分支模组330以及特征融合模组340,其中,目标图像可以作为输入数据,首先输入特征提取模块310,然后,特征提取模块310输出的目标特征数据分别输入高光分支模组320和标准分支模组330,高光分支模组320输出的高光特征数据和标准分支模组330输出的标准特征数据一起输入特征融合模组340,根据特征融合模组340的输出确定目标图像的材质数据,可以最终从四个独立的预测分支分别确定漫反射材质图、粗糙度材质图、镜面材质图和法线材质图。
63.具体的,如图3b所示,图3b为本技术实施例提供的另一种材质估计模型的架构示意图,上述特征提取模块310可以包括至少一个用于特征提取的卷积模块311,上述高光分支模组320可以包括第一高光卷积模块321、第一空洞卷积模块322以及第一标准卷积模块
323,上述标准分支模组330可以包括第二标准卷积模块331、第二空洞卷积模块332以及第三标准卷积模块333,上述特征融合模组340可以包括特征连接模块341、自注意力特征选择模块342以及融合卷积模块343。上述第一高光卷积模块321可以包括至少一个用于高光特征提取的卷积单元,上述第一空洞卷积模块322可以包括至少一个空洞卷积单元,上述第一标准卷积模块323可以包括至少一个用于标准特征提取的卷积单元,上述第二标准卷积模块331可以包括至少一个用于标准特征提取的卷积单元,上述第二空洞卷积模块332可以包括至少一个空洞卷积单元,上述第三标准卷积模块333可以包括至少一个用于标准特征提取的卷积单元。
64.进一步的,在一个可能的实施例中,材质估计模型可以如图3c所示,图3c为本技术实施例提供的另一种材质估计模型的架构示意图,包括用于目标特征数据提取的卷积单元a,用于高光特征数据提取的高光卷积单元h1、高光卷积单元h2、高光卷积单元h3、高光卷积单元h4、高光卷积单元h5、高光卷积单元h6、空洞卷积单元h7、标准卷积单元h8、标准卷积单元h9,用于标准特征数据提取的标准卷积单元s1、标准卷积单元s2、标准卷积单元s3、标准卷积单元s4、标准卷积单元s5、标准卷积单元s6、空洞卷积单元s7、标准卷积单元s8、标准卷积单元s9,用于确定融合特征数据的特征连接单元、自注意力特征选择模块(attention-based feature selection module,afs)、融合卷积单元f1、融合卷积单元f2、融合卷积单元f3、融合卷积单元f4。
65.其中,高光卷积单元h1至高光卷积单元h6可以理解为第一高光卷积模块,空洞卷积单元h7可以理解为第一空洞卷积模块,标准卷积单元h8和标准卷积单元h9可以理解为第一标准卷积模块;标准卷积单元s1至标准卷积单元s6可以理解为第二标准卷积模块,空洞卷积单元s7可以理解为第二空洞卷积模块,标准卷积单元s8和标准卷积单元s9可以理解为第二标准卷积模块;融合卷积单元f1至融合卷积单元f4可以理解为融合卷积模块。
66.具体的,目标图像输入卷积层a,卷积层a输出目标特征数据,并将目标特征数据分别传递至高光卷积单元h1和标准卷积单元s1。
67.其中,高光卷积单元h1至高光卷积单元h4依次执行卷积运算,高光卷积单元h4可以将来自高光卷积单元h3的输出数据传递至标准卷积单元h8,同时,高光卷积单元h4至高光卷积单元h6依次执行卷积运算,高光卷积单元h6可以将来自高光卷积单元h5的输出数据和自身的输出数据传递至空洞卷积单元h7,空洞卷积单元h7可以连接来自高光卷积单元h5的输出数据和来自高光卷积单元h6的输出数据,标准卷积单元h8可以连接来自高光卷积单元h3的输出数据和空洞卷积单元h7的输出数据,标准卷积单元h9可以执行卷积运算,并输出高光特征数据。
68.其中,标准卷积单元s1至标准卷积单元s4依次执行卷积运算,标准卷积单元s4可以将艾滋标准卷积单元s3的输出数据传递至标准卷积单元s8,同时,标准卷积单元s4至标准卷积单元s4依次执行卷积运算,标准卷积单元s6可以将来自标准卷积单元s5的输出数据和自身的输出数据传递至空洞卷积单元s7,空洞卷积单元s7可以连接来自标准卷积单元s5的输出数据和来自标准卷积单元s6的输出数据,标准卷积单元s8可以连接来自标准卷积单元s3的输出数据和空洞卷积单元s7的输出数据,标准卷积单元s9可以执行卷积运算,并输出标准特征数据。
69.其中,高光特征数据和标准特征数据输入特征连接单元进行合并,特征连接单元
输出合并后的数据,并将合并后的数据传递至自注意力特征选择afs模块,然后,依次经过融合卷积单元f1、融合卷积单元f2、融合卷积单元f3、融合卷积单元f4得到融合特征数据。最后基于融合特征数据从四个预测分支输出漫反射材质图、粗糙度材质图、镜面材质图和法线材质图。
70.需要说明的是,每个高光卷积单元都可以包括多个卷积分支运算,包括归一化(in等)处理、激活函数(sigmod等)处理、高级激活函数(leaky relu等)处理、用于保留全局与局部信息的inception分支运算等,通过高光分支模组可以修复目标图像中的高光区域,但是会产生过渡模糊的法线和和有偏的镜面分量,需要结合标准分支模组得到更加完善的融合特征数据,而每个标准卷积单元可以采用现有的卷积运算方式,在此不做赘述。而自注意特征选择模块可以包括池化层和多个卷积层,自注意力特征选择模块可以为信息丰富的特征分配高权重,抑制无用特征的表达。
71.可以理解的是,特征连接单元经常用于将特征联合,多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合。也就是说描述目标图像本身的特征增加了,而每一特征下的信息没有增加。
72.可见,通过上述双流架构的材质估计模型,可以排除饱和像素的影响,无需对输入的目标图像进行过多的采集,只需要单张目标图像就可以得到准确的材质数据,大大提升了对材质进行估计的效率和准确性。
73.下面结合图4对本技术实施例提供的另一种图像材质确定方法进行说明,图4为本技术实施例提供的另一种图像材质确定方法的流程示意图,具体包括以下步骤:
74.步骤401,将训练图像输入预设模型,根据所述预设模型的输出得到预估材质数据。
75.其中,所述预估材质数据包括预估漫反射材质图、预估粗糙度材质图、预估镜面材质图和预估法线材质图。上述训练图像可以来自训练数据库,为已经标注过的图像。上述预设模型可以为没有完成训练的模型,其架构与本技术实施例中的材质模型架构一致。
76.步骤402,通过第一损失函数对所述预估漫反射材质图、所述预估粗糙度材质图、所述预估镜面材质图和所述预估法线材质图进行处理,得到第一差异数据。
77.其中,第一损失函数的可以利用像素损失来惩罚像素空间中出现的差异,举例来说,可以利用地图损失(map loss)和渲染损失(render loss)对预估粗糙度材质图、所述预估镜面材质图和所述预估法线材质图进行处理,得到第一差异数据,在此不做赘述。
78.步骤403,通过第二损失函数对所述预估漫反射材质图和所述预估法线材质图进行处理,得到第二差异数据。
79.其中,第二损失函数可以包括global d和local d,分别在预估漫反射材质图和预估法线材质图添加global d和local d,形成对抗性损失函数,得到第二差异数据。
80.可见,由于第一损失函数进行处理后通常会产生模糊的纹理,缺乏高频细节,特别是会导致最终生成的预估漫反射材质图和预估法线材质图比较模糊,为了防止这种情况,可以通过第二损失函数专门对预估漫反射材质图和预估法线材质图进行处理,提升材质估计模型最终确定的漫反射材质图和法线材质图的准确性。
81.步骤404,根据所述第一差异数据和所述第二差异数据对所述预设模型进行调整,以得到材质估计模型。
82.可见,通过上述训练方式得到材质估计模型,可以排除饱和像素的影响,无需对输入的目标图像进行过多的采集,只需要单张目标图像就可以得到准确的材质数据,大大提升了对材质进行估计的效率和准确性。
83.步骤405,确定目标图像的目标特征数据。
84.步骤406,根据所述目标特征数据确定高光特征数据和标准特征数据。
85.步骤407,根据所述高光特征数据和所述标准特征数据确定融合特征数据。
86.步骤408,根据所述融合特征数据确定所述目标图像的材质数据。
87.可见,通过上述图像材质确定方法,首先,确定目标图像的目标特征数据;然后,根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;接着,根据所述高光特征数据和所述标准特征数据确定融合特征数据;最后,根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。无需对输入的目标图像进行过多的采集,只需要单张目标图像就可以得到准确的材质数据,大大提升了对材质进行估计的效率和准确性。
88.下面结合图5对本技术实施例中的一种电子设备进行说明,图5为本技术实施例提供的一种电子设备的结构示意图,如图5所示,该电子设备500包括处理器501、通信接口502和存储器503,所述处理器、通信接口和存储器相互连接,其中,电子设备500还可以包括总线504,处理器501、通信接口502和存储器503之间可以通过总线504相互连接,总线504可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。总线504可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。所述存储器503用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行上述图2、图4中所描述的全部或部分方法。
89.上述主要从方法侧执行过程的角度对本技术实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
90.本技术实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本技术实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
91.在采用对应各个功能划分各个功能模块的情况下,下面结合图6对本技术实施例中的一种图像材质确定装置进行详细说明,图6为本技术实施例提供的一种图像材质确定
装置的功能单元组成框图,该图像材质确定装置600包括:
92.特征确定单元610,英语确定目标图像的目标特征数据;
93.分支提取单元620,用于根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;
94.融合提取单元630,用于根据所述高光特征数据和所述标准特征数据确定融合特征数据;
95.材质估计单元640,用于根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。
96.可见,通过上述图像材质确定方法及相关装置,首先,确定目标图像的目标特征数据;然后,根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;接着,根据所述高光特征数据和所述标准特征数据确定融合特征数据;最后,根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。无需对输入的目标图像进行过多的采集,只需要单张目标图像就可以得到准确的材质数据,大大提升了对材质进行估计的效率和准确性。
97.在采用集成的单元的情况下,下面结合图7对本技术实施例中的另一种图像材质确定装置700进行详细说明,所述图像材质确定装置700包括处理单元701和通信单元702,其中,所述处理单元701,用于执行如上述方法实施例中的任一步骤,且在执行诸如发送等数据传输时,可选择的调用所述通信单元702来完成相应操作。
98.其中,所述图像材质确定装置700还可以包括存储单元703,用于存储程序代码和数据。所述处理单元701可以是处理器,所述通信单元702可以是无线通信模块,存储单元703可以是存储器。
99.所述处理单元701具体用于:
100.确定目标图像的目标特征数据;
101.根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;
102.根据所述高光特征数据和所述标准特征数据确定融合特征数据;
103.根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。
104.可见,通过上述图像材质确定方法及相关装置,首先,确定目标图像的目标特征数据;然后,根据所述目标特征数据确定高光特征数据和标准特征数据,所述高光特征数据用于指示消除饱和像素影响的图像特征,所述标准特征数据用于指示未消除所述饱和像素影响的图像特征;接着,根据所述高光特征数据和所述标准特征数据确定融合特征数据;最后,根据所述融合特征数据确定所述目标图像的材质数据,所述材质数据包括漫反射材质图、粗糙度材质图、镜面材质图和法线材质图中的至少一种。无需对输入的目标图像进行过多的采集,只需要单张目标图像就可以得到准确的材质数据,大大提升了对材质进行估计
的效率和准确性。
105.本技术实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。
106.本技术实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
107.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。
108.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
109.在本技术所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
110.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
111.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
112.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
113.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:read-only memory,简称:rom)、随机存取器(英文:random access memory,简称:ram)、磁盘或光盘等。
114.以上对本技术实施例进行了详细介绍,本文中应用了具体个例对本技术的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本技术的方法及其核心思想;同时,对于本领域的一般技术人员,依据本技术的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本技术的限制。