1.本发明涉及图像处理技术领域,具体而言,涉及一种素材风格转换方法、装置、存储介质及处理器。
背景技术:2.人脸的三维建模是一项重要的技术,在电影、游戏、虚拟现实、网络社交、人脸识别和追踪等场景中有着广泛应用。
3.基于单幅图像的三维人脸建模最适合于普通用户的方便使用。用户可以用手机自拍或者从网上下载公众人物照片,然后直接通过预先训练的风格转换模型,得到想要的三维人脸模型。由于风格转换模型通常是基于原始图像和人工手工转换的风格化的模型进行机器学习得到的。利用风格转换模型对待转换的图像进行转换,风格化处理过程不可控,难以对风格化的模型进进行调节,导致得到的风格化的模型难以满足用户需求。
4.针对上述的问题,目前尚未提出有效的解决方案。
技术实现要素:5.本发明实施例提供了一种素材风格转换方法、装置、存储介质及处理器,以至少解决相关技术中由于风格化转换过程不可控制导致得到的风格化的模型难以满足用户需求的技术问题。
6.根据本发明实施例的一个方面,提供了一种素材风格转换方法,包括:获取目标图像;采用信息提取模型对所述目标图像进行处理,得到所述目标图像的图像信息;根据所述目标图像的图像信息在素材数据库进行搜索,得到与所述目标图像匹配的目标素材模型;根据所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型。
7.进一步地,所述目标图像的图像信息包括所述目标图像的个体系数,根据所述目标图像的个体系数在素材数据库进行搜索,得到与所述目标图像匹配的目标素材模型包括:确定所述素材数据库中每个素材模型的个体系数;计算所述目标图像的个体系数与每个素材模型的个体系数之间的距离,得到多个距离值;从所述多个距离值中确定一个最小距离值;将所述最小距离值对应的素材模型作为所述目标素材模型。
8.进一步地,所述素材数据库中包括多组数据,每组数据包括原始素材图像、原始素材模型和所述原始素材模型风格转换后的素材模型,采用所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型包括:获取所述目标图像对应的三维模型;根据所述目标图像对应的三维模型、所述目标素材模型和风格转换后的素材模型,得到第一图像;根据所述目标图像对所述第一图像进行加权处理,得到风格转换后的素材模型。
9.进一步地,在根据所述目标图像对所述第一图像进行加权处理,得到风格转换后的素材模型之后,所述方法还包括:将所述风格转换后的素材模型发送至目标对象;若检测到所述目标对象对所述风格转换后的素材模型进行编辑操作,则显示编辑后的风格转换后的素材模型,其中,所述编辑操作至少包括以下之一:修改操作、颜色调整和大小调整。
10.进一步地,在将所述风格转换后的素材模型发送至目标对象之后,所述方法还包括:确定所述目标对象对所述风格转换后的素材模型的使用场景;基于所述使用场景对所述风格转换后的素材模型进行调整。
11.进一步地,根据所述目标图像对所述第一图像进行加权处理,得到风格转换后的素材模型包括:获取所述目标图像中目标对象的人脸信息;根据所述目标图像的个体系数与所述目标素材模型的个体系数之间的距离计算第一加权系数;根据所述第一加权系数对所述人脸信息和所述第一图像对应的系数进行加权处理,得到目标系数;根据所述目标系数得到所述风格转换后的素材模型。
12.进一步地,在根据所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型之后,所述方法还包括:获取所述风格转换后的素材模型对应的系数;将所述目标图像和所述风格转换后的素材模型对应的系数作为训练样本;采用所述训练样本对神经网络进行学习训练,生成图像风格转换模型。
13.根据本发明实施例的另一方面,还提供了一种素材风格转换方法,所述方法包括:接收客户端发送的服务调用请求,其中,所述服务调用请求中携带有目标图像;响应所述服务调用请求,在服务器中采用所述目标图像对所述素材数据库中与所述目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型;输出风格转换后的素材模型。
14.进一步地,在服务器中采用所述目标图像对所述素材数据库中与所述目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型包括:采用信息提取模型对所述目标图像进行处理,得到所述目标图像的图像信息;根据所述目标图像的图像信息在素材数据库进行搜索,得到与所述目标图像匹配的目标素材模型;根据所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型。
15.根据本发明实施例的另一方面,还提供了一种素材风格转换方法,所述方法包括:在直播过程中获取目标图像;采用信息提取模型对所述目标图像进行处理,得到所述目标图像的图像信息;根据所述目标图像的图像信息在素材数据库进行搜索,得到与所述目标图像匹配的目标素材模型;根据所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型。
16.进一步地,在根据所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型之后,所述方法还包括:将所述风格转换后的素材模型添加在所述直播视频中;通过所述风格转换后的素材模型与直播过程中参与对象进行信息交互。
17.进一步地,所述方法还包括:在直播过程中,接收目标参与对象触发的目标请求,其中,所述目标请求中携带有所述目标参与对象的图像;响应所述目标请求,采用所述目标参与对象的图像对所述素材数据库中与所述目标参与对象的图像匹配的素材模型进行风格转换,得到风格转换后的目标素材模型;在检测到所述目标参与对象在直播过程中进行信息交互时,展示所述风格转换后的目标素材模型以及交互信息。
18.根据本发明实施例的另一方面,还提供了一种素材风格转换装置,所述装置包括:第一获取单元,用于获取目标图像;第一处理单元,用于采用信息提取模型对所述目标图像进行处理,得到所述目标图像的图像信息;第一搜索单元,用于根据所述目标图像的图像信息在素材数据库进行搜索,得到与所述目标图像匹配的目标素材模型;第一转换单元,用于根据所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型。
19.根据本发明实施例的另一方面,还提供了一种素材风格转换装置,所述装置包括:第一接收单元,用于接收客户端发送的服务调用请求,其中,所述服务调用请求中携带有目标图像;第一响应单元,用于响应所述服务调用请求,在服务器中采用所述目标图像对所述素材数据库中与所述目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型;第一输出单元,用于输出风格转换后的素材模型。
20.根据本发明实施例的另一方面,还提供了一种素材风格转换装置,所述方法包括:第二获取单元,用于在直播过程中获取目标图像;第二处理单元,用于采用信息提取模型对所述目标图像进行处理,得到所述目标图像的图像信息;第二搜索单元,用于根据所述目标图像的图像信息在素材数据库进行搜索,得到与所述目标图像匹配的目标素材模型;第二转换单元,用于根据所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型。
21.根据本发明实施例的另一方面,还提供了一种存储介质,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行上述任意一项所述的方法。
22.根据本发明实施例的另一方面,还提供了一种处理器,其特征在于,所述处理器用于运行程序,其中,所述程序运行时执行上述任意一项所述的方法。
23.在本发明实施例中,采用目标图像对目标素材模型进行风格化转换的方式,通过获取目标图像;采用信息提取模型对所述目标图像进行处理,得到所述目标图像的图像信息;根据所述目标图像的图像信息在素材数据库进行搜索,得到与所述目标图像匹配的目标素材模型;采用所述目标图像对所述目标素材模型进行风格转换,得到风格转换后的素材模型,达到了可以对图像风格转换过程灵活控制的目的,从而使得得到的风格化的模型能够符合用户需求,由于风格转换后的素材模型是充分融合了目标图像的自身特征,因此也提高了对目标图像进行风格转化的展现效果的技术效果,进而解决了相关技术中由于风格化转换过程不可控制导致得到的风格化的模型难以满足用户需求的技术问题。
附图说明
24.此处所说明的附图用来提供对本发明的进一步理解,构成本技术的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
25.图1是根据本发明实施例的计算机终端的硬件结构框图;
26.图2是根据本发明实施例一提供的素材风格转换方法的流程图;
27.图3是根据本发明实施例一提供的可选的素材风格转换方法的示意图;
28.图4是根据本发明实施例二提供的素材风格转换方法的流程图;
29.图5是根据本发明实施例三提供的素材风格转换方法的流程图;
30.图6是根据本发明实施例四提供的素材风格转换装置的示意图;
31.图7是根据本发明实施例五提供的素材风格转换装置的示意图;
32.图8是根据本发明实施例六提供的素材风格转换装置的示意图;以及
33.图9是根据本发明实施例的可选的计算机终端的结构框图。
具体实施方式
34.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
35.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
36.实施例1
37.根据本发明实施例,提供了一种素材风格转换方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
38.本技术实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现素材风格转换方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,
……
,102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外,还可以包括:显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为i/o接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
39.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
40.存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的素材风格转换方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的素材风格转换方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机
终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
41.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(network interface control ler,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
42.显示器可以例如触摸屏式的液晶显示器(lcd),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
43.在上述运行环境下,本技术提供了如图2所示的素材风格转换方法。图2是根据本发明实施例一的素材风格转换方法的流程图。
44.步骤s201,获取目标图像。
45.上述的目标图像可以是真实的人脸图像,也可以是其他需要进行风格转换的图像,本实施例对此不作限制。在获取到目标图像之后以及通过目标图像对与目标图像匹配的目标素材模型进行风格转换之前,还可以根据需要对目标图像进行预处理,例如,对目标图像进行裁剪,裁剪出为122x122像素大小的人脸区域。
46.步骤s202,采用信息提取模型对目标图像进行处理,得到目标图像的图像信息。
47.为了采用目标图像在数据库中进行检索,需要获取与目标图像对应的几何标识,通过信息提取模型对目标图像进行处理得到的图像信息,该图像信息即可以作为目标图像在几何上的唯一标识,进而该图像信息可以用于代表目标图像在数据库中进行检索。可选地,本实施例可以使用shufflenet v2(对应上述的信息提取模型,其为一种深度神经网络)作为多任务人脸特征深度卷积网络主干网络,在主干网络shufflenet v2后,包含刚性参数rt估计分支向量(其中,刚性系数用于表示目标图像的中目标对象的位置信息)、个体系数α
id
估计分支(其中,个体系数用于表示目标图像的身份信息,是目标图像的唯一标识,)、表情系数α
exp
估计分支(其中,表情系数用于表示目标图像的中目标对象的表情信息)等多个分支向量,这些分支向量对shufflenet v2的输出结果进行处理,输出目标图像的图像信息,该图像信息可以包括个体系数α
id
(例如,维度149x1的向量),表情系数α
exp
(例如,维度54x11的向量)和刚性参数rt(例如,维度6x11的向量)。例如,刚性参数rt估计分支包含两个全连接层,接收shufflenet v2的结果作为输入,输出一个6维向量,其中前三个分量表示旋转,后三个分量表示平移;个体系数α
id
估计分支包含两个全连接层,接收shufflenet v2的结果作为输入,然后输出149维向量α
id
;表情系数α
exp
估计分支包含两个全连接层,接收shufflenet v2的结果作为输入,然后输出54维向量α
exp
。
48.步骤s203,根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型。
49.为了准确的风格转换,需要在预先建立好的模型数据库中检索出与目标图像的特征相似度最高或者相似度超过预设阈值的目标素材模型,这样就可以在该目标素材模型对应的预先设计好的风格转换模型的基础上得到目标素材模型对应的风格转换后的素材模型。
50.可选地,在根据本技术实施例一提供的素材风格转换方法中,目标图像的图像信息包括目标图像的个体系数,根据目标图像的个体系数在素材数据库进行搜索,得到与目
标图像匹配的目标素材模型包括:确定素材数据库中每个素材模型的个体系数;计算目标图像的个体系数与每个素材模型的个体系数之间的距离,得到多个距离值;从多个距离值中确定一个最小距离值;将最小距离值对应的素材模型作为目标素材模型。
51.由于图像信息是图像在几何上的唯一标识,于是可以从几何的角度反映图像的特征信息,例如,图像信息中的个体系数sα
id
就可以标识图像在本质形象上的差别,预先设计好的素材数据库中的每个图像也包括对应的图像信息,因此,在获得目标图像的图像信息后,可以根据图像信息中的个体系数向量在素材数据库进行检索和计算,得到素材数据库中与目标图像最匹配的素材模型。具体的方法为,依次计算目标图像的个体系数向量与素材数据库中每个素材模型的个体系数向量之间的几何距离,将最小的几何距离值对应的素材数据库中的素材模型作为与目标图像最匹配的目标素材模型。具体地,计算目标图像的个体系数向量与素材数据库中每个素材模型的个体系数向量之间的几何距离并从中确定最小距离值的过程可以采用以下公式进行计算:
[0052][0053]
其中,im表示目标图像与各个素材模型的几何距离值中的最小距离值;
[0054]ew
表示权重向量,可以通过svm训练得到;
[0055]
sα
id
表示目标图像的个体系数;
[0056]
表示素材数据库中的每个素材模型对应的个体系数向量。
[0057]
步骤s204,根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0058]
由于目标素材模型是数据库中与目标图像在几何距离上最小(也即相似度最高)的图像,也即目标素材模型是与目标图像最为相似的模型,因此,在数据库中确定与目标图像对应的目标素材模型之后,可以根据目标图像对该目标素材模型进行风格转换处理,在目标素材模型对应的人工设计的风格化图像的基础上,得到风格转换后的目标素材模型。
[0059]
通过步骤s201-204,达到了可以对图像风格转换过程灵活控制的目的,从而使得得到的风格化的模型能够符合用户需求,由于风格转换后的素材模型是充分融合了目标图像的自身特征,因此也提高了对目标图像进行风格转化的展现效果的技术效果,进而解决了相关技术中由于风格化转换过程不可控制导致得到的风格化的模型难以满足用户需求的技术问题。
[0060]
可选地,在根据本技术实施例一提供的素材风格转换方法中,素材数据库中包括多组数据,每组数据包括原始素材图像、原始素材模型和原始素材模型风格转换后的素材模型,根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型包括:获取目标图像对应的三维模型;根据目标图像对应的三维模型、目标素材模型和风格转换后的素材模型,得到第一图像;根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型。
[0061]
需要说明的是,上述的原始素材模型是原始素材图像的三维模型。
[0062]
该素材数据库是预先建立好的,该素材数据库中的每一组数据包括原始图像、原始图像的模型以及与原始图像风格化后的模型(例如,人工设计的风格转换图像),例如:每一组数据包括一张真人照片、该真人照片的模型以及该真人照片人工设计后的卡通模型。
该卡通模型的风格可以根据具体应用来定义,例如,迪士尼卡通风格为大眼睛、小鼻子、小嘴巴和圆润脸型。对目标图像进行风格转换的过程中,可以先对目标图像对应的三维模型、目标素材模型和目标素材模型对应的风格转换后的素材模型进行充分融合,结合目标素材模型的风格化图像的特征以及目标素材模型和目标图像的三维模型的特征得到第一图像,并在第一图像的基础上,进一步融入目标图像的特征,即根据目标图像对第一图像进行加权处理,最终得到目标图像对应的风格转换后的素材模型,因此,风格转换后的素材模型是充分融合了目标图像的自身特征、目标素材模型的特征以及目标素材模型风格化图像的特征后的图像,提高了对目标图像进行风格转化的展现效果。
[0063]
可选地,在根据本技术实施例一提供的素材风格转换方法中,在根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型之后,该方法还包括:将风格转换后的素材模型发送至目标对象;若检测到目标对象对风格转换后的素材模型进行编辑操作,则显示编辑后的风格转换后的素材模型,其中,编辑操作至少包括以下之一:修改操作、颜色调整和大小调整。
[0064]
例如,在将真人图像转换为卡通三维图像之后,将卡通三维图像发送给用户之后,若用户想对卡通三维图像进行调整,可以对卡通三维图像进行修改,颜色和大小调整等等。也即在上述方案中,在风格转换后的素材模型之后,至少与用户之间的交互,若用户需要调整,则可以自由灵活的调整,以提升用户体验。
[0065]
可选地,在根据本技术实施例一提供的素材风格转换方法中,在将风格转换后的素材模型发送至目标对象之后,该方法还包括:确定目标对象对风格转换后的素材模型的使用场景;基于使用场景对风格转换后的素材模型进行调整。
[0066]
例如,在将真人图像转换为卡通三维图像之后,将卡通三维图像发送给用户之后,若用户对卡通三维图像使用的场景是拜年场景,则可以将该卡通三维图像的表情调整的更丰富一些,以增加趣味性。
[0067]
通过上述方案,可以基于不同的使用场景对风格转换后的素材模型进行调整,调整灵活性强,并且使得调整后的风格转换后的素材模型更加与使用场景匹配,增加了趣味性,提升用户满意程度。
[0068]
图3是根据本发明实施例一提供的可选的素材风格转换方法的示意图,如图3所示,图像1是获取到的目标图像,图像2是在风格转换模型素材数据库中检索到的目标素材图像,图像3和图像4分别是目标素材模型对应的风格转换后的素材模型和目标素材图像的三维模型,图像5是目标图像对应的三维模型,图像6是目标图像对应的风格转换后的素材模型。该方法可以包括:先根据图像3、图像4、图像5得到第一图像,再通过目标图像提取出的特征对第一图像进行加权处理,得到目标图像对应的风格转换后的素材模型(也即图像6)。
[0069]
可选地,在根据本技术实施例一提供的素材风格转换方法中,根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型包括:获取目标图像中目标对象的人脸信息;根据目标图像的个体系数与目标素材模型的个体系数之间的距离计算第一加权系数;根据第一加权系数对人脸信息和第一图像对应的系数进行加权处理,得到目标系数;根据目标系数得到风格转换后的素材模型。
[0070]
由于本实施例是通过目标素材模型得到目标图像的对应的风格转换后的素材模
型,目标素材模型是有限的数据库中与目标图像特征较为相似,但不完全一致的模型。例如,实际使用中有些目标图像与目标素材模型特征相似度较高;而有些目标图像与目标素材模型之间的相似度可能就不太高,为了权衡目标图像与目标素材模型的特征在目标图像风格转换后的素材模型中的权重,需要根据目标图像与目标素材模型之间的相似度对目标图像和第一图像进行加权处理。而目标图像的个体系数与目标素材模型的个体系数之间的距离可用于反映目标图像与目标素材模型之间的相似度,因此,可以根据目标图像的个体系数与目标素材模型的个体系数之间的距离计算第一加权系数,再根据第一加权系数对目标图像的人脸信息和第一图像对应的系数进行加权处理,得到目标系数,再根据目标系数得到目标图像对应的风格转换后的素材模型,当第一加权系数较小时,也即目标图像与目标素材模型较为相似,此时第一图像对应的系数在目标系数中的权重更高;反之,目标图像的人脸信息在目标系数中的权重更高。
[0071]
根据第一加权系数对目标图像人脸信息和第一图像对应的系数进行加权处理得到目标系数的过程可以采用下面的公式进行计算:
[0072]
bs_f=(1-w_p_m)bs_p+w_p_m*bs_face_type
[0073]
其中,bs_f为目标系数;
[0074]
w_p_m为第一加权系数;
[0075]
bs_p为第一图像对应的系数;
[0076]
bs_face_type为第一图像对应的风格类型。
[0077]
当第一加权系数偏大,也即,目标图像与目标素材模型的特征相似度偏小时,目标图像的人脸信息在目标系数中的权重就更大,目标图像的脸型效果在风格转换后的素材模型的效果中权重就更高;反之,当第一加权系数偏小时,也即,目标图像与目标素材模型的特征相似度很高,目标图像的人脸信息在目标系数中的权重就更小,第一图像对应的系数在目标系数中的权重更大,目标图像的脸型效果在风格转换后的素材模型的效果中权重就更低。
[0078]
可选地,在根据本技术实施例一提供的素材风格转换方法中,在根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型之后,该方法还包括:获取风格转换后的素材模型对应的系数;将目标图像和风格转换后的素材模型对应的系数作为训练样本;采用训练样本对神经网络进行学习训练,生成图像风格转换模型。
[0079]
当通过上述方法输入多个目标图像后,可以分别得到每个目标图像对应的风格转换后的素材模型,对每一个图像进行处理,得到可用于训练的图像系数,进而将多个目标图像和风格转换后的素材模型对应的系数作为训练样本,再基于该训练样本对神经网络进行学习训练,可选地,用于训练的神经网络可以采用基于resnet50的回归网络,从而得到基于神经网络的图像风格转换模型。在得到该图像风格转换模型之后,后续可以采用图像风格转换模型对目标图像进行风格化处理,提升得到风格转换的素材模型的效率,同时也保证得到的风格转换后的模型准确的融入了目标图像的特征。
[0080]
本实施例可应用于多种需要对图像进行风格转换的场景中,例如,在直播虚拟人等直播和聊天软件中,当输入一张人脸图像后,生成与该人脸图像对应的卡通图像,提高了交互的趣味性。
[0081]
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列
的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
[0082]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
[0083]
实施例2
[0084]
在上述实施例一的运行环境下,本技术提供了如图4所示的素材风格转换方法。图4是根据本发明实施例二的素材风格转换方法的流程图。
[0085]
步骤s401,接收客户端发送的服务调用请求,其中,服务调用请求中携带有目标图像。
[0086]
步骤s402,响应服务调用请求,在服务器中采用目标图像对素材数据库中与目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型。
[0087]
步骤s403,输出风格转换后的素材模型。
[0088]
本实施例可应用于多种风格转换的场景中,例如,在直播虚拟人等直播和聊天软件中,当输入一张人脸图像后,生成与该人脸图像对应的卡通图像,提高了交互的趣味性。在这些具体的应用场景中,为了提升处理图像的效率,客户端将触发服务调用请求,服务器通过接收客户端发送的服务调用请求,获取到服务调用请求中携带的目标图像,对目标图像对应的素材模型进行风格转换处理,可以快速的输出风格转换后的素材模型。
[0089]
可选地,根据本发明实施例二的素材风格转换方法中,在服务器中采用目标图像对素材数据库中与目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型包括:采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0090]
需要说明的是,本方案中在服务器中执行的素材风格转换方法中的具体技术手段与实施例一中的素材风格转换方法中的具体技术手段相同,在此不在赘述。
[0091]
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
[0092]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储
介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
[0093]
实施例3
[0094]
在上述运行环境下,本技术提供了如图5所示的素材风格转换方法。图5是根据本发明实施例三的素材风格转换方法的流程图。
[0095]
步骤s501,在直播过程中获取目标图像;
[0096]
步骤s502,采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;
[0097]
步骤s503,根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;
[0098]
步骤s504,根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0099]
在上述方案中,将素材风格转换方法应用在直播过程中,该直播可以为电商场景下的直播,也可以是教育直播等等。通过上述方案,可以快速准确的将直播中的获取到的目标图像进行风格转换,提升直播场景下的用户需求。另外,本技术提供的图像处理方法,在金融(如智慧客服)或者社交(如娱乐应用)等场景下也适用。例如,在智慧客服应用场景下,针对于消费者的互动过程中,将客服或者消费者的头像进行风格转换,展示卡通三维图像,以提升消费者的感官体验。再例如,在娱乐社交应用中,针对不同的用户,将用户头像或者用户上传的需要转换的图像,灵活的准确的转换为对应的风格转换后的素材模型,在提升用户体验的同时也增加用户黏性。
[0100]
可选地,根据本发明实施例二的素材风格转换方法中,在根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型之后,该方法还包括:将风格转换后的素材模型添加在直播视频中;通过风格转换后的素材模型与直播过程中参与对象进行信息交互。
[0101]
例如,在直播过程中,主播直播之前先传一张图像或者现场上传一张图像,通过上述方案转换为对应的卡通形象后,将该卡通形象加入在直播视频中,以便该卡通形象与主板一起与参与直播的观众一起交互,以调节直播间气氛以及增加趣味性。
[0102]
通过上述方案,可以将风格转换后的素材模型应用到直播过程中,以提升直播方与观众的交互趣味性。
[0103]
可选地,根据本发明实施例二的素材风格转换方法中,该方法还包括:在直播过程中,接收目标参与对象触发的目标请求,其中,目标请求中携带有目标参与对象的图像;响应目标请求,采用目标参与对象的图像对素材数据库中与目标参与对象的图像匹配的素材模型进行风格转换,得到风格转换后的目标素材模型;在检测到目标参与对象在直播过程中进行信息交互时,展示风格转换后的目标素材模型以及交互信息。
[0104]
例如,在直播过程中,参与直播的观众可以通过上传图像,生成与自己风格相近的头像或标识,在观众发弹幕时,由该头像或标识将相应弹幕内容拉出来,增加观众与观众之间交互的趣味性。
[0105]
通过上述方案,可以在直播过程中提升观众与观众的交互趣味性。
[0106]
需要说明的,在本方案中的素材风格转换方法中的具体技术手段与实施例一中的素材风格转换方法中的具体技术手段相同,在此不在赘述。
[0107]
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
[0108]
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
[0109]
实施例4
[0110]
根据本发明实施例,还提供了一种用于实施上述实施例一中的素材风格转换方法的装置,如图6所示,该装置包括:第一获取单元601、第一处理单元602、第一搜索单元603、第一转换单元604。
[0111]
具体的,第一获取单元601,用于获取目标图像;
[0112]
第一处理单元602,用于采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;
[0113]
第一搜索单元603,用于根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;
[0114]
第一转换单元604,用于根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0115]
综上,本技术实施例四提供的素材风格转换装置中,通过第一获取单元601获取目标图像;第一处理单元602采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;第一搜索单元603根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;第一转换单元604根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型,达到了可以对图像风格转换过程灵活控制的目的,从而使得得到的风格化的模型能够符合用户需求,由于风格转换后的素材模型是充分融合了目标图像的自身特征,因此也提高了对目标图像进行风格转化的展现效果的技术效果,进而解决了相关技术中由于风格化转换过程不可控制导致得到的风格化的模型难以满足用户需求的技术问题。
[0116]
可选地,在本技术实施例四提供的素材风格转换装置中,目标图像的图像信息包括目标图像的个体系数,根据目标图像的个体系数在素材数据库进行搜索,第一搜索单元503还包括:第一确定模块,用于确定素材数据库中每个素材模型的个体系数;第一计算模块,用于计算目标图像的个体系数与每个素材模型的个体系数之间的距离,得到多个距离值;第二确定模块,用于从多个距离值中确定一个最小距离值;第一获取模块,用于将最小距离值对应的素材模型作为目标素材模型。
[0117]
可选地,在本技术实施例四提供的素材风格转换装置中,素材数据库中包括多组数据,每组数据包括原始素材图像、原始素材模型和原始素材模型风格转换后的素材模型,
第一转换单元504还包括:第二获取模块,用于获取目标图像对应的三维模型;第三获取模块,用于根据目标图像对应的三维模型、目标素材模型和风格转换后的素材模型,得到第一图像;第一处理模块,用于根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型。
[0118]
可选地,在本技术实施例四提供的素材风格转换装置中,第一处理模块还包括:第一获取子模块,用于获取目标图像中目标对象的人脸信息;第一计算子模块,用于根据目标图像的个体系数与目标素材模型的个体系数之间的距离计算第一加权系数;第一处理子模块,用于根据第一加权系数对人脸信息和第一图像对应的系数进行加权处理,得到目标系数;第二获取子模块,用于根据目标系数得到风格转换后的素材模型。
[0119]
可选地,在本技术实施例四提供的素材风格转换装置中,该装置还包括:第二获取单元,用于在根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型之后,获取风格转换后的素材模型对应的系数;第三获取单元,用于将目标图像和风格转换后的素材模型对应的系数作为训练样本;第一生成单元,用于采用训练样本对神经网络进行学习训练,生成图像风格转换模型。
[0120]
可选地,在本技术实施例四提供的素材风格转换装置中,在根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型之后,该装置还包括:发送单元,用于将风格转换后的素材模型发送至目标对象;编辑单元,用于若检测到目标对象对风格转换后的素材模型进行编辑操作,则显示编辑后的风格转换后的素材模型,其中,编辑操作至少包括以下之一:修改操作、颜色调整和大小调整。
[0121]
可选地,在本技术实施例四提供的素材风格转换装置中,在将风格转换后的素材模型发送至目标对象之后,该装置还包括:确定单元,用于确定目标对象对风格转换后的素材模型的使用场景;调整单元,用于基于使用场景对风格转换后的素材模型进行调整。
[0122]
此处需要说明的是,上述的第一获取单元601、第一处理单元602、第一搜索单元603、第一转换单元604对应于实施例一中的步骤s201至步骤s204,四个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述单元模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0123]
实施例5
[0124]
根据本发明实施例,还提供了一种用于实施上述实施例二素材风格转换方法的装置,如图7所示,该装置包括:第一接收单元701、第一响应单元702和第一输出单元703。
[0125]
第一接收单元701,用于接收客户端发送的服务调用请求,其中,服务调用请求中携带有目标图像;
[0126]
第一响应单元702,用于响响应服务调用请求,在服务器中采用目标图像对素材数据库中与目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型。
[0127]
第一输出单元703,用于输出风格转换后的素材模型。
[0128]
本实施例可应用于多种风格转换的场景中,例如,在直播虚拟人等直播和聊天软件中,当输入一张人脸图像后,生成与该人脸图像对应的卡通图像,提高了交互的趣味性。在这些具体的应用场景中,为了提升处理图像的效率,客户端将触发服务调用请求,服务器通过接收客户端发送的服务调用请求,获取到服务调用请求中携带的目标图像,对目标图像对应的素材模型进行风格转换处理,可以快速的输出风格转换后的素材模型。
[0129]
可选的,在本技术实施例五提供的素材风格转换装置中,第一响应单元还包括:第二处理模块,用于采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;第四获取模块,用于根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;转换模块,用于根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0130]
需要说明的是,本方案中在服务器中执行的素材风格转换装置中的具体技术手段与实施例四中的素材风格转换装置具体技术手段相同,在此不在赘述。
[0131]
此处需要说明的是,上述的第一接收单元701、第一响应单元702和第一输出单元703对应于实施例一中的步骤s401至步骤s403,三个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例二所公开的内容。需要说明的是,上述单元模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0132]
实施例6
[0133]
根据本发明实施例,还提供了一种用于实施上述实施例三中素材风格转换方法的装置,如图8所示,该装置包括:第二获取单元801、第二处理单元802、第二搜索单元803和第二转换单元804。
[0134]
具体地,第二获取单元801,用于在直播过程中获取目标图像;
[0135]
第二处理单元802,用于采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;
[0136]
第二搜索单元803,用于根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;
[0137]
第二转换单元804,用于根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0138]
在上述方案应用在直播过程中,该直播可以为电商场景下的直播,也可以是教育直播等等。通过上述方案,可以快速准确的将直播中的获取到的目标图像进行风格转换,提升直播场景下的用户需求。另外,本技术提供的图像处理方法,在金融(如智慧客服)或者社交(如娱乐应用)等场景下也适用。例如,在智慧客服应用场景下,针对于消费者的互动过程中,将客服或者消费者的头像进行风格转换,展示卡通三维图像,以提升消费者的感官体验。再例如,在娱乐社交应用中,针对不同的用户,将用户头像或者用户上传的需要转换的图像,灵活的准确的转换为对应的风格转换后的素材模型,在提升用户体验的同时也增加用户黏性。
[0139]
可选地,根据本发明实施例六的素材风格转换装置中,在根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型之后,该装置还包括:添加单元,用于将风格转换后的素材模型添加在直播视频中;第一交互单元,用于通过风格转换后的素材模型与直播过程中参与对象进行信息交互。
[0140]
例如,在直播过程中,主播直播之前先传一张图像或者现场上传一张图像,通过上述方案转换为对应的卡通形象后,将该卡通形象加入在直播视频中,以便该卡通形象与主板一起与参与直播的观众一起交互,以调节直播间气氛以及增加趣味性。
[0141]
通过上述方案,可以将风格转换后的素材模型应用到直播过程中,以提升直播方与观众的交互趣味性。
[0142]
可选地,根据本发明实施例六的素材风格转换装置中,该装置还包括:接收单元,用于在直播过程中,接收目标参与对象触发的目标请求,其中,目标请求中携带有目标参与对象的图像;响应单元,用于响应目标请求,采用目标参与对象的图像对素材数据库中与目标参与对象的图像匹配的素材模型进行风格转换,得到风格转换后的目标素材模型;展示单元,用于在检测到目标参与对象在直播过程中进行信息交互时,展示风格转换后的目标素材模型以及交互信息。
[0143]
例如,在直播过程中,参与直播的观众可以通过上传图像,生成与自己风格相近的头像或标识,在观众发弹幕时,由该头像或标识将相应弹幕内容拉出来,增加观众与观众之间交互的趣味性。
[0144]
通过上述方案,可以在直播过程中提升观众与观众的交互趣味性。
[0145]
需要说明的,在本方案中的素材风格转换装置中的具体技术手段与实施例四中的素材风格转换装置中的具体技术手段相同,在此不在赘述。
[0146]
此处需要说明的是,上述的第二获取单元801、第二处理单元802、第二搜索单元803和第二转换单元804对应于实施例一中的步骤s501至步骤s504,四个单元与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例三所公开的内容。需要说明的是,上述单元模块作为装置的一部分可以运行在实施例一提供的计算机终端10中。
[0147]
实施例7
[0148]
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
[0149]
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
[0150]
在本实施例中,上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:获取目标图像;采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0151]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:目标图像的图像信息包括目标图像的个体系数,根据目标图像的个体系数在素材数据库进行搜索,得到与目标图像匹配的目标素材模型包括:确定素材数据库中每个素材模型的个体系数;计算目标图像的个体系数与每个素材模型的个体系数之间的距离,得到多个距离值;从多个距离值中确定一个最小距离值;将最小距离值对应的素材模型作为目标素材模型。
[0152]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:素材数据库中包括多组数据,每组数据包括原始素材图像、原始素材模型和原始素材模型风格转换后的素材模型,采用目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型包括:获取目标图像对应的三维模型;根据目标图像对应的三维模型、目标素材模型和风格转换后的素材模型,得到第一图像;根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型。
[0153]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:
在根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型之后,该方法还包括:将风格转换后的素材模型发送至目标对象;若检测到目标对象对风格转换后的素材模型进行编辑操作,则显示编辑后的风格转换后的素材模型,其中,编辑操作至少包括以下之一:修改操作、颜色调整和大小调整。
[0154]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:在将风格转换后的素材模型发送至目标对象之后,该方法还包括:确定目标对象对风格转换后的素材模型的使用场景;基于使用场景对风格转换后的素材模型进行调整。
[0155]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型包括:获取目标图像中目标对象的人脸信息;根据目标图像的个体系数与目标素材模型的个体系数之间的距离计算第一加权系数;根据第一加权系数对人脸信息和第一图像对应的系数进行加权处理,得到目标系数;根据目标系数得到风格转换后的素材模型。
[0156]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:在根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型之后,该方法还包括:获取风格转换后的素材模型对应的系数;将目标图像和风格转换后的素材模型对应的系数作为训练样本;采用训练样本对神经网络进行学习训练,生成图像风格转换模型。
[0157]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:接收客户端发送的服务调用请求,其中,服务调用请求中携带有目标图像;响应服务调用请求,在服务器中采用目标图像对素材数据库中与目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型;输出风格转换后的素材模型。
[0158]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:在服务器中采用目标图像对素材数据库中与目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型包括:采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0159]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:在直播过程中获取目标图像;采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0160]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:在根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型之后,该方法还包括:将风格转换后的素材模型添加在直播视频中;通过风格转换后的素材模型与直播过程中参与对象进行信息交互。
[0161]
上述计算机终端可以执行应用程序的素材风格转换方法中以下步骤的程序代码:方法还包括:在直播过程中,接收目标参与对象触发的目标请求,其中,目标请求中携带有目标参与对象的图像;响应目标请求,采用目标参与对象的图像对素材数据库中与目标参与对象的图像匹配的素材模型进行风格转换,得到风格转换后的目标素材模型;在检测到目标参与对象在直播过程中进行信息交互时,展示风格转换后的目标素材模型以及交互信息。
[0162]
采用本发明实施例,提供了一种素材风格转换方法的方案。采用目标素材模型对目标图像进行风格化转换的方式,通过获取目标图像;采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型,达到了可以对图像风格转换过程灵活控制的目的,从而使得得到的风格化的模型能够符合用户需求,由于风格转换后的素材模型是充分融合了目标图像的自身特征,因此也提高了对目标图像进行风格转化的展现效果的技术效果,进而解决了相关技术中由于风格化转换过程不可控制导致得到的风格化的模型难以满足用户需求的技术问题。
[0163]
本领域普通技术人员可以理解,图9所示的结构仅为示意,计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图9其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图9中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图9所示不同的配置。
[0164]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
[0165]
实施例8
[0166]
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例一所提供的素材风格转换方法所执行的程序代码。
[0167]
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
[0168]
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取目标图像;采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0169]
存储介质被设置为存储用于执行以下步骤的程序代码:目标图像的图像信息包括目标图像的个体系数,根据目标图像的个体系数在素材数据库进行搜索,得到与目标图像匹配的目标素材模型包括:确定素材数据库中每个素材模型的个体系数;计算目标图像的个体系数与每个素材模型的个体系数之间的距离,得到多个距离值;从多个距离值中确定一个最小距离值;将最小距离值对应的素材模型作为目标素材模型。
[0170]
存储介质被设置为存储用于执行以下步骤的程序代码:素材数据库中包括多组数据,每组数据包括原始素材图像、原始素材模型和原始素材模型风格转换后的素材模型,采用目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型包括:获取目标图像对应的三维模型;根据目标图像对应的三维模型、目标素材模型和风格转换后的素材模型,得到第一图像;根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型。
[0171]
存储介质被设置为存储用于执行以下步骤的程序代码:在根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型之后,该方法还包括:将风格转换后的素材模型发送至目标对象;若检测到目标对象对风格转换后的素材模型进行编辑操作,则显示编
辑后的风格转换后的素材模型,其中,编辑操作至少包括以下之一:修改操作、颜色调整和大小调整。
[0172]
存储介质被设置为存储用于执行以下步骤的程序代码:在将风格转换后的素材模型发送至目标对象之后,该方法还包括:确定目标对象对风格转换后的素材模型的使用场景;基于使用场景对风格转换后的素材模型进行调整。
[0173]
存储介质被设置为存储用于执行以下步骤的程序代码:根据目标图像对第一图像进行加权处理,得到风格转换后的素材模型包括:获取目标图像中目标对象的人脸信息;根据目标图像的个体系数与目标素材模型的个体系数之间的距离计算第一加权系数;根据第一加权系数对人脸信息和第一图像对应的系数进行加权处理,得到目标系数;根据目标系数得到风格转换后的素材模型。
[0174]
存储介质被设置为存储用于执行以下步骤的程序代码:在根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型之后,该方法还包括:获取风格转换后的素材模型对应的系数;将目标图像和风格转换后的素材模型对应的系数作为训练样本;采用训练样本对神经网络进行学习训练,生成图像风格转换模型。
[0175]
存储介质被设置为存储用于执行以下步骤的程序代码:接收客户端发送的服务调用请求,其中,服务调用请求中携带有目标图像;响应服务调用请求,在服务器中采用目标图像对素材数据库中与目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型;输出风格转换后的素材模型。
[0176]
存储介质被设置为存储用于执行以下步骤的程序代码:在服务器中采用目标图像对素材数据库中与目标图像匹配的素材模型进行风格转换,得到风格转换后的素材模型包括:采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0177]
存储介质被设置为存储用于执行以下步骤的程序代码:在直播过程中获取目标图像;采用信息提取模型对目标图像进行处理,得到目标图像的图像信息;根据目标图像的图像信息在素材数据库进行搜索,得到与目标图像匹配的目标素材模型;根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型。
[0178]
存储介质被设置为存储用于执行以下步骤的程序代码:在根据目标图像对目标素材模型进行风格转换,得到风格转换后的素材模型之后,该方法还包括:将风格转换后的素材模型添加在直播视频中;通过风格转换后的素材模型与直播过程中参与对象进行信息交互。
[0179]
存储介质被设置为存储用于执行以下步骤的程序代码:方法还包括:在直播过程中,接收目标参与对象触发的目标请求,其中,目标请求中携带有目标参与对象的图像;响应目标请求,采用目标参与对象的图像对素材数据库中与目标参与对象的图像匹配的素材模型进行风格转换,得到风格转换后的目标素材模型;在检测到目标参与对象在直播过程中进行信息交互时,展示风格转换后的目标素材模型以及交互信息。
[0180]
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
[0181]
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
[0182]
在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
[0183]
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0184]
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0185]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0186]
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。