图像处理方法及装置与流程

文档序号:28219819发布日期:2021-12-29 00:17阅读:81来源:国知局
图像处理方法及装置与流程

1.本技术涉及图像处理技术领域,特别涉及图像处理方法及装置。


背景技术:

2.图像风格迁移是指将一个图像的风格迁移到另一个图像上,最终得到的图像呈现出图像内容和图像风格的结合。现有技术中,在对图像进行风格迁移时,通常采用风格迁移模型对图像进行风格迁移。但是风格迁移的结果可能并不理想。因为该图像中可能存在一些图像区域容易被风格迁移影响,但仍存在一些图像区域不容易被风格迁移影响。


技术实现要素:

3.有鉴于此,本技术实施例提供了一种图像处理方法及装置、计算设备和计算机可读存储介质,以解决现有技术中存在的技术缺陷。
4.根据本技术实施例的第一方面,提供了一种图像处理方法,包括:
5.接收变更请求,其中,所述变更请求中携带图像信息以及目标颜色数据;
6.通过对所述图像信息对应的待变更图像进行风格迁移,确定所述待变更图像对应的第一权重图像,并根据所述第一权重图像中每个像素点的像素值生成反色图像;
7.基于所述反色图像中每个像素点的像素值生成第二权重图像;
8.根据所述第一权重图像、所述第二权重图像以及所述目标颜色数据,将所述待变更图像转换为目标图像。
9.可选地,所述根据所述第一权重图像、所述第二权重图像以及所述目标颜色数据,将所述待变更图像转换为目标图像,包括:
10.对所述第一权重图像中每个像素点的像素值进行归一化处理,获得所述第一权重图像中每个像素点对应的第一权重,以及对所述第二权重图像中每个像素点的像素值进行归一化处理,获得所述第二权重图像中每个像素点对应的第二权重;
11.根据所述第一权重、所述第二权重以及所述目标颜色数据,将所述待变更图像转换为目标图像。
12.可选地,所述根据所述第一权重、所述第二权重以及所述目标颜色数据,将所述待变更图像转换为目标图像,包括:
13.在所述目标颜色数据中确定对所述待变更图像进行颜色变更的第一颜色数据,以及对变更后的第一初始变更图像进行颜色变更的第二颜色数据;
14.按照第一颜色转换算法对所述第一权重、所述第一颜色数据以及所述待变更图像中每个像素点的像素值进行计算,生成所述第一初始变更图像;
15.按照第二颜色转换算法对所述第二权重、所述第二颜色数据以及所述第一初始变更图像中每个像素点的像素值进行计算,生成目标图像。
16.可选地,所述根据所述第一权重、所述第二权重以及所述目标颜色数据,将所述待变更图像转换为目标图像,包括:
17.在所述目标颜色数据中确定对所述待变更图像进行颜色变更的第三颜色数据,以及对变更后的第二初始变更图像进行颜色变更的第四颜色数据;
18.按照第三颜色转换算法对所述第二权重、所述第三颜色数据以及所述待变更图像中每个像素点的像素值进行计算,生成所述第二初始变更图像;
19.按照第四颜色转换算法对所述第一权重、所述第四颜色数据以及所述第二初始变更图像中每个像素点的像素值进行计算,生成目标图像。
20.可选地,所述根据所述图像信息,确定所述待变更图像对应的第一权重图像,包括:
21.根据所述图像信息,确定待变更图像,并确定所述待变更图像对应的风格图像;
22.将所述风格图像与所述待变更图像进行组合,生成图像对;
23.将图像对输入风格迁移模型,获得所述风格迁移模型输出的合成图像;
24.对所述待变更图像进行灰度处理生成第一灰度图像,以及对所述合成图像进行灰度处理生成第二灰度图像;
25.基于所述第一灰度图像中像素点的像素值与所述第二灰度图像中像素点的像素值进行相减运算,获得差异灰度图像;
26.在所述差异灰度图像的数量为一张情况下,将所述差异灰度图像作为第一权重图;
27.在所述差异灰度图像的数量为多张的情况下,基于每张差异灰度图像中像素点的像素值进行相与运算,获得所述第一权重图像。
28.可选地,所述对所述待变更图像进行灰度处理生成第一灰度图像之前,还包括:
29.根据所述图像信息,确定待变更图像,并确定所述待变更图像对应的风格图像;
30.在所述待变更图像的长宽相等的情况下,对所述待变更图像进行四方连续扩展,获得扩展后的待变更图像;
31.将所述扩展后的待变更图像与所述风格图像进行组合,生成扩展图像对;
32.将所述扩展图像对输入风格迁移模型,获得所述风格迁移模型输出的扩展合成图像;
33.根据所述待变更图像的图像尺寸在所述扩展后的待变更图像中进行截取,获得截取待变更图像,将所述截取待变更图像作为所述待变更图像,以及,
34.根据所述图像尺寸在所述扩展合成图像中进行截取,获得合成图像。
35.可选地,所述基于所述第一灰度图像中像素点的像素值与所述第二灰度图像中像素点的像素值进行相减运算,获得差异灰度图像之后,包括:
36.对所述差异灰度图像进行模糊处理,获得第一模糊灰度图像,将所述第一模糊灰度图像作为所述差异灰度图像。
37.可选地,所述基于所述第一灰度图像中像素点的像素值与所述第二灰度图像中像素点的像素值进行相减运算,获得差异灰度图像之后,还包括:
38.对所述差异灰度图像进行降采样处理,生成缩小灰度图像;
39.将所述缩小灰度图像进行模糊处理,获得第二模糊灰度图像;
40.对所述第二模糊灰度图像进行升采样处理,生成放大灰度图像,将所述放大灰度图像作为所述差异灰度图像。
41.可选地,所述基于所述反色图像中每个像素点的像素值生成第二权重图像,包括:
42.基于预设算法对所述反色图像中每个像素点的像素值进行运算,获得所述反色图像中每个像素点的像素点对应的权重像素值;
43.基于所述权重像素值生成第二权重图像。
44.可选地,所述基于所述权重像素值生成第二权重图像之前,还包括:
45.在所述权重像素值的绝对值中存在大于预设像素阈值的权重像素值情况下,将大于预设像素阈值的权重像素值更新为预设像素阈值。
46.根据本技术实施例的第二方面,提供了一种图像处理装置,包括:
47.接收模块,被配置为接收变更请求,其中,所述变更请求中携带图像信息以及目标颜色数据;
48.确定模块,被配置为通过对所述图像信息对应的待变更图像进行风格迁移,确定所述待变更图像对应的第一权重图像,并根据所述第一权重图像中每个像素点的像素值生成反色图像;
49.生成模块,被配置为基于所述反色图像中每个像素点的像素值生成第二权重图像;
50.转换模块,被配置为根据所述第一权重图像、所述第二权重图像以及所述目标颜色数据,将所述待变更图像转换为目标图像。
51.根据本技术实施例的第三方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述计算机指令时实现所述图像处理方法的步骤。
52.根据本技术实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机指令,所述计算机指令被处理器执行时实现所述图像处理方法的步骤。
53.本技术实施例提供的图像处理方法,通过接收变更请求,其中,所述变更请求中携带图像信息以及目标颜色数据,通过对所述图像信息对应的待变更图像进行风格迁移,确定待变更图像对应的第一权重图像,实现了通过对待变更图像进行风格迁移获得的第一权重图像,明确待变更图像中容易受风格迁移影响的图像区域,以及不容易受风格影响的图像区域。再根据所述第一权重图像中每个像素点的像素值生成反色图像,且基于所述反色图像中每个像素点的像素值生成第二权重图像,最后根据所述第一权重图像、所述第二权重图像以及所述目标颜色数据,将所述待变更图像转换为目标图像。实现了通过第一权重图像对待变更图像中容易受风格迁移影响的图像区域进行颜色变更,以及通过第二权重图像对待变更图像中不易受风格迁移影响的图像区域进行颜色变更,进而实现对待变更图像中整体区域进行颜色变更,以使待变更图像的风格变更效果更加符合预期。
附图说明
54.图1是本技术实施例提供的计算设备的结构框图;
55.图2是本技术实施例提供的图像处理方法的流程图;
56.图3是本技术实施例提供的图像处理方法中多种图像的示意图;
57.图4是本技术实施例提供的图像处理方法中图像扩展的示意图;
58.图5是本技术实施例提供的一种应用于实际场景中的图像处理方法的处理流程
图;
59.图6是本技术实施例提供的图像处理装置的结构示意图。
具体实施方式
60.在下面的描述中阐述了很多具体细节以便于充分理解本技术。但是本技术能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本技术内涵的情况下做类似推广,因此本技术不受下面公开的具体实施的限制。
61.在本技术一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本技术一个或多个实施例。在本技术一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本技术一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
62.应当理解,尽管在本技术一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本技术一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
63.首先,对本发明一个或多个实施例涉及的名词术语进行解释。
64.高斯模糊(gaussian blur):也叫高斯平滑,是一种图像模糊滤波器,它用正态分布计算图像中每个像素的变换。通常用它来减少图像噪声以及降低细节层次。
65.降采样:即是采样点数减少。对于一幅n*m的图像来说,如果降采样系数为k,则即是在原图中每行每列每隔k个点取一个点组成一幅图像。
66.升采样:也即插值。对于图像来说即是二维插值。如果升采样系数为k,即在原图n与n+1两点之间插入k

1个点,使其构成k分。二维插值即在每行插完之后对于每列也进行插值。
67.power函数:主要作用是返回给定数字的乘幂。power函数的语法为:power(number,power),其中参数number表示底数;参数power表示指数。两个参数可以是任意实数。
68.线性插值:是指插值函数为一次多项式的插值方式,其在插值节点上的插值误差为零。线性插值相比其他插值方式,如抛物线插值,具有简单、方便的特点。线性插值的几何意义即为概述图中利用过a点和b点的直线来近似表示原函数。线性插值可以用来近似代替原函数,也可以用来计算得到查表过程中表中没有的数值。
69.反色处理:是将图像的r、g、b值反转,如果颜色的量化级是256,则用255分别减去r、g、b的值作为该图像反色处理后的颜色。
70.在本技术中,提供了一种图像处理方法及装置、计算设备和计算机可读存储介质,在下面的实施例中逐一进行详细说明。
71.图1示出了根据本技术一实施例的计算设备100的结构框图。该计算设备100的部件包括但不限于存储器110和处理器120。处理器120与存储器110通过总线130相连接,数据库150用于保存数据。
72.计算设备100还包括接入设备140,接入设备140使得计算设备100能够经由一个或多个网络160通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备140可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(nic))中的一个或多个,诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi

max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口,等等。
73.在本技术的一个实施例中,计算设备100的上述部件以及图1中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图1所示的计算设备结构框图仅仅是出于示例的目的,而不是对本技术范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
74.计算设备100可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或pc的静止计算设备。计算设备100还可以是移动式或静止式的服务器。
75.其中,处理器120可以执行图2所示图像处理方法中的步骤。图2示出了根据本技术一实施例的图像处理方法的流程图,具体包括如下步骤:
76.步骤202:接收变更请求,其中,所述变更请求中携带图像信息以及目标颜色数据。
77.其中,变更请求,可以理解为对图像进行风格变更的请求。该变更请求中携带图像信息(比如图像名称、图像标识、图像地址、或图像本身等可以唯一确定一张图像的信息)。此外,为了图像进行颜色变更,该变更请求中还携带了用以对图像进行颜色变更的颜色数据(即目标颜色数据),该目标颜色数据,可以包括至少一种颜色所组成的数据。比如白色、红色、绿色等,在此不做限制。
78.具体实施时,为了使图像中的风景、人物或物体可以变更后展现出不同场景(比如天黑、下雪、下雨的场景),或者为了改变图像的颜色偏好,以使变更后的图像展示不同的风格(也可以理解为变色效果),可以向用户提供针对图像进行变更的变更接口,以便用户基于该接口提交变更请求。在接收到该变更请求的基础上,响应于变更请求对待变更图像进行风格变更。
79.以初始图像为地表贴图为例,接收变更请求。该变更请求中携带地表贴图a的图像标识001以及目标颜色数据。
80.步骤204:通过对所述图像信息对应的待变更图像进行风格迁移,确定所述待变更图像对应的第一权重图像,并根据所述第一权重图像中每个像素点的像素值生成反色图像。
81.具体的,在上述接收变更请求的基础上,由于直接采用风格迁移模型对图像信息对应的待变更图像进行风格迁移,可能会存在待变更图像中的一些图像区域不容易被风格迁移影响,为了对使待变更图像的风格(颜色)变更更加彻底,需要首先明确待变更图像中哪些图像区域容易受风格迁移影响,哪些图像区域不容易受风格迁移影响。因此,通过对待变更图像进行风格迁移,从而确定待变更过图像待变更图像中哪些图像区域容易受风格迁移影响,哪些图像区域不容易受风格迁移影响。再获得待变更图像对应的第一权重图像。以
便通过第一权重图像,对待变更图像中容易受风格迁移影响的图像区域进行风格变更。
82.其中,待变更图像,可以是指任意格式(比如jpg格式、gif格式、bmp格式、png格式等),任意内容(比如人物、动物、风景、物体等)的图像,在此不做限制。相应地,第一权重图像,用以生成对待变更图像进行图像风格变更需要使用的权重,该权重可以理解为针对待变更图像中容易受风格迁移影响的图像区域的权重表达。实际应用中,可以通过对待变更图像中像素点的像素值进行预设的运算,比如(求平均值,或做线性变换等方式)计算第一权重图中每个像素点的像素值,具体实施时该第一权重图像中每个像素点都可以对应权重。通过该第一权重图像对待变更图像进行变更,可以使待变更图像中容易受风格迁移影响的图像区域进行颜色变更。
83.反色图像,是指对第一权重图像中每个像素点的像素值进行反色处理,生成的图像。比如,第一权重图像中为灰度图像的情况下,第一权重图像中像素点1的像素值为200,则对该像素值200进行反色处理,即通过255

200的方式计算,获得反色图像中对应像素点的像素值为55。在第一权重图像为彩色图像的情况下,反色是与原色叠加可以变为白色的颜色,即用白色(rgb:255,255,255)去原色的颜色。比如说红色(rgb:255,0,0)的反色是绿色(0,255,255)。在获得第一权重图像的基础上,将第一权重图像中每个像素点的像素值进行反色处理,即可获得反色图像。
84.实际应用中,通过第一权重图像中对应的权重对待变更图像进行风格变更时,是用以对待变更图像中容易被改变颜色的区域进行风格变更;而生成第一权重图像的反色图像,是为了便于基于反色图像再生成另一个权重图像(即第二权重图像),用以对待变更图像中一些不易被改变颜色区域的进行风格变更。
85.具体实施时,为了对待变更图像进行彻底的风格变更,需要明确对待变更图像进行风格变更时,哪些图像区域是容易进行风格变更的,哪些图像区域是不容易进行风格变更的,以便有针对性地对待变更图像进行变更处理。因此,可以通过对待变更图像通过风格迁移模型进行风格迁移,并根据风格迁移结果进一步确定待变更图像中图像区域的风格迁移情况,从而对待变更图像进行变更处理,本技术实施例,具体采用如下方式实现:
86.根据所述图像信息,确定待变更图像,并确定所述待变更图像对应的风格图像;
87.将所述风格图像与所述待变更图像进行组合,生成图像对;
88.将图像对输入风格迁移模型,获得所述风格迁移模型输出的合成图像;
89.对所述待变更图像进行灰度处理生成第一灰度图像,以及对所述合成图像进行灰度处理生成第二灰度图像;
90.基于所述第一灰度图像中像素点的像素值与所述第二灰度图像中像素点的像素值进行相减运算,获得差异灰度图像;
91.在所述差异灰度图像的数量为一张情况下,将所述差异灰度图像作为第一权重图;
92.在所述差异灰度图像的数量为多张的情况下,基于每张差异灰度图像中像素点的像素值进行相与运算,获得所述第一权重图像。
93.其中,风格图像,是指用以对待变更图像的风格进行迁移(改变)的图像。具体实施时,将待变更图像以及风格图像组成图像对,并输入风格迁移模型,是为了使待变更图像的风格趋向于风格图像。风格迁移模型,是指用以对待变更图像进行风格迁移的模型,该风格
迁移模型,可以是optimization

based method(基于最优方法)构建的模型,也可以是feedforward

based method(基于前馈方法)构建的模型,也可以是基于one network,multiple styles(一个网络,多种风格)的方法构建的模型等,在此不做限制。
94.实际应用中,可能存在希望对待变更图像进行一种风格迁移或多种风格迁移的情况,这种情况下,可以为待变更图像预先设置一张或多张风格图像,用以对待变更图像进行风格变更。在风格图像的数量为一张的情况下,可以直接将待变更图像和风格图像进行组合,生成一组图像对;在风格图像的数量为多张的情况下,可以分别将待变更图像以及每张风格图像进行组合,形成多组图像对,并将每组图像对输入风格迁移模型,用以分别对待变更图像进行不同风格的风格迁移,并生成每组图像对对应的合成图像;此外,还可以将待变更图像与多张风格图像组成图像对,并通过风格迁移模型直接对待变更图像进行多种风格的迁移,生成每张风格图像对应的合成图像。具体的,合成图像是指进行风格迁移处理后生成的图像。该合成图像具有待变更图像的图像内容,并且具有风格图像的图像风格。
95.在获得合成图像的基础上,进一步的对待变更图像进行灰度处理生成灰度图(即第一灰度图像),以及对合成图像进行灰度处理生成灰度图像(即第二灰度图)。这是由于彩色图像颜色丰富,但对于待图像变更的差异变更不容易进行衡量,因此,需要将待变更图像以及合成图像分别处理成为灰度图像,再通过灰度图像进行计算确定待变更图像与合成图像之间的差异程度。
96.其中,灰度处理,具体是指对图像进行灰度化,生成灰度图,具体的,灰度处理的方式包括:分量法(将彩色图像中像素点的rgb三分量亮度求平均得到一个灰度图)、最大值法(将彩色图像中的rgb三分量亮度的最大值作为灰度图的灰度值)、平均执法(算法思想是先把rgb每个分量的值作为图像的灰度值,这样就得到原图像的三个灰度图像,然后选择三个中的一个灰度图,即用一个像素点的rgb三个分量的某一个分量作为该点的灰度值)和加权平均法(根据某种条件,将每个像素点的三个分量以不同的权值进行加权平均获得的每个像素点的灰度值)等,具体实施时,可以根据实际场景的需要选择任意一种灰度处理方式,在此不做限制。具体的,灰度图的灰度区间范围在0

255之间。
97.具体实施时,将第一灰度图中的像素点的像素值与第二灰度图中对应的像素点的像素值进行相减运算,即可根据二者之间的差值确定待变更图像和合成图像之间的差异程度,其中,差值越大,表明合成图像和待变更图像之间的差异越明显,也表明容易对待变更图像中的该图像区域进行风格变更。实际应用中,可能存在二者相减的差值为负数的情况,这种情况下,需要对差值求绝对值,获得更新后的差值。再将这些差值按照待变更图像中像素点的排列方式进行组合,获得差异灰度图像。
98.进一步的,在所述差异灰度图像的数量为一张情况下,该差异灰度图像即可反应出对待变更图像进行风格迁移的过程中,哪些图像区域是容易进行风格变更的,哪些图像区域是不容易进行风格变更的,因此,直接将该差异灰度图像作为第一权重图像,用以对待变更图像的中容易进行风格变更的图像区域进行风格变更。
99.在所述差异灰度图像的数量为多张的情况下,由于每张差异灰度图像,都分别反应了对应的风格图像在对待变更图像进行对应的风格迁移中,哪些图像区域是容易进行风格变更的,哪些图像区域是不容易进行风格变更的。为了从中确定这几次风格迁移中公认的容易进行风格变更的图像区域,以及不易进行风格变更的图像区域。可以基于每张差异
灰度图像中像素点的像素值进行相与运算,具体的,相与运算,是指将每张差异灰度图中像素点的像素值转换为二进制数,再将不同差异灰度图中在相同位置的像素点的像素值转换为的二进制数进行按位相与,再将相与后的二进制数转换为十进制数。再将这些十进制数按照差异灰度图中像素点的排列方式进行组合,获得第一权重图像。
100.其中,第一权重图像中像素点的灰度值越接近255,表示该灰度值在待变更图像中对应的图像区域越容易进行风格变更;灰度值越小,表明该灰度值在待变更图像中对应的图像区域越不易进行风格变更。
101.沿用上例,根据地表贴图a的图像标识001,确定图像标识001对应的地表贴图a,该地表贴图a具体如图3(a)所示。并根据地表贴图a的图像标识001,查询该待变更图像对应的风格图像,确定地表贴图a对应的风格图像包括风格图像1、风格图像2、风格图像3以及风格图像4。将地表贴图a与风格图像1组成图像对a1,将地表贴图a与风格图像2组成图像对a2,将地表贴图a与风格图像3组成图像对a3,将地表贴图a与风格图像4组成图像对a4。将图像对a1输入预先训练完成的风格迁移模型m,获得风格迁移模型m输出的合成图像c1;将图像对a2输入预先训练完成的风格迁移模型m,获得风格迁移模型m输出的合成图像c2;将图像对a3输入预先训练完成的风格迁移模型m,获得风格迁移模型m输出的合成图像c3;将图像对a4输入预先训练完成的风格迁移模型m,获得风格迁移模型m输出的合成图像c4;
102.对地表贴图a进行灰度处理,具体的,对地表贴图a中包括n个像素点,这些像素点(从上到下,从左到右)的像素值分别为:p1=(rgb:pixel1_1,pixel1_2,pixel1_3)、p2=(rgb:pixel2_1,pixel2_2,pixel2_3)、
……
、p
n
=(rgb:pixel
n
_1,pixel
n
_2,pixel
n
_3)。分别对每个像素点中的rgb求平均值的方式,计算每个像素点对应的灰度值p
gg1
、p
gg2

……
、p
ggn
,将这些像素点对应的灰度值按照地表贴图a中像素点的排列方式进行组合,生成第一灰度图像g;
103.类似地,分别对合成图像c1、c2、c3、c4进行灰度处理,获得合成图像c1对应的第二灰度图像g1,合成图像c2对应的第二灰度图像g2,合成图像c3对应的第二灰度图像g3,合成图像c4对应的第二灰度图像g4,其中,第二灰度图像g1中像素点(从上到下,从左到右)对应的像素值依次为:p
g11
、p
g12

……
、p
g1n
;第二灰度图像g2中像素点(从上到下,从左到右)对应的像素值依次为:p
g21
、p
g22

……
、p
g2n
;第二灰度图像g3中像素点(从上到下,从左到右)对应的像素值依次为:p
g31
、p
g32

……
、p
g3n
;第二灰度图像g4中像素点(从上到下,从左到右)对应的像素值依次为:p
g41
、p
g42

……
、p
g4n

104.对第一灰度图像g中像素点的像素值与第二灰度图像g1中对应的像素点的像素值进行相减运算,获得差异灰度图像dg1,该差异灰度图像dg1中像素点的像素值依次为:p
dg11
=(p
gg1

p
g11
)、p
dg12
=(p
gg2

p
g12
)、
……
、p
dg1n
=(p
ggn

p
g1n
);类似地,对第一灰度图像g中像素点的像素值与第二灰度图像g2中对应的像素点的像素值进行相减运算,获得差异灰度图像dg2,该差异灰度图像dg2中像素点的像素值依次为:p
dg21
=(p
gg1

p
g21
)、p
dg22
=(p
gg2

p
g22
)、
……
、p
dg2n
=(p
ggn

p
g2n
);对第一灰度图像g中像素点的像素值与第二灰度图像g3中对应的像素点的像素值进行相减运算,获得差异灰度图像dg3,该差异灰度图像dg3中像素点的像素值依次为:p
dg31
=(p
gg1

p
g31
)、p
dg32
=(p
gg2

p
g32
)、
……
、p
dg3n
=(p
ggn

p
g3n
);对第一灰度图像g中像素点的像素值与第二灰度图像g4中对应的像素点的像素值进行相减运算,获得差异灰度图像dg4,该差异灰度图像dg4中像素点的像素值依次为:p
dg41
=(p
gg1

p
g41
)、p
dg42

(p
gg2

p
g42
)、
……
、p
dg4n
=(p
ggn

p
g4n
),具体实施时,如果相减结果存在负数的情况,对相减结果取绝对值,此外还可以直接对所有相减结果取绝对值;
105.将差异灰度图像dg1、差异灰度图像dg2、差异灰度图像dg3以及差异灰度图像dg4中的像素点的像素值从十进制数转换为8位的二进制数,并将这4张差异灰度图像中相同位置的像素点对应的二进制数进行按位相与运算,具体的,只有在对应像素点的二进制位中相同二进制位同为1的情况下,该二进制位的相与运算结果为1,否则相与运算结果为0。相与运算完成后,再将相与运算的运算结果转换为十进制数,并将转换后的各个像素点对应的十进制数按照原本的排列方式进行组合,生成第一权重图像,其中,第一权重图像中每个像素点对应的灰度值p
g1
、p
g2

……
、p
gn
,该第一权重图像如图3(c)所示。
106.进一步的,对第一权重图像中每个像素点的像素值进行反色处理,即具体的通过如下方式计算每个像素点对应的反色值:p
r1
=(255

p
g1
)、p
r2
=(255

p
g1
)、
……
、p
rn
=(255

p
gn
),再将p
r1
、p
r2

……
、p
rn
这n个反色值按照第一权重图像中像素点的排列方式进行组合,形成反色图像。
107.综上,对所述待变更图像进行风格迁移,并基于风格迁移后形成的合成图像与待变更图像的灰度图像之间的差异,确定待变更图像中哪些区域容易进行风格迁移以及哪些区域不容易进行风格迁移。并在进行多次风格迁移的情况下,通过对差异灰度图像进行相与运算,获得的第一权重图像确定多次风格迁移中公认的容易进行风格迁移的图像区域以及不容易进行风格迁移的图像区域。
108.实际应用中,待变更图像的长宽比例可能相等,这种情况下可能存在对待变更图像的风格变更后的图像进行应用时,需要对风格变更后的图像进行扩展。而直接待变更图像进行风格变更,可能导致风格变更后的图像进行扩展后出现不连续的问题,因此,在待变更图像的长宽比例相等时,先对待变更图像进行四方连续扩展,再对待变更图像进行风格变更,本技术实施例,在对所述待变更图像进行灰度处理生成第一灰度图像之前,具体采用如下方式实现:
109.根据所述图像信息,确定待变更图像,并确定所述待变更图像对应的风格图像;
110.在所述待变更图像的长宽相等的情况下,对所述待变更图像进行四方连续扩展,获得扩展后的待变更图像;
111.将所述扩展后的待变更图像与所述风格图像进行组合,生成扩展图像对;
112.将所述扩展图像对输入风格迁移模型,获得所述风格迁移模型输出的扩展合成图像;
113.根据所述待变更图像的图像尺寸在所述扩展后的待变更图像中进行截取,获得截取待变更图像,将所述截取待变更图像作为所述待变更图像,以及,
114.根据所述图像尺寸在所述扩展合成图像中进行截取,获得合成图像。
115.具体的,待变更图像的长宽相等,是指待变更图像的长边和宽边的比例为1:1;四方连续扩展,是指将待变更图像作为单位纹样向四周(包括:上、下、左、右、左上、右上、左下以及右下八个方向)进行重复地连续和延伸扩展。如图4所示,对待变更图像进行上、下、左、右、左上、右上、左下以及右下八个方向的四方连续处理后(即四方连续扩展后),生成具有9个待变更图像大小的扩展图像。
116.具体实施时,将生成扩展图像对的具体实现方式,与上述生成图像对的具体实现
方式类似,参考上述生成图像对的具体实现即可,在此不做赘述;此外,输出扩展合成图像的具体实现与上述输出合成图像的具体实现类似,参考上述输出合成图像的具体实现即可,在此不做赘述。
117.进一步的,由于对待变更图像进行了扩展之后,对扩展后的待变更图像进行风格迁移后的合成图像的图像大小也是扩展的,这种情况下,为了能够使风格迁移后的各种图像能够还原回原图像大小,可以按照待变更图像在扩展前的原图像尺寸(即图像尺寸),在扩展后的待变更图像中进行截取,获得与待变更图像的原图像尺寸相同的截取待变更图像,并将截取待变更图像作为所述待变更图像(具体的,是指采用截取变更图像替换待变更图像,即将原待变更图像丢弃,将截取变更图像作为待变更图像),类似地,按照待变更图像在扩展前的原图像尺寸(即图像尺寸),在扩展合成图像中进行截取,获得与待变更图像的原图像尺寸相同的合成图像。
118.沿用上例,该地表贴图a的长宽都为1024个像素尺寸,对该地表贴图a、进行四方连续扩展,获得长宽都为3072个像素尺寸的扩展后的地表贴图a,具体的,扩展后的地表贴图a如图3(b)所示。将扩展后的地表贴图a与风格图像1组成扩展图像对a1,将扩展后的地表贴图a与风格图像2组成扩展图像对a2,将扩展后的地表贴图a与风格图像3组成扩展图像对a3,将扩展后的地表贴图a与风格图像4组成扩展图像对a4。将扩展图像对a1输入预先训练完成的风格迁移模型m,获得风格迁移模型m输出的扩展合成图像c1;将扩展图像对a2输入预先训练完成的风格迁移模型m,获得风格迁移模型m输出的扩展合成图像c2;将扩展图像对a3输入预先训练完成的风格迁移模型m,获得风格迁移模型m输出的扩展合成图像c3;将扩展图像对a4输入预先训练完成的风格迁移模型m,获得风格迁移模型m输出的扩展合成图像c4,其中,扩展合成图像c1、扩展合成图像c2、扩展合成图像c3、扩展合成图像c4的长宽都为3072个像素尺寸。
119.在扩展后的地表贴图a中截取中间区域中长宽都为1024个像素尺寸的截取地表贴图作为地表贴图a,并在扩展合成图像c1中截取中间区域中长宽都为1024个像素尺寸的合成图像c1;在扩展合成图像c2中截取中间区域中长宽都为1024个像素尺寸的合成图像c2;在扩展合成图像c3中截取中间区域中长宽都为1024个像素尺寸的合成图像c3,在扩展合成图像c4中截取中间区域中长宽都为1024个像素尺寸的合成图像c4。
120.综上,在待变更图像的长宽比例相同的情况下,通过对待变更图像以及风格图像进行四方连续扩展后,再进行风格迁移,保障了对待变更图像进行风格变更后,如果变更后的图像进行扩展应用时,扩展应用中的图像连续性强。
121.在生成差异灰度图像的基础上,如果针对差异灰度图像未进行任何预处理的情况下,直接使用差异灰度图像对变更图像进行变更处理,则变更后的图像可能轮廓较为锐利,不能使变更后的图像显示出圆滑或渐变的效果,因此为避免上述问题带来的影响,可以对生成的差异灰度图像进行模糊处理,本技术实施例,具体采用如下方式实现:
122.对所述差异灰度图像进行模糊处理,获得第一模糊灰度图像,将所述第一模糊灰度图像作为所述差异灰度图像。
123.具体实施时,模糊处理的方式是多种多样的,比如可以通过均值模糊的方式进行模糊处理、高斯模糊的方式进行模糊处理、中值滤波的方式进行模糊处理、双边滤波的方式进行模糊处理,在此不做限制。
124.沿用上例,在上述生成差异灰度图像dg1、差异灰度图像dg2、差异灰度图像dg3以及差异灰度图像dg4的基础上,分别对差异灰度图像dg1、差异灰度图像dg2、差异灰度图像dg3以及差异灰度图像dg4进行高斯模糊处理,获得模糊灰度图像dg1、模糊灰度图像dg2、模糊灰度图像dg3以及模糊灰度图像dg4,并将这4张模糊灰度图像作为差异灰度图像。
125.综上,先对差异灰度图像进行模糊处理,再通过模糊处理后的差异灰度图像对待变更图像进行后续处理,可以使对待变更图像变更后获得的图像边缘更加圆滑,并实现颜色渐变的效果。
126.除上述对差异灰度图像进行模糊处理的之外,还可以在模糊处理的基础上结合图像缩放,以避免通过差异灰度图像对待变更图像进行后续变更处理后的图像仍较为锐利,且颜色渐变不明显的问题,所述基于所述第一灰度图像中像素点的像素值与所述第二灰度图像中像素点的像素值进行相减运算,获得差异灰度图像之后,还包括:
127.对所述差异灰度图像进行降采样处理,生成缩小灰度图像;将所述缩小灰度图像进行模糊处理,获得第二模糊灰度图像;对所述第二模糊灰度图像进行升采样处理,生成放大灰度图像,将所述放大灰度图像作为所述差异灰度图像。
128.其中,降采样,也可以称为下采样。具体实施时,可以预先设置降采样的系数,假设降采样系数为k,则在差异灰度图像中每行每列每隔k个像素点取一个像素点。并通过获取的像素点,生成缩小灰度图像。
129.对差异灰度图像进行降采样的基础上,再将降采样后的缩小灰度图像进行模糊处理,获得第二模糊灰度图像,具体实施时,对缩小灰度图像进行模糊处理的具体实现和上述对差异灰度图像进行模糊处理的具体实现类似,参考上述对差异灰度图像进行模糊处理的具体实现即可。在获得第二模糊灰度图像的基础上,为了能够生成与原差异灰度图像相同尺寸的灰度图像,此时可以对第二模糊灰度图像进行升采样处理生成放大的灰度图像(即放大灰度图像),并将放大灰度图像作为所述差异灰度图像(具体的,是指采用放大灰度图像替换差异灰度图像,即将原差异灰度图像丢弃,将放大灰度图像作为差异灰度图像)。
130.其中,升采样,也可以称为上采样。具体实施时,可以预先设置升采样的系数,假设升采样的系数为k,则可以通过在第二模糊灰度图像中每两个相邻的像素点插入k

1个像素点的方式,生成待放大灰度图像,具体实施时,插入的k

1个像素点的像素值,可以与相邻的像素点的像素值相同,也可以不同,在此不做限制。
131.沿用上例,分别对差异灰度图像dg1、差异灰度图像dg2、差异灰度图像dg3以及差异灰度图像dg4进行高斯模糊处理,获得模糊灰度图像dg1、模糊灰度图像dg2、模糊灰度图像dg3以及模糊灰度图像dg4,并将这4张模糊灰度图像作为差异灰度图像。
132.沿用上例,在上述生成差异灰度图像dg1、差异灰度图像dg2、差异灰度图像dg3以及差异灰度图像dg4的基础上,分别对差异灰度图像dg1、差异灰度图像dg2、差异灰度图像dg3以及差异灰度图像dg4进行降采样处理,其中,降采样处理的系数为4,具体的,对差异灰度图像dg1中每个4个像素点取一个像素点的方式获取像素点,再将获取的像素点组成缩小灰度图像dg1。该缩小灰度图像dg1的长宽都为256个像素尺寸,类似地,对差异灰度图像dg2、差异灰度图像dg3以及差异灰度图像dg4进行降采样处理之后,生成缩小灰度图像dg2、缩小灰度图像dg3以及缩小灰度图像dg4。在分别对缩小灰度图像dg1、缩小灰度图像dg2、缩小灰度图像dg3以及缩小灰度图像dg4进行高斯模糊处理,获得第二模糊灰度图像dg1、第二
模糊灰度图像dg2、第二模糊灰度图像dg3以及第二模糊灰度图像dg4,并将这4张第二模糊灰度图像作为差异灰度图像,执行后续确定第一权重图像的步骤。
133.综上,在对差异灰度图像进行降采样的基础上再进行模糊处理,并将模糊处理后的第二模糊图像进行升采样生成放大灰度图像,并将放大灰度图像作为差异灰度图像,以使对待变更图像进行变更后获得的图像边缘更加圆滑,颜色变更的效果更强烈。
134.步骤206:基于所述反色图像中每个像素点的像素值生成第二权重图像。
135.具体的,在上述获得反色图像的基础上,再根据反色图像确定第二权重图像,以便使待变更图像在两张权重图像的基础上,实现对待变更图像中整体区域的底色进行变更。
136.其中,第二权重图像,也是用以生成在图像转换过程中需要使用的权重。但该权重可以理解针对待变更图像中不易受风格迁移影响的图像区域的权重表达。具体实施时,该第二权重图像中每个像素点都可以对应权重。获得该第二权重图像,用于使待变更图像中不易受风格迁移影响的图像区域进行颜色变更。
137.具体实施时,由于第二权重图像用于生成使待变更图像中不易受风格迁移影响的图像区域进行颜色变更的权重,则该第二权重图像中像素点的像素值对待变更图像的颜色变更影响较大。因此,需要根据实际需求预先设置用以生成第二权重图像中像素点的像素值的算法(即预设算法),以便按按照需求预期对待变更图像的颜色进行变更,具体采用如下方式实现:
138.基于预设算法对所述反色图像中每个像素点的像素值进行运算,获得所述反色图像中每个像素点的像素点对应的权重像素值;
139.基于所述权重像素值生成第二权重图像。
140.其中,预设算法,是指用于对反色图像中每个像素点的像素值进行运算的算法。实际应用中,该预设算法,可以是非线性算法,该算法主要根据实际需求(如何对待变更图像中不易被风格迁移影响的图像区域进行颜色变更)进行设置,在此不做限制。
141.具体实施时,通过运算,可以将反色图像中每个像素点对应的像素值进行变更,获得每个像素点对应的变更后的像素值,即权重像素值,再将权重像素值按照反色图像中像素点的排列方式进行组合,生成第二权重图像。
142.可选地,预设算法,可以是对反色图像中像素点的像素值进行幂运算的算法,具体的,该预设算法可以如下公式1所示:
143.p
wi
=power(p
ri
,a);公式1
144.其中,i以及a为正整数,i小于等于n,n为所述反色图像中像素点的个数,p
ri
为所述反色图像中第i个像素点的像素值,p
wi
所述反色图像中第i个像素点对应的权重像素值。power函数的主要作用是返回给定数值p
ri
的a乘幂。
145.沿用上例,在上述获得反色图像的基础上,分别根据反色图像中的每个像素点的像素值:p
r1
、p
r2

……
、p
rn
,在公式1中a为3的情况下进行3次方运算,获得每个像素点对应的权重像素值:p
w1
、p
w2

……
、p
wn
。再将这n个权重像素值按照反色图像中像素点的排列方式进行组合,生成第二权重图像。
146.综上,通过对反色图像中像素点的像素值进行预设的power运算,获得第二权重图像,可以通过第二权重图像对待变更图像中不易受风格迁移影响的图像区域进行颜色变更,获得一个更好的变色效果。
147.在上述生成权重像素值之后,考虑到生成的权重像素值可能会超出正常像素值[0

255]的范围,为了保障权重像素值处于正常像素值的范围,本技术实施例,具体采用如下方式实现:
[0148]
在所述权重像素值的绝对值中存在大于预设像素阈值的权重像素值情况下,将大于预设像素阈值的权重像素值更新为预设像素阈值。
[0149]
其中,预设像素阈值,可以理解为255,此外,这该预设像素阈值还可以取再0

255之间的其他值,具体实施时,可以根据实际需求进行调整,在此不做限制。
[0150]
沿用上例,假设反色图像中每个像素点对应的权重像素值:p
w1
、p
w2

……
、p
wn
中,p
w2
的值大于255,则将p
w2
更新为255。假设对反色图像中每个像素点的像素值进行预设运算后,获得的权重像素值中p
w6
的值小于0,则将该p
w6
更新为0。
[0151]
综上,通过将权重像素值的绝对值中大于预设像素阈值的权重像素值,更新为第一像素阈值,保障了第二权重图像中像素点的像素值的合理性。
[0152]
步骤208:根据所述第一权重图像、所述第二权重图像以及所述变更请求中的目标颜色数据,将所述待变更图像转换为目标图像。
[0153]
具体的,在上述获得第二权重图像的基础上,根据两张权重图像对待变更图像进行颜色转换,可以使待变更图像的底色达到整体进行变色的效果。
[0154]
具体实施时,由于第一权重图像以及第二权重图像是为了做变更权重使用,因此,需要先将第一权重图像以及第二权重图像转换为权重,再通过转换后的权重对待变更图像进行风格变更,本技术实施例,具体采用如下方式实现:
[0155]
对所述第一权重图像中每个像素点的像素值进行归一化处理,获得所述第一权重图像中每个像素点对应的第一权重,以及对所述第二权重图像中每个像素点的像素值进行归一化处理,获得所述第二权重图像中每个像素点对应的第二权重;
[0156]
根据所述第一权重、所述第二权重以及所述目标颜色数据,将所述待变更图像转换为目标图像。
[0157]
其中,归一化处理,是将第一权重图像/第二权重图像中每个像素点的像素值映射到(0,1)的范围内。从而形成对应的权重值。具体实施时,归一化方式可以是通过线性函数实现,也可以通过sigmoid函数实现,在此不做限制。
[0158]
相应地,第一权重图像中每个像素点的像素值进行归一化处理后,生成第一权重,第二权重图像中每个像素点的像素值进行归一化处理后,生成第二权重。在生成两种权重的基础上,将两种权重结合变更请求中的目标颜色数据,对待变更图像进行变更,具体实施时可以通过预先设置的线性插值算法,对上述数据进行运算,实现对待变更图像进行变更生成变更后的图像,即目标图像。
[0159]
沿用上例,在上述获得第一权重图像以及第二权重图像的基础上,将第一权重图像中每个像素点的像素值p
g1
、p
g2

……
、p
gn
分别进行归一化处理,获得每个像素点对应的第一权重:w1_1、w1_2、、
……
、w1_n。再对第二权重图像中每个像素点的像素值p
w1
、p
w2

……
、p
wn
分别进行归一化处理,获得每个像素点对应的第二权重:w2_1、w2_2、、
……
、w2_n。再根据第一权重、第二权重以及针对待变更图像a的变更请求中的目标颜色数据,对待变更图像a进行风格变更,获得目标图像a。
[0160]
进一步的,由于第一权重和第二权重可以分别对待变更图像中不同区域形成变更
影响,因此,通过第一权重和第二权重分别对待变更图像进行两阶段变更,以实现待变更图像的整体底色变更,本技术实施例提供的第一种可选实施方式中,具体采用如下方式实现:
[0161]
在所述目标颜色数据中确定对所述待变更图像进行颜色变更的第一颜色数据,以及对变更后的第一初始变更图像进行颜色变更的第二颜色数据;
[0162]
按照第一颜色转换算法对所述第一权重、所述第一颜色数据以及所述待变更图像中每个像素点的像素值进行计算,生成所述第一初始变更图像;
[0163]
按照第二颜色转换算法对所述第二权重、所述第二颜色数据以及所述第一初始变更图像中每个像素点的像素值进行计算,生成目标图像。
[0164]
其中,第一颜色数据,是指对待变更图像进行第一阶段变更的颜色。第二颜色数据,是指对应对待变更图像进行第一阶段变更后,生成的初始变更图像(第一初始变更图像)进行第二阶段变更的颜色。
[0165]
相应地,第一颜色转换算法是指对待变更图像进行第一阶段变更的算法,该算法中使用第一权重、第一颜色数据,以及待变更图像中像素点的像素值进行计算。具体实施时,该第一颜色转换算法,可以如下公式2所示:
[0166]
p
ci
1=p
i
*w1_i+p
c
1*(1

w1_i);公式2
[0167]
其中,p
ci
1为第一初始变更图像中第i个像素点的像素值;p
i
为待变更图像中第i个像素点的像素值;w1_i为第i个第一权重,p
c
1为第一颜色数据。实际应用中,在p
i
和p
c1
通常包含rgb三个分量,这种情况下,可以分别对每个分量进行上述公式的运算,比如p
i
中的r值为p
ri
,p
c
1中的r值为p
cr
1,则p
ci
中的r值为p
cri
=p
ri
*w1_i+p
cr
1*(1

w1_i)。
[0168]
类似地,第二颜色转换算法是指对待变更图像变更后的第一初始变更图像进行第二阶段变更的算法,该算法中使用第二权重、第二颜色数据,以及第一初始变更图像中像素点的像素值进行计算。具体实施时,该第二颜色转换算法,可以如下公式3所示:
[0169]
p
pi
=p
ci1
*w2_i+p
c
2*(1

w2_i);公式3
[0170]
其中,p
ci
1为第一初始变更图像中第i个像素点的像素值;p
pi
为目标图像中第i个像素点的像素值;w2_i为第i个第二权重,p
c
2为第二颜色数据。
[0171]
需要说明的是,第一颜色数据和第二颜色数据可以是同一颜色。
[0172]
沿用上例,在上述获得第一权重:w1_1、w1_2、、
……
、w1_n以及第二权重:w2_1、w2_2、、
……
、w2_n的基础上,假设第一颜色数据p
c
1为砖红色,第二颜色数据p
c
2为白色,先通过上述公式3,对第一权重、砖红色以及待变更图像a中像素点的像素值进行计算获得像素值:p
c1
1、p
c2
1,
……
、p
cn
1,再将这些像素值待变更图像中每个像素点的排列方式组合成为第一初始变更图像;其中,第一初始变更图像为对待变更图像整体底色进行砖红色变更后的图像,具体的,该第一初始变更图像可以如图3(d)所示。再通过上述公式3对第二权重、白色以及第一初始变更图像中每个像素点的像素值进行计算,获得目标图像中每个像素点的像素值p
p1
、p
p2

……
、p
pn
,再将这些像素点的像素值按照待变更图像中每个像素点的排列方式进行组合,生成目标图像,具体的,该目标图像可以如图3(e)所示。
[0173]
综上,通过按照第一颜色转换算法对第一权重、第一颜色数据以及待变更图像中每个像素点的像素值进行计算,生成第一初始变更图像;再按照第二颜色转换算法对第二权重、第二颜色数据以及第一初始变更图像中每个像素点的像素值进行计算,生成目标图像。实现了先对待变更图像中容易被风格迁移影响的图像区域进行颜色变更,再对变更后
图像中不容易被风格迁移影响的图像区域进行颜色变更。实现了对待变更图像的整体区域进行风格迁移(颜色变更)。
[0174]
除上述对待变更图像进行变更的方式之外,本技术实施例提供的第二种可选实施方式中,具体采用如下方式实现:
[0175]
在所述目标颜色数据中确定对所述待变更图像进行颜色变更的第三颜色数据,以及对变更后的第二初始变更图像进行颜色变更的第四颜色数据;
[0176]
按照第三颜色转换算法对所述第二权重、所述第三颜色数据以及所述待变更图像中每个像素点的像素值进行计算,生成所述第二初始变更图像;
[0177]
按照第四颜色转换算法对所述第一权重、所述第四颜色数据以及所述第二初始变更图像中每个像素点的像素值进行计算,生成目标图像。
[0178]
其中,第三颜色数据,是指对待变更图像进行第一阶段变更的颜色。第四颜色数据,是指对应对待变更图像进行第一阶段变更后,生成的初始变更图像(第二初始变更图像)进行第二阶段变更的颜色。
[0179]
相应地,第三颜色转换算法是指对待变更图像进行第一阶段变更的算法,该算法中使用第二权重、第三颜色数据,以及待变更图像中像素点的像素值进行计算。具体实施时,该第三颜色转换算法,可以如下公式4所示:
[0180]
p
ci
2=p
c
3*w2_i+p
i
*(1

w2_i);公式4
[0181]
其中,p
ci
2为第二初始变更图像中第i个像素点的像素值;p
i
为待变更图像中第i个像素点的像素值;w2_i为第i个第二权重,p
c
3为第三颜色数据。
[0182]
类似地,第二颜色转换算法是指对待变更图像变更后的第一初始变更图像进行第二阶段变更的算法,该算法中使用第二权重、第二颜色数据,以及第一初始变更图像中像素点的像素值进行计算。具体实施时,该第二颜色转换算法,可以如下公式5所示:
[0183]
p
pi
=p
c
4*w2_i+p
ci
2*(1

w2_i);公式5
[0184]
其中,p
ci
2为第二初始变更图像中第i个像素点的像素值;p
pi
为目标图像中第i个像素点的像素值;w2_i为第i个第二权重,p
c
4为第四颜色数据。
[0185]
需要说明的是,第三颜色数据和第四颜色数据也可以是同一颜色。
[0186]
沿用上例,在上述获得第一权重:w1_1、w1_2、、
……
、w1_n以及第二权重:w2_1、w2_2、、
……
、w2_n的基础上,假设第三颜色数据p
c
3为砖红色,第四颜色数据p
c
4为白色,先通过上述公式4,对第二权重、砖红色以及待变更图像a中像素点的像素值进行计算获得第二初始变更图像中每个像素点的像素值:p
c1
1、p
c2
1,
……
、p
cn
1;其中,第二初始变更图像为对待变更图像整体底色进行砖红色变更后的图像。再通过上述公式5对第一权重、白色以及第二初始变更图像中每个像素点的像素值进行计算,获得目标图像中每个像素点的像素值p
p1
、p
p2

……
、p
pn
,再将这些像素点的像素值按照待变更图像中每个像素点的排列方式进行组合,生成目标图像。
[0187]
综上,通过按照第三颜色转换算法对第二权重、第三颜色数据以及待变更图像中每个像素点的像素值进行计算,生成第二初始变更图像;再按照第四颜色转换算法对第一权重、第四颜色数据以及第二初始变更图像中每个像素点的像素值进行计算,生成目标图像。实现了先对待变更图像中不容易被风格迁移影响的图像区域进行颜色变更,再对变更后图像中容易被风格迁移影响的图像区域进行颜色变更。并实现了对待变更图像整体进行
风格迁移(颜色变更)。
[0188]
综上所述,本技术实施例提供的图像处理方法,通过接收变更请求,其中,所述变更请求中携带图像信息以及目标颜色数据,通过对所述图像信息对应的待变更图像进行风格迁移,确定待变更图像对应的第一权重图像,实现了通过对待变更图像进行风格迁移获得的第一权重图像,明确待变更图像中容易受风格迁移影响的图像区域,以及不容易受风格影响的图像区域。再根据所述第一权重图像中每个像素点的像素值生成反色图像,且基于所述反色图像中每个像素点的像素值生成第二权重图像,最后根据所述第一权重图像、所述第二权重图像以及所述目标颜色数据,将所述待变更图像转换为目标图像。实现了通过第一权重图像对待变更图像中容易受风格迁移影响的图像区域进行颜色变更,以及通过第二权重图像对待变更图像中不易受风格迁移影响的图像区域进行颜色变更,进而实现对待变更图像中整体区域进行颜色变更,以使待变更图像的风格变更效果更加符合预期。
[0189]
图5示出了本技术一实施例提供的一种应用于实际场景中的图像处理方法的处理流程图,该更新方法以实际场景为例进行描述,具体包括如下步骤:
[0190]
步骤502:接收请变更请求,其中,变更请求中携带图像标识信息以及目标颜色数据。
[0191]
具体的,该变更请求中携带图像标识信息001,以及目标颜色数据包括黄色和绿色。
[0192]
步骤504:根据图像标识信息,确定待变更图像b1,并确定待变更图像b1对应的风格图像s1。
[0193]
具体的,通过查询图像标识信息和图像的对应关系,即可根据图像标识信息001确定该图像标识信息001对应的待变更图像b1。再获取待变更图像b1对应的风格图像s1。
[0194]
步骤506:在待变更图像b1的长宽相等的情况下,对待变更图像b1进行四方连续扩展,获得扩展后的待变更图像b2。
[0195]
步骤508:将扩展后的待变更图像b2与风格图像s1进行组合,生成扩展图像对。
[0196]
步骤510:将扩展图像对输入风格迁移模型,获得风格迁移模型输出的扩展合成图像cs1。
[0197]
步骤512:根据待变更图像b1的图像尺寸在扩展后的待变更图像b2中进行截取,获得截取待变更图像b3,将截取待变更图像b3作为待变更图像b1,以及根据该图像尺寸在扩展合成图像cs1中进行截取,获得合成图像cs2。
[0198]
具体的,将截取待变更图像b3作为待变更图像b1,可以理解为将原待变更图像b1丢弃,将截取待变更图像b3作为待变更图像b1。
[0199]
步骤514:对待变更图像b1进行灰度处理生成第一灰度图像g1,以及对合成图像cs2进行灰度处理生成第二灰度图像g2。
[0200]
步骤516:基于第一灰度图像g1中像素点的像素值与第二灰度图像g2中像素点的像素值进行相减运算,获得差异灰度图像d1。
[0201]
步骤518:对差异灰度图像d1进行降采样处理,生成缩小灰度图像d2。
[0202]
步骤520:将缩小灰度图像d2进行模糊处理,获得第二模糊灰度图像d3。
[0203]
步骤522:对第二模糊灰度图像d3进行升采样处理,生成放大灰度图像d4,将放大灰度图像d4作为差异灰度图像d1。
[0204]
类似地,将放大灰度图像d4作为所述差异灰度图像d1,也可以理为将原差异灰度图像d1丢弃,将放大灰度图像d4作为差异灰度图像。
[0205]
步骤524:在差异灰度图像d1的数量为一张情况下,将差异灰度图像d1作为第一权重图像。
[0206]
步骤526:将第一权重图像中每个像素点的像素值进行反色处理,生成反色图像。
[0207]
步骤528:基于预设算法对反色图像中每个像素点的像素值进行运算,获得反色图像中每个像素点的像素点对应的权重像素值。
[0208]
具体的,预设算法可以如上述方法实施例中的公式1所示。
[0209]
步骤530:基于权重像素值生成第二权重图像。
[0210]
具体的,基于权重像素值生成第二权重图像,是指将权重像素值按照反色图像中每个像素点的排列方式进行组合,生成第二权重图像。
[0211]
步骤532:对第一权重图像中每个像素点的像素值进行归一化处理,获得第一权重图像中每个像素点对应的第一权重,以及对第二权重图像中每个像素点的像素值进行归一化处理,获得第二权重图像中每个像素点对应的第二权重。
[0212]
步骤534:在变更请求的目标颜色数据中确定对待变更图像b1进行颜色变更的第一颜色数据,以及对变更后的第一初始变更图像进行颜色变更的第二颜色数据。
[0213]
具体的,根据该目标颜色数据的颜色设定(比如设定目标颜色数据中位置在前的颜色数据即为第一颜色数据,位置在后的颜色数据即为第二颜色数据,或者在目标颜色数据中直接标明哪个颜色是第一颜色数据,哪个颜色是第二颜色数据等),确定第一颜色数据为黄色,第二颜色数据为绿色。
[0214]
步骤536:按照第一颜色转换算法对第一权重、第一颜色数据以及待变更图像b1中每个像素点的像素值进行计算,生成第一初始变更图像。
[0215]
具体的,通过第一颜色转换算法对第一权重、第一颜色数据以及待变更图像b1中每个像素点的像素值进行计算,可以对待变更图像b1中易受风格迁移影响的图像区域进行颜色变更。
[0216]
步骤538:按照第二颜色转换算法对第二权重、第二颜色数据以及第一初始变更图像中每个像素点的像素值进行计算,生成目标图像。
[0217]
具体的,通过第二颜色转换算法对第二权重、第二颜色数据以及第一初始变更图像中每个像素点的像素值进行计算,可以对待变更图像b1中不易受风格迁移影响的图像区域进行颜色变更。
[0218]
综上所述,本技术实施例提供的图像处理方法,通过接收变更请求,其中,所述变更请求中携带图像标识信息以及目标颜色数据,通过对所述图像标识信息对应的待变更图像b1进行风格迁移,确定待变更图像对应的第一权重图像,实现了通过对待变更图像b1进行风格迁移获得的第一权重图像,明确待变更图像b1中容易受风格迁移影响的图像区域,以及不容易受风格影响的图像区域。再根据所述第一权重图像中每个像素点的像素值生成反色图像,且基于所述反色图像中每个像素点的像素值生成第二权重图像,最后根据所述第一权重图像、所述第二权重图像以及所述目标颜色数据,将待变更图像b1转换为目标图像。实现了通过第一权重图像对待变更图像b1中容易受风格迁移影响的图像区域进行颜色变更,以及通过第二权重图像b1对待变更图像中不易受风格迁移影响的图像区域进行颜色
变更,进而实现对待变更图像b1中整体区域进行颜色变更,以使待变更图像b1的风格变更效果更加符合预期。
[0219]
与上述方法实施例相对应,本技术还提供了图像处理装置实施例,图6示出了本技术一个实施例的图像处理装置的结构示意图。如图6所示,该装置600包括:
[0220]
接收模块602,被配置为接收变更请求,其中,所述变更请求中携带图像信息以及目标颜色数据;
[0221]
确定模块604,被配置为通过对所述图像信息对应的待变更图像进行风格迁移,确定所述待变更图像对应的第一权重图像,并根据所述第一权重图像中每个像素点的像素值生成反色图像;
[0222]
生成模块606,被配置为基于所述反色图像中每个像素点的像素值生成第二权重图像;
[0223]
转换模块608,被配置为根据所述第一权重图像、所述第二权重图像以及所述目标颜色数据,将所述待变更图像转换为目标图像。
[0224]
可选地,所述转换模块608,包括:
[0225]
归一化处理子模块,被配置为对所述第一权重图像中每个像素点的像素值进行归一化处理,获得所述第一权重图像中每个像素点对应的第一权重,以及对所述第二权重图像中每个像素点的像素值进行归一化处理,获得所述第二权重图像中每个像素点对应的第二权重;
[0226]
转换子模块,被配置为根据所述第一权重、所述第二权重以及所述目标颜色数据,将所述待变更图像转换为目标图像。
[0227]
可选地,所述转换子模块,进一步被配置为:
[0228]
在所述目标颜色数据中确定对所述待变更图像进行颜色变更的第一颜色数据,以及对变更后的第一初始变更图像进行颜色变更的第二颜色数据;
[0229]
按照第一颜色转换算法对所述第一权重、所述第一颜色数据以及所述待变更图像中每个像素点的像素值进行计算,生成所述第一初始变更图像;
[0230]
按照第二颜色转换算法对所述第二权重、所述第二颜色数据以及所述第一初始变更图像中每个像素点的像素值进行计算,生成目标图像。
[0231]
可选地,所述转换子模块,进一步被配置为:
[0232]
在所述目标颜色数据中确定对所述待变更图像进行颜色变更的第三颜色数据,以及对变更后的第二初始变更图像进行颜色变更的第四颜色数据;
[0233]
按照第三颜色转换算法对所述第二权重、所述第三颜色数据以及所述待变更图像中每个像素点的像素值进行计算,生成所述第二初始变更图像;
[0234]
按照第四颜色转换算法对所述第一权重、所述第四颜色数据以及所述第二初始变更图像中每个像素点的像素值进行计算,生成目标图像。
[0235]
可选地,所述确定模块604,进一步被配置为:
[0236]
根据所述图像信息,确定待变更图像,并确定所述待变更图像对应的风格图像;
[0237]
将所述风格图像与所述待变更图像进行组合,生成图像对;
[0238]
将图像对输入风格迁移模型,获得所述风格迁移模型输出的合成图像;
[0239]
对所述待变更图像进行灰度处理生成第一灰度图像,以及对所述合成图像进行灰
度处理生成第二灰度图像;
[0240]
基于所述第一灰度图像中像素点的像素值与所述第二灰度图像中像素点的像素值进行相减运算,获得差异灰度图像;
[0241]
在所述差异灰度图像的数量为一张情况下,将所述差异灰度图像作为第一权重图;
[0242]
在所述差异灰度图像的数量为多张的情况下,基于每张差异灰度图像中像素点的像素值进行相与运算,获得所述第一权重图像。
[0243]
可选地,所述确定模块604,还被配置为:
[0244]
根据所述图像信息,确定待变更图像,并确定所述待变更图像对应的风格图像;
[0245]
在所述待变更图像的长宽相等的情况下,对所述待变更图像进行四方连续扩展,获得扩展后的待变更图像;
[0246]
将所述扩展后的待变更图像与所述风格图像进行组合,生成扩展图像对;
[0247]
将所述扩展图像对输入风格迁移模型,获得所述风格迁移模型输出的扩展合成图像;
[0248]
根据所述待变更图像的图像尺寸在所述扩展后的待变更图像中进行截取,获得截取待变更图像,将所述截取待变更图像作为所述待变更图像,以及,
[0249]
根据所述图像尺寸在所述扩展合成图像中进行截取,获得合成图像。
[0250]
可选地,所述确定模块604,还被配置为:
[0251]
对所述差异灰度图像进行模糊处理,获得第一模糊灰度图像,将所述第一模糊灰度图像作为所述差异灰度图像。
[0252]
可选地,所述确定模块604,还被配置为:
[0253]
对所述差异灰度图像进行降采样处理,生成缩小灰度图像;
[0254]
将所述缩小灰度图像进行模糊处理,获得第二模糊灰度图像;
[0255]
对所述第二模糊灰度图像进行升采样处理,生成放大灰度图像,将所述放大灰度图像作为所述差异灰度图像。
[0256]
可选地,所述生成模块606,进一步被配置为:
[0257]
基于预设算法对所述反色图像中每个像素点的像素值进行运算,获得所述反色图像中每个像素点的像素点对应的权重像素值;
[0258]
基于所述权重像素值生成第二权重图像。
[0259]
可选地,所述生成模块606,还被配置为:
[0260]
在所述权重像素值的绝对值中存在大于预设像素阈值的权重像素值情况下,将大于预设像素阈值的权重像素值更新为预设像素阈值。
[0261]
综上所述,本技术实施例提供的图像处理装置,通过接收变更请求,其中,所述变更请求中携带图像信息以及目标颜色数据,通过对所述图像信息对应的待变更图像进行风格迁移,确定待变更图像对应的第一权重图像,实现了通过对待变更图像进行风格迁移获得的第一权重图像,明确待变更图像中容易受风格迁移影响的图像区域,以及不容易受风格影响的图像区域。再根据所述第一权重图像中每个像素点的像素值生成反色图像,且基于所述反色图像中每个像素点的像素值生成第二权重图像,最后根据所述第一权重图像、所述第二权重图像以及所述目标颜色数据,将所述待变更图像转换为目标图像。实现了通
过第一权重图像对待变更图像中容易受风格迁移影响的图像区域进行颜色变更,以及通过第二权重图像对待变更图像中不易受风格迁移影响的图像区域进行颜色变更,进而实现对待变更图像中整体区域进行颜色变更,以使待变更图像的风格变更效果更加符合预期。
[0262]
上述为本实施例的一种图像处理装置的示意性方案。需要说明的是,该图像处理装置的技术方案与上述的图像处理方法的技术方案属于同一构思,图像处理装置的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
[0263]
本技术一实施例中还提供一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,所述处理器执行所述计算机指令时实现所述的图像处理方法的步骤。
[0264]
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的图像处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
[0265]
本技术一实施例还提供一种计算机可读存储介质,其存储有计算机指令,所述计算机指令被处理器执行时实现如前所述图像处理方法的步骤。
[0266]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的图像处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述图像处理方法的技术方案的描述。
[0267]
上述对本技术特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
[0268]
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read

only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
[0269]
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本技术所必须的。
[0270]
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
[0271]
以上公开的本技术优选实施例只是用于帮助阐述本技术。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本技术的内容,可作很多的修改和变化。本技术选取并具体描述这些实施例,是为了更好地解释本技术的原
理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本技术。本技术仅受权利要求书及其全部范围和等效物的限制。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1