图像处理方法及装置与流程

1.本公开涉及图像视频技术领域。更具体地，本公开涉及一种图像处理方法及装置。


背景技术：

2.将图像中人物抠除并依据周围图像对人物进行填充是图像处理领域的一项常见技术。将该技术应用于特效领域可为用户提供一种人物逐渐消失融入背景的虚拟效果。常见的人像抠除方法多通过神经网络依据背景图像语义信息对人物区域进行填充。此类方法计算复杂度极高，难以应用于视频特效等实时计算场景。


技术实现要素：

3.本公开的示例性实施例在于提供一种图像处理方法及装置，以至少解决相关技术中在对对象区域进行背景颜色填充时因计算复杂度较高而导致的填充效率低的问题。
4.根据本公开的示例性实施例，提供一种图像处理方法，包括：根据待处理图像中的对象区域，确定所述对象区域对应的对象分割掩码图像，其中，所述对象分割掩码图像是从所述待处理图像抠除所述对象区域之外的区域得到的图像；基于所述对象分割掩码图像确定所述对象区域的边界像素；基于所述边界像素，确定所述待处理图像中的所述对象区域的填充颜色；基于所述填充颜色对所述待处理图像中的所述对象区域进行渲染，得到第一目标图像。
5.可选地，所述基于所述填充颜色对所述待处理图像中的所述对象区域进行处理，得到第一目标图像之后，所述图像处理方法还可包括：根据所述第一目标图像的纹理坐标，对所述第一目标图像进行均值模糊采样处理，得到均值模糊采样处理结果；基于均值模糊采样处理结果对所述待处理图像中的所述对象区域进行处理，得到第二目标图像。
6.可选地，所述根据所述第一目标图像的纹理坐标，对所述第一目标图像进行均值模糊采样处理，得到均值模糊采样处理结果，可包括：分别对所述第一目标图像的所述对象区域中的每个像素进行纹理坐标偏移处理，得到偏移后的纹理坐标；基于所述第一目标图像的偏移后的纹理坐标进行均值模糊采样处理，得到均值模糊采样处理结果。
7.可选地，所述分别对所述第一目标图像的所述对象区域中的每个像素进行纹理坐标偏移处理，可包括：分别基于所述对象区域中的每个像素在所述待处理图像中的颜色，确定所述第一目标图像中的相应像素的纹理坐标偏移值；基于所述第一目标图像中的相应像素的纹理坐标偏移值，对所述第一目标图像中的相应像素进行纹理坐标偏移处理。
8.可选地，所述分别基于所述对象区域中的每个像素在所述待处理图像中的颜色，确定所述第一目标图像中的相应像素的纹理坐标偏移值，可包括分别针对所述对象区域中的每个像素执行以下操作：确定所述对象区域中的像素在所述待处理图像中的颜色的红色通道值和绿色通道值；基于所述红色通道值和所述绿色通道值，确定所述第一目标图像中与所述像素相应的像素的纹理坐标偏移值，得到所述第一目标图像中的相应像素的纹理坐标偏移值。
9.可选地，所述基于所述边界像素，确定所述待处理图像中的所述对象区域的填充颜色，可包括：分别确定与所述对象区域中的每个像素对应的边界像素的颜色；基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色。
10.可选地，所述基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色，可包括：将所述对象区域中的任一像素确定为目标像素；确定所述目标像素对应的边界像素的颜色的混合比例，得到所述目标像素对应的颜色混合比例；基于所述目标像素对应的颜色混合比例，将与所述目标像素对应的边界像素的颜色进行混合，得到所述目标像素的填充颜色。
11.根据本公开的示例性实施例，提供一种图像处理装置，包括：图像分割单元，被配置为根据待处理图像中的对象区域，确定所述对象区域对应的对象分割掩码图像，其中，所述对象分割掩码图像是从所述待处理图像抠除所述对象区域之外的区域得到的图像；边界确定单元，被配置为基于所述对象分割掩码图像确定所述对象区域的边界像素；颜色确定单元，被配置为基于所述边界像素，确定所述待处理图像中的所述对象区域的填充颜色；和图像处理单元，被配置为基于所述填充颜色对所述待处理图像中的所述对象区域进行处理，得到第一目标图像。
12.可选地，所述图像处理装置还可包括另一处理单元，被配置为：根据所述第一目标图像的纹理坐标，对所述第一目标图像进行均值模糊采样处理，得到均值模糊采样处理结果；基于均值模糊采样处理结果对所述待处理图像中的所述对象区域进行处理，得到第二目标图像。
13.可选地，所述另一处理单元可被配置为：分别对所述第一目标图像的所述对象区域中的每个像素进行纹理坐标偏移处理，得到偏移后的纹理坐标；基于所述第一目标图像的偏移后的纹理坐标进行均值模糊采样处理，得到均值模糊采样处理结果。
14.可选地，所述另一处理单元可被配置为：分别基于所述对象区域中的每个像素在所述待处理图像中的颜色，确定所述第一目标图像中的相应像素的纹理坐标偏移值；基于所述第一目标图像中的相应像素的纹理坐标偏移值，对所述第一目标图像中的相应像素进行纹理坐标偏移处理。
15.可选地，所述另一处理单元可被配置为分别针对所述对象区域中的每个像素执行以下操作：确定所述对象区域中的像素在所述待处理图像中的颜色的红色通道值和绿色通道值；基于所述红色通道值和所述绿色通道值，确定所述第一目标图像中与所述像素相应的像素的纹理坐标偏移值，得到所述第一目标图像中的相应像素的纹理坐标偏移值。
16.可选地，所述颜色确定单元可被配置为：分别确定与所述对象区域中的每个像素对应的边界像素的颜色；基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色。
17.可选地，所述颜色确定单元可被配置为：将所述对象区域中的任一像素确定为目标像素；确定所述目标像素对应的边界像素的颜色的混合比例，得到所述目标像素对应的颜色混合比例；基于所述目标像素对应的颜色混合比例，将与所述目标像素对应的边界像素的颜色进行混合，得到所述目标像素的填充颜色。
18.根据本公开的示例性实施例，提供一种电子设备，包括：处理器；用于存储所述处
理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现根据本公开的示例性实施例的图像处理方法。
19.根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被电子设备的处理器执行时，使得电子设备执行根据本公开的示例性实施例的图像处理方法。
20.根据本公开的示例性实施例，提供一种计算机程序产品，包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的图像处理方法。
21.本公开的实施例提供的技术方案至少带来以下有益效果：
22.通过首先对人像中每个像素寻找其两侧最近背景像素颜色，预测背景填充后颜色，从而提高背景颜色填充效率；
23.根据人像颜色对纹理坐标进行偏移，结合均值模糊营造一种“透明人”效果，从而提高人像透明效果。
24.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
26.图1示出本公开的示例性实施例可以应用于其中的示例性系统架构。
27.图2示出根据本公开的一个示例性实施例的图像处理方法的流程图。
28.图3示出根据本公开的示例性实施例的待处理图像的示例。
29.图4示出根据本公开的示例性实施例的对象分割掩码图像的示例。
30.图5示出根据本公开的示例性实施例的颜色填充结果的示例。
31.图6示出根据本公开的另一示例性实施例的图像处理方法的流程图。
32.图7示出根据本公开的示例性实施例的处理结果的示例。
33.图8示出根据本公开的一个示例性实施例的图像处理装置的框图。
34.图9示出根据本公开的另一示例性实施例的图像处理装置的框图。
35.图10是根据本公开的示例性实施例的电子设备1000的框图。
具体实施方式
36.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
37.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
38.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b之中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二之中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
39.在相关技术中，通过神经网络等方法提取图像特征对人像进行填充，此类方法计算复杂度较高难以应用于视频特效等实时场景。
40.此外，在相关技术中，抠除人像后进行填充的方法生成的图像不具备立体感，难以体现人物表面凹凸质感，无法实现将人物变为透明玻璃的效果。
41.本公开提出一种方案，不需要使用神经网络等复杂方法提取图像语义特征，通过图形处理器(graphics processing unit，简称gpu)对人像区域颜色进行高效并行绘制，渲染效率可达到实时，满足视频特效等应用场景需求。
42.本公开提出一种方案，根据图像中人物颜色模拟了人物表面凹凸效果，使绘制的透明人像具有磨砂玻璃质感，从而实现的人像透明效果具备立体感。
43.下面，将参照图1至图10具体描述根据本公开的示例性实施例的图像处理方法及装置。
44.图1示出本公开的示例性实施例可以应用于其中的示例性系统架构100。
45.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息(例如，图像上传请求、图像处理请求)等。终端设备101、102、103上可以安装有各种图像应用，例如音视频播放软件、音视频录制软件、音视频处理软件、音视频编辑软件等。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是具有显示屏并且能够进行音视频播放、录制、编辑等的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中，其可以实现成多个软件或软件模块(例如，用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
46.终端设备101、102、103可以安装有图像采集装置(例如，摄像头)，以采集视频数据。实践中，组成视频的最小视觉单位是帧(frame)。每一帧是一幅静态的图像。将时间上连续的帧序列合成到一起便形成动态视频。此外，终端设备101、102、103也可以安装有用于将电信号转换为声音的组件(例如，扬声器)以播放声音，并且还可以安装有用于将模拟音频信号转换为数字音频信号的装置(例如，麦克风)以采集声音。
47.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上所安装的应用提供支持的后台服务器。后台服务器可以对所接收到的图像处理请求等数据进行解析、存储等处理，并且还可以接收终端设备101、102、103所发送的图像处理请求，并将处理结果反馈至终端设备101、102、103。
48.需要说明的是，服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可
以实现成多个软件或软件模块(例如，用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
49.需要说明的是，本公开实施例所提供的图像处理方法通常由终端设备执行，但是也可由服务器执行，或者也可以由终端设备和服务器协作执行。相应地，图像处理装置可设置在终端设备中、服务器中或者设置在终端设备和服务器两者中。
50.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器，本公开对此并无限制。
51.图2示出根据本公开的一个示例性实施例的图像处理方法的流程图。图3示出根据本公开的示例性实施例的待处理图像的示例。图4示出根据本公开的示例性实施例的对象分割掩码图像的示例。图5示出根据本公开的示例性实施例的颜色填充结果的示例。
52.参照图2，在步骤s201，根据待处理图像中的对象区域，确定所述对象区域对应的对象分割掩码图像。这里，所述对象分割掩码图像是从所述待处理图像抠除所述对象区域之外的区域得到的图像。
53.这里，对象区域中的对象可以是人，也可以是动物、植物等。例如，图3的待处理图像中的对象是人。如图4所示，在对象分割掩码图像中，对象区域正常显示，对象区域之外的区域为黑色。在背景图像中，对象区域为黑色，对象区域之外的区域正常显示。
54.在本公开的示例性实施例中，可使用任意的对象分割算法(或者图像分割算法)来分割待处理图像中的对象区域，本公开对此不进行限制。
55.在步骤s202，基于所述对象分割掩码图像确定所述对象区域的边界像素。例如，基于所述对象分割掩码图像确定所述对象区域的预设相对两侧的边界像素。
56.在本公开的示例性实施例中，在得到所述对象分割掩码图像之后，还可以基于所述对象分割掩码图像确定对象分割掩码纹理图。在对象分割掩码纹理图中，每个像素灰度表示对象分割算法预测待处理图像中该像素位置属于对象的概率。可基于对象分割掩码纹理图确定所述对象区域的边界像素(例如，预设相对两侧的边界像素)。
57.当对象区域中的对象是人时，对象分割掩码纹理图也称为人体分割掩码纹理图，对象区域也称为人像区域。
58.作为示例，在基于人体分割掩码纹理图m确定人像区域的预设相对两侧的边界像素时，对人体分割掩码纹理图m中灰度大于0的像素p，向左右分别寻找属于人像区域的最左侧像素p
left
和最右侧像素p
right
。具体步骤如下：
59.2.1创建开放图形库(open graphics library，简称opengl)着色器(shader1)用于渲染人像区域填充颜色估计结果。在着色器(shader1)中，分别对用户上传的待处理图像i和人体分割掩码图m根据当前纹理坐标进行采样。
60.2.2当步骤2.1得到的采样结果大于0时，将纹理坐标p分别向左右迭代平移，每次偏移并对人体分割掩码图m进行采样。
61.2.3重复步骤2.2，直到采样结果颜色值等于0时，得到精度范围在0.1内时当前人像区域最左侧像素和最右侧像素
62.2.4在步骤2.3得到的精度范围在0.1内时最左、右侧像素基础上，继续将纹理坐标p分别向左右迭代平移，每次偏移并对人体分割掩码图m进行采样，其中偏移步长s初
始值为0.05。
63.2.5当步骤2.4得到的采样结果大于0时，将纹理坐标p向左右偏移当采样结果等于0时，不对纹理坐标进行偏移。同时将偏移步长s缩小为原先的0.5倍。
64.2.6重复步骤2.4和步骤2.5，直到偏移步长s小于精度0.001。此时得到纹理坐标p即为人像最左侧像素p
left
和最右侧像素p
right
。
65.在步骤s203，基于所述边界像素，确定所述待处理图像中的所述对象区域的填充颜色。
66.在本公开的示例性实施例中，在基于所述边界像素确定所述待处理图像中的所述对象区域的填充颜色时，可首先分别确定与所述对象区域中的每个像素对应的边界像素的颜色，然后基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色。
67.在本公开的示例性实施例中，在基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色时，可首先将所述对象区域中的任一像素确定为目标像素，然后确定所述目标像素对应的边界像素的颜色的混合比例，得到所述目标像素对应的颜色混合比例，并且基于所述目标像素对应的颜色混合比例，将与所述目标像素对应的边界像素的颜色进行混合，得到所述目标像素的填充颜色。
68.作为示例，在着色器(shader1)中，对用户上传的待处理图像i在p
left
和p
right
分别进行采样，得到颜色值i
left
和i
right
。则人像区域最左侧和最右侧像素颜色混合比例为r。
[0069][0070]
根据混合比例混合人像区域最左侧和最右侧像素颜色，得到像素p处填充颜色为i
p
。
[0071]ip
＝i
left
·
(1-r)+i
right
·r[0072]
在步骤s204，基于所述填充颜色对所述待处理图像中的所述对象区域进行处理，得到第一目标图像。
[0073]
例如，使用上述着色器(shader1)对所述对象区域进行颜色填充(即，渲染)，绘制得到人像区域填充结果图o(例如，图5中的颜色填充结果)。
[0074]
图6示出根据本公开的另一示例性实施例的图像处理方法的流程图。图7示出根据本公开的示例性实施例的处理结果的示例。
[0075]
参照图6，在步骤s601，根据待处理图像中的对象区域，确定所述对象区域对应的对象分割掩码图像。这里，所述对象分割掩码图像是从所述待处理图像抠除所述对象区域之外的区域得到的图像。
[0076]
这里，对象区域中的对象可以是人，也可以是动物、植物等。例如，图3的待处理图像中的对象是人。
[0077]
在本公开的示例性实施例中，可使用任意的对象分割算法(或者图像分割算法)来分割待处理图像中的对象区域，本公开对此不进行限制。
[0078]
在步骤s602，基于所述对象分割掩码图像确定所述对象区域的边界像素。例如，基于所述对象分割掩码图像确定所述对象区域的预设相对两侧的边界像素。
[0079]
在本公开的示例性实施例中，在得到所述对象分割掩码图像之后，还可以基于所述对象分割掩码图像确定对象分割掩码纹理图。在对象分割掩码纹理图中，每个像素灰度表示对象分割算法预测待处理图像中该像素位置属于对象的概率。可基于对象分割掩码纹理图确定所述对象区域的边界像素(例如，预设相对两侧的边界像素)。
[0080]
当对象区域中的对象是人时，对象分割掩码纹理图也称为人体分割掩码纹理图，对象区域也称为人像区域。
[0081]
例如，在基于人体分割掩码纹理图m确定人像区域的预设相对两侧的边界像素时，可对人体分割掩码纹理图m中灰度大于0的像素p，向左右分别寻找属于人像区域的最左侧像素p
left
和最右侧像素p
right
。
[0082]
在步骤s603，基于所述边界像素，确定所述待处理图像中的所述对象区域的填充颜色。
[0083]
在本公开的示例性实施例中，在基于所述边界像素确定所述待处理图像中的所述对象区域的填充颜色时，可首先分别确定与所述对象区域中的每个像素对应的边界像素的颜色，然后基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色。
[0084]
在本公开的示例性实施例中，在基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色时，可首先将所述对象区域中的任一像素确定为目标像素，然后确定所述目标像素对应的边界像素的颜色的混合比例，得到所述目标像素对应的颜色混合比例，并且基于所述目标像素对应的颜色混合比例，将与所述目标像素对应的边界像素的颜色进行混合，得到所述目标像素的填充颜色。
[0085]
例如，在着色器(shader1)中，对用户上传的待处理图像i在p
left
和p
right
分别进行采样，得到颜色值i
left
和l
right
。则人像区域最左侧和最右侧像素颜色混合比例为r。
[0086][0087]
根据混合比例混合人像区域最左侧和最右侧像素颜色，得到像素p处填充颜色为i
p
。
[0088]ip
＝i
left
·
(1-r)+i
right
·r[0089]
在步骤s604，基于所述填充颜色对所述待处理图像中的所述对象区域进行处理，得到第一目标图像。
[0090]
例如，使用上述着色器(shader1)对所述对象区域进行渲染，绘制得到如图5所示的人像区域填充结果图o。
[0091]
在步骤s605，根据所述第一目标图像的纹理坐标，对所述第一目标图像进行均值模糊采样处理，得到均值模糊采样处理结果。
[0092]
在本公开的示例性实施例中，在根据所述第一目标图像的纹理坐标，对所述第一目标图像进行均值模糊采样处理，得到均值模糊采样处理结果时，可首先分别对所述第一目标图像的所述对象区域中的每个像素进行纹理坐标偏移处理，得到偏移后的纹理坐标，然后基于所述第一目标图像的偏移后的纹理坐标进行均值模糊采样处理，得到均值模糊采样处理结果。例如，在基于所述第一目标图像的偏移后的纹理坐标进行均值模糊采样处理时，可首先针对偏移后的纹理坐标每隔预设间隔进行采样，得到间隔采样结果，然后计算所
述间隔采样结果的均值，得到均值模糊采样处理结果。
[0093]
在本公开的示例性实施例中，在分别对所述第一目标图像的所述对象区域中的每个像素进行纹理坐标偏移处理时，可首先分别基于所述对象区域中的每个像素在所述待处理图像中的颜色，确定所述第一目标图像中的相应像素的纹理坐标偏移值，然后基于所述第一目标图像中的相应像素的纹理坐标偏移值，对所述第一目标图像中的相应像素进行纹理坐标偏移处理。
[0094]
在本公开的示例性实施例中，在分别基于所述对象区域中的每个像素在所述待处理图像中的颜色，确定所述第一目标图像中的相应像素的纹理坐标偏移值时，可分别针对所述对象区域中的每个像素执行以下操作：首先确定所述对象区域中的像素在所述待处理图像中的颜色的红色通道值和绿色通道值，然后基于所述红色通道值和所述绿色通道值，确定所述第一目标图像中与所述像素相应的像素的纹理坐标偏移值，得到所述第一目标图像中的相应像素的纹理坐标偏移值。
[0095]
作为示例，对用户上传的待处理图像i，创建opengl着色器(shader2)用于绘制人像透明效果。在着色器(shader2)中，分别对用户上传的待处理图像i、人体分割掩码图m和人像区域填充结果图o根据当前纹理坐标进行采样。对人体分割掩码纹理图m中灰度大于0的像素p，根据像素p在用户上传的待处理图像i中的颜色i
p
，计算得到像素p在人像区域填充结果图o中的纹理坐标偏移值：δuv＝0.1
·
(i
p
.r，i
p
.g)。
[0096]
作为示例，在人像区域填充结果图o中的像素p偏移后的纹理坐标周围每隔90度进行一次采样，计算颜色均值o
′
p
。
[0097][0098]
在步骤s606，基于均值模糊采样处理结果对所述待处理图像中的所述对象区域进行处理，得到第二目标图像。
[0099]
使用上述采样颜色均值o
′
p
作为着色器shader2的处理(即，渲染)结果。对用户上传的待处理图像中的人体区域的每个像素使用上述着色器shader2进行处理(即，渲染)，绘制得到人像区域透明效果图(例如，图7中的处理结果)。
[0100]
以上已经结合图1至图7对根据本公开的示例性实施例的图像处理方法进行了描述。在下文中，将参照图8和图9对根据本公开的示例性实施例的图像处理装置及其单元进行描述。
[0101]
图8示出根据本公开的一个示例性实施例的图像处理装置的框图。
[0102]
参照图8，图像处理装置包括图像分割单元81、边界确定单元82、颜色确定单元83和图像处理单元84。
[0103]
图像分割单元81被配置为根据待处理图像中的对象区域，确定所述对象区域对应的对象分割掩码图像，其中，所述对象分割掩码图像是从所述待处理图像抠除所述对象区域之外的区域得到的图像。
[0104]
边界确定单元82被配置为基于所述对象分割掩码图像确定所述对象区域的边界像素。
[0105]
颜色确定单元83被配置为基于所述边界像素，确定所述待处理图像中的所述对象
区域的填充颜色。
[0106]
在本公开的示例性实施例中，所述颜色确定单元83可被配置为：分别确定与所述对象区域中的每个像素对应的边界像素的颜色；基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色。
[0107]
在本公开的示例性实施例中，所述颜色确定单元83可被配置为：将所述对象区域中的任一像素确定为目标像素；确定所述目标像素对应的边界像素的颜色的混合比例，得到所述目标像素对应的颜色混合比例；基于所述目标像素对应的颜色混合比例，将与所述目标像素对应的边界像素的颜色进行混合，得到所述目标像素的填充颜色。
[0108]
图像处理单元84被配置为基于所述填充颜色对所述待处理图像中的所述对象区域进行处理，得到第一目标图像。
[0109]
图9示出根据本公开的另一示例性实施例的图像处理装置的框图。
[0110]
参照图9，图像处理装置包括图像分割单元91、边界确定单元92、颜色确定单元93、图像处理单元94和另一处理单元95。
[0111]
图像分割单元91被配置为根据待处理图像中的对象区域，确定所述对象区域对应的对象分割掩码图像，其中，所述对象分割掩码图像是从所述待处理图像抠除所述对象区域之外的区域得到的图像。
[0112]
边界确定单元92被配置为基于所述对象分割掩码图像确定所述对象区域的边界像素。
[0113]
颜色确定单元93被配置为基于所述边界像素，确定所述待处理图像中的所述对象区域的填充颜色。
[0114]
在本公开的示例性实施例中，所述颜色确定单元93可被配置为：分别确定与所述对象区域中的每个像素对应的边界像素的颜色；基于所述对象区域中的每个像素对应的边界像素的颜色，确定所述对象区域中的每个像素的填充颜色。
[0115]
在本公开的示例性实施例中，所述颜色确定单元93可被配置为：将所述对象区域中的任一像素确定为目标像素；确定所述目标像素对应的边界像素的颜色的混合比例，得到所述目标像素对应的颜色混合比例；基于所述目标像素对应的颜色混合比例，将与所述目标像素对应的边界像素的颜色进行混合，得到所述目标像素的填充颜色。
[0116]
图像处理单元94被配置为基于所述填充颜色对所述待处理图像中的所述对象区域进行处理，得到第一目标图像。
[0117]
另一处理单元95被配置为根据所述第一目标图像的纹理坐标，对所述第一目标图像进行均值模糊采样处理，得到均值模糊采样处理结果，基于均值模糊采样处理结果对所述待处理图像中的所述对象区域进行处理，得到第二目标图像。
[0118]
在本公开的示例性实施例中，所述另一处理单元95可被配置为：分别对所述第一目标图像的所述对象区域中的每个像素进行纹理坐标偏移处理，得到偏移后的纹理坐标；基于所述第一目标图像的偏移后的纹理坐标进行均值模糊采样处理，得到均值模糊采样处理结果。
[0119]
在本公开的示例性实施例中，所述另一处理单元95可被配置为：分别基于所述对象区域中的每个像素在所述待处理图像中的颜色，确定所述第一目标图像中的相应像素的纹理坐标偏移值；基于所述第一目标图像中的相应像素的纹理坐标偏移值，对所述第一目
标图像中的相应像素进行纹理坐标偏移处理。
[0120]
在本公开的示例性实施例中，所述另一处理单元95可被配置为分别针对所述对象区域中的每个像素执行以下操作：确定所述对象区域中的像素在所述待处理图像中的颜色的红色通道值和绿色通道值；基于所述红色通道值和所述绿色通道值，确定所述第一目标图像中与所述像素相应的像素的纹理坐标偏移值，得到所述第一目标图像中的相应像素的纹理坐标偏移值。
[0121]
关于上述实施例中的装置，其中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0122]
以上已经结合图8和图9对根据本公开的示例性实施例的图像处理装置进行了描述。接下来，结合图10对根据本公开的示例性实施例的电子设备进行描述。
[0123]
图10是根据本公开的示例性实施例的电子设备1000的框图。
[0124]
参照图10，电子设备1000包括至少一个存储器1001和至少一个处理器1002，所述至少一个存储器1001中存储有计算机可执行指令集合，当计算机可执行指令集合被至少一个处理器1002执行时，执行根据本公开的示例性实施例的图像处理的方法。
[0125]
在本公开的示例性实施例中，电子设备1000可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备1000并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备1000还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0126]
在电子设备1000中，处理器1002可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0127]
处理器1002可运行存储在存储器1001中的指令或代码，其中，存储器1001还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
[0128]
存储器1001可与处理器1002集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器1001可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器1001和处理器1002可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器1002能够读取存储在存储器中的文件。
[0129]
此外，电子设备1000还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备1000的所有组件可经由总线和/或网络而彼此连接。
[0130]
根据本公开的示例性实施例，还提供一种包括指令的计算机可读存储介质，例如包括指令的存储器1001，上述指令可由装置1000的处理器1002执行以完成上述方法。可选地，计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0131]
根据本公开的示例性实施例，还可提供一种计算机程序产品，该计算机程序产品包括计算机程序/指令，当所述计算机程序/指令被处理器执行时，实现根据本公开的示例性实施例的图像处理的方法。
[0132]
以上已参照图1至图10描述了根据本公开的示例性实施例的图像处理方法及装置。然而，应该理解的是：图8和图9中所示的图像处理装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图10中所示的电子设备并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
[0133]
根据本公开的图像处理方法及装置，通过根据待处理图像中的对象区域，确定所述对象区域对应的对象分割掩码图像，其中，所述对象分割掩码图像是从所述待处理图像抠除所述对象区域之外的区域得到的图像，基于所述对象分割掩码图像确定所述对象区域的边界像素，基于所述边界像素，确定所述待处理图像中的所述对象区域的填充颜色，基于所述填充颜色对所述待处理图像中的所述对象区域进行渲染，得到第一目标图像，从而通过对图像中人像区域像素寻找其相对侧边界，并根据边界处背景颜色值估计将人像抠除后填充颜色，可提高背景颜色填充效率。
[0134]
此外，根据本公开的图像处理方法及装置，可根据人像颜色对纹理坐标进行偏移，结合均值模糊营造一种“透明人”效果，并且为透明人像添加磨砂玻璃质感，从而提高图像处理效果。
[0135]
此外，根据本公开的图像处理方法可在gpu中并行实现，计算过程高效可满足实时应用场景，生成图像精致具有磨砂玻璃立体质感。
[0136]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0137]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。