一种图像处理方法和相关装置与流程

1.本技术涉及数据处理技术领域，特别是涉及一种图像处理方法和相关装置。


背景技术：

2.随着社会科技的快速发展，人脸识别技术已经成为了一种应用广泛的智能生物识别技术，比如在安检、交通、刷脸支付等多个领域均有所应用。
3.人脸识别是基于人脸的面部特征信息进行身份识别的一种生物识别技术，通过采集包含有人脸的图像或者视频数据，根据相应的算法程序进行处理，从而对检测到的人脸进行识别的一系列的活动。目前，人脸识别主要包括基于彩色图等二维图像和基于深度图等三维图像的两种方法。由于深度图具有更为稳定的成像效果以及包含人脸的空间立体信息，因此基于深度图的人脸识别方法具有更好地识别效果。
4.然而，由于受限于深度图采集技术水平，所采集到的原始深度图像存在深度信息缺失的问题，导致利用原始深度图像进行人脸识别的效率较低。


技术实现要素：

5.为了解决上述技术问题，本技术提供了一种图像处理方法和相关装置，能够提高识别的效率。
6.本技术实施例公开了如下技术方案：
7.一方面，本技术实施例提供了一种图像处理方法，其特征在于，所述方法包括：
8.获取待识别对象对应的待定像素图像；所述待定像素图像是将所述待识别对象对应的原始深度图像在像素空间进行映射得到的；
9.确定所述待定像素图像中的空洞区域；
10.根据所述空洞区域的属性特征，确定所述空洞区域对应的目标填充核；
11.利用所述目标填充核对所述空洞区域进行空洞填充处理，得到目标像素图像。
12.另一方面，本技术实施例提供了一种图像处理装置，其特征在于，所述装置包括获取单元、确定单元和处理单元：
13.所述获取单元，用于获取待识别对象对应的待定像素图像；所述待定像素图像是将所述待识别对象对应的原始深度图像在像素空间进行映射得到的；
14.所述确定单元，用于确定所述待定像素图像中的空洞区域；
15.所述确定单元，还用于根据所述空洞区域的属性特征，确定所述空洞区域对应的目标填充核；
16.所述处理单元，用于利用所述目标填充核对所述空洞区域进行空洞填充处理，得到目标像素图像。
17.又一方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行以上方面所述的图像处理方法。
18.由上述技术方案可以看出，在对待识别对象进行识别时，可以首先获取对应的待
定像素图像，该待定像素图像是将原始深度图像在像素空间进行映射得到的，即为原始的像素图像。进而确定待定像素图像中的空洞区域，并根据空洞区域的属性特征，确定空洞区域对应的目标填充核，最后可以利用目标填充核对空洞区域进行空洞填充处理，得到目标像素图像。由于空洞区域的属性特征能够反映空洞区域的特点，故基于此确定的目标填充核是最适合于空洞区域的，使得通过空洞填充处理之后能够有效修复待定像素图像中的空洞区域。因此，目标像素图像相较于原始的待定像素图像，图像质量有所提高，后续可以直接利用目标像素图像对待识别对象进行识别，识别效率更高。
附图说明
19.为了更清楚地说明本技术实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本技术实施例提供的一种图像处理方法的流程图；
21.图2为本技术实施例提供的一种待定像素图像的示意图；
22.图3a为本技术实施例提供的一种菱形核的示意图；
23.图3b为本技术实施例提供的一种全一核的示意图；
24.图3c为本技术实施例提供的一种圆形核的示意图；
25.图3d为本技术实施例提供的一种上三角核的示意图；
26.图3e为本技术实施例提供的一种下三角核的示意图；
27.图4为本技术实施例提供的一种图像处理流程框图；
28.图5为本技术实施例提供的一种图像处理装置的结构图。
具体实施方式
29.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
30.由于深度图具有更为稳定的成像效果以及包含人脸的空间立体信息，因此基于深度图的人脸识别方法具有更好地识别效果。然而，由于受限于深度图采集技术水平，所采集到的原始深度图像存在深度信息缺失的问题，导致利用原始深度图像进行人脸识别的效率较低。因此在实际应用中，需将原始深度图像在像素空间进行映射得到像素图像，进而利用像素图像进行人脸识别。
31.然而，由于原始深度图像存在深度信息缺失的问题，导致映射得到的像素图像中存在空洞区域，从而造成人脸识别的效率较低。
32.为此，本技术提供了一种图像处理方法和相关装置，能够对待定像素图像中的空洞区域进行空洞填充处理，从而修复空洞区域，得到质量更高的目标像素图像以进行人脸识别，有利于提高识别效率。
33.本技术实施例所提供的图像处理方法可以通过计算机设备实施，该计算机设备可
以是终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术对此不做任何限制。
34.具体通过如下实施例进行说明：
35.图1为本技术实施例提供的一种图像处理方法的流程图，以服务器作为前述计算机设备为例进行说明，所述方法包括s101-s104：
36.s101：获取待识别对象对应的待定像素图像。
37.针对待识别对象，在进行人脸识别时，可以首先获取待识别对象对应的待定像素图像，该待定像素图像是将待识别对象对应的原始深度图像在像素空间进行映射得到的，即为原始的像素图像。其中，原始深度图像可以是在对待识别对象进行人脸识别时，利用深度相机采集到到的，深度相机比如可以是结构光传感器或飞行时间传感器。
38.s102：确定待定像素图像中的空洞区域。
39.由于原始深度图像中可能存在深度信息缺失的问题，这会使得映射得到的像素图像中存在空洞区域。空洞区域的存在使得待定像素图像的质量较差，无法准确反映待识别对象的人脸信息，用于人脸识别的效率也较低。故为了提高人脸识别的效率，可以首先确定待定像素图像中的空洞区域，以便进行后续的空洞填充处理等。为了便于理解空洞，本技术实施例提供的一种待定像素图像的示意图，具体可以参见图2所示，示出了部分空洞作为示例。
40.s103：根据空洞区域的属性特征，确定空洞区域对应的目标填充核。
41.s104：利用目标填充核对空洞区域进行空洞填充处理，得到目标像素图像。
42.在确定出空洞区域之后，可以根据空洞区域的属性特征，确定空洞区域对应的目标填充核。其中，空洞区域的属性特征能够反映空洞区域的特点，基于属性特征所确定与之对应的目标填充核是最适合于空洞区域的，该目标填充核能够用于对空洞区域进行空洞填充处理，以达到修复空洞区域的目的。
43.进而可以利用目标填充核对空洞区域进行空洞填充处理，对待定像素图像中存在的空洞区域进行修复，完成空洞填充处理之后，得到目标像素图像。基于此，通过空洞填充处理能够有效修复待定像素图像中的空洞区域。因此，目标像素图像相较于原始的待定像素图像，图像质量有所提高，后续可以直接利用目标像素图像对待识别对象进行识别，识别效率更高。
44.在实际应用中，空洞区域的属性特征可以空洞区域的形状特征、空洞区域的面积特征中至少一种。另外，待定像素图像中存在的空洞区域通常包括多个空洞区域，而不同的空洞区域的特点可能存在差异，为了便于理解，针对不同的属性特征以及存在多个空洞区域的情况，本技术实施例提供了以下实施方式作为示例：
45.在一种可能的实现方式中，当空洞区域的属性特征包括空洞区域的面积特征，空洞区域包括多个空洞区域时，s102的具体实施方式可以包括：首先可以对多个空洞区域进行面积特征提取，确定多个空洞区域的面积，进而可以根据多个空洞区域的面积大小，分别确定多个空洞区域对应的目标填充核。基于此，针对面积大小不同的各个空洞区域，均能够确定出与之对应的目标填充核。相应的，s103的具体实施方式可以包括：首先可以按照多个
空洞区域的面积从小到大对多个空洞区域进行排序，得到空洞序列，进而分别利用空洞序列中的每个空洞区域对应的目标填充核，依次对空洞序列中的多个空洞区域进行空洞填充处理，得到目标像素图像。基于此，能够从面积最小的空洞开始修复，依次叠加多次的空洞填充处理，完成对多个空洞区域的修复，能够提高面积较大的空洞的修复效果。
46.需要说明的是，如何根据空洞区域的面积大小确定对应的目标填充核的方式，本技术不做任何限定。
47.比如，在一种可能的实现方式中，可以通过设置预设面积阈值的方式确定，在具体实施时，可以首先将多个空洞区域中面积小于预设面积阈值的空洞区域作为第一空洞区域，将多个空洞区域中面积大于或等于预设面积阈值的空洞区域作为第二空洞区域。其中，预设面积阈值可以是判断空洞区域属于较小空洞或较大空洞的依据，基于此，能够将多个空洞区域筛分为第一空洞区域和第二空洞区域，第一空洞区域属于较小空洞，第二空洞区域数据较大空洞。进一步，可以将第一空洞区域对应的目标填充核确定为菱形核，将第二空洞区域对应的目标填充核确定为全一核。其中，菱形核更为适用于对较小空洞进行修复，全一核更为适用于对较大空洞进行修复。基于此，通过为较小空洞和较大空洞分别确定与之相匹配的目标填充核，有利于提高修复效果。
48.在实际应用中，考虑到较小空洞在修复时更容易受到空洞区域周边的像素值的影响，因此，利用菱形核对第一空洞区域进行空洞填充处理时，可以包括菱形核膨胀以及腐蚀操作两个过程，利用全一核对第二空洞区域进行空洞填充处理时，可以包括全一核膨胀这一个过程。基于此，针对较小空洞，增设腐蚀操作，去除空洞区域周围的噪声，从而降低较小空洞受到空洞区域周边的像素值的影响。
49.为了便于理解，本技术实施例提供了一种菱形核的示意图，具体可以参见图3a所示，示出了一种5*5的菱形核。同时，本技术实施例还提供了一种全一核的示意图，具体可以参见图3b所示，示出了一种5*5的全一核。需要说明的是，在实际应用中，各类填充核一般均为n*n结构，此处仅以n＝5为例，具体可以根据实际情况进行设置，本技术不做任何限定。
50.在又一种可能的实现方式中，当空洞区域的属性特征包括空洞区域的形状特征，空洞区域包括多个空洞区域，且多个空洞区域具有不同的形状时，s102的具体实施方式可以包括：首先对多个空洞区域进行形状特征提取，确定多个空洞区域对应的形状。进一步，可以获取预先构建的空洞形状与填充核的对应关系，并根据多个空洞区域的形状与对应关系，分别确定多个空洞区域对应的目标填充核。
51.其中，空洞形状与填充核的对应关系可以是预先构建好的，能够用于指示特定形状的空洞对应的最为适合的填充核。比如，常见的空洞形状有圆形、三角形、菱形、矩形等，相对应的，目标填充核可以为圆形核、三角核、菱形核、全一核等。因此，通过确定多个空洞区域对应的形状，并根据多个空洞区域的形状与上述对应关系，能够为不同形状的空洞区域确定对应的目标填充核，后续则可以直接利用对应形状的目标填充核进行空洞填充处理，有利于提高修复效果。
52.比如，当确定出多个空洞区域的形状包括圆形、三角形、菱形和矩形这四种形状时，对应的，可以将圆形的空洞区域的目标填充核设置为圆形核、将三角形的空洞区域的目标填充核设置为三角核、将菱形的空洞区域的目标填充核设置为菱形核、将矩形的空洞区域的目标填充核设置为矩形。基于此，各个形状的空洞区域的目标填充核均是形状与之匹
配的。其中，对于三角形，还可以分为上三角形和下三角形，相应的，三角核可以包括上三角核和下三角核。
53.为了便于理解，本技术实施例提供了一种圆形核的示意图，具体可以参见图3c所示，示出了一种5*5的圆形核。同时，本技术实施例还提供了一种上三角核的示意图，具体可以参见图3d所示，示出了一种5*5的上三角核，还提供了一种下三角核的示意图，具体可以参见图3e所示，示出了一种5*5的下三角核。需要说明的是，在实际应用中，各类填充核一般均为n*n结构，此处仅以n＝5为例，具体可以根据实际情况进行设置，本技术不做任何限定。
54.在实际应用中，空洞区域的属性特征包括空洞区域的形状特征之外，还可以同时包括面积特征，此种情况下，可以首先根据形状特征为多个空洞区域确定与之对应的目标填充核，进而，根据面积从小到大依次修复的方式进行空洞填充，从而提高修复效果。在具体实施时，可以首先按照多个空洞区域的面积从小到大对多个空洞区域进行排序，得到空洞序列，进而分别利用空洞序列中的每个空洞区域对应的目标填充核，依次对空洞序列中的多个空洞区域进行空洞填充处理，得到目标像素图像。此时利用的目标填充核是基于空洞区域的形状特征确定的。基于此，不仅能够基于形状特征确定形状与之相匹配的目标填充核，还可以基于空洞区域面积从小到大的方式依次对多个空洞区域进行空洞填充处理，能够提高修复效果。
55.在以上介绍的实施例中，针对待定像素图像，在进行空洞填充之前需要首先确定待定像素图像中的空洞区域。需要说明的是，针对如何确定待定像素图像中的空洞区域的方式，本技术不做任何限定。为了便于理解，本技术实施例提供了以下确定方式作为示例：
56.在一种可能的实现方式中，可以先对待定像素图像进行像素值反转处理，得到反转像素图像。在实际应用中，像素值反转处理具体可以是利用像素空间的最大值255减去待定像素图像中各个位置(各个像素点)对应的像素值，从而得到反转像素图像，基于此，有利于通过膨胀运算等空洞填充处理技术修复空洞。进而，可以根据反转像素图像对应的反转像素值确定反转像素图像中待填充区域作为空洞区域，以便进行后续的空洞填充处理。
57.可以理解的是，在经过像素反转处理这种具体实现方式中，s104具体可以包括：首先利用目标填充核对空洞区域进行空洞填充处理，对空洞区域进行修复，得到填充像素图像。进一步，对填充像素图像进行像素值反转处理，得到目标像素图像。其中，对填充像素图像进行像素值反转处理的具体处理也是利用像素空间的最大值255减去填充像素图像中每个位置对应的像素值，使得每个位置的像素值恢复到实际状态的像素值，最终得到目标像素图像。
58.为了进一步提高目标像素图像的质量，以便提高人脸识别的效率，在一种可能的实现方式中，还可以增设滤波处理，以实现去噪平滑，从而提高图像质量。在具体实施时，可以对完成空洞填充处理所得到的填充像素图像进行滤波处理，以达到对填充像素图像的去噪平滑处理，得到滤波像素图像，相较于填充像素图像具有更高的图像质量。进而，可以对滤波像素图像进行像素值反转处理即可得到目标像素图像，由此可以进一步提高目标像素图像的质量，有利于提高人脸识别的效率。
59.在实际应用中，可以采用滤波器完成上述的滤波处理。针对滤波器的选择，本技术不做任何限定。比如，在具体实施过程中，可以采用中值滤波器进行中值滤波处理，以去除噪点，采用高斯滤波器进行高斯滤波，以对局部表面进行平滑处理，基于此，通过中值滤波
器和高斯滤波器的组合，能够达到较好的去噪平滑效果。同样的，针对中值滤波器和高斯滤波器的选择，本技术不做任何限定。比如，中值滤波器可以是5*5核的中值滤波器，高斯滤波器也可以是5*5核的高斯滤波器。
60.最后，可以利用目标像素图像进行人脸识别，比如可以将待识别对象的目标像素图像与待识别对象的彩色图像进行合并，基于合并结果完成对待识别对象的人脸识别。基于此，通过对原始深度图像进行一系列预处理，能够提高图像质量，有利于提高后续人脸识别的效率。
61.由上述技术方案可以看出，在对待识别对象进行识别时，可以首先获取对应的待定像素图像，该待定像素图像是将原始深度图像在像素空间进行映射得到的，即为原始的像素图像。进而确定待定像素图像中的空洞区域，并根据空洞区域的属性特征，确定空洞区域对应的目标填充核，最后可以利用目标填充核对空洞区域进行空洞填充处理，得到目标像素图像。由于空洞区域的属性特征能够反映空洞区域的特点，故基于此确定的目标填充核是最适合于空洞区域的，使得通过空洞填充处理之后能够有效修复待定像素图像中的空洞区域。因此，目标像素图像相较于原始的待定像素图像，图像质量有所提高，后续可以直接利用目标像素图像对待识别对象进行识别，识别效率更高。
62.图4为本技术实施例提供的一种图像处理流程框图，具体的，在人脸识别过程中，针对待识别对象对应的原始深度图像，可以首先对原始深度图像进行像素映射处理得到待定像素图像，进而对待定像素图像进行像素值反转处理得到反转像素图像。然后可以对反转像素图像进行空洞填充处理，以修复空洞区域，得到填充像素图像，进而对填充像素图像进行中值滤波和高斯滤波，以达到去噪平滑的目的，得到滤波像素图像，最后对滤波像素图像进行像素值反转处理，使得每个位置的像素值恢复到实际状态的像素值，最终得到目标像素图像。其中，空洞个填充处理可以包括菱形核膨胀、腐蚀操作、全一核膨胀等，滤波处理可以包括中值滤波和高斯滤波两部分。最后，可以利用目标像素图像对待识别对象进行人脸识别。
63.可以理解的是，其基本对应于方法实施例，所以相关之处可以参见方法实施例的部分说明。
64.图5为本技术实施例提供的一种图像处理装置的结构图，所述装置包括所述装置包括获取单元501、确定单元502和处理单元503：
65.所述获取单元501，用于获取待识别对象对应的待定像素图像；所述待定像素图像是将所述待识别对象对应的原始深度图像在像素空间进行映射得到的；
66.所述确定单元502，用于确定所述待定像素图像中的空洞区域；
67.所述确定单元502，还用于根据所述空洞区域的属性特征，确定所述空洞区域对应的目标填充核；
68.所述处理单元503，用于利用所述目标填充核对所述空洞区域进行空洞填充处理，得到目标像素图像。
69.在一种可能的实现方式中，所述空洞区域的属性特征包括所述空洞区域的面积特征，所述空洞区域包括多个空洞区域，所述确定单元还用于：
70.对所述多个空洞区域进行面积特征提取，确定所述多个空洞区域的面积；
71.根据所述多个空洞区域的面积大小，分别确定所述多个空洞区域对应的所述目标
填充核；
72.所述处理单元还用于：
73.按照所述多个空洞区域的面积从小到大对所述多个空洞区域进行排序，得到空洞序列；
74.分别利用所述空洞序列中的每个空洞区域对应的目标填充核，依次对所述空洞序列中的多个空洞区域进行空洞填充处理，得到所述目标像素图像。
75.在一种可能的实现方式中，所述确定单元还用于：
76.将所述多个空洞区域中面积小于预设面积阈值的空洞区域作为第一空洞区域，将所述多个空洞区域中面积大于或等于所述预设面积阈值的空洞区域作为第二空洞区域；
77.将所述第一空洞区域对应的所述目标填充核确定为菱形核，将所述第二空洞区域对应的所述目标填充核确定为全一核。
78.在一种可能的实现方式中，所述空洞区域的属性特征包括所述空洞区域的形状特征，所述空洞区域包括多个空洞区域，所述多个空洞区域具有不同的形状，所述确定单元还用于：
79.对所述多个空洞区域进行形状特征提取，确定所述多个空洞区域对应的形状；
80.获取预先构建的空洞形状与填充核的对应关系；
81.根据所述多个空洞区域的形状与所述对应关系，分别确定所述多个空洞区域对应的所述目标填充核。
82.在一种可能的实现方式中，所述空洞区域的属性特征还包括所述空洞区域的面积特征，所述处理单元还用于：
83.按照所述多个空洞区域的面积从小到大对所述多个空洞区域进行排序，得到空洞序列；
84.分别利用所述空洞序列中的每个空洞区域对应的目标填充核，依次对所述空洞序列中的多个空洞区域进行空洞填充处理，得到所述目标像素图像。
85.在一种可能的实现方式中，所述确定单元还用于：
86.对所述待定像素图像进行像素值反转处理，得到反转像素图像；
87.根据所述反转像素图像对应的反转像素值确定所述反转像素图像中待填充区域作为所述空洞区域。
88.在一种可能的实现方式中，所述处理单元还用于：
89.利用所述目标填充核对所述空洞区域进行空洞填充处理，得到填充像素图像；
90.对所述填充像素图像进行所述像素值反转处理，得到所述目标像素图像。
91.在一种可能的实现方式中，所述处理单元还用于：
92.对所述填充像素图像进行滤波处理，得到滤波像素图像；
93.对所述滤波像素图像进行所述像素值反转处理，得到所述目标像素图像。
94.由上述技术方案可以看出，在对待识别对象进行识别时，可以首先获取对应的待定像素图像，该待定像素图像是将原始深度图像在像素空间进行映射得到的，即为原始的像素图像。进而确定待定像素图像中的空洞区域，并根据空洞区域的属性特征，确定空洞区域对应的目标填充核，最后可以利用目标填充核对空洞区域进行空洞填充处理，得到目标像素图像。由于空洞区域的属性特征能够反映空洞区域的特点，故基于此确定的目标填充
核是最适合于空洞区域的，使得通过空洞填充处理之后能够有效修复待定像素图像中的空洞区域。因此，目标像素图像相较于原始的待定像素图像，图像质量有所提高，后续可以直接利用目标像素图像对待识别对象进行识别，识别效率更高。
95.又一方面，本技术实施例还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序用于执行上述实施例提供的图像处理方法。
96.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：rom)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
97.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
98.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
99.以上对本技术实施例提供的一种图像处理方法和相关装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法。同时，对于本领域的一般技术人员，依据本技术的方法，在具体实施方式及应用范围上均会有改变之处。
100.综上所述，本说明书内容不应理解为对本技术的限制，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。而且本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。