图像处理方法、装置、电子设备及计算机可读存储介质与流程

本申请涉及影像，具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。

背景技术：

1、在影像技术领域中，经常遇到需要对图像的前景及背景进行区分的图像识别问题，例如，在对人像图像进行美颜处理前需要先识别前景人像区域，再对前景人像区域进行美颜处理，又例如，在对图像进行虚化处理前通常需要先识别出图像的背景区域，再对背景区域进行虚化处理等。目前，对图像的前景区域进行识别还存在优化需求。

技术实现思路

1、本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质，能够提高对图像的前景区域的识别准确性，且适配性更强。

2、本申请实施例公开了一种图像处理方法，包括：

3、通过图像采集装置获取待处理图像及与所述待处理图像对应的第一深度图像，所述第一深度图像用于描述所述待处理图像的深度信息；

4、根据所述待处理图像及第一深度图像，生成与目标风格匹配的第二深度图像；通过不同深度估计方式得到的深度图像对应不同的风格；

5、通过训练得到的前景识别模型对所述待处理图像及所述第二深度图进行处理，得到前景识别结果，所述前景识别结果用于描述所述待处理图像中的前景区域的图像位置；其中，所述前景识别模型是根据训练数据集训练得到的，所述训练数据集包括多帧样本图像、每帧所述样本图像对应的样本深度图像及每帧所述样本图像对应的标注前景结果，所述样本深度图像的风格为所述目标风格。

6、本申请实施例公开了一种图像处理装置，包括：

7、图像获取模块，用于通过图像采集装置获取待处理图像及与所述待处理图像对应的第一深度图像，所述第一深度图像用于描述所述待处理图像的深度信息；

8、风格自适应模块，用于根据所述待处理图像及第一深度图像，生成与目标风格匹配的第二深度图像；通过不同深度估计方式得到的深度图像对应不同的风格；

9、前景识别模块，用于通过训练得到的前景识别模型对所述待处理图像及所述第二深度图进行处理，得到前景识别结果，所述前景识别结果用于描述所述待处理图像中的前景区域；其中，所述前景识别模型是根据训练数据集训练得到的，所述训练数据集包括多帧样本图像、每帧所述样本图像对应的样本深度图像及每帧所述样本图像对应的标注前景结果，所述样本深度图像的风格为所述目标风格。

10、本申请实施例公开了一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上所述的方法。

11、本申请实施例公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。

12、本申请实施例提供的图像处理方法、装置、电子设备及计算机可读存储介质，通过图像采集装置获取待处理图像及与待处理图像对应的第一深度图像，该第一深度图像用于描述待处理图像的深度信息，根据待处理图像及第一深度图像，生成与目标风格匹配的第二深度图像，再通过训练得到的前景识别模型对待处理图像及第二深度图进行处理，得到前景识别结果。在本申请实施例中，在前景识别模型对待处理图像进行前景识别时，结合深度信息能够更好地估计待处理图像的语义信息，解决了相关技术中的神经网络的语义估计能力不足的问题和对未见物体泛化性能不足的问题，提高了对图像的前景区域的识别准确性；而且对于通过图像采集装置获取的第一深度图像，都转化为与样本深度图像的风格统一的第二深度图像，使得第二深度图像适用于前景识别模型，提高了前景识别模型的适配能力，扩大了应用场景。

技术特征：

1.一种图像处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理图像及第一深度图像，生成与目标风格匹配的第二深度图像，包括：

3.根据权利要求2所述的方法，其特征在于，所述第一深度图像包括所述待处理图像中各个像素点对应的深度值；所述根据所述第一深度图像确定约束条件，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述根据所述约束条件及所述深度估计结果生成第二深度图像，包括：

5.根据权利要求1～3任一所述的方法，其特征在于，所述前景识别结果包括前景掩膜；在所述得到前景识别结果之后，所述方法还包括：

6.根据权利要求5所述的方法，其特征在于，所述对所述前景掩膜进行连通域检测，并根据检测结果去除所述前景掩膜的图像噪声，包括：

7.根据权利要求1～3任一所述的方法，其特征在于，所述前景识别模型是通过以下步骤训练得到的：

8.根据权利要求7所述的方法，其特征在于，所述预测前景识别结果包括第一前景掩膜、第二前景掩膜及第三前景掩膜，其中，所述第一前景掩膜的精度小于所述第二前景掩膜的精度，所述第二前景掩膜的精度小于所述第三前景掩膜的精度；

9.根据权利要求8所述的方法，其特征在于，所述第一前景掩膜为第一图像尺寸，所述第二前景掩膜、所述第三前景掩膜及所述当前帧样本图像均为第二图像尺寸，所述第一图像尺寸小于所述第二图像尺寸；

10.根据权利要求8或9所述的方法，其特征在于，在所述根据所述目标损失更新所述待训练的前景识别模型的参数之后，所述方法还包括：

11.一种图像处理装置，其特征在于，包括：

12.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至10任一所述的方法。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一所述的方法。

技术总结
本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质。该方法，包括：通过图像采集装置获取待处理图像及与待处理图像对应的第一深度图像；根据待处理图像及第一深度图像，生成与目标风格匹配的第二深度图像；通过训练得到的前景识别模型对待处理图像及第二深度图进行处理，得到前景识别结果；其中，前景识别模型是根据训练数据集训练得到的，训练数据集包括多帧样本图像、每帧所述样本图像对应的样本深度图像及每帧所述样本图像对应的标注前景结果，所述样本深度图像的风格为所述目标风格。上述的图像处理方法、装置、电子设备及计算机可读存储介质，能够提高对图像的前景区域的识别准确性，且适配性更强。

技术研发人员：高跃,刘欣爽,吕乔,戴向东,王顺飞
受保护的技术使用者：OPPO广东移动通信有限公司
技术研发日：
技术公布日：2024/1/12