一种层次化监督由粗到细的人像抠图方法

本发明属于深度学习、计算机视觉等，涉及一种通过层次化监督的网络由粗到细逐渐完成人像抠图方法。

背景技术：

1、图像抠图是准确估计图像或视频中前景对象的过程。它通常被描述为一个病态问题，因为对于给定的图像i，图像抠图需要估计它的每个像素的前景不透明度alpha，同时将图像i分解为前景f与背景b。人像抠图是指从自然图像中提取出高质量人体，是图像抠图的重要组成部分，自动人像抠图技术是近些年研究的热点，其输入为一张人像，而不需要输入任何其他的辅助信息，在图像视频的编辑应用过程中起着重要的作用，如证件照的生成，直播或者线上议会时换背景。而近年来随着疫情的发展，人们对于线上会议的需求越来越高，而为了隐私保护，当人们打开摄像头的时候，也往往会选择更换背景，避免背景所带来的干扰。

2、现有的人像抠图技术可以分为基于三分图等辅助信息的与不需要任何辅助信息的两类。基于三分图等辅助信息的人像抠图，需要人们抠图的时候输入一些额外的辅助信息，辅助模型抠图，但实际应用过程中所需的额外辅助信息往往难以获得，或者获取的额外辅助信息质量较差影响最后的抠图质量。不需要任何辅助信息的自动抠图模型可以分为多阶段的与多分支的两类，对于多阶段抠图模型，第一阶段通过人像分割网络得到人像粗分割结果，作为第二阶段的辅助信息使用，第二个阶段则通过抠图网络进行人像抠图得到人像抠图结果，多阶段抠图模型存在的问题是误差累积，第一阶段的误差会累积到第二阶段导致最后抠图结果较差。多分支的抠图模型，一个分支专注于人像的粗分割，另一个分支专注于细节纹理特征提取，最后将两个分支进行融合得到人像抠图结果，多分支抠图模型存在的问题是不同分支之间交互较少，不同子任务难以相互促进，模型抠图效率较低。

3、本发明提出了一种通过层次化监督网络由粗到细逐渐完成人像抠图的方法，利用编解码器结构，输入图像首先经过一个编码器提取不同尺度的特征，然后在解码器向上传播的过程中，不断融合不同尺度的底层特征，同时在解码器最顶层，本发明利用三分图进行人像粗分割的监督，在解码器的中间层，本发明利用均方差损失对边缘细节进行监督，而在解码器的最底层，本发明利用均方差损失与组合损失对最后抠图结果进行监督，引导网络由粗到细逐渐抠图。

技术实现思路

1、本发明针对于现有人像抠图模型存在效率低，且难以在复杂背景下获得较高准确度等问题，提出了一种通过层次化监督网络由粗到细逐渐完成人像抠图的方法，该方法充分利用一个编解码器结构的网络，通过编码器提取不同尺度的特征，然后利用解码器进行解码，特征在向上传播的过程中，不断的融合底层细节纹理特征，同时对于不同层利用不同的损失函数进行监督引导，由粗到细的完成人像抠图。实验结果表明，本发明的方法在参数量与计算量都较小的情况下，能够得到与目前前沿的方法相当的准确度，证明了本方法具有较高的效率。

2、为了实现这个目标，本发明的技术方案是：首先利用一个经典的分类网络，去除网络的分类头，将该卷积神经网络作为编码器，提取不同尺度的特征。然后将提取的最顶层的特征经过一个aspp模块，增强其多尺度特征，提高语义分割的精度。对于底层与中间层特征通过两层卷积进行增强。再通过解码器进行解码，解码器由基本的残差模块组成，最顶层的特征通过解码器一步一步向上传播，在传播的过程中不断融合底层的特征补充细节纹理信息，提高边缘预测的精度；最后对解码器解码的过程中，不同层得到的特征进行不同的监督，对于最顶层特征，利用三分图进行语义分割监督，获得一个人像粗分割结果，引导网络对人像进行定位；对中间层特征，利用均方差损失对边缘细节进行监督，获取一个精准的边缘，引导网络精细化人像边缘；对网络最后预测的结果，利用均方差损失与组合损失对整张图像进行监督，获得最终的人像抠图结果。整个网络由粗到细一步步获得最终的抠图结果。

3、与现有的技术相比，本发明具有以下优点：利用一个编解码器结构，结构简单，通过对不同层进行不同监督引导，由粗到细的获得最终的抠图结果，在参数量与计算量的情况较小的情况下，达到了与目前前沿网络相当的结果，拥有较高的准确度。

技术特征：

1.一种层次化监督由粗到细的人像抠图方法，其特征在于：

技术总结
本发明涉及一种层次化监督由粗到细的人像抠图方法。该方法通过一个编解码器结构网络，利用编码器不同层提取不同尺度的特征，将不同层的特征通过卷积模块进行增强，然后解码器进行解码，特征向上传播的过程中不断融合底层特征。对于最顶层的特征，利用人像三分图损失监督，引导网络获得一个粗分割人像；对网络中间层获得的特征，利用边缘细节损失监督，引导网络获得精细的边缘；在网络的最底层，此时的细节纹理信息最为丰富，利用均方差损失与组合损失监督，引导网络获得一个完整精细的人像。整个过程通过层层引导由粗到细的进行人像抠图，与现有的前沿方法相比，本发明在计算量与参数量较小情况下，可以取得与前沿方法相当的结果，拥有更高的计算效率。

技术研发人员：马伟,阳文兵
受保护的技术使用者：北京工业大学
技术研发日：
技术公布日：2024/1/13