一种基于小样本学习的抠图精修方法及系统与流程

本发明涉及一种基于小样本学习的抠图精修方法及系统，属于计算机视觉及图像处理。

背景技术：

1、抠图技术在物流跟踪、库存管理和商品分类等任务中扮演着关键角色，通过抠图技术，可以对物流包装和快递中的物品进行准确的识别和分类，帮助实现自动化的物流跟踪和库存管理。抠图技术还能够将不同物品或产品从背景中分离出来，使其更加突出和清晰，提供更好的视觉效果和信息传递。因此，抠图方法在涉及物流包装、快递、烟箱等任务时对提高工作效率和准确性有着极大的帮助。

2、然而，传统的抠图方法依赖于不易获取的alpha图像数据，这就存在一些问题：首先，获取准确的alpha图像数据需要耗费大量的时间和人力资源；其次，手工标注alpha图像需要细致的轮廓绘制和像素级别的分割，这对于大规模图像数据集来说是一项巨大的挑战。

3、综上所述，传统的抠图方法依赖不易获取的alpha图像数据限制了抠图算法的可行性和效果，增加了数据获取和处理的成本，并降低了抠图结果的准确性和真实感。

技术实现思路

1、本发明的目的在于克服现有技术中的不足，提供一种基于小样本学习的抠图精修方法及系统，使用少量的alpha图像数据训练即可达到较好的抠图效果。

2、为达到上述目的，本发明是采用下述技术方案实现的：

3、一方面，本发明提供一种基于小样本学习的抠图精修方法，包括以下步骤：

4、采集各拍摄角度下的三通道图像数据。

5、对三通道图像数据进行预处理，得到预处理后的三通道图像数据。

6、将预处理后的三通道图像数据输入边缘检测模块，输出得到边缘图像。

7、将预处理后的三通道图像数据输入编码解码模块及其辅助通道，分别输出得到特征图像以及辅助特征图像。

8、将边缘图像、特征图像以及辅助特征图像堆叠成一个通道数量为三个图像的通道数量总和的总特征图。

9、将总特征图输入融合模块，输出得到预测的alpha图像数据。

10、根据预测的alpha图像数据，从三通道图像数据中分割出前景对象，作为前景图像。

11、利用均值滤波对前景图像进行精修，得到抠图精修后的图像。

12、进一步的，所述预处理包括标准化处理和中值滤波处理，其中，所述标准化处理的表达式为：

13、

14、其中，x*为经标准化处理后的三通道图像数据样本，x为标准化处理前的三通道图像数据样本，μ为三通道图像数据样本的像素平均值，σ为三通道图像数据样本的像素标准差。

15、所述中值滤波处理包括：

16、在三通道图像边缘添加像素行和像素列，所述像素行和像素列通过复制三通道图像数据边部的像素得到。

17、对三通道图像数据中的每个像素点，以其为中心，取滤波器的3×3尺寸的窗口内的所有像素点的像素值，得到九个像素点的像素值。

18、对九个像素点的像素值进行大小排序，取中间值为中值，并将中值作为当前像素点的像素值。

19、进一步的，将预处理后的三通道图像数据输入边缘检测模块，输出得到边缘图像，包括：

20、将预处理后的三通道图像数据进行连续三次的下采样卷积操作，得到特征图c1。

21、将特征图c1转化为灰度图，并对其进行图像数据像素值加权取和，得到灰度图c2。

22、对灰度图c2进行高斯滤波处理后进行边缘检测，得到边缘图c3。

23、对边缘图c3进行连续三次的上采样卷积操作，将其恢复至和预处理后的三通道图像数据相同的尺寸大小，输出得到边缘图像。

24、进一步的，对高斯滤波处理后的灰度图c2进行边缘检测，得到边缘图c3，包括：

25、计算高斯滤波处理后的灰度图c2中每个像素点的梯度幅值和梯度方向。

26、对每个像素点的梯度幅值以及在其梯度方向上相邻的两个像素点的梯度幅值三者进行比较。

27、若像素点的梯度幅值为三个像素点中最大的，则保留其梯度幅值，否则将其梯度幅值抑制为零。

28、设定两个阈值，分别为低阈值和高阈值。

29、将每个像素点的梯度幅值与两个阈值进行比较：

30、若像素点的梯度幅值大于高阈值，则该像素点为强边缘点，保留其梯度幅值。

31、若像素点的梯度幅值小于低阈值，则该像素点为非边缘点，将其梯度幅值抑制为零。

32、若像素点的梯度幅值位于高阈值和低阈值之间，且其梯度方向上相邻的两个像素点中有强边缘点，则该像素点为强边缘点，保留其梯度幅值。

33、若像素点的梯度幅值位于高阈值和低阈值之间，且其梯度方向上相邻的两个像素点中没有强边缘点，该像素点为非边缘点，将其梯度幅值抑制为零。

34、将强边缘点依次连接得到边缘图c3。

35、进一步的，所述边缘检测模块的训练方法，包括：

36、取部分预处理后的三通道图像数据作为训练集数据。

37、将训练集数据及其对应的二值图像输入边缘检测模块，输出得到边缘图像，其中，所述二值图像通过标注工具获得。

38、计算边缘图像中每个像素点的像素值和其对应的标签值之间的交叉熵，得边缘图像及其对应的二值图像的二元交叉熵损失，其表达式如下：

39、

40、其中，bce(y,p)为边缘图像及其对应的二值图像的二元交叉熵损失，n为边缘图像中像素点的个数，yi为第i个像素点的标签值，pi为第i个像素点的像素值。

41、直至计算出的二元交叉熵损失低于设定的阈值，训练完成，得训练好的边缘检测模块。

42、进一步的，所述边缘图像中处于边缘位置的像素点的标签值为1，其余位置的像素点的标签值为0。

43、进一步的，将预处理后的三通道图像数据输入编码解码模块及其辅助通道，分别输出得到特征图像以及辅助特征图像，包括：

44、a、对预处理后的三通道图像数据进行连续四次的下采样卷积操作，依次得到特征图di，其中，i依次取1、2、3、4。

45、b、对特征图di进行连续四次的上采样卷积操作，依次得到特征图ej，取e1作为特征图像，其中，j依次取4、3、2、1。

46、c、将特征图d4、e4采用逐像素位置取平均值法叠加成一个特征图。

47、d、对叠加得到的特征图进行一次上采样卷积操作及一次降低其通道数量的卷积层处理，得到与前一次操作得到的特征图di、ej尺寸大小和通道数量相同的特征图。

48、e、将步骤d所得特征图、前一次操作得到的特征图di、ej三者采用逐像素位置取平均值法叠加成一个特征图，重复步骤d～e，直至i为1，j为4时，得到辅助特征图像m。

49、进一步的，所述融合模块的训练方法，包括：

50、取部分预处理后的三通道图像数据作为训练集数据。

51、采集训练集数据所对应的单通道alpha图像数据。

52、将单通道alpha图像数据复制成三通道alpha图像数据，并将训练集数据与其对应的三通道alpha图像数据叠加，得到叠加后的训练集数据。

53、将叠加后的训练集数据输入融合模块，输出得到预测的alpha图像数据。

54、计算训练集数据经边缘检测模块输出的边缘图像与其对应的单通道alpha图像数据的欧氏距离，将其作为损失函数，表达式如下：

55、

56、其中，d(p,q)为训练集数据经边缘检测模块输出的边缘图像与其对应的单通道alpha图像数据的欧氏距离，n为图像的像素点个数，pi为预测的alpha图像数据中第i个像素点的像素值，qi为训练集数据所对应的单通道alpha图像数据中第i个像素点的像素值。

57、直至计算出的欧氏距离低于设定的阈值，训练完成，得训练好的融合模块。

58、进一步的，利用均值滤波对前景图像进行精修，得到抠图精修后的图像，包括：

59、在前景图像边缘添加像素行和像素列，所述像素行和像素列通过复制景图像数据边部的像素得到。

60、对前景图像数据中的每个像素点，以其为中心，取滤波器的3×3尺寸的窗口内的所有像素点的像素值，得到九个像素点的像素值。

61、取九个像素点的像素平均值，并将像素平均值作为当前像素点的像素值。

62、另一方面，本技术还提供一种基于小样本学习的抠图精修系统，用于实现上述任一项所述的基于小样本学习的抠图精修系统，其包括边缘检测模块、编码解码模块、融合模块和抠图精修模块。

63、所述边缘检测模块用于对预处理后的三通道图像数据进行处理得到边缘图像，其依次包括三个下采样卷积块、高斯滤波处理单元、边缘检测单元、三个上采样卷积块，所述下采样卷积块由步幅为2的卷积层和激活函数层组成，所述上采样卷积块由转置卷积层和激活函数层组成。

64、所述编码解码模块用于对预处理后的三通道图像数据进行处理得到特征图像，其包括编码器单元和解码器单元。

65、所述编码器单元用于对预处理后的三通道图像数据进行特征提取，得到特征图像，其由四个串联的下采样卷积块组成，每个下采样卷积块由依次设置的步幅为1的卷积层、孔洞率为2的空洞卷积层、步幅为2的卷积层、卷积核个数为该下采样卷积块的输入特征图像通道数量两倍的卷积层串联组成，其中，第一个卷积块中最后一层卷积层的卷积核个数为16。

66、所述解码器单元用于将编码器所得到的特征图像恢复至和输入的预处理后的三通道图像数据相同的大小尺寸，其由四个的上采样卷积块组成，每个上采样卷积块由依次设置的转置卷积层、激活函数层、卷积核个数为该上采样卷积的输入特征图像通道数量一般的卷积层串联组成。

67、所述融合模块用于对总特征图进行处理得到预测的alpha图像数据，其由三个串联的卷积块组成，每个卷积块由依次设置的空洞率为2的空洞卷积层和降低图像通道数据的卷积层组成。

68、所述抠图精修模块用于根据预测的alpha图像数据从三通道图像数据中分割出前景对象作为前景图像，并利用均值滤波对前景图像进行精修，得到抠图精修后的图像。

69、可选的，所述编码解码模块还设有辅助通道，所述辅助通道用于对编码解码模块所得特征图像进行处理得到辅助特征图，其包括依次设置的特征图叠加单元、上采样卷积层和降低图像通道数量的卷积层。

70、与现有技术相比，本发明所达到的有益效果：

71、本发明使用小样本学习的方法，通过使用容易获取的三通道图像以及少量的单通道的alpha图像数据对边缘检测模块和融合模块进行预训练，在训练完成后，在实施阶段，不再需要使用到alpha图像数据，实现了在使用少量alpha数据训练抠图精修系统是也能使其达到较好的抠图效果，节省了因为获取alpha图像数据所耗费的大量人力。