一种特殊服饰图片转化方法、终端设备及存储介质与流程

[0001]
本发明涉及图像处理领域，尤其涉及一种特殊服饰图片转化方法、终端设备及存储介质。


背景技术：

[0002]
尽管采用卷积神经网络的特殊服装识别方法已经得到显着提升，但使用从互联网下载的简单场景的图片来训练网络模型，在复杂的场景中随着光照、视角和服装形状的变化，特殊服装识别精度受到一定挑战。


技术实现要素：

[0003]
为了解决上述问题，本发明提出了一种特殊服饰图片转化方法、终端设备及存储介质。
[0004]
具体方案如下：
[0005]
一种特殊服饰图片转化方法，包括以下步骤：
[0006]
s1：采集包含特殊服饰的图片组成训练集；
[0007]
s2：对训练集中各图片的特殊服饰的区域进行实例分割，提取实例分割后的特殊服饰区域图片；
[0008]
s3：对实例分割后的特殊服饰区域图片进行高斯平滑处理；
[0009]
s4：将高斯平滑处理后的每一张图片与训练集中对应的原始图片进行哈达玛积运算；
[0010]
s5：将哈达玛积运算后的图片进行颜色变化，将颜色变换后的图片与训练集中对应的原始图片进行图像叠加操作；
[0011]
s6：将所有叠加后的图片作为自编码网络的输入，对自编码网络进行训练，使得自编码网络输出的图片训练集中对应的原始图片的差异最小；
[0012]
s7：通过训练后的自编码网络对待识别特殊服饰的图片进行转化后，再进行特殊服饰的识别。
[0013]
进一步的，实例分割具体包括以下步骤：
[0014]
s21：对图片进行特殊服饰区域弱定位；
[0015]
s22：通过图像语义分割算法对图像中的人体区域进行语义分割；
[0016]
s23：将弱定位区域与语义分割区域进行交并比iou计算，当iou大于阈值时，判定语义分割区域为待提取的特殊服饰区域图片。
[0017]
进一步的，弱定位采用生成类激活图cam技术进行。
[0018]
进一步的，iou计算公式为：
[0019][0020]
其中，u1为弱定位区域，u2为语义分割区域。
[0021]
进一步的，颜色变换包括变换光照、对比度或色调。
[0022]
进一步的，图像叠加操作的具体公式为：
[0023]
i
add
＝i
c
*i
mask
+i
s
(1-i
mask
)
[0024]
其中，i
add
为叠加后的图片，i
c
为颜色变换后的图片，i
mask
为实例分割图片，i
s
为训练集中对应的原始图片。
[0025]
进一步的，自编码网络的损失函数为l2损失函数。
[0026]
一种特殊服饰图片转化终端设备，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例上述的方法的步骤。
[0027]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述的方法的步骤。
[0028]
本发明采用如上技术方案，通过训练自编码网络来避免图片的光照、对比度或色调等颜色变换对图片内特殊服饰的识别的影响，提升特殊服装识别的整体识别率。
附图说明
[0029]
图1所示为本发明实施例一的流程图。
[0030]
图2所示为该实施例中自编码网络的网络结构示意图。
具体实施方式
[0031]
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。
[0032]
现结合附图和具体实施方式对本发明进一步说明。
[0033]
实施例一：
[0034]
本发明实施例提供了一种特殊服饰图片转化方法，如图1所示，所述方法包括以下步骤：
[0035]
s1：采集包含特殊服饰的图片组成训练集。
[0036]
该实施例中，从互联网上收集10000张不同场景和不同类别的特殊服装图片，特殊服装有如下类别：军警服装有陆军、空军、海军、火箭军服装和公安服，以及宗教服装、政府特有服装等。
[0037]
s2：对训练集中各图片的特殊服饰的区域进行实例分割，提取实例分割后的特殊服饰区域图片。
[0038]
由于实例分割人工进行像素级标注是极大的工作量，虽然可以通过人工标注服装边界，边界包围区域即可认为服装所在区域，但人体姿态不一，躯干和四肢标注也花费大量时间。为了缓解人工标注问题，在人体语义分割算法的基础上，结合目标弱定位方法，可以快速解决像素级语义标注问题。
[0039]
该实施例中，实例分割具体包括以下步骤：
[0040]
s21：对图片进行特殊服饰区域弱定位。
[0041]
所谓的弱定位，就是通过图像层面的标签对图像中的特殊服装进行定位，与目标
检测不同的是，目标检测网络需要标注特殊服装位置信息，而弱定位方法只要标注图像的类别。
[0042]
该实施例中采用生成类激活图cam技术进行弱定位。cam技术为网络的大部分都是卷积层，只在输出层前(用于分类的softmax)使用平均池化层，并将平均池化层的输出作为得出分类的全连接层的输入特征。通过这种简单的连接结构，可以把图片中的重要区域用输出层权重映射回卷积层特征的方式标记出来。全局平均池化层输出最后一个卷积层的每个单元的特征图的平均值，这些值的加权总和用于生成最后的输出。也可以说，通过计算最后一个卷积层特征图的加权总和来获得cam，cam凸显了服装显著性区域。
[0043]
假设经过全局平均池化后的特征图谱用m1,m2,
…
m
n
表示，则cam后的图层由下公式计算：
[0044]
cam＝w1*m1+w2*m2+
…
+w
n
*m
n
[0045]
s22：通过图像语义分割算法对图像中的人体区域进行语义分割。
[0046]
由于开源图像实例分割算法中没有单独将特殊服装作为输出类别，因此，本实施例中优先考虑身穿特殊服装的人体作为输出类别，通过使用图像语义分割算法将人体区域分割出来。
[0047]
s23：将弱定位区域与语义分割区域进行交并比iou计算，当iou大于阈值时，判定语义分割区域为待提取的特殊服饰区域图片；否则，丢弃该语义分割区域。
[0048]
iou计算公式如下：
[0049][0050]
其中，u1为弱定位区域，u2为语义分割区域。
[0051]
s3：对实例分割后的特殊服饰区域图片进行高斯平滑处理。
[0052]
高斯平滑处理用于消除分割区域的边缘效应。
[0053]
s4：将高斯平滑处理后的每一张图片与训练集中对应的原始图片进行哈达玛积运算。
[0054]
哈达玛积运算后的图片背景为黑色、前景为高斯平滑处理后的人体区域图片。
[0055]
s5：将哈达玛积运算后的图片进行颜色变化，将颜色变换后的图片与训练集中对应的原始图片进行图像叠加操作。
[0056]
颜色变换可以为变换光照、对比度或色调等，在此不做限制，通过颜色变化，将图片的光照、对比度或色调等进行调整，便于后续训练的自编码网络能够将光照、对比度或色调异常而导致无法进行特殊服饰识别的图片转换为光照、对比度或色调正常且能够进行特殊服饰识别的图片。
[0057]
图像叠加操作的具体公式为：
[0058]
i
add
＝i
c
*i
mask
+i
s
(1-i
mask
)
[0059]
其中，i
add
为叠加后的图片，i
c
为颜色变换后的图片，i
mask
为实例分割图片，i
s
为训练集中对应的原始图片。
[0060]
步骤s3-s5为对分割区域图片的迁移操作。通过上述步骤，使得叠加后的图片更加的真实、自然，并保持与原图相似的纹理、边缘、图像风格等细节。能够更好的对自编码网络进行训练。
processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述特殊服饰图片转化终端设备的控制中心，利用各种接口和线路连接整个特殊服饰图片转化终端设备的各个部分。
[0075]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述特殊服饰图片转化终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0076]
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例上述方法的步骤。
[0077]
所述特殊服饰图片转化终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)以及软件分发介质等。
[0078]
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。