一种人物图像的分割和标注方法及系统与流程

1.本发明涉及数字图像处理技术领域，尤其涉及一种人物图像的分割和标注方法及系统。


背景技术：

2.随着计算机视觉技术的发展，在图像处理领域，很多算法网络离不开数据集，尤其在图像分割方面，人们对高质量的图像分割数据集的需求越来越大。目前市面上大多数图像分割数据集都是通过人工标注的，即使用日立分割、labelme等软件进行标注。首先标注人员需要在原图上对目标物进行轮廓绘制形成预分割，然后在预分割的基础上进行手动修改来最终确定标注图像。这种传统的图像分割标注方式不但操作过程繁琐而且还非常耗时，大量的时间都用在图像标注上面，效率也十分低。
3.在现有的技术中，有些开发人员为了在保证标注图像质量的前提下进一步提高标注效率，将相关的分割算法引入图像标注中；先将待标注的图像用算法进行分割，然后标注人员在分割图像的基础上再进行标注，但是这种方法也存在很多缺点，实际效果并不好，在面对较为模糊或者分辨率较低的图像时，通过分割算法很容易产生误分割的现象，这时标注人员通过人工的方式重新对原模糊图像进行手动绘制标注，没有克服算法容易产生误分割的缺陷，标注的效率得不到有效的提升。
4.由此，目前人工分割标注方法以及人工和算法结合的方法都不能解决目前图像标注效率偏低的问题。


技术实现要素：

5.本发明提供一种人物图像的分割和标注方法及系统，用以解决上述现有技术中的缺陷。
6.本发明提供一种人物图像的分割和标注方法，包括步骤：
7.s1获取待标注图像集以及高分辨率图像集；
8.s2对所述高分辨率图像集中的多个高分辨率图像进行第一采样，获取每个高分辨率图像分别对应的低频信息和高频信息；
9.s3基于所述低频信息和所述高频信息训练重构网络；通过重构网络处理得到训练重构图像，将所述训练重构图像与对应的高分辨率图像进行比对，输出所述训练重构图像与对应的高分辨率图像峰值信噪比以及结构相似性最高时对应的重构网络作为最优重构网络；
10.s4将所述待标注图像集输入所述最优重构网络，获取每个待标注图像对应的重构图像；
11.s5通过预设的分割网络对每个所述重构图像进行分割，区分人物区域和环境区域，获取对应的分割图像，并生成分割图像集；
12.s6对获取的分割图像集进行检验，对任一分割图像，若不符合预设要求，则对相应
的分割图像进行二次处理；若符合预设要求，基于所述分割图像对原待标注图像进行标注处理，得到对应的标注图像集。
13.优选的，通过小波变换对所述高分辨率图像集中的多个高分辨率图像进行第一采样，得到相应的高频信息与低频信息。
14.根据本发明提供的一种人物图像的分割和标注方法，基于所述低频信息和所述高频信息训练重构网络，包括：
15.将所述高频信息存储至辅助变量，输入至所述重构网络；
16.基于所述低频信息生成对应的低分辨率图像，输入至所述重构网络；
17.通过第二采样处理，将所述低分辨率图像的低频信息和对应的辅助变量中的高频信息进行融合，输出修复后的训练重构图像。
18.根据本发明提供的一种人物图像的分割和标注方法，将所述待标注图像集输入所述最优重构网络，获取每个待标注图像对应的重构图像，具体包括：
19.将每个所述待标注图像输入所述最优重构网络，将所述待标注图像作为低频信息；通过所述最优重构网络生成所述待标注图像对应的的辅助变量；通过第二采样处理，将所述待标注图像的低频信息和对应的辅助变量中的高频信息进行融合，输出修复后的重构图像。
20.根据本发明提供的一种人物图像的分割和标注方法，基于所述低频信息和所述高频信息训练重构网络，获取所述最优重构网络，还包括：
21.获取训练重构网络过程中产生的正向损失和反向损失；
22.将基于所述低频信息得到的低分辨率图像与高分辨率图像经图像降质处理得到的低分辨率图像进行比对，得到两者之间的误差，记为所述正向损失；
23.将基于所述低频信息得到的所述低分辨率图像输入所述重构网络，获取对应的训练重构图像，将所述训练重构图像与所述高频信息对应的原高分辨率图像进行比对得到两者之间的误差，记为所述反向损失；
24.取所述正向损失和所述反向损失最小时对应的重构网络为所述最优重构网络。
25.根据本发明提供的一种人物图像的分割和标注方法，对获取的分割图像集进行检验，对任一分割图像判断是否符合预设要求，包括：
26.判断所述分割图像中的人物区域和环境区域是否存在误分割；
27.判断分割图像的平均交并比、平均像素精度是否低于预设的指标数值；
28.若不存在误分割，以及平均交并比、平均像素精度均不低于预设的指标数值，则判断分割图像符合预设要求。
29.根据本发明提供的一种人物图像的分割和标注方法，对任一分割图像，若不符合预设要求，则对相应的分割图像进行二次处理，包括步骤：
30.s601将不符合所述预设要求的分割图像对应的原重构图像组成复检图像集；
31.s602将复检图像集输入所述最优重构网络，输出新的重构图像,并通过所述分割网络对新的重构图像进行分割，输出新的分割图像集；
32.s603判断所述新的分割图像集是否符合预设要求，若符合预设要求，则输出对应的新的分割图像集；若不符合预设要求，则重复执行s601-s603的步骤，直至符合所述预设要求。
33.根据本发明提供的一种人物图像的分割和标注方法，通过预设的分割网络对每个所述重构图像进行分割，获取分割区域，并标注为人物区域和环境区域，提取标注后的分割区域的轮廓线并获取所述轮廓线上多个点位的坐标；
34.基于所述外部轮廓上多个点位的坐标，在分割图像对应的待标注图像上描绘对应的轮廓线，并基于用户预设的颜色对轮廓线内进行填充从而标注对应的分割区域，输出标注图像。
35.另一方面，本发明还提供一种人物图像的分割和标注系统，包括数据传输模块、存储模块、第一采样模块、重构模块、分割模块以及标注模块；
36.所述数据传输模块用于获取待标注图像集以及高分辨率图像集；
37.所述存储模块用于存储分割过程以及标注过程中产生的所有图像数据和图像集；
38.所述第一采样模块用于获取每个高分辨率图像分别对应的低频信息和高频信息；
39.所述重构模块用于根据所述低频信息和所述高频信息训练重构网络；通过重构网络处理得到训练重构图像，将所述训练重构图像与对应的高分辨率图像进行比对，输出所述训练重构图像与对应的高分辨率图像峰值信噪比以及结构相似性最高时对应的重构网络作为最优重构网络；并从所述存储模块获取所述待标注图像集，通过所述最优重构网络获取每个待标注图像对应的重构图像；
40.所述分割模块用于通过预设的分割网络对每个所述重构图像进行分割，区分人物区域和环境区域，获取对应的分割图像，并生成分割图像集；
41.所述标注模块用于对获取的分割图像集进行检验，对任一分割图像，若不符合预设要求，则对相应的分割图像进行二次处理；若符合预设要求，基于所述分割图像对原待标注图像进行标注处理，输出对应的标注图像集。
42.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述人物图像的分割和标注方法的步骤。
43.本发明提供的一种人物图像的分割和标注方法及系统，具有如下的技术效果：
44.(1)通过提取高分辨率图像的低频信息和高频信息，基于此对重构网络进行训练，在不改变原待标注图像的前提下，通过重构网络补充待标注图像的高频信息，并通过高频信息将待标注图像重构为清晰图像，有利于之后对原待标注图像进行分割和标注，不需要对原本的分割算法进行更改，从图像的角度增强了现有的分割算法的鲁棒性和泛化能力，使图像分割精度更高，输出的标注图像更加精确。
45.(2)通过重构网络和分割网络解决了现有人工标注中耗时长、效率低的问题；在使用过程中，只需上传一定量的训练集训练网络，就可以实现大量模糊图像的标注任务，大大缩短了标注时间，有利于提高图像处理的效率；
46.(3)可根据用户需求对获取的分割图像进行多次检验，通过重构网络和分割网络对待标注图像进行多次重构和标注，有利于提高图像标注任务的准确率。
附图说明
47.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些
附图获得其他的附图。
48.图1是本发明提供的人物图像的分割和标注方法的流程示意图之一；
49.图2是本发明提供的人物图像的分割和标注方法的流程示意图之二。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.如图1-图2所示，本发明提供了一种人物图像的分割和标注方法，包括步骤：
52.s1获取待标注图像集以及高分辨率图像集；
53.s2对所述高分辨率图像集中的多个高分辨率图像进行第一采样，获取每个高分辨率图像分别对应的低频信息和高频信息；
54.s3基于所述低频信息和所述高频信息训练重构网络；通过重构网络处理得到训练重构图像，将所述训练重构图像与对应的高分辨率图像进行比对，输出所述训练重构图像与对应的高分辨率图像峰值信噪比以及结构相似性最高时对应的重构网络作为最优重构网络；
55.s4将所述待标注图像集输入所述最优重构网络，获取每个待标注图像对应的重构图像；
56.s5通过预设的分割网络对每个所述重构图像进行分割，区分人物区域和环境区域，获取对应的分割图像，并生成分割图像集；
57.s6对获取的分割图像集进行检验，对任一分割图像，若不符合预设要求，则对相应的分割图像进行二次处理；若符合预设要求，基于所述分割图像对原待标注图像进行标注处理，得到对应的标注图像集；
58.其中，步骤s1中,可以由用户输入待标注图像集和用于重构网络训练的高分辨率图像集；其中待标注图像集具体为模糊图像集；
59.需要说明的是,模糊图像是由于在获取图像时由于对焦不准或者目标与相机产生相对运动、相机畸变等因素导致的，例如拍摄时为雨雪等天气或者周围环境偏暗、噪声等因素使图像模糊；也包括监控摄像头本身导致的对焦失准形成模糊、被监控物与摄像头之间存在相对运动造成模糊、监控摄像头本身清晰度低造成图像模糊等等；还有可能是距离原因形成模糊，如行人与监控之间距离太远，从视频中裁剪出来的行人步态序列图像的分辨率很低，形成模糊，图像中的特征难以分辨；
60.其中，高分辨率与低分辨率为相对的概念，高分辨率图像的分辨率大于低分辨率图像的分辨率；
61.可选的，高分辨率图像集中，除了高分辨率图像集外，还可以包括每一张高分辨率图像对应的分割标注图像，用于对重构网络和分割网络进行训练；
62.优选的，通过小波变换对所述高分辨率图像集中的多个高分辨率图像进行第一采样，得到相应的高频信息与低频信息；
63.步骤s3中,基于所述低频信息和所述高频信息训练重构网络，具体包括：
64.将所述高频信息存储至辅助变量，输入至所述重构网络；
65.基于所述低频信息生成对应的低分辨率图像，输入至所述重构网络；
66.通过第二采样处理，将所述低分辨率图像的低频信息和对应的辅助变量中的高频信息进行融合，输出修复后的训练重构图像；
67.其中所述重构网络由多个可逆网络构建而成，用于将原高分辨率图像的低频信息和高频信息进一步分离，使得低频信息经过重构网络生成对应的低分辨率图像或模糊图像，将高频信息嵌入一个辅助变量中；
68.所述重构网络也是可逆的，正向输入时，将原图像的高频信息和低频信息分离；反向输入时，输入低分辨率图像，生成低分辨率图像对应的带有高频信息的辅助变量，得到该低分辨率图像的低频信息以及对应的高频信息；通过第二采样处理，将低频信息和高频信息进行融合，则输出低分辨率图像对应的高分辨率图像，也即低分辨率图像修复后的清晰图像；
69.在一个实施例中，将所述待标注图像集输入所述最优重构网络，获取每个待标注图像对应的重构图像，具体包括：
70.将每个所述待标注图像输入所述最优重构网络，将所述待标注图像作为低频信息；通过所述最优重构网络生成所述待标注图像对应的的辅助变量；通过第二采样处理，将所述待标注图像的低频信息和对应的辅助变量中的高频信息进行融合，输出修复后的重构图像；
71.其中，可以将重构网络看作一个可逆变换函数，基于下述表达式：
72.正向过程：
73.逆向过程：
74.其中，a为辅助变量，携带有图像的高频信息，为经过重构网络生成的低分率图像，x
l
,xh分别表示下采样得到的原高分率图像所对应的低频信息和高频信息，则是低分率图像通过逆向重构得到的低频信息和高频信息，则是上采样得到的修复后高分辨率图像，f()表示重构网络正向过程，g()表示上采样过程。
75.优选的，在重构网络的训练过程中，还可以考虑将误差损失作为重构网络训练收敛的基础，通过多次训练使得重构网络达到最优，具体包括：
76.获取训练重构网络过程中产生的正向损失和反向损失；
77.首先是正向损失，将低频信息和高频信息正向输入重构网络，得到高分率图像所对应的低分率图像，为了更好模拟现实中的低分率模糊图像，我们还将原始的高分率直接进行图像降质处理，得到降质的低分率模糊图像，将两种方式得到的低分率图像之间的误差称为重构网络的正向损失；
78.进一步的，所述的反向损失，是将正向过程产生的低分率模糊图像进行逆向重构，即将低分率模糊图像和辅助变量输入重构网络，然后再上采样得到修复后高分辨率图像，也即所述训练重构图像；修复后高分辨率图像与原始的高分率图像之间的误差，称为反向损失。
79.取所述正向损失和所述反向损失最小时对应的重构网络为所述最优重构网络；
80.训练过程中，未训练完成的重构网络生成的重构图像即为训练重构图像；
81.其中，进一步的，图像降质过程具体为对高分率图像进行双三次差值下采样处理、得到低分率图像，然后在低分率图像添加噪声等处理；
82.进一步的，所述的重构网络训练的损失可以用以下式子表示：
83.loss
total
＝λ1loss
forw
+λ2loss
reve
；
84.其中，loss
forw
表示重构网络正向损失，loss
reve
表示重构网络的反向损失，λ1,λ2为相应的系数。
85.进一步的，loss
forw
可以有以下式子求得
[0086][0087]
进一步的，loss
reve
可以由以下式子求得：
[0088][0089]
其中，l
forw
为正向过程计算损失值函数，l
reve
为反向计算损失值函数，是由高分率图像经过降质过程得到的低分率模糊图像；
[0090]
进一步的，在步骤s4中利用最优重构网络修复模糊图像集，具体的，即通过最优重构网络补充缺失的高频信息的变量，将高频信息和待标注的模糊图像集同时输入最优重构网络，进行逆向重构，得到待标注的模糊图像集对应的清晰图像集，即重构图像(修复后的模糊图像集)；
[0091]
进一步，在步骤s5中，通过预设的分割网络对每个所述重构图像进行分割，区分人物区域和环境区域，获取对应的分割图像，并生成分割图像集；
[0092]
其中，所述的分割网络包括但不限于deeplabv3+、mask r-cnn等主流的分割算法中的一种或多种的结合；
[0093]
优选的，还包括：将修复后模糊图像集输入分割网络模型之前，还包括分割网络模型训练阶段，将用户上传的高分辨率训练集以及对应的分割标注图像对分割网络进行训练，得到训练后分割网络模型。
[0094]
在一个实施例中，对获取的分割图像集进行检验，对任一分割图像判断是否符合预设要求，包括：
[0095]
判断所述分割图像中的人物区域和环境区域是否存在误分割；
[0096]
判断分割图像的平均交并比、平均像素精度是否低于预设的指标数值；
[0097]
若不存在误分割，以及平均交并比、平均像素精度均不低于预设的指标数值，则判断分割图像符合预设要求；
[0098]
进一步，对任一分割图像，若不符合预设要求，则对相应的分割图像进行二次处理，包括步骤：
[0099]
s601将不符合所述预设要求的分割图像对应的原重构图像组成复检图像集；
[0100]
s602将复检图像集输入所述最优重构网络，输出新的重构图像,并通过所述分割网络对新的重构图像进行分割，输出新的分割图像集；
[0101]
s603判断所述新的分割图像集是否符合预设要求，若符合预设要求，则输出对应
的新的分割图像集；若不符合预设要求，则重复执行s601-s603的步骤，直至符合所述预设要求；
[0102]
具体的，在一个实例中，对分割图像进行标注之前，可由用户或算法对分割图像进行审查，筛选出经过第一次重构后依旧不满足上述预设要求的不合格图像，组成一个新的图像集a，用于进行二次处理；
[0103]
在进行第二次处理之前，还包括对原待处理图像集的图像检索阶段，根据用户筛选出的不合格图像的图像集a，将第一次修复后的待处理图像集生成的重构图像中进行遍历，选出与图像集a中的每个不合格图像对应的重构图像，并组成新的图像集b；
[0104]
将图像集合b再次输入所述最优重构网络，进行二次处理，包括二次重构和分割；
[0105]
可选的，用户可以根据需要对重构次数进行设置，直至获取满足需求、不存在误分割、以及平均交并比、平均像素精度均不低于预设的指标数值的分割图像；
[0106]
可选的，可以设定一个多次重构处理的处理次数阈值，对于超过所述处理次数阈值后的再次重构以及再分割后仍然不符合上述要求的图像，将对应的图像转为人工处理对图像进行分割处理；或进一步的，对原重构网络以及分割网络进行再训练，扩大训练样本集，从而提高重构网络以及分割网络的算法精度；
[0107]
其中，对于超过重构次数依旧不能得到满足预设要求的图像，经过人工处理后，将原图像以及经过人工处理后的图像作为补充训练集，用于对重构网络进行再训练；
[0108]
进一步的，通过预设的分割网络对每个所述重构图像进行分割，获取分割区域，并标注为人物区域和环境区域，提取标注后的分割区域的轮廓线并获取所述轮廓线上多个点位的坐标；
[0109]
基于所述外部轮廓上多个点位的坐标，在分割图像对应的待标注图像上描绘对应的轮廓线，并基于用户预设的颜色对轮廓线内进行填充从而标注对应的分割区域，输出标注图像；
[0110]
可选的，用户可以根据需要设置分割区域的类别，从而对图像中的不同区域进行分割，并根据相应的类别选择需要的颜色，将分割区域轮廓线范围内填充为预设的颜色，将轮廓线范围外的区域填充为黑色；
[0111]
可选的，在提取目标分割区域轮廓之前，还需要将分割区域以外的区域变成黑色背景，具体实现可以使用opencv中的findcontours()等相关函数进行轮廓提取，生成黑白的轮廓图像，以及该图像的轮廓位置信息坐标值。
[0112]
另一方面，本发明还提供一种人物图像的分割和标注系统，其特征在于，包括数据传输模块、存储模块、第一采样模块、重构模块、分割模块以及标注模块；
[0113]
所述数据传输模块用于获取待标注图像集以及高分辨率图像集；
[0114]
所述存储模块用于存储分割过程以及标注过程中产生的所有图像数据和图像集；
[0115]
所述第一采样模块用于获取每个高分辨率图像分别对应的低频信息和高频信息；
[0116]
所述重构模块用于根据所述低频信息和所述高频信息训练重构网络；通过重构网络处理得到训练重构图像，将所述训练重构图像与对应的高分辨率图像进行比对，输出所述训练重构图像与对应的高分辨率图像峰值信噪比以及结构相似性最高时对应的重构网络作为最优重构网络；并从所述存储模块获取所述待标注图像集，通过所述最优重构网络获取每个待标注图像对应的重构图像；
[0117]
所述分割模块用于通过预设的分割网络对每个所述重构图像进行分割，区分人物区域和环境区域，获取对应的分割图像，并生成分割图像集；
[0118]
所述标注模块用于对获取的分割图像集进行检验，对任一分割图像，若不符合预设要求，则对相应的分割图像进行二次处理；若符合预设要求，基于所述分割图像对原待标注图像进行标注处理，输出对应的标注图像集；
[0119]
可选的，用户最后可以利用数据传输模块对标注图像进行下载到本地，标注任务完成。
[0120]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的人物图像的分割和标注方法，包括：
[0121]
s1获取待标注图像集以及高分辨率图像集；
[0122]
s2对所述高分辨率图像集中的多个高分辨率图像进行第一采样，获取每个高分辨率图像分别对应的低频信息和高频信息；
[0123]
s3基于所述低频信息和所述高频信息训练重构网络；通过重构网络处理得到训练重构图像，将所述训练重构图像与对应的高分辨率图像进行比对，输出所述训练重构图像与对应的高分辨率图像峰值信噪比以及结构相似性最高时对应的重构网络作为最优重构网络；
[0124]
s4将所述待标注图像集输入所述最优重构网络，获取每个待标注图像对应的重构图像；
[0125]
s5通过预设的分割网络对每个所述重构图像进行分割，区分人物区域和环境区域，获取对应的分割图像，并生成分割图像集；
[0126]
s6对获取的分割图像集进行检验，对任一分割图像，若不符合预设要求，则对相应的分割图像进行二次处理；若符合预设要求，基于所述分割图像对原待标注图像进行标注处理，得到对应的标注图像集。
[0127]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述提供的人物图像的分割和标注方法，包括：
[0128]
s1获取待标注图像集以及高分辨率图像集；
[0129]
s2对所述高分辨率图像集中的多个高分辨率图像进行第一采样，获取每个高分辨率图像分别对应的低频信息和高频信息；
[0130]
s3基于所述低频信息和所述高频信息训练重构网络；通过重构网络处理得到训练重构图像，将所述训练重构图像与对应的高分辨率图像进行比对，输出所述训练重构图像与对应的高分辨率图像峰值信噪比以及结构相似性最高时对应的重构网络作为最优重构网络；
[0131]
s4将所述待标注图像集输入所述最优重构网络，获取每个待标注图像对应的重构图像；
[0132]
s5通过预设的分割网络对每个所述重构图像进行分割，区分人物区域和环境区域，获取对应的分割图像，并生成分割图像集；
[0133]
s6对获取的分割图像集进行检验，对任一分割图像，若不符合预设要求，则对相应的分割图像进行二次处理；若符合预设要求，基于所述分割图像对原待标注图像进行标注处理，得到对应的标注图像集。
[0134]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0135]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0136]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。