一种前景图像的提取方法及装置、电子设备、存储介质与流程

1.本技术涉及图像处理技术领域，特别涉及一种前景图像的提取方法及装置、电子设备、存储介质。


背景技术：

2.利用红外摄像头捕获观影时的红外图像进行人数统计，是目前实时统计电影票房的有效手段。由于座椅等复杂背景的干扰，直接在原始的红外图像上进行人数统计难度很大，所以需要对红外图像进行前景提取，再基于前景图像进行统计。所以前景图像的提取效果影响则最后的统计效果。
3.当前对于前景图像的提取，主要采用的是背景差分法，即将观影时的红外图像减去空影厅图像，从而得到前景图像。又或者是采用高斯混合模型进行前景提取，即通过训练好的高斯混合模型进行前景图像的提取。
4.但是采用背景差分法或高斯混合模型等算法，其存在光照敏感问题，即容易受光线干扰，而不同影厅的背景和光线存在较大差异，因此对于影厅的红外图像的前提提取，无法有效保证前景提取的效果，从而无法有效保证统计结果的准确性。


技术实现要素：

5.基于上述现有技术的不足，本技术提供了一种前景图像的提取方法及装置、电子设备、存储介质，以解决现有技术无法有效保证前景图像的提取效果的问题。
6.为了实现上述目的，本技术提供了以下技术方案：
7.本技术第一方面提供了一种前景图像的提取方法，包括：
8.获取待处理红外影厅图像；
9.将所述待处理红外影厅图像输入预先训练好的目标语义分割网络u-net中，通过所述目标语义分割网络u-net对所述待处理红外影厅图像进行前景提取，得到所述待处理影厅图像对应的前景图像；其中，所述目标语义分割网络u-net预先利用多个影厅的多张红外影厅样本图像及其对应的标签图像训练得到；所述目标语义分割网络u-net采用空洞卷积对输入图像进行下采样，且包括对卷积层进行非对称分解得到的两层卷积层。
10.可选地，在上述前景图像的提取方法中，所述目标语义分割网络u-net的训练方法，包括：
11.获取多张所述红外影厅样本图像以及每张所述红外影厅样本图像对应的标签图像；
12.将每张所述红外影厅样本图像及其对应的标签图像作为一组训练样本；
13.分别针对每组所述训练样本，将所述训练样中的所述红外影厅样本图像输入所述目标语义分割网络u-net中，通过所述目标语义分割网络u-net对所述红外影厅样本图像进行前景提取，得到所述红外影厅样本图像对应前景图像；
14.将所述红外影厅样本图像对应的前景图像与所所述红外影厅样本图像对应的标
签图像进行比对，得到所述训练样本对应的对比结果；
15.基于各组所述训练样本对应的对比结果，判断所述目标语义分割网络u-net是否收敛；
16.若判断出所述目标语义分割网络u-net未收敛，则调整所述目标语义分割网络u-net的参数，并返回执行所述分别针对每组所述训练样本，将所述训练样中的所述红外影厅样本图像输入所述目标语义分割网络u-net中，通过所述目标语义分割网络u-net对所述红外影厅样本图像进行前景提取，得到所述红外影厅样本图像对应前景图像；
17.若判断出所述目标语义分割网络u-net已收敛，则结束对所述目标语义分割网络u-net的训练。
18.可选地，在上述前景图像的提取方法中，所述获取多张所述红外影厅样本图像以及每张所述红外影厅样本图像对应的标签图像，包括：
19.获取多个影厅的多张原始红外影厅图像以及各个影厅的空影厅图像；
20.对各张所述原始红外影厅图像以及各种所述空影厅图像进行预处理；
21.分别针对每张所述原始红外影厅图像，将所述原始红外影厅图像与其属于同一所述影厅的所述空影厅图像进行背景差分，得到所述原始红外影厅图像对应的前景图像；
22.基于各张所述原始红外影厅图像对应的前景图像的效果，对各张所述原始红外影厅图像及其对应的前景图像进行筛选；
23.将筛选出的各张所述原始红外影厅图像及其对应的前景图像，分别确定为所述红外影厅样本图像以及所述红外影厅样本图像对应的标签图像。
24.可选地，在上述前景图像的提取方法中，所述获取多张所述红外影厅样本图像以及每张所述红外影厅样本图像对应的标签图像之后，包括：
25.对各张所述红外影厅样本图像及其对应的标签图像进行统一处理；其中，所述统一处理至少包括归一化处于以及同尺寸缩放；
26.将统一处理后的各张所述红外影厅样本图像及其对应的标签图像保存为指定格式。
27.可选地，在上述前景图像的提取方法中，所述获取待处理红外影厅图像之后，还包括：
28.对所述待处理红外影厅图像进行预处理；其中，所述预处理至少包括图像裁剪、图像缩放以及图像增强。
29.本技术第二方面提供了一种前景图像的提取装置，包括：
30.图像获取单元，用于获取待处理红外影厅图像；
31.第一提取单元，用于将所述待处理红外影厅图像输入预先训练好的目标语义分割网络u-net中，通过所述目标语义分割网络u-net对所述待处理红外影厅图像进行前景提取，得到所述待处理影厅图像对应的前景图像；其中，所述目标语义分割网络u-net预先利用多个影厅的多张红外影厅样本图像及其对应的标签图像训练得到；所述目标语义分割网络u-net采用空洞卷积对输入图像进行下采样，且包括对卷积层进行非对称分解得到的两层卷积层。
32.可选地，在上述的前景图像的提取装置中，还包括：
33.样本获取单元，用于获取多张所述红外影厅样本图像以及每张所述红外影厅样本
图像对应的标签图像；
34.组合单元，用于将每张所述红外影厅样本图像及其对应的标签图像作为一组训练样本；
35.第二提取单元，用于分别针对每组所述训练样本，将所述训练样中的所述红外影厅样本图像输入所述目标语义分割网络u-net中，通过所述目标语义分割网络u-net对所述红外影厅样本图像进行前景提取，得到所述红外影厅样本图像对应前景图像；
36.对比单元，用于将所述红外影厅样本图像对应的前景图像与所所述红外影厅样本图像对应的标签图像进行比对，得到所述训练样本对应的对比结果；
37.判断单元，用于基于各组所述训练样本对应的对比结果，判断所述目标语义分割网络u-net是否收敛；
38.调整单元，用于在判断出所述目标语义分割网络u-net未收敛时，调整所述目标语义分割网络u-net的参数，并返回所述第二提取单元；
39.结束单元，用于在判断出所述目标语义分割网络u-net已收敛时，结束对所述目标语义分割网络u-net的训练。
40.可选地，在上述的前景图像的提取装置中，所述样本获取单元，包括：
41.原始数据获取单元，用于获取多个影厅的多张原始红外影厅图像以及各个影厅的空影厅图像；
42.第一预处理单元，用于对各张所述原始红外影厅图像以及各种所述空影厅图像进行预处理；
43.差分处理单元，用于分别针对每张所述原始红外影厅图像，将所述原始红外影厅图像与其属于同一所述影厅的所述空影厅图像进行背景差分，得到所述原始红外影厅图像对应的前景图像；
44.筛选单元，用于基于各张所述原始红外影厅图像对应的前景图像的效果，对各张所述原始红外影厅图像及其对应的前景图像进行筛选；
45.样本确定单元，用于将筛选出的各张所述原始红外影厅图像及其对应的前景图像，分别确定为所述红外影厅样本图像以及所述红外影厅样本图像对应的标签图像。
46.可选地，在上述的前景图像的提取装置中，还包括：
47.同一处理单元，用于对各张所述红外影厅样本图像及其对应的标签图像进行统一处理；其中，所述统一处理至少包括归一化处于以及同尺寸缩放；
48.保存单元，用于将统一处理后的各张所述红外影厅样本图像及其对应的标签图像保存为指定格式。
49.可选地，在上述的前景图像的提取装置中，还包括：
50.第二预处理单元，用于对所述待处理红外影厅图像进行预处理；其中，所述预处理至少包括图像裁剪、图像缩放以及图像增强。
51.本技术第三方面提供一种电子设备，包括：
52.存储器和处理器；
53.其中，所述存储器用于存储程序；
54.所述处理器用于执行所述程序，所述程序被执行时，具体用于实现如上述任意一项所述的前景图像的提取方法。
55.本技术第四方面提供了一种计算机存储介质，用于存储计算机程序，所述计算机程序被执行时，用于实现如上述任意一项所述的前景图像的提取方法。
56.本技术提供了一种前景图像的提取方法，预先利用多个影厅的多张红外影厅样本图像及其对应的标签图像训练得到训练好的目标语义分割网络u-net。在获取待处理红外影厅图像时，将待处理红外影厅图像输入预先训练好的目标语义分割网络u-net中，通过目标语义分割网络u-net对待处理红外影厅图像进行前景提取，得到待处理影厅图像对应的前景图像。由于目标语义分割网络u-net是改进后的义分割网络u-net，其采用空洞卷积对输入图像进行下采样，且包括对卷积层进行非对称分解得到的两层卷积层，所以可以更好地适应不同的影厅，从而有效保证提取到的前景图像的质量，进而有效保证统计结果的准确性。
附图说明
57.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
58.图1为本技术实施例提供的一种前景图像的提取方法的流程图；
59.图2为本技术实施例提供的一种目标语义分割网络u-net的训练方法的流程图；
60.图3为本技术实施例提供的一种获取红外影厅样本图像以及其对应的标签图像的方法的流程图；
61.图4为本技术实施例提供的一种图像格式统一处理方法的流程图；
62.图5为本技术实施例提供的一种前景图像的提取装置的架构示意图；
63.图6为本技术实施例提供的一种电子设备的架构示意图。
具体实施方式
64.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
65.在本技术中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
66.本技术实施例提供了一种前景图像的提取方法，如图1所示，包括以下步骤：
67.s101、获取待处理红外影厅图像。
68.具体的，可以是观众在某一个影厅中观影时，通过红外摄像头拍摄当前的该影厅
中的画面，得到待处理红外影厅图像。
69.可选地，考虑到拍摄得到的待处理红外影厅图像可能存在分辨率较低，或者由于抖动造成的模糊等，导致待处理红外影厅图像质量相对较差，从而可能会影响后续对待处理红外影厅图像的前景提取。也为了便于后续更好地对待处理红外影厅图像进行前景提取，所以因此在本技术另一实施例中，在执行步骤s101之后，在执行步骤s102之前，还可以先进一步执行：
70.对待处理红外影厅图像进行预处理。
71.其中，预处理至少包括图像裁剪、图像缩放以及图像增强。当然若是考虑到待处理红外影厅图像还可能存在其他问题，预处理还可以包括其他的处理方式。
72.s102、将待处理红外影厅图像输入预先训练好的目标语义分割网络u-net中，通过目标语义分割网络u-net对待处理红外影厅图像进行前景提取，得到待处理影厅图像对应的前景图像。
73.其中，目标语义分割网络u-net预先利用多个影厅的多张红外影厅样本图像及其对应的标签图像训练得到。
74.需要说明的是，目标语义分割网络u-net指的是改进之后的语义分割网络u-net。语义分割网络u-net在图像输入后，会对输入通过卷积对图像进行下采样，而现有的语义分割网络u-net会将输入图像下采样到非常小的特征图，这对于待处理红外影厅图像，会使其场景空间结构不够清晰，并且会失去部分位置信息，不仅限制了分类的准确率，还影响前景提取的边缘分割效果。所以在本技术实施例中，对现有语义分割网络u-net进行了改进。改进后的目标语义分割网络u-net采用空洞卷积对输入图像进行下采样。对于空洞卷积，简单来说就是在卷积核元素之间加入一些空格来扩大卷积核的过程，不仅实现了卷积，还能保证卷积后的图像具有较大的尺寸，使得网络在对图像进行下采样时能保留前景的边缘信息及位置信息，同时提高了将模型迁移到其他场景的性能，从而可以适应不同的影厅。
75.并且，在本技术实施例中，考虑到现有的语义分割网络u-net架构较大，训练时需要耗费大量计算资源，所以为了能检索网络参数数量，本技术实施例还对现有的语义分割网络u-net的卷积层进行了改进。采用inception网络中的策略，将n
×
n的卷积核通弄个非对称分解为1
×
n和n
×
1两个卷积。具体是将将3
×
3的卷积层分解为1
×
3与3
×
1两层卷积层。所以改进后的目标语义分割网络u-net包括对卷积层进行非对称分解得到的两层卷积层。
76.可选地，本技术另一实施例提供了一种目标语义分割网络u-net的训练方法，如图2所示，包括以下步骤：
77.s201、获取多张红外影厅样本图像以及每张红外影厅样本图像对应的标签图像。
78.其中，红外影厅样本图像同样也可以是在多个影厅中，在关注进行观影时通过红外摄像头进行拍摄得到。而红外影厅样本图像对应的标签图像即为红外影厅样本图像对应的前景图像，通过对红外影厅样本图像进行前景提取得到。
79.可选地，本技术另一实施例提供中，步骤s201的一种实施方式，如图3所示，包括：
80.s301、获取多个影厅的多张原始红外影厅图像以及各个影厅的空影厅图像。
81.需要说明的是，原始红外影厅图像指的就是红外摄像头拍摄出观众观影时的图像，还未经过任何处理。并且为了避免偶然性，在本技术实施例中，对每个影厅可以拍摄多
张原始红外影厅图像。而空影厅图像同样也是通过红外摄像头拍摄的，不同是在不存在观众的情况下拍摄的。
82.由于此时目标语义分割网络u-net还未训练，所以只能通过其他方式，对原始红外影厅图像进行前景提取，以能最终得到红外影厅样本图像对应的标签图像。而本技术实施例采用的是背景差分法，因此需要获取各个影厅的空影厅图像。
83.s302、对各张原始红外影厅图像以及各种空影厅图像进行预处理。
84.同样为了保证图像的质量，也便于后续进行处理，所以在本技术实施例中，对各张原始红外影厅图像以及各种空影厅图像进行预处理。
85.同理，预处理至少包括图像裁剪、图像缩放以及图像增强。
86.s303、分别针对每张原始红外影厅图像，将原始红外影厅图像与其属于同一影厅的空影厅图像进行背景差分，得到原始红外影厅图像对应的前景图像。
87.s304、基于各张原始红外影厅图像对应的前景图像的效果，对各张原始红外影厅图像及其对应的前景图像进行筛选。
88.由于采用背景差分法得到的前景图像容易受到光线的影响，会得到一些质量较差的前景图像，所以为了保证训练的训练，因此在本技术实施例中，需要挑选出效果较好的前景图像及其对应的原始红外影厅图像作为训练样本。
89.s305、将筛选出的各张原始红外影厅图像及其对应的前景图像，分别确定为红外影厅样本图像以及红外影厅样本图像对应的标签图像。
90.可选地，为了便于后续进行训练，所以需要使得红外影厅样本图像及其对应的标签图像进行格式统一，所以在本技术另一实施例中，在执行步骤s201之后，还可以先进一步对红外影厅样本图像及其对应的标签图像进行格式统一处理。如图4所示，本技术实施例提供的一种图像格式统一处理方法，包括：
91.s401、对各张红外影厅样本图像及其对应的标签图像进行统一处理。
92.其中，统一处理至少包括归一化处于以及同尺寸缩放。
93.s402、将统一处理后的各张红外影厅样本图像及其对应的标签图像保存为指定格式。
94.s202、将每张红外影厅样本图像及其对应的标签图像作为一组训练样本。
95.s203、分别针对每组训练样本，将训练样中的红外影厅样本图像输入目标语义分割网络u-net中，通过目标语义分割网络u-net对红外影厅样本图像进行前景提取，得到红外影厅样本图像对应前景图像。
96.s204、将红外影厅样本图像对应的前景图像与所红外影厅样本图像对应的标签图像进行比对，得到训练样本对应的对比结果。
97.s205、基于各组训练样本对应的对比结果，判断目标语义分割网络u-net是否收敛。
98.其中，若判断出目标语义分割网络u-net未收敛，则执行步骤s206。若判断出目标语义分割网络u-net已收敛，则执行步骤s207。
99.s206、调整目标语义分割网络u-net的参数。
100.由于此时网络还未训练好，所以在执行步骤s206之后，则返回执行步骤s203，以对网络进行迭代训练。
101.s207、结束对目标语义分割网络u-net的训练。
102.本技术实施例提供了一种前景图像的提取方法，预先利用多个影厅的多张红外影厅样本图像及其对应的标签图像训练得到训练好的目标语义分割网络u-net。在获取待处理红外影厅图像时，将待处理红外影厅图像输入预先训练好的目标语义分割网络u-net中，通过目标语义分割网络u-net对待处理红外影厅图像进行前景提取，得到待处理影厅图像对应的前景图像。由于目标语义分割网络u-net是改进后的义分割网络u-net，其采用空洞卷积对输入图像进行下采样，且包括对卷积层进行非对称分解得到的两层卷积层，所以可以更好地适应不同的影厅，从而有效保证提取到的前景图像的质量，进而有效保证统计结果的准确性。
103.本技术另一实施例提供了一种前景图像的提取装置，如图5所示，包括以下单元：
104.图像获取单元501，用于获取待处理红外影厅图像。
105.第一提取单元502，用于将待处理红外影厅图像输入预先训练好的目标语义分割网络u-net中，通过目标语义分割网络u-net对待处理红外影厅图像进行前景提取，得到待处理影厅图像对应的前景图像。
106.其中，目标语义分割网络u-net预先利用多个影厅的多张红外影厅样本图像及其对应的标签图像训练得到。目标语义分割网络u-net采用空洞卷积对输入图像进行下采样，且包括对卷积层进行非对称分解得到的两层卷积层。
107.可选地，在本技术另一实施例提供的前景图像的提取装置中，还包括：
108.样本获取单元，用于获取多张红外影厅样本图像以及每张红外影厅样本图像对应的标签图像。
109.组合单元，用于将每张红外影厅样本图像及其对应的标签图像作为一组训练样本。
110.第二提取单元，用于分别针对每组训练样本，将训练样中的红外影厅样本图像输入目标语义分割网络u-net中，通过目标语义分割网络u-net对红外影厅样本图像进行前景提取，得到红外影厅样本图像对应前景图像。
111.对比单元，用于将红外影厅样本图像对应的前景图像与所红外影厅样本图像对应的标签图像进行比对，得到训练样本对应的对比结果。
112.判断单元，用于基于各组训练样本对应的对比结果，判断目标语义分割网络u-net是否收敛。
113.调整单元，用于在判断出目标语义分割网络u-net未收敛时，调整目标语义分割网络u-net的参数，并返回第二提取单元。
114.结束单元，用于在判断出目标语义分割网络u-net已收敛时，结束对目标语义分割网络u-net的训练。
115.可选地，在本技术另一实施例提供的前景图像的提取装置中，样本获取单元，包括：
116.原始数据获取单元，用于获取多个影厅的多张原始红外影厅图像以及各个影厅的空影厅图像。
117.第一预处理单元，用于对各张原始红外影厅图像以及各种空影厅图像进行预处理。
118.差分处理单元，用于分别针对每张原始红外影厅图像，将原始红外影厅图像与其属于同一影厅的空影厅图像进行背景差分，得到原始红外影厅图像对应的前景图像。
119.筛选单元，用于基于各张原始红外影厅图像对应的前景图像的效果，对各张原始红外影厅图像及其对应的前景图像进行筛选。
120.样本确定单元，用于将筛选出的各张原始红外影厅图像及其对应的前景图像，分别确定为红外影厅样本图像以及红外影厅样本图像对应的标签图像。
121.可选地，在本技术另一实施例提供的前景图像的提取装置中，还包括：
122.同一处理单元，用于对各张红外影厅样本图像及其对应的标签图像进行统一处理。其中，统一处理至少包括归一化处于以及同尺寸缩放。
123.保存单元，用于将统一处理后的各张红外影厅样本图像及其对应的标签图像保存为指定格式。
124.可选地，在上述的前景图像的提取装置中，还包括：
125.第二预处理单元，用于对待处理红外影厅图像进行预处理。其中，预处理至少包括图像裁剪、图像缩放以及图像增强。
126.需要说明的是，本技术上述实施例提供的各个单元的具体工作过程，可相应地参考上述方法实施例中的相应的步骤，此处不再赘述。
127.本技术另一实施例提供一种电子设备，如图6所示，包括：
128.存储器601和处理器602。
129.其中，存储器601用于存储程序。
130.处理器602用于执行存储器601存储的程序，并且该程序被执行时，具体用于实现如上述任意一个实施例提供的前景图像的提取方法。
131.本技术另一实施例提供了一种计算机存储介质，用于存储计算机程序，该计算机程序被执行时，用于实现如上述任意一个实施例提供的前景图像的提取方法。
132.计算机存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
133.需要说明的是，本发明提供的一种前景图像的提取方法及装置、电子设备、存储介质可用于人工智能领域或金融领域。上述仅为示例，并不对本发明提供的一种前景图像的提取方法及装置、电子设备、存储介质的应用领域进行限定。
134.专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应
认为超出本技术的范围。
135.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。