一种特征图像的池化方法和装置与流程

1.本技术实施例涉及卷积神经网络模型领域，尤其涉及一种特征图像的池化方法和装置。


背景技术：

2.近些年来，深度学习作为新兴技术在图像领域蓬勃发展，因其自主学习图像数据特征的能力，极大程度的避免了人工设计算法的繁琐，并且具备精准的检测性能、高效的检测效率以及对各种不同类型的图像任务都有比较好的泛化性能，使得深度学习技术在图像领域得到广泛应用，深度学习技术在图像领域的应用包括图像检测、图像分类、图像重构等。池化操作作为深度学习特征压缩的有效手段，可以抑制噪声、降低信息冗余、提升模型的尺度不变性、旋转不变性、降低模型计算量、防止模型过拟合，因此池化操作在深度学习中发挥着重要作用。当前主流池化操作有两类：最大池化和平均池化。
3.最大池化是对池化核内的目标像素比较像素值的大小，只将像素值最大的像素作为池化结果保留下来，其余的像素值删去，融入生成的特征中。平均池化对池化核内的目标像素取平均，将像素平均值作为池化结果保留下来，融入生成的特征中。
4.但是，我们在进行卷积神经网络模型的训练时，往往需要在池化时尽可能保留输入特征图像中目标物体的像素点，而目标物体的像素值未必是最大的，也不该是平均的值。因此，无论是最大池化还是平均池化，都只是考虑了图像像素值的大小，而输入特征图像图像像素值并不能很好地反映该像素在整幅图像中的重要性。传统的池化操作仅对目标像素值的大小进行处理，没有考虑到各个像素点的重要性，而像素值的大小并不能反映该像素在整幅图像或是该图像区域里的重要性。在整个图像中，目标物体所在像素是重要的像素，在池化过程中应该更多的加以关注并且尽可能保留下来，而背景像素则应该减少关注度，以防干扰目标物体的特征提取，进而降低了卷积神经网络模型的训练效果。


技术实现要素：

5.本技术公开了一种特征图像的池化方法和装置，用于提高卷积神经网络模型的训练效果。
6.具体的，本技术公开了一种基于像素注意力的池化方法，利用输入特征图像中各像素点的注意力值，将注意力值作为池化操作的依据，使得池化操作能更好的保留图像中特征较明显的部分，改进了传统池化以像素值大小为依据的池化方法，使得图像中和待处理物体相关的像素能更多地通过池化操作传递到下一层神经网络中，无关像素更少地保留，提高池化操作特征压缩的准确率，减少无关像素的干扰，进而提高卷积神经网络模型的训练效果。
7.本技术第一方面提供了一种特征图像的池化方法，包括：获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块；获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的
图像；将所述输入特征图像输入像素注意力生成模块中，生成注意力特征图像，所述注意力特征图像上有所述输入特征图像上像素点的注意力值；将所述输入特征图像和所述注意力特征图像输入特征池化模块；使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据。
8.可选的，所述将所述输入特征图像输入像素注意力生成模块中，生成注意力特征图像，包括：通过所述像素注意力生成模块将所述输入特征图像进行特征通道压缩，生成压缩特征；通过所述像素注意力生成模块将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵；通过所述像素注意力生成模块为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。
9.可选的，所述像素注意力生成模块包括batchnorm-conv-relu层、batchnorm-conv层和sigmoid函数层；所述通过所述像素注意力生成模块将所述输入特征图像进行特征通道压缩，生成压缩特征，包括：通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征。
10.可选的，所述通过所述像素注意力生成模块将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵，包括：通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵。
11.可选的，所述通过所述像素注意力生成模块为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像，包括：通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。
12.可选的，所述使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；通过注意力值集合对所述至少一块待池化像素点集合进行最大注意力池化处理，生成池化数据。
13.可选的，所述使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像
素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；通过注意力值集合对所述至少一个待池化像素点集合进行注意力加权池化处理生成池化数据。
14.可选的，所述使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；根据所述待池化像素点集合的像素值确定所述至少一块待池化像素点集合的池化方式，所述池化方式包括最大注意力池化处理和注意力加权池化处理；通过注意力值集合对所述至少一块待池化像素点集合进行对应池化方式的池化处理，生成池化数据。
15.本技术第一方面提供了一种特征图像的池化装置，包括：第一获取单元，用于获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块；第二获取单元，用于获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像；第一输入单元，用于将所述输入特征图像输入像素注意力生成模块中，生成注意力特征图像，所述注意力特征图像上有所述输入特征图像上像素点的注意力值；第二输入单元，用于将所述输入特征图像和所述注意力特征图像输入特征池化模块；池化单元，用于使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据。
16.可选的，所述第一输入单元，包括：压缩模块，用于通过所述像素注意力生成模块将所述输入特征图像进行特征通道压缩，生成压缩特征；还原模块，用于通过所述像素注意力生成模块将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵；生成模块，用于通过所述像素注意力生成模块为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。
17.可选的，所述像素注意力生成模块包括batchnorm-conv-relu层、batchnorm-conv层和sigmoid函数层；所述压缩模块，包括：通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征。
18.可选的，所述还原模块，包括：
通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵。
19.可选的，所述生成模块，包括：通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。
20.可选的，所述池化单元，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；通过注意力值集合对所述至少一块待池化像素点集合进行最大注意力池化处理，生成池化数据。
21.可选的，所述池化单元，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；通过注意力值集合对所述至少一个待池化像素点集合进行注意力加权池化处理生成池化数据。
22.可选的，所述池化单元，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；根据所述待池化像素点集合的像素值确定所述至少一块待池化像素点集合的池化方式，所述池化方式包括最大注意力池化处理和注意力加权池化处理；通过注意力值集合对所述至少一块待池化像素点集合进行对应池化方式的池化处理，生成池化数据。
23.本技术第三方面提供了一种电子设备，包括：处理器、存储器、输入输出单元以及总线；处理器与存储器、输入输出单元以及总线相连；存储器保存有程序，处理器调用程序以执行如第一方面以及第一方面的任意可选的池化方法。
24.本技术第四方面提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如第一方面以及第一方面的任意可选的池化方法。
25.从以上技术方案可以看出，本技术实施例具有以下优点：本发明中，首先，获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块，其中注意力生成模块可以是位于卷积神经网络模型内部，与其他工作层连接使用，也可以是位于卷积神经网络模型外部独立使用。获取输入特征图像，所述输入特征图像为
输入卷积神经网络模型中进行训练中的图像，该输入特征图像可以是在卷积神经网络模型中某一个环节中输出的特征，该特征需要进行卷积操作，此时可以先将该输入特征图像输入注意力生成模块，再将输出数据投入后续的卷积环节。将所述输入特征图像输入像素注意力生成模块中，生成注意力特征图像，所述注意力特征图像上有所述输入特征图像上像素点的注意力值。将所述输入特征图像和所述注意力特征图像输入特征池化模块。使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据。本发明中，通过使用注意力生成模块中，生成注意力特征图像，再根据注意力特征图像上的注意力值对输入特征图像上的像素点进行筛选，得到注意力高的像素点，最后通过这些注意力高的像素点进行独有的池化操作。利用输入特征图像中各像素点的注意力值，将注意力值作为池化操作的依据，使得池化操作能更好的保留图像中特征较明显的部分，改进了传统池化以像素值大小为依据的池化方法，使得图像中和待处理物体相关的像素能更多地通过池化操作传递到下一层神经网络中，无关像素更少地保留，提高池化操作特征压缩的准确率，减少无关像素的干扰，进而提高卷积神经网络模型的训练效果。
附图说明
26.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
27.图1为本技术特征图像的池化方法的一个实施例示意图；图2为本技术特征图像的池化方法的另一个实施例示意图；图3为本技术特征图像的池化方法的另一个实施例示意图；图4为本技术特征图像的池化方法的另一个实施例示意图；图5为本技术特征图像的池化装置的一个实施例示意图；图6为本技术特征图像的池化装置的另一个实施例示意图；图7为本技术电子设备的一个实施例示意图。
具体实施方式
28.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
29.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
30.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
31.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下
文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0032]
另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0033]
在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0034]
在现有技术中，最大池化是对池化核内的目标像素比较像素值的大小，只将像素值最大的像素作为池化结果保留下来，其余的像素值删去，融入生成的特征中。平均池化对池化核内的目标像素取平均，将像素平均值作为池化结果保留下来，融入生成的特征中。但是，我们在进行卷积神经网络模型的训练时，往往需要在池化时尽可能保留输入特征图像中目标物体的像素点，而目标物体的像素值未必是最大的，也不该是平均的值。因此，无论是最大池化还是平均池化，都只是考虑了图像像素值的大小，而输入特征图像图像像素值并不能很好地反映该像素在整幅图像中的重要性。传统的池化操作仅对目标像素值的大小进行处理，没有考虑到各个像素点的重要性，而像素值的大小并不能反映该像素在整幅图像或是该图像区域里的重要性。在整个图像中，目标物体所在像素是重要的像素，在池化过程中应该更多的加以关注并且尽可能保留下来，而背景像素则应该减少关注度，以防干扰目标物体的特征提取，进而降低了卷积神经网络模型的训练效果。
[0035]
基于此，本技术公开了一种特征图像的池化方法和装置，用于提高卷积神经网络模型的训练效果。
[0036]
下面将结合本技术实施例中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0037]
本技术的方法可以应用于服务器、设备、终端或者其它具备逻辑处理能力的设备，对此，本技术不作限定。为方便描述，下面以执行主体为终端为例进行描述。
[0038]
请参阅图1，本技术提供了一种特征图像的池化方法的一个实施例，包括：101、获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块；终端获取卷积单元，其中，卷积单元包括注意力生成模块和特征池化模块，注意力生成模块用于将输入特征图像上的像素点进行注意力判断，确定哪一些像素点的重要性更高，并为每一个像素点生成一个专属的注意力值。
[0039]
特征池化模块用于配合注意力生成模块输出的注意力值，对输入特征图像上的像素点进行池化操作。
[0040]
102、获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像；
终端获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像。需要说明的是，输入特征图像可以是一张完整的图像，也可以只是卷积神经网络模型中某一层对图像进行处理后生成的特征数据，本实施例中统一将其成为输入特征数据。
[0041]
103、将所述输入特征图像输入像素注意力生成模块中，生成注意力特征图像，所述注意力特征图像上有所述输入特征图像上像素点的注意力值；终端将所述输入特征图像输入注意力生成模块中，生成注意力特征图像，所述注意力特征图像上有所述输入特征图像上像素点的注意力值。
[0042]
深度学习注意力(attention)机制是对人类视觉注意力机制的仿生，本质上是一种资源分配机制。生理原理就是人类视觉注意力能够以高分辨率接收于图片上的某个区域，并且以低分辨率感知其周边区域，并且视点能够随着时间而改变。换而言之，就是人眼通过快速扫描全局图像，找到需要关注的目标区域，然后对这个区域分配更多注意，目的在于获取更多细节信息和抑制其他无用信息。提高卷积单元representation卷积单元的高效性。
[0043]
在卷积神经网络模型中，attention机制可以它认为是一种资源分配的机制，可以理解为对于原本平均分配的资源根据attention对象的重要程度重新分配资源，重要的单位就多分一点，不重要或者不好的单位就少分一点，在深度神经网络的结构设计中，attention所要分配的资源基本上就是权重了。
[0044]
104、将所述输入特征图像和所述注意力特征图像输入特征池化模块；终端将所述输入特征图像和所述注意力特征图像输入特征池化模块。
[0045]
105、使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据。
[0046]
终端使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据。
[0047]
本实施例中，池化的过程是通过一个池化核滑动窗口(比如2
×
2)从上到下，从左到右对输入特征图进行遍历，每次移动后将池化核窗口里的所有像素(比如2
×
2个)取注意力值进行池化，将该值作为输出特征图的一个元素，遍历完成后得到长宽尺寸压缩后的新特征图，之后将池化操作后新特征图传输给下一层神经网络。
[0048]
而传统的池化过程是池化的过程是通过一个池化核滑动窗口(比如2
×
2)从上到下，从左到右对输入特征图进行遍历，每次移动后将池化核窗口里的所有像素(比如2
×
2个)取平均(平均池化)或是取最大值(最大池化)，将该值作为输出特征图的一个元素，遍历完成后得到长宽尺寸压缩后的新特征图，之后将池化操作后新特征图传输给下一层神经网络。
[0049]
本实施例中，首先，终端获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块，其中注意力生成模块可以是位于卷积神经网络模型内部，与其他工作层连接使用，也可以是位于卷积神经网络模型外部独立使用。终端获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像，该输入特征图像可以是在卷积神经网络模型中某一个环节中输出的特征，该特征需要进行卷积操作，此时可以先将该输入特征图像输入注意力生成模块，再将输出数据投入后续的卷积环节。将所述输入特征图像
输入像素注意力生成模块中，生成注意力特征图像，所述注意力特征图像上有所述输入特征图像上像素点的注意力值。将所述输入特征图像和所述注意力特征图像输入特征池化模块。使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据。本发明中，通过使用注意力生成模块中，生成注意力特征图像，再根据注意力特征图像上的注意力值对输入特征图像上的像素点进行筛选，得到注意力高的像素点，最后通过这些注意力高的像素点进行独有的池化操作。利用输入特征图像中各像素点的注意力值，将注意力值作为池化操作的依据，使得池化操作能更好的保留图像中特征较明显的部分，改进了传统池化以像素值大小为依据的池化方法，使得图像中和待处理物体相关的像素能更多地通过池化操作传递到下一层神经网络中，无关像素更少地保留，提高池化操作特征压缩的准确率，减少无关像素的干扰，进而提高卷积神经网络模型的训练效果。
[0050]
请参阅图2，本技术提供了一种特征图像的池化方法的一个实施例，包括：201、获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块；202、获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像；本实施例中的步骤201至202与前述实施例中步骤101至102类似，此处不再赘述。
[0051]
203、通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征；204、通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵；205、通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像；终端通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征，并且通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵，最后终端通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。
[0052]
具体的，在本实施例中，终端首先需要通过所述像素注意力生成模块中的batchnorm-3*3conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征，并且通过所述像素注意力生成模块中的batchnorm-3*3conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵，最后终端通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。batchnorm-3*3conv-relu层是一个最合适的大小，由于输入特征图像中的像素点存在差异，不能使用batchnorm-1*1conv-relu层，否则会使得卷积工作增加。
[0053]
206、将所述输入特征图像和所述注意力特征图像输入特征池化模块；本实施例中的步骤206与前述实施例中步骤104类似，此处不再赘述。
[0054]
207、使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；208、通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素
点的注意力值集合；209、通过注意力值集合对所述至少一块待池化像素点集合进行最大注意力池化处理，生成池化数据。
[0055]
终端使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合，终端通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合，通过注意力值集合对所述至少一块待池化像素点集合进行最大注意力池化处理，生成池化数据。
[0056]
例如：终端使用所述特征池化模块上的池化窗确定所述输入特征图像上一块待池化像素点集合，为3*3的待池化像素点集合，此时根据注意力特征图像确定这一块待池化像素点集合中各个像素点的注意力值，将注意力值最高的一个像素点作为最优的像素点，以进行后续的池化操作。
[0057]
本实施例中，首先，获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块，其中注意力生成模块可以是位于卷积神经网络模型内部，与其他工作层连接使用，也可以是位于卷积神经网络模型外部独立使用。获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像，该输入特征图像可以是在卷积神经网络模型中某一个环节中输出的特征，该特征需要进行卷积操作，此时可以先将该输入特征图像输入注意力生成模块，再将输出数据投入后续的卷积环节。通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征。终端通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵。终端通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。将所述输入特征图像和所述注意力特征图像输入特征池化模块。终端使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合。终端通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合。终端通过注意力值集合对所述至少一块待池化像素点集合进行最大注意力池化处理，生成池化数据。
[0058]
本发明中，通过使用注意力生成模块中，生成注意力特征图像，再根据注意力特征图像上的注意力值对输入特征图像上的像素点进行筛选，得到注意力高的像素点，最后通过这些注意力高的像素点进行独有的池化操作。利用输入特征图像中各像素点的注意力值，将注意力值作为池化操作的依据，使得池化操作能更好的保留图像中特征较明显的部分，改进了传统池化以像素值大小为依据的池化方法，使得图像中和待处理物体相关的像素能更多地通过池化操作传递到下一层神经网络中，无关像素更少地保留，提高池化操作特征压缩的准确率，减少无关像素的干扰，进而提高卷积神经网络模型的训练效果。
[0059]
其次，本实施例改进了传统池化核仅根据像素值大小进行操作的弊端，在进行池化操作之前，对输入特征图进行注意力计算，得到输入特征图对应各像素的注意力特征图像，注意力特征图像和原输入特征图像尺寸一致，其每个元素代表输入特征图像中对应位置的像素的注意力值，即该像素在整张输入特征图像中的重要程度。注意力值为介于0和1之间的数，数值越大，重要性越高。在池化过程中，以各个像素的注意力值为依据进行池化操作，本实施例提出最大注意力池化。
[0060]
注意力池化核在滑窗移动过程中，根据池化窗里的像素对应的注意力，选取注意
力值最大的像素值(最大注意力池化)，作为输出特征的特征值，更好的专注于更为重要的像素值，减少无关像素的干扰。
[0061]
请参阅图3，本技术提供了一种特征图像的池化方法的一个实施例，包括：301、获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块；302、获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像；303、通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征；304、通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵；305、通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像；306、将所述输入特征图像和所述注意力特征图像输入特征池化模块；本实施例中的步骤301至306与前述实施例中步骤201至206类似，此处不再赘述。
[0062]
307、使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；308、通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；309、通过注意力值集合对所述至少一个待池化像素点集合进行注意力加权池化处理生成池化数据。
[0063]
终端使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合，终端通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合，终端通过注意力值集合对所述至少一个待池化像素点集合进行注意力加权池化处理生成池化数据。
[0064]
例如：终端使用所述特征池化模块上的池化窗确定所述输入特征图像上一块待池化像素点集合，为3*3的待池化像素点集合，此时根据注意力特征图像确定这一块待池化像素点集合中各个像素点的注意力值，将待池化像素点集合中的n个像素值以注意力值为系数进行相加作为最优的像素点，以进行后续的池化操作。其中，n为大于1小于等于9的整数。
[0065]
本实施例中，首先，获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块，其中注意力生成模块可以是位于卷积神经网络模型内部，与其他工作层连接使用，也可以是位于卷积神经网络模型外部独立使用。获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像，该输入特征图像可以是在卷积神经网络模型中某一个环节中输出的特征，该特征需要进行卷积操作，此时可以先将该输入特征图像输入注意力生成模块，再将输出数据投入后续的卷积环节。通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征。终端通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵。终端通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。将所述输入特征图像和所述注意力特征图像输入特征池化模块。终端使用所述特征池化模块上的池化窗确定所述
输入特征图像上至少一块待池化像素点集合。终端通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合。终端通过注意力值集合对所述至少一块待池化像素点集合进行最大注意力池化处理，生成池化数据。
[0066]
本发明中，通过使用注意力生成模块中，生成注意力特征图像，再根据注意力特征图像上的注意力值对输入特征图像上的像素点进行筛选，得到注意力高的像素点，最后通过这些注意力高的像素点进行独有的池化操作。利用输入特征图像中各像素点的注意力值，将注意力值作为池化操作的依据，使得池化操作能更好的保留图像中特征较明显的部分，改进了传统池化以像素值大小为依据的池化方法，使得图像中和待处理物体相关的像素能更多地通过池化操作传递到下一层神经网络中，无关像素更少地保留，提高池化操作特征压缩的准确率，减少无关像素的干扰，进而提高卷积神经网络模型的训练效果。
[0067]
其次，本实施例改进了传统池化核仅根据像素值大小进行操作的弊端，在进行池化操作之前，对输入特征图进行注意力计算，得到输入特征图对应各像素的注意力特征图像，注意力特征图像和原输入特征图像尺寸一致，其每个元素代表输入特征图像中对应位置的像素的注意力值，即该像素在整张输入特征图像中的重要程度。注意力值为介于0和1之间的数，数值越大，重要性越高。在池化过程中，以各个像素的注意力值为依据进行池化操作，本实施例提出注意力加权池化。
[0068]
注意力池化核在滑窗移动过程中，根据池化窗里的像素对应的注意力，以注意力值为权重取各个像素的加权平均值(注意力加权池化)，作为输出特征的特征值，更好的专注于更为重要的像素值，减少无关像素的干扰。
[0069]
请参阅图4，本技术提供了一种特征图像的池化方法的一个实施例，包括：401、获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块；402、获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像；403、通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征；404、通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵；405、通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像；406、将所述输入特征图像和所述注意力特征图像输入特征池化模块；本实施例中的步骤401至406与前述实施例中步骤201至206类似，此处不再赘述。
[0070]
407、使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；408、通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；409、根据所述待池化像素点集合的像素值确定所述至少一块待池化像素点集合的池化方式，所述池化方式包括最大注意力池化处理和注意力加权池化处理；410、通过注意力值集合对所述至少一块待池化像素点集合进行对应池化方式的池化处理，生成池化数据。
[0071]
终端使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合，通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合，根据所述注意力值集合确定所述至少一块待池化像素点集合的池化方式，所述池化方式包括最大注意力池化处理和注意力加权池化处理，通过注意力值集合对所述至少一块待池化像素点集合进行对应池化方式的池化处理，生成池化数据。
[0072]
例如：终端使用所述特征池化模块上的池化窗确定所述输入特征图像上一块待池化像素点集合，为3*3的待池化像素点集合，此时判断当前注意力的差异，如果该3*3的待池化像素点集合中像素点对应的像素值几乎相同，则确定注意力加权池化作为池化方式。如果该3*3的待池化像素点集合中像素点对应的像素值产生两极分化，则确定最大注意力池化作为池化方式。
[0073]
本实施例中，首先，获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块，其中注意力生成模块可以是位于卷积神经网络模型内部，与其他工作层连接使用，也可以是位于卷积神经网络模型外部独立使用。获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像，该输入特征图像可以是在卷积神经网络模型中某一个环节中输出的特征，该特征需要进行卷积操作，此时可以先将该输入特征图像输入注意力生成模块，再将输出数据投入后续的卷积环节。通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征。终端通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵。终端通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。将所述输入特征图像和所述注意力特征图像输入特征池化模块。终端使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合。终端通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合。终端通过注意力值集合对所述至少一块待池化像素点集合进行最大注意力池化处理，生成池化数据。
[0074]
本发明中，通过使用注意力生成模块中，生成注意力特征图像，再根据注意力特征图像上的注意力值对输入特征图像上的像素点进行筛选，得到注意力高的像素点，最后通过这些注意力高的像素点进行独有的池化操作。利用输入特征图像中各像素点的注意力值，将注意力值作为池化操作的依据，使得池化操作能更好的保留图像中特征较明显的部分，改进了传统池化以像素值大小为依据的池化方法，使得图像中和待处理物体相关的像素能更多地通过池化操作传递到下一层神经网络中，无关像素更少地保留，提高池化操作特征压缩的准确率，减少无关像素的干扰，进而提高卷积神经网络模型的训练效果。
[0075]
其次，本实施例改进了传统池化核仅根据像素值大小进行操作的弊端，在进行池化操作之前，对输入特征图进行注意力计算，得到输入特征图对应各像素的注意力特征图像，注意力特征图像和原输入特征图像尺寸一致，其每个元素代表输入特征图像中对应位置的像素的注意力值，即该像素在整张输入特征图像中的重要程度。注意力值为介于0和1之间的数，数值越大，重要性越高。在池化过程中，以各个像素的注意力值为依据进行池化操作，本实施例提出先确定池化方式的池化形式。
[0076]
通过对不同的待池化像素点集合进行像素值分析，确定哪一种方式适合待池化像素点集合，然后在进行池化，每一个待池化像素点集合的池化方式可以不同，进一步提高池
化操作特征压缩的准确率，减少无关像素的干扰，进而提高卷积神经网络模型的训练效果。
[0077]
请参阅图5，本技术提供了一种特征图像的池化装置的一个实施例，包括：第一获取单元501，用于获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块；第二获取单元502，用于获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像；第一输入单元503，用于将所述输入特征图像输入像素注意力生成模块中，生成注意力特征图像，所述注意力特征图像上有所述输入特征图像上像素点的注意力值；第二输入单元504，用于将所述输入特征图像和所述注意力特征图像输入特征池化模块；池化单元505，用于使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据。
[0078]
请参阅图6，本技术提供了一种特征图像的池化装置的一个实施例，包括：第一获取单元601，用于获取池化单元，所述池化单元包括像素注意力生成模块和特征池化模块；第二获取单元602，用于获取输入特征图像，所述输入特征图像为输入卷积神经网络模型中进行训练中的图像；第一输入单元603，用于将所述输入特征图像输入像素注意力生成模块中，生成注意力特征图像，所述注意力特征图像上有所述输入特征图像上像素点的注意力值；可选的，所述第一输入单元603，包括：压缩模块6031，用于通过所述像素注意力生成模块将所述输入特征图像进行特征通道压缩，生成压缩特征；还原模块6032，用于通过所述像素注意力生成模块将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵；生成模块6033，用于通过所述像素注意力生成模块为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。
[0079]
可选的，所述像素注意力生成模块包括batchnorm-conv-relu层、batchnorm-conv层和sigmoid函数层；所述压缩模块6031，包括：通过所述像素注意力生成模块中的batchnorm-conv-relu层将所述输入特征图像进行特征通道压缩，生成压缩特征。
[0080]
可选的，所述还原模块6032，包括：通过所述像素注意力生成模块中的batchnorm-conv层将所述压缩特征还原成与所述输入特征图像大小相同的特征矩阵。
[0081]
可选的，所述生成模块6033，包括：通过所述像素注意力生成模块中的sigmoid函数为所述特征矩阵中每一个像素点计算注意力值，生成注意力特征图像。
[0082]
第二输入单元604，用于将所述输入特征图像和所述注意力特征图像输入特征池化模块；
池化单元605，用于使用所述特征池化模块并根据所述注意力特征图像中的注意力值对所述输入特征图像上的像素点进行筛选池化处理，生成池化数据。
[0083]
可选的，所述池化单元605，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；通过注意力值集合对所述至少一块待池化像素点集合进行最大注意力池化处理，生成池化数据。
[0084]
可选的，所述池化单元605，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；通过注意力值集合对所述至少一个待池化像素点集合进行注意力加权池化处理生成池化数据。
[0085]
可选的，所述池化单元605，包括：使用所述特征池化模块上的池化窗确定所述输入特征图像上至少一块待池化像素点集合；通过所述注意力特征图像确定所述至少一块待池化像素点集合中各个像素点的注意力值集合；根据所述待池化像素点集合的像素值确定所述至少一块待池化像素点集合的池化方式，所述池化方式包括最大注意力池化处理和注意力加权池化处理；通过注意力值集合对所述至少一块待池化像素点集合进行对应池化方式的池化处理，生成池化数据。
[0086]
请参阅图7，本技术提供了一种电子设备，包括：处理器701、存储器703、输入输出单元702以及总线704。
[0087]
处理器701与存储器703、输入输出单元702以及总线704相连。
[0088]
存储器703保存有程序，处理器701调用程序以执行如图1、图2、图3和图4中的池化方法。
[0089]
本技术提供了一种计算机可读存储介质，计算机可读存储介质上保存有程序，程序在计算机上执行时执行如图1、图2、图3和图4中的池化方法。
[0090]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0091]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦
合或通信连接，可以是电性，机械或其它的形式。
[0092]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0093]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0094]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。