图像处理方法、装置以及存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像处理方法、装置以及存储介质。


背景技术：

2.多尺度特征压缩技术广泛应用在目标识别、目标分割等各种应用场景。例如，iot(internet of things，物联网)设备在获取图像或视频后，利用提取网络获得表征图像或视频的特征，对特征进行量化熵编码后，发送到服务器端进行熵解码反量化，用于恢复特征，恢复的特征可用于运行其他人工智能任务，例如恢复成图像或进行物体检测等任务。但是，现有的多尺度特征压缩以及解压缩技术存在计算量大、参数量多、占用内存大、精度低，压缩率低等缺点。


技术实现要素：

3.有鉴于此，本发明要解决的一个技术问题是提供一种图像处理方法、装置以及存储介质。
4.根据本公开的第一方面，提供一种图像处理方法，包括：将多个图像特征信息进行拼接处理，生成等效图像特征信息；确定与所述等效图像特征信息相对应的等效通道数，根据所述等效通道数确定与特征压缩模块相对应的主卷积通道数；使用所述特征压缩模块并基于所述主卷积通道数以及预设卷积通道数对所述等效图像特征信息进行多次卷积处理，生成与所述等效图像特征信息相对应的降维图像特征信息；使用所述特征压缩模块对所述降维图像特征信息进行变换处理和编码处理，生成图像压缩数据；使用特征解压缩模块对所述图像压缩数据执行与所述特征压缩模块所进行的处理相对应的反向处理，用于获取所述等效图像特征信息；对所述等效图像特征信息进行分割处理，获取所述多个图像特征信息。
5.可选地，所述图像特征信息的维度包括：通道数、图像宽度和图像高度；所述确定与所述等效图像特征信息相对应的等效通道数包括：获取所述多个图像特征信息的维度中的最小图像宽度和最小高度，作为所述等效图像特征信息的维度中的等效图像宽度和等效图像高度；计算所述等效图像宽度与所述等效图像高度的乘积；将所述等效图像特征信息的总数据量与所述乘积的商，作为所述等效通道数。
6.可选地，所述根据所述等效通道数确定与特征压缩模块相对应的主卷积通道数包括：将所述主卷积通道数设置为所述等效通道数。
7.可选地，所述特征压缩模块包括多个第一卷积层和至少一个第二卷积层；所述使用所述特征压缩模块并基于所述主卷积通道数以及预设卷积通道数对所述等效图像特征信息进行多次卷积处理，生成与所述等效图像特征信息相对应的降维图像特征信息包括：设置所述第一卷积层的输入通道数和输出通道数为所述主卷积通道数；设置所述第二卷积层的输入通道数为所述主卷积通道数、输出通道数为所述预设卷积通道数；其中，所述预设卷积通道数包括：8、16、32；依次使用所述第一卷积层和所述第二卷积层对所述等效图像特
征信息进行多次卷积处理，生成所述降维图像特征信息。
8.可选地，所述特征压缩模块包括：第一变换处理层和第一编码层；所述使用所述特征压缩模块对所述降维图像特征信息进行变换处理和编码处理，生成图像压缩数据包括：使用所述第一变换处理层对所述降维图像特征信息进行离散余弦变换dct处理，并使用所述第一编码层对进行了dct处理后的降维图像特征信息进行压缩编码处理，生成所述图像压缩数据。
9.可选地，所述使用特征解压缩模块对所述图像压缩数据执行与所述特征压缩模块所进行的处理相对应的反向处理包括：使用所述特征解压缩模块对所述图像压缩数据进行反编码处理和反变换处理，生成降维图像特征信息；使用所述特征解压缩模块并基于主卷积通道数以及预设卷积通道数对所述降维图像特征信息进行多次反卷积处理，生成与所述降维图像特征信息相对应的等效图像特征信息。
10.可选地，所述特征解压缩模块包括：第二编码层和第二变换处理层；所述使用所述特征解压缩模块对所述图像压缩数据进行反编码处理和反变换处理，生成降维图像特征信息包括：使用所述第二编码层对图像压缩数据进行反压缩编码处理，并使用所述第二变换处理层对进行了反压缩编码处理后的图像压缩数据进行反dct处理，生成所述降维图像特征信息。
11.可选地，所述使用所述特征解压缩模块并基于主卷积通道数以及预设卷积通道数对所述降维图像特征信息进行多次反卷积处理包括：设置所述第三卷积层的输入通道数为所述预设卷积通道数、输出通道数为所述主卷积通道数；设置所述第四卷积层的输入通道数和输出通道数为所述主卷积通道数；依次使用所述第三卷积层和所述第四卷积层对所述降维图像特征信息进行多次反卷积处理，生成等效图像特征信息。
12.可选地，使用特征提取模块对图像进行特征提取处理，获取与所述图像相对应的多个图像特征信息；
13.可选地，所述特征提取模块包括：特征金字塔网络fpn模型；所述使用特征提取模块对图像进行特征提取处理，获取与所述图像相对应的多个图像特征信息包括：使用所述fpn模型对所述图像输入进行处理，生成所述多个图像特征信息；其中，所述多个图像特征信息的图像宽度维度、图像高度维度都分别小于所述图像中对应的图像宽度维度、图像高度维度；并且，所述多个图像特征信息的图像宽度维度、图像高度维度依次减小。
14.根据本公开的第二方面，提供一种图像处理装置，包括：特征拼接模块，用于将多个图像特征信息进行拼接处理，生成等效图像特征信息；通道数确定模块，用于确定与所述等效图像特征信息相对应的等效通道数，根据所述等效通道数确定与特征压缩模块相对应的主卷积通道数；特征压缩模块，用于基于所述主卷积通道数以及预设卷积通道数对所述等效图像特征信息进行多次卷积处理，生成与所述等效图像特征信息相对应的降维图像特征信息；使用所述特征压缩模块对所述降维图像特征信息进行变换处理和编码处理，生成图像压缩数据；特征解压缩模块，用于对所述图像压缩数据执行与所述特征压缩模块所进行的处理相对应的反向处理，用于获取所述等效图像特征信息；特征分割模块，用于对所述等效图像特征信息进行分割处理，获取所述多个图像特征信息。
15.可选地，所述图像特征信息的维度包括：通道数、图像宽度和图像高度；所述通道数确定模块，用于获取所述多个图像特征信息的维度中的最小图像宽度和最小高度，作为
所述等效图像特征信息的维度中的等效图像宽度和等效图像高度；计算所述等效图像宽度与所述等效图像高度的乘积；将所述等效图像特征信息的总数据量与所述乘积的商，作为所述等效通道数。
16.可选地，所述通道数确定模块，用于将所述主卷积通道数设置为所述等效通道数。
17.可选地，所述特征压缩模块包括多个第一卷积层和至少一个第二卷积层；所述特征压缩模块，用于设置所述第一卷积层的输入通道数和输出通道数为所述主卷积通道数，并将所述第一卷积层的步长设置为大于1的值；设置所述第二卷积层的输入通道数为所述主卷积通道数、输出通道数为所述预设卷积通道数，并将所述第一卷积层的步长设置为1；其中，所述预设卷积通道数包括：8、16、32；依次使用所述第一卷积层和所述第二卷积层对所述等效图像特征信息进行多次卷积处理，生成所述降维图像特征信息。
18.可选地，所述特征压缩模块包括：第一变换处理层和第一编码层；所述特征转换模块，用于使用所述第一变换处理层对所述降维图像特征信息进行离散余弦变换dct处理，并使用所述第一编码层对进行了dct处理后的降维图像特征信息进行压缩编码处理，生成所述图像压缩数据。
19.可选地，所述特征解压缩模块，用于使用所述特征解压缩模块对所述图像压缩数据进行反编码处理和反变换处理，生成降维图像特征信息；使用所述特征解压缩模块并基于主卷积通道数以及预设卷积通道数对所述降维图像特征信息进行多次反卷积处理，生成与所述降维图像特征信息相对应的等效图像特征信息。
20.可选地，所述特征解压缩模块包括：第二编码层和第二变换处理层；所述特征解压缩模块，用于使用所述第二编码层对图像压缩数据进行反压缩编码处理，并使用所述第二变换处理层对进行了反压缩编码处理后的图像压缩数据进行反dct处理，生成所述降维图像特征信息。
21.可选地，所述特征解压缩模块，用于设置所述第三卷积层的输入通道数为所述预设卷积通道数、输出通道数为所述主卷积通道数，并将所述第三卷积层的步长设置为1；设置所述第四卷积层的输入通道数和输出通道数为所述主卷积通道数，并设置所述第四卷积层的步长为大于1的值；依次使用所述第三卷积层和所述第四卷积层对所述降维图像特征信息进行多次反卷积处理，生成等效图像特征信息。
22.可选地，特征提取模块，用于对图像进行特征提取处理，获取与所述图像相对应的多个图像特征信息；
23.可选地，所述特征提取模块包括：特征金字塔网络fpn模型；所述特征提取模块，用于使用所述fpn模型对所述图像输入进行处理，生成所述多个图像特征信息；其中，所述多个图像特征信息的图像宽度维度、图像高度维度都分别小于所述图像中对应的图像宽度维度、图像高度维度；并且，所述多个图像特征信息的图像宽度维度、图像高度维度依次减小。
24.根据本公开的第三方面，提供一种图像处理装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。
25.根据本公开的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如上所述的方法。
26.本公开的图像处理方法、装置以及存储介质，通过在特征拼接中取消卷积操作并
在特征分割重建中也取消了卷积操作，降低了计算复杂度；通过取消gap操作，减少损失信息，并且多级特征不通过其他特征恢复，改善了处理精度；使用卷积处理降低数据量并进一步压缩通道，改善了压缩比；取消了fc操作并减少了卷积处理，有效改善了内存占用；提高了用户的使用感受。
附图说明
27.为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
28.图1为现有技术中的多尺度特征处理的应用架构示意图；
29.图2为根据本公开的图像处理方法的一个实施例的流程示意图；
30.图3为根据本公开的图像处理方法的一个实施例的应用架构示意图；
31.图4为根据本公开的图像处理装置的一个实施例的模块示意图；
32.图5为根据本公开的图像处理装置的另一个实施例的模块示意图；
33.图6为根据本公开的图像处理装置的又一个实施例的模块示意图。
具体实施方式
34.下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
35.在发明人所知晓的相关技术中，使用多尺度特征技术提取出的多尺度特征数据量相对于原始图像数据量增加明显，多尺度特征压缩方法存在计算量大，参数量多，占用内存大，精度低，压缩率低等缺点。
36.以深度学习中的fpn结构为例，以目标识别为例，假设原图尺寸为h 640、w 800，则原图的数据量为640*800*3；fpn提供的多尺度特征分别为p2、p3、p4、p5，其多尺度特征总数据量为256*(20*25+40*50+80*100+160*200)；多尺度特征总数据量为原始图片数据量的11.8倍；当云端系统需要协作，端侧希望传输已经计算出的多尺度特征供云端使用时，传输的特征比原始图片的数据量更大，因此必须对特征进行更高的压缩。
37.如图1所示，特征提取网络提取的多级特征p2
…
p5，p2
…
p5具有不同尺寸；由于p2
…
p5具有不同尺寸，则特征重排模块首先对每个特征进行大小调整，使各特征尺寸相同。特征融合模块包括由se(squeeze-and-excitation)层组成,把多个特征融合成一个特征；特征压缩模块进一步压缩融合后的特征尺寸，然后对特征进行工具压缩；特征解压缩模块从bit流中恢复信息，并通过网络恢复融合后的特征。恢复后的特征直接代表p5层，p4特征通过p5特征的2倍上采样和p5特征的2倍上采样进行卷积恢复，p3特征通过p5特征的4倍上采样和p4特征的2倍上采样进行卷积恢复；使用类似的方法恢复p2特征。
38.上述采用多尺度特征技术的图像处理具有下述的问题:
39.1、计算量很大。例如，在特征重排的过程中，需要每层对特征进行1x1的卷积后的特征大小调整到相同尺寸；特征恢复过程中需要进行多次卷积和多次上采样操作，特征融合需要进行gap(global average pooling，全局平均池化)和两次fc(fully connectedlayers，全连接层)，特征压缩和解压缩处理也都需要使用卷积函数，采用高复杂度的算法。
40.2、精度不高。因为多级特征反应了图像不同尺度的特性，融合后的特征实际更多直接代表了p5特征，其他特征均由p5特征按规则恢复。
41.3、精度不高的另外一个原因在于gap处理，由于gap是全局取最大，等效于在四个尺度特征中取最显著的特征作为融合特征，因此，融合特征不完全匹配原始p5特征，叠加其他特征需从p5恢复，因此，压缩过程中所损失的信息极难恢复。
42.4、精度和压缩比是密切相关的，需要在满足一定精度的前提下考虑压缩比，当精度不高时，设置更低的压缩比去匹配精度的要求。
43.5、模型参数大，不适合低端设备运行。因为解压端一般在云端，而压缩端通常算力设备小，内存小，而se操作，是由gap+squeeze(fc操作，通道降维)+excitation(图像处理方法操作，通道升维)组成的，而fc参数量非常大，叠加对齐重排的很多1x1卷积的参数量也很大，因此，实际压缩端运行内存需求很大。
44.图2为根据本公开的图像处理方法的一个实施例的流程示意图，如图2所示：
45.步骤201，将多个图像特征信息进行拼接处理，生成等效图像特征信息。
46.在一个实施例中，可以使用多种方法获得多个图像特征信息。例如，使用特征提取模块对图像进行特征提取处理，获取与图像相对应的多个图像特征信息。本公开的图像可以为图片、照片、视频中的视频帧等。
47.特征提取模块包括特征金字塔网络fpn模型等。使用fpn模型对图像输入进行处理，生成多个图像特征信息；多个图像特征信息的图像宽度维度、图像高度维度都分别小于图像中对应的图像宽度维度、图像高度维度；并且，多个图像特征信息的图像宽度维度、图像高度维度依次减小。多个图像特征信息可以为多个向量等，将多个向量进行相加生成等效图像特征信息。
48.步骤202，确定与等效图像特征信息相对应的等效通道数，根据等效通道数确定与特征压缩模块相对应的主卷积通道数。
49.步骤203，使用特征压缩模块并基于主卷积通道数以及预设卷积通道数对等效图像特征信息进行多次卷积处理，生成与等效图像特征信息相对应的降维图像特征信息。
50.步骤204，使用特征压缩模块对降维图像特征信息进行变换处理和编码处理，生成图像压缩数据。
51.步骤205，使用特征解压缩模块对图像压缩数据执行与特征压缩模块所进行的处理相对应的反向处理，用于获取等效图像特征信息。
52.步骤206，对等效图像特征信息进行分割处理，获取多个图像特征信息。根据组成等效图像特征信息的多个表征图像特征信息的长度，对等效图像特征信息进行分割处理，获取多个图像特征信息。
53.本公开的图像处理方法的特征提取、特征融合、特征压缩、特征解压、特征分割等模块为预先训练好的模块，可以采用现有的多种训练方法进行训练。
54.在一个实施例中，图像特征信息的维度包括通道数c、图像宽度w和图像高度h等。获取多个图像特征信息的维度中的最小图像宽度和最小高度，作为等效图像特征信息的维度中的等效图像宽度和等效图像高度。计算等效图像宽度与等效图像高度的乘积，将等效图像特征信息的总数据量与乘积的商，作为等效通道数。将主卷积通道数设置为等效通道数。
55.如图3所示，假设原图尺寸为h640，w800，则原图数据量为640*800*3，多尺度特征总数据量为256*(20*25+40*50+80*100+160*200)，多尺度特征总数据量为原始图片数据量的11.8倍。
56.使用特征提取模块对图像进行特征提取处理，获取与图片(3，h，w)相对应的多个图像特征信息，即p2、p3、p4和p5。对多尺度特征p2、p3、p4和p5不进行卷积处理也不修改长度,仅做拼接处理，得到取拼接后的等效特征维度(等效图像特征信息)。
57.确定多个图像特征信息的维度中的最小图像宽度w和最小高度h，例如，最小高度h为h/32，最小图像宽度w为w/32，c＝nelement/(h*w)，nelement为拼接后的等效图像特征信息的总数据量。例如，拼接后的等效图像特征信息的总数据量为：256*((h/32)*(w/32)+(h/16)*(w/16)+(h/8)*(w/8)+(h/4)*(w/4))，则等效通道数c＝256*85，等效图像特征信息的维度为(256*85,h/32,w/32)，(
58.等效图像特征信息的chw分别为c＝256*85，h＝h/32,w＝w/32)。根据等效特征维度，确定与特征压缩模块相对应的主卷积通道数，主体卷积通道数为等效通道c。
59.在一个实施例中，特征压缩模块包括多个第一卷积层和至少一个第二卷积层，第一卷积层和第二卷积层可以为现有的多种卷积层。设置第一卷积层的输入通道数和输出通道数为主卷积通道数，并将第一卷积层的步长设置为大于1的值。设置第二卷积层的输入通道数为主卷积通道数、输出通道数为预设卷积通道数，并将第一卷积层的步长设置为1，预设卷积通道数包括：8、16、32等；。依次使用第一卷积层和第二卷积层对等效图像特征信息进行多次卷积处理，生成降维图像特征信息。
60.如图3所示，特征压缩模块包括第一卷积层301，302和第二卷积层303。设置第一卷积层301，302的通道数为等效通道数c＝256*85，将第一卷积层301，302的步长设置为2。将第二卷积层303的输出卷积通道数设置为预设卷积通道数c’，该数为极小量，如8、16、32等。在第一卷积层301，302之后，设置有bn(batch normalization，批标准化)层和激活层act层。
61.特征压缩模块使用二级步长为2的第一卷积层301，302对等效图像特征信息进行卷积，把待压缩的特征尺度变为(c,h/4,w/4)；特征压缩模块使用第二卷积层303再进行一次卷积，此待压缩特征维度是(c’,h/4,w/4)；以c’＝8为例，则实际待编码特征数据量为拼接后的等效图像特征的数据量的1/(512*85)。
62.如图3所示，特征压缩模块包括第一变换处理层304和第一编码层305；使用第一变换处理层304可以采用多种变换处理。例如，使用第一变换处理层304对降维图像特征信息进行离散余弦变换dct处理，对dct系数进行量化，压缩，使用第一编码层305对进行了dct处理后的降维图像特征信息进行压缩编码处理，生成图像压缩数据。
63.在一个实施例中，使用特征解压缩模块对图像压缩数据执行与特征压缩模块所进行的处理相对应的反向处理可以使用多种方法。例如，使用特征解压缩模块对图像压缩数
据进行反编码处理和反变换处理，生成降维图像特征信息。使用特征解压缩模块并基于主卷积通道数以及预设卷积通道数对降维图像特征信息进行多次反卷积处理，生成与降维图像特征信息相对应的等效图像特征信息。
64.如图3所示，特征解压缩模块包括第二编码层306和第二变换处理层307。第二编码层306和第二变换处理层307分别执行与第一编码层305和第一变换处理层304相对应的反变换。例如，使用第二编码层306对图像压缩数据进行反压缩编码处理，并使用第二变换处理层307对进行了反压缩编码处理后的图像压缩数据进行反dct处理，生成降维图像特征信息。
65.在一个实施例中，特征解压缩模块包括至少一个第三卷积层和多个第四卷积层。第三卷积层和第四卷积层之后设置有bn层和act层。第三卷积层和第二卷积层的数量相同，第三卷积层执行与第二卷积层相对应的反变换。第四卷积层和第一卷积层的数量相同，第四卷积层执行与第一卷积层相对应的反变换。
66.例如，如图3所示，特征解压缩模块包括第二卷积层308和多个第四卷积层309，310。设置第三卷积层308的通道数为等效通道数c，并将第三卷积层308的步长设置为1；设置第四卷积层309，310的步长为2。依次使用第三卷积层308和第四卷积层309，310对图像特征进行多次反卷积处理，生成等效图像特征信息。设置第五卷积层311对act处理的等效图像特征信息进行卷积处理，使第五卷积层311输出的等效图像特征信息与特征拼接模块输出的等效图像特征信息相同。使用特征提取模块对图像进行特征提取处理，获取与图像相对应的多个图像特征信息。
67.在一个实施例中，假设图片维度为h＝640,w＝800，在特征提取模块中通过fpn对图片进行处理，提取的多尺度维度分别为：p5(256,20,25)、p4(256,40,50)、p3(256,80,10)、p2(256,160,200)。取拼接后的等效图像特征的h为p5的h参数，因为p5的h参数最小，同理等效图像特征的w为p5的w参数(h＝20,w＝25)。
68.确定c＝256*(20*25+40*50+80*100+160*200)/(20*25)＝256*85，c为等效图像特征信息的通道数。等效图像特征信息的维度为chw(256*85,20,25)。
69.对于第一卷积层301，302设置kernel＝3、输入通道数为256*85、输出通道数为256*85、stride(步长)＝2。使用第一卷积层301进行第一次下采样卷积，得到卷积后的图像特征的维度为(256*85，10，12)；使用第一卷积层302再做一次下采样卷积，得到卷积后的图像特征的维度为(256*85，5，6)。
70.对于第二卷积层303设置kernel＝3、输入通道数为256*85、输出通道数为32、stride＝1。使用第二卷积层303进行第三次卷积，得到卷积后的图像特征的维度为(32，5，6)。对该特征进行dct变换，对变换系数量化并压缩编码得到bit流。使用特征解压缩模块对图像压缩数据执行反向(反序)处理，用于获取等效图像特征信息。
71.如果输入特征提取模块的为单尺度特征的图片，可以取消特征拼接和特征分割模块，减少对原始特征的待压缩特征量，提高压缩比。例如，假设图片维度为h＝640,w＝800，特征提取模块对图片提取的单尺度特征为t2(256,160,200)。对于第一卷积层301，302设置kernel＝3，输入通道数为256，输出通道数为256,stride＝2,使用第一卷积层301进行第一次下采样卷积，得到卷积后的图像特征的维度为(256，80，100)；使用第一卷积层302再做一次下采样卷积，得到卷积后的图像特征的维度为(256，40,50)。对于第二卷积层303设置
kernel＝3、输入通道数为256、输出通道数为16、stride＝1。使用第二卷积层303进行第三次卷积，得到卷积后的图像特征的维度为(16，40，50)。对该特征进行dct变换，对变换系数量化并压缩编码得到bit流。使用特征解压缩模块对图像压缩数据执行反向(反序)处理，用于获取等效图像特征信息。
72.在上述实施例中的图像处理方法中，对多尺度特征仅做拼接处理，求取拼接后的等效特征维度chw；根据等效特征维度确定后续主体卷积通道数c,对于等效特征压缩先采用多级步长为2的卷积，进一步把待压缩特征尺度变为(c,h/4,w/4),对于等效特征压缩再进行一次卷积并把输出通道设为c’,待压缩特征维度为(c’,h/4,w/4)，以c’＝8,c＝256为例，实际待编码特征数据量为拼接后的等效特征的数据量的1/512。
73.对于维度为(c’,h/4,w/4)的特征进一步进行特征变换，例如进行dct变换，并对其系数进行量化压缩。在特征解压缩过程中进行反序操作，先进行一次卷积将通道数从c’恢复到c，再经过两次反卷积处理恢复尺寸为h、w。
74.上述实施例中的图像处理方法使用特征拼接并取消了卷积操作，特征分割重建取消了卷积操作，编码器取代了vtm，大幅降低了计算复杂度；取消了gap操作,且拼接后的特征不同的通道里面包含了不同尺度的特征以及本特征附近区域的特征，可以通过卷积进行学习，损失信息较少，且多级特征不通过其他特征恢复，改善了精度；使用两次降采样卷积先降数据量为原始数据的1/16,再进一步压缩通道，改善了压缩比；取消了se操作的两个fc，以及众多1x1卷积，有效改善了内存占用。
75.在一个实施例中，如图4所示，本公开提供一种图像处理装置40，包括特征拼接模块41、通道数确定模块42、特征压缩模块43、特征解压缩模块44和特征分割模块45。特征拼接模块41将多个图像特征信息进行拼接处理，生成等效图像特征信息。通道数确定模块42确定与等效图像特征信息相对应的等效通道数，根据等效通道数确定与特征压缩模块相对应的主卷积通道数。
76.特征压缩模块43基于主卷积通道数以及预设卷积通道数对等效图像特征信息进行多次卷积处理，生成与等效图像特征信息相对应的降维图像特征信息。特征压缩模块43对降维图像特征信息进行变换处理和编码处理，生成图像压缩数据。特征解压缩模块44对图像压缩数据执行与特征压缩模块所进行的处理相对应的反向处理，用于获取等效图像特征信息。特征分割模块45对等效图像特征信息进行分割处理，获取多个图像特征信息。
77.在一个实施例中，图像特征信息的维度包括通道数、图像宽度和图像高度；通道数确定模块42获取多个图像特征信息的维度中的最小图像宽度和最小高度，作为等效图像特征信息的维度中的等效图像宽度和等效图像高度。通道数确定模块42计算等效图像宽度与等效图像高度的乘积，将等效图像特征信息的总数据量与乘积的商，作为等效通道数。通道数确定模块42将主卷积通道数设置为等效通道数。
78.特征压缩模块43包括多个第一卷积层和至少一个第二卷积层；特征压缩模块43设置第一卷积层的输入通道数和输出通道数为主卷积通道数，并将第一卷积层的步长设置为大于1的值。特征压缩模块43设置第二卷积层的输入通道数为主卷积通道数、输出通道数为预设卷积通道数，并将第一卷积层的步长设置为1。特征压缩模块43依次使用第一卷积层和第二卷积层对等效图像特征信息进行多次卷积处理，生成降维图像特征信息。
79.特征压缩模块43包括第一变换处理层和第一编码层；特征解压缩模块43使用第一
变换处理层对降维图像特征信息进行离散余弦变换dct处理，并使用第一编码层对进行了dct处理后的降维图像特征信息进行压缩编码处理，生成图像压缩数据。
80.特征解压缩模块44对图像压缩数据进行反编码处理和反变换处理，生成降维图像特征信息。特征解压缩模块44使用特征解压缩模块并基于主卷积通道数以及预设卷积通道数对降维图像特征信息进行多次反卷积处理，生成与降维图像特征信息相对应的等效图像特征信息。
81.在一个实施例中，特征解压缩模块44包括第二编码层和第二变换处理层；特征解压缩模块44使用第二编码层对图像压缩数据进行反压缩编码处理，并使用第二变换处理层对进行了反压缩编码处理后的图像压缩数据进行反dct处理，生成降维图像特征信息。
82.特征解压缩模块44设置第三卷积层的输入通道数为预设卷积通道数、输出通道数为主卷积通道数，并将第三卷积层的步长设置为1。特征解压缩模块44设置第四卷积层的输入通道数和输出通道数为主卷积通道数，并设置第四卷积层的步长为大于1的值。特征解压缩模块44依次使用第三卷积层和第四卷积层对等效图像特征信息进行多次反卷积处理，生成降维图像特征信息。
83.在一个实施例中，如图5所示，特征提取模块46对图像进行特征提取处理，获取与图像相对应的多个图像特征信息；特征提取模块46包括特征金字塔网络fpn模型等模型；特征提取模块46使用fpn模型对图像输入进行处理，生成多个图像特征信息；其中，多个图像特征信息的图像宽度维度、图像高度维度都分别小于图像中对应的图像宽度维度、图像高度维度；并且，多个图像特征信息的图像宽度维度、图像高度维度依次减小。
84.图6为根据本公开的图像处理装置的又一个实施例的模块示意图。如图6所示，该图像处理装置可包括存储器61、处理器62、通信接口63以及总线64。存储器61用于存储指令，处理器62耦合到存储器61，处理器62被配置为基于存储器61存储的指令执行实现上述的图像处理方法。
85.存储器61可以为高速ram存储器、非易失性存储器(non-volatile memory)等，存储器61也可以是存储器阵列。存储器61还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器62可以为中央处理器cpu，或专用集成电路asic(application specific integrated circuit)，或者是被配置成实施本公开的图像处理方法的一个或多个集成电路。
86.在一个实施例中，本公开提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的图像处理方法。
87.上述实施例中的图像处理方法、装置以及存储介质，通过在特征拼接中取消卷积操作并在特征分割重建中也取消了卷积操作，降低了计算复杂度；通过取消gap操作，减少损失信息，并且多级特征不通过其他特征恢复，改善了处理精度；使用卷积处理降低数据量并进一步压缩通道，改善了压缩比；取消了fc操作并减少了卷积处理，有效改善了内存占用；提高了用户的使用感受。
88.可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括
用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
89.本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。