图像处理方法、装置、设备及介质与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、设备及介质。


背景技术：

2.在人工智能领域，一般涉及神经网络技术，对于神经网络技术而言，利用神经网络进行例如图像分类、图像识别的图像处理任务已经变的非常普遍，神经网络在图像分类、物体检测、语义分割和样例分割等图像处理任务上均取得了较好的成果。现有的神经网络在执行图像处理时，一般是通过逐级降采样的方式将输入的图像映射为高维度的特征图(高层次特征图)，随后基于高维度的特征图进行图像处理，例如，以图像处理为图像分类为例，特征分类器可以对高维度的特征图进行分类得到图像的分类结果。
3.其中，卷积神经网络中低层次特征图的分辨率较大具有较丰富的空间特征，而高层次特征图的分辨率较小具有丰富的语义信息，因而将低层次特征图和高层次特征图融合，以得到初始融合特征图，从而可以充分利用图像的语义信息和空间特征，实现图像的上下文特征融合，增强卷积神经网络的泛化能力。
4.然而，目前所采用的将低层次特征图和高层次特征图进行融合的方式，融合的计算量较大，从而导致计算机内存开销大、对计算机性能要求高、图像处理效率低下的问题。
5.申请内容
6.鉴于上述问题，提出了本技术实施例的一种图像处理方法、装置、设备及介质，以便克服上述问题或者至少部分地解决上述问题。
7.为了解决上述问题，本技术的第一方面，提供一种图像处理方法，所述方法包括：
8.获得目标图像的低层次特征图和高层次特征图；其中，所述高层次特征图是基于对所述低层次特征图进行降采样得到的；
9.确定所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系；所述特征块包括多个第一特征点，其中，所述多个第一特征点为所述低层次特征图中的特征点；
10.基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到所述目标图像对应的初始融合特征图；
11.基于所述初始融合特征图，对所述目标图像进行处理。
12.可选地，确定所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系，包括：
13.确定各个所述第二特征点在所述高层次特征图中的位置，以及，确定各个所述特征块在所述低层次特征图中的位置；
14.根据每个特征块在所述低层次特征图中的位置，将该特征块映射到所述高层次特征图中对应位置处的第二特征点，得到各个特征块与所述高层次特征图中各个第二特征点之间的映射关系。
15.可选地，基于所述映射关系，分别将各个所述特征块与相应的所述特征点进行融合，得到所述目标图像对应的初始融合特征图，包括：
16.基于所述映射关系，分别确定各个所述特征块各自所对应的权重值；
17.基于各个所述特征块各自所对应的权重值，分别将各个所述特征块的特征融合到各自所映射的第二特征点，得到所述目标图像对应的初始融合特征图。
18.可选地，所述基于各个所述特征块各自所对应的权重值，分别将各个所述特征块的特征融合到各自所映射的第二特征点，得到所述目标图像对应的初始融合特征图，包括：
19.基于每个所述特征块对应的权重值，将每个所述特征块中各个第一特征点的特征分别融合到每个所述特征块所映射的第二特征点，得到每个所述特征块所包括的各个所述第一特征点对应的子融合特征值；
20.基于每个所述特征块所包括的各个所述第一特征点对应的所述子融合特征值，获得每个所述特征块所映射的所述第二特征点对应的融合特征值；
21.基于所述高层次特征图中各个所述第二特征点对应的融合特征值，生成所述初始融合特征图。
22.可选地，所述基于所述映射关系，分别确定各个所述特征块所对应的权重值，包括：
23.确定每个特征块所包括的各个所述第一特征点与该特征块所映射的第二特征点之间的相似度；
24.对每个特征块中各个所述第一特征点对应的相似度进行归一化处理，得到每个特征块所对应的权重值。
25.可选地，所述基于所述映射关系，分别将各个所述特征块与相应的所述特征点进行融合，得到所述目标图像对应的初始融合特征图，包括：
26.针对每个所述特征块，基于该特征块所包括的各个第一特征点与该特征块所映射的第二特征点之间的相似度，确定各个所述第一特征点各自所对应的权重值；
27.基于每个所述特征块中各个所述第一特征点各自所对应的权重值，将该特征块所包括的各个所述第一特征点的特征分别融合到该特征块所映射的所述第二特征点，得到该特征块中各个所述第一特征点对应的子融合特征值；
28.基于各个所述子融合特征值，获得每个特征块所映射的所述第二特征点对应的融合特征值；
29.基于所述高层次特征图中各个第二特征点对应的融合特征值，生成所述初始融合特征图。
30.可选地，所述方法还包括：
31.根据所述高层次特征图的第一分辨率和所述低层次特征图的第二分辨率，将所述低层次特征图划分为多个所述特征块。
32.可选地，所述根据所述高层次特征图的第一分辨率和所述低层次特征图的第二分辨率，将所述低层次特征图划分为各个所述特征块，包括：
33.根据所述第二分辨率与所述第一分辨率之间的比值，确定所述低层次特征图中特征块的目标分辨率；
34.基于目标分辨率，将所述低层次特征图划分为多个所述特征块。
35.可选地，所述低层次特征图的数量为多个，其中，多个低层次特征图是基于对所述目标图像依次进行多次降采样得到的，所述高层次特征图是基于对最后一次降采样得到的低层次图进行降采样得到的；所述确定所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系，基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到所述目标图像对应的初始融合特征图，包括：
36.针对所述多个低层次特征图中的每一个所述低层次特征图，确定每一个所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系；
37.基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到每一个所述低层次特征图对应的子融合特征图；
38.对所述多个低层次特征图各自对应的子融合特征图进行特征融合，得到与所述目标图像对应的初始融合特征图。
39.可选地，所述基于所述初始融合特征图，对所述目标图像进行处理，包括：
40.将所述初始融合特征图与所述高层次特征图进行融合，得到二次融合特征图；
41.基于所述二次融合特征图，对所述目标图像进行处理。
42.可选地，所述图像处理方法基于神经网络实现；所述神经网络包括特征提取模块、局部特征融合模块以及图像识别模块；
43.所述获得目标图像的低层次特征图和高层次特征图，包括：
44.通过所述特征提取模块，获得目标图像的低层次特征图和高层次特征图；
45.所述确定所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系；基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到所述目标图像对应的初始融合特征图，包括：
46.通过所述局部特征融合模块，确定所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系，并基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到所述目标图像对应的初始融合特征图；
47.所述基于所述初始融合特征图，对所述目标图像进行处理，包括：
48.通过所述图像识别模块，基于所述初始融合特征图，对所述目标图像进行处理
49.本技术实施例的第二方面，提供一种图像处理装置，所述装置包括：
50.特征图获得模块，用于获得目标图像的低层次特征图和高层次特征图；其中，所述高层次特征图是基于对所述低层次特征图进行降采样得到的；
51.关系确定模块，用于确定所述低层次特征图中各个特征块与所述高层次特征中各个第二特征点之间的映射关系；其中，所述特征块包括多个第一特征点，所述第一特征点为所述低层次特征图中的特征点；
52.融合模块，用于基于所述映射关系，分别将所述各个特征块与所映射的所述第二特征点进行特征融合，得到所述目标图像对应的初始融合特征图；
53.图像处理模块，用于基于所述初始融合特征图，对所述目标图像进行处理。
54.本技术实施例的第三方面，提供一种神经网络，所述神经网络所述神经网络用于执行第一方面所述的图像处理方法。
55.本技术实施例还公开了一种电子设备，包括：
56.一个或多个处理器；和
57.其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行如本技术第一方面实施例所述的图像处理方法。
58.本技术实施例的第四方面，还公开了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本技术第一方面实施例所述的图像处理方法。
59.本技术实施例至少具有以下优点：
60.在本技术实施例中，可以获得目标图像的低层次特征图和高层次特征图；进而，确定低层次特征图中各个特征块与高层次特征图中各个第二特征点之间的映射关系；不同的特征块包括多个第一特征点；接着，基于映射关系，分别将所述多个特征块的特征融合到所述高层次特征图中相应的第二特征点，得到与所述目标图像对应的初始融合特征图，这样，后续便可以基于初始融合特征图，对目标图像进行识别。
61.一方面，由于建立的是高层次特征图中一个特征点与低层次特征图中一个特征块之间的映射关系，且特征块包括多个第一特征点，因而，高层次特征图中的一个特征点对应的是低层次特征图中的一个特征区块，在进行特征融合时，便可以基于映射关系，分别将低层次特征中的一个特征块的特征与高层次特征图中一个特征点的特征进行融合。如此，在进行上下文特征融合时，可以实现低层次特征图的特征分区块地与高层次特征图进行特征融合，从而每次融合时所要计算的数据量是低层次特征图中部分区块的特征，从而减小了特征融合的数据量，进而减小了计算机的内存开销，降低了对计算机性能的要求，使得本技术的图像处理方法可以适用于多种计算机设备，同时也提高了图像处理效率。
62.再一方面，由于在进行特征融合时，实现的是分区块的特征融合，从而将低层次特征图中的一个特征块的特征融合到高层次特征图中的一个特征点中，可以实现卷积神经网络中高层次特征图中的每一个神经元(特征点)对应低层次特征图中的一块区域，从而将低层次特征图的空间特征分区块融合到高层次特征图中，特征融合更加精细，可以得到细节更加丰富的融合特征，从而提高了图像处理的准确度。
63.且由于本技术进行的是分区块的上下文特征融合，融合后得到的初始融合特征图可以用于进行图像分类、图像识别或物体检测等任务中，因而，对于大多数的图像处理任务，采用本技术的图像处理方法，均可以降低计算机的内存消耗，提高图像处理准确度，因而可以通用于多种图像处理任务，适用于多种计算机设备，从而提高本技术的图像处理方法的适用范围。
附图说明
64.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
65.图1是本技术实施例中的一种图像处理方法的步骤流程图；
66.图2是本技术实施例中的一种图像处理方法的原理图；
67.图3是本技术实施中进行特征融合的步骤流程图；
68.图4是本技术实施中的一种神经网络构建方法的步骤流程图；
69.图5是本技术实施中的以resnet神经网络为原始神经网络为例，创建出的神经网
络的对比示意图；
70.图6是本技术实施中的一种局部特征融合模块的结构示意图；
71.图7是本技术实施中的一种局部特征融合模块的结构示意图；
72.图8是本技术实施中的训练得到推理阶段的神经网络的步骤流程图；
73.图9是本技术实施例中的一种图像处理装置的结构示意图；
74.图10是本技术实施例中的一种电子设备的结构示意图。
具体实施方式
75.为使本技术的上述目的、特征和优点能够更加明显易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
76.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
77.在上述人工智能领域中，涉及到图像处理技术，如上述背景技术所示，在相关技术中，存在进行上下文特征融合时所导致的计算量大、计算机内存开销大的技术问题，为此，本技术提出了以下解决该技术问题的技术构思：将低层次特征图分割为多个特征块，之后，将特征块映射到高层次特征图中的相应特征点，之后，基于映射关系，将各个特征块的特征传递到高层次特征图中的相应特征点，以分区块地完成上下文特征融合，减小特征融合时的计算量和计算机的内存开销，提高图像处理效率。
78.基于以上技术构思，本技术提出了一种图像处理方法以及相应的一种神经网络构建方法。其中，神经网络构建方法旨在构建出一种可以实现以上图像处理方法的神经网络，在实际应用中，通过利用所述神经网络对图像进行处理时，可以达到减少上下文特征融合的计算量、节约内存开销的目的。
79.参照图1，图1示出了本技术实施例的一种图像处理方法的步骤流程图，其中，本技术所述的方法可以应用于终端设备或服务器中，具体可以包括以下步骤：
80.步骤s101：获得目标图像的低层次特征图和高层次特征图。
81.其中，所述高层次特征图是基于对所述低层次特征图进行降采样得到的。
82.本实施例中，目标图像可以是待处理的图像，其中，目标图像的低层次特征图可以理解为是对目标图像进行特征提取后得到的特征图，例如可以是卷积处理、降采样处理后得到的特征图。
83.其中，对低层次特征图进行降采样后，可以得到相应的高层次特征图，由于对低层次特征图的降采样，降采样可以是值：成比例缩小特征图宽和高的过程，比如特征图从(w，h)变为(w/2，h/2)，因而高层次特征图的分辨率小于低层次特征图的分辨率，低层次特征图具有丰富的空间特征，而高层次特征图具有丰富的语义信息。也就是说，低层次特征图具有较丰富的空间局部特征，而高层次特征图对全局特征进行了增强。
84.步骤s102：确定所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系。
85.其中，所述特征块包括多个第一特征点，所述第一特征点为所述低层次特征图中的特征点。
86.本实施例中，高层次特征图和低层次特征图中均具有多个特征点，一个特征点可以理解为是一个像素点，具有各自的像素值。本实施例中，对于高层次特征图而言，高层次特征图中的每个特征点称为第二特征点，低层次特征图中的每个特征点称为第一特征点。
87.由于高层次特征图是对低层次特征图进行降采样后得到的，如此，低层次特征图的分辨率高于高层次特征图的分辨率，进而低层次特征图所包含的特征点的个数大于高层次特征图所包含的特征点的个数。
88.为了实现在后续将低层次特征图的特征融合到高层次特征图时，减少计算机的内存开销，本技术中可以将低层次特征图的特征分块融合到高层次特征图中，这样在进行特征融合时，每一次融合是针对低层次特征中的部分区块和高层次特征图中的第二特征点进行的，因而可以减小特征融合的计算量，从而降低对计算机内存的消耗。
89.具体而言，低层次特征图可以视作由多个特征块组合而成的特征图，不同的特征块可以表征低层次特征中的一个不同区域，不同的特征块便包括不同区域中的多个第一特征点，由此，不同的特征块可以包括低层次特征图上不同位置的空间特征。因而，可以基于低层次特征图中特征块所反映的空间特征，确定低层次特征图中每个特征块与高层次特征图中相应的第二特征点之间的映射关系，从而建立低层次特征图中的特征块与高层次特征图中的每个第二特征点之间的映射，从而将低层次特征图中的一个特征块映射到高层次特征图中的一个特征点，从而将低层次特征图中不同位置的空间特征映射到高层次特征图中的相应位置，这样，可以实现细节更加丰富的特征融合。
90.例如，低层次特征图的分辨率是14
×
14，可以理解为是由4个7
×
7的特征块组成的特征图，每个特征块包括49个特征点(第一特征点)，不同的特征块位于低层次特征图上的不同区域，反映低层次特征图的不同位置的空间特征，可以基于4个7
×
7的特征块各自所反映的空间特征，将其映射到高层次特征图中的相应特征点(相应第二特征点)。
91.实际中，高层次特征图中的第二特征点的数量少于或等于低层次特征图中的特征块的数量。在一些实施方式中，高层次特征图中不同的特征点可以对应低层次特征图中不同的特征块，这样，低层次特征图中的多个特征块的数量可以与高层次特征图中特征点的数量相同。如此，使得低层次特征图中不同的特征块可以映射到高层次特征图中不同的特征点。
92.在其他一些实施例中，低层次特征图中的至少一个特征块可以映射高层次特征图中的同一个第二特征点，其中，至少一个特征块可以是彼此相邻的特征块。例如，低层次特征图被划分为8个特征块，而高层次特征图中包括4个特征点，如此，可以将相邻的2个特征块映射高层次特征图中的同一个特征点。
93.当然，在其他一些实施例中，在确定低层次特征图中各个特征块与高层次特征图中各个第二特征点之间的映射关系时，也可以基于其他的计算方式确定，只要保证将低层次特征图中的特征块映射到高层次特征图中的相应位置的第二特征点即可。
94.在一种实施例中，由于低层次特征图中包括多个特征块，这样，在将多个特征块的特征分别融合到所映射的第二特征点时，可以进行并行地融合，例如，有4个特征块和4个第二特征点，则可以开启4条并行的线程，不同的线程计算不同的特征块和所映射的第二特征点的融合特征，由于每一条线程所需要计算的数据量均较小(都是低层次特征图中的部分特征数据)，当并行执行融合时，所耗费的总时长与单个特征块融合所耗费的时长相差不大，因而计算耗时短、内存占用也较小，从而可以提高数据融合效率。
95.步骤s103：基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到与所述目标图像对应的初始融合特征图。
96.本实施例中，由于建立了低层次特征图中各个特征块与高层次特征图中相应的第二特征点之间的映射关系，从而可以基于这样的一个映射关系，进行分区块的上下文特征融合，具体而言，可以分别针对每个特征块和所映射的高层次特征图中的第二特征点进行特征融合，由于是将低层次特征图中的特征块的特征融合到高层次特征图中的第二特征点，由此，融合后得到的初始融合特征图的分辨率与高层次特征图的分辨率是一致的，例如，高层次特征图的分辨率是2
×
2，则初始融合特征图的分辨率也为2
×
2。
97.由于本技术的特征融合的计算量是基于低层次特征图中的特征块和高层次特征图中的第二特征点的，特征块是低层次特征图中的部分区域的特征，因而减小了计算量。例如，低层次特征图的分辨率是14
×
14，由4个7
×
7的特征块组成，在进行特征融合时，将每个特征块与相应的第二特征点进行特征融合，由于每个特征块所包含的是局部的空间特征，计算量小，提高了特征融合效率。
98.在一种具体实现中，在将每个特征块的特征融合到高层次特征图中相应的第二特征点时，可以将每个特征块的特征与高层次特征图中相应的第二特征点的特征进行加权融合，从而使得将低层次特征图中局部的空间特征融合到高层次特征图中的第二特征点，得到更精细化的融合特征。
99.例如，低层次特征图的分辨率是14
×
14，由4个7
×
7的特征块组成，4个特征块分别位于低层次特征图中的右上角、左下角、右下角和左上角，因而，可以将低层次特征图中右上角的空间特征融合到高层次特征图中右上角位置的一个第二特征点上，使得高层次特征图右上角位置的特征点兼具了低层次特征图上的空间特征，进而可以增强高层次特征图中的局部空间特征，如此，也可以提高神经网络的泛化能力。
100.步骤s104：基于所述初始融合特征图，对所述目标图像进行处理。
101.在得到目标图像对应的初始融合特征图后，可以基于初始融合特征图对目标图像进行相应的图像处理，其中，目图像处理包括图像分类处理、物体检测处理、语义分割处理中的一种或多种。
102.具体地，针对不同的图像处理任务，可以对目标图像进行不同的处理，例如，在图像处理任务是图像分类任务时，可以将初始融合特征图送入特征分类器，从而得到对目标图像进行分类的分类结果。又例如，在图像处理任务是语义分割任务时，可以将初始融合特征图送入语义提取器中进行语义分割，得到目标图像的语义分割结果。
103.采用本实施例的技术方案，一方面，由于建立的是高层次特征图中一个第二特征点与低层次特征图中特征块之间的映射关系，因而，可以将低层次特征图中的局部空间特征融合到高层次特征图中的一个第二特征点。如此，在进行上下文特征融合时，可以实现分区块的特征融合，从而融合时所要计算的数据量是低层次特征图中的局部空间特征，减小了特征融合的数据量，进而减小了计算机的内存开销，降低了对计算机性能的要求，使得本技术的图像处理方法可以适用于多种计算机设备。
104.再一方面，由于在进行特征融合时，实现的是分区块的特征融合，使得低层次特征图中的局部空间特征融合到高层次特征图中的一个特征点中，从而将低层次特征图的空间特征分区块融合到高层次特征图中，特征融合更加精细，可以得到细节更加丰富的融合特征，从而提高了图像处理的准确度。
105.在又一些实施例中，基于实际的图像处理，可能会对目标图像进行多层次的降采样处理，由此，可以得到多个不同分辨率的特征图。例如，对特征图a进行降采样处理得到特征图b，再对特征图b进行降采样处理，得到特征图c，接着再对特征图c进行降采样，得到特征图d后结束降采样，因而特征图d是高层次特征图，而特征图a到特征图c是低层次特征图。
106.可见，最后一次降采样处理得到的特征图为高层次特征图，得到高层次特征图之前的特征图为低层次特征图。如此，便存在一个高层次特征图和多个低层次特征图。相应地，多个低层次特征图是基于对目标图像依次进行多次降采样得到的，高层次特征图是基于对最后一次降采样得到的低层次图进行降采样得到的。
107.其中，多个低层次特征图的分辨率可以是各不相同的，且多个低层次特征图的分辨率均高于高层次特征图。在一些实施例中，可以分别针对每个低层次特征图，可以针对所述多个低层次特征图中的每一个所述低层次特征图，确定每一个所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系，并基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到每一个所述低层次特征图对应的子融合特征图。
108.其中，确定每一个所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系的过程，可以按照上述步骤s102的过程所述，在此不再赘述。
109.其中，基于映射关系，分别得到每一个所述低层次特征图对应的子融合特征图的过程可以参照上述步骤s103的过程所述，在此不再赘述。
110.此种情况下，可以对多个低层次特征图各自对应的子融合特征图进行特征融合，得到与所述目标图像对应的初始融合特征图。
111.本实施方式中，对于每个低层次特征图，均可以建立该低层次特征图中多个特征块与高层次特征图中相应的第二特征点之间的映射关系，接着，基于这一映射关系，将该低层次特征图多个特征块的特征分别融合到高层次特征图中相应的第二特征点，从而得到该低层次特征图与高层次特征图的子融合特征图，进而得到多个低层次特征图多分别对应的子融合特征图。其中，多个子融合特征图的数量与低层次特征图的数量一致，融合后得到的
每个子融合特征图的分辨率可以与高层次特征图的分辨率相同。
112.在得到多个低层次特征图各自对应的子融合特征图后，可以对多个子融合特征图再进行融合，得到最终的与目标图像对应的初始融合特征图。如此，得到的初始融合特征图中的每个特征点均融合了不同分辨率的低层次特征图的局部空间特征，从而使得初始融合特征图中的空间特征得到进一步增强。
113.需要说明的是，由于多个低层次特征图的分辨率可以是各不相同的，对于不同的低层次特征图，可以具有不同数量的特征块，也可以具有相同数量的特征块。
114.其中，可以按照统一的分辨率对多个低层次特征图进行划分，从而得到低层次特征图各自的多个特征块，使得不同的低层次特征图具有不同数量的特征块。例如，包括低层次特征图1和低层次特征图2，低层次特征图1的分辨率是14
×
14，低层次特征图2的分辨率是8
×
8，这样，按照统一的分辨率2
×
2进行特征块划分，如此，低层次特征图1被划分为49个特征块，而低层次特征图2被划分为16个特征块，每目标分辨率均为2
×
2。
115.其中，也可以按照不同的分辨率对多个低层次特征图进行划分，从而得到低层次特征图各自的多个特征块，使得不同的低层次特征图具有相同数量的特征块。例如，包括低层次特征图1和低层次特征图2，低层次特征图1的分辨率是14
×
14，低层次特征图2的分辨率是8
×
8，这样，按照7
×
7的分辨率对低层次特征图1进行划分，得到4个特征块，而低层次特征图2按照4
×
4的尺度，被划分为4个特征块。
116.采用本实施方式时，由于对每个低层次特征图，均可以将该低层次特征特征图的特征分区块融合到高层次特征图中，可以理解的是，由于不同分辨率的低层次特征图的空间特征的丰富程度不同，在得到的初始融合特征图中的每个特征点均融合了不同分辨率的低层次特征图的局部空间特征时，高层次特征图便融合了细节程度不同的空间特征，从而使得初始融合特征图中的空间特征得到进一步增强，从而提高了后续基于初始融合特征图进行图像处理的准确度。
117.在又一种实施方式中，可以将所述初始融合特征图与所述高层次特征图进行融合，得到二次融合特征图；基于所述二次融合特征图，对所述目标图像进行处理，得到所述目标图像的图像处理结果。
118.本实施例中，由于将低层次特征图的特征经过分块后完成向高层次特征图的融合，从而使得初始融合特征图兼具了上下文特征。其中，将初始融合特征图与高层次特征图进行融合，得到二次融合特征图时，由于初始融合特征图与高层次特征图的分辨率可以是相同的，进而在对二者进行融合时，可以采用相加或加权求和的方式进行特征融合，得到二次融合特征图，该二次融合特征图融合了高层次特征图、高层次特征图与低层次特征图融合后的特征，由此，使得二次融合特征图在增强了低层次的局部空间特征的基础上，又进一步强化了高层语义特征，进而基于该二次融合特征图，对目标图像进行图像识别，可以得到更为准确的图像识别结果。
119.由于本技术进行的是分区块的上下文特征融合，降低了计算机的内存消耗，可以通用于多种图像处理任务，适用于多种计算机设备，从而提高本技术的图像处理方法的适用范围。
120.下面，对本技术如何进行分区块的上下文特征融合进行详细说明。
121.首先，参照图2所示，示例性出了本技术实施例的图像处理方法的原理图，结合图2
所示，对本技术的图像处理方法进行详细说明。
122.如图2所示，x代表高层次特征图，y代表低层次特征图。由于需要将低层次特征图中特征块的特征传递给高层次特征图中相应的第二特征点，因而需要将低层次特征图进行分割，以得到多个特征块，再确定高层次特征图中多个第二特征点与低层次特征图中多个特征块之间的映射关系。
123.在一实施例中，可以将低层次特征图划分为与高层次特征图中的第二特征点的数量相同的多个特征块，如此，可以使得低层次特征图中不同的特征块映射高层次特征图中不同的第二特征点。具体地，可以根据所述高层次特征图的第一分辨率和所述低层次特征图的第二分辨率，将低层次特征图划分为多个特征块。其中，分辨率可以理解为是特征图的尺寸或特征图的分辨率。在一些实施例中，分辨率可以是特征图的分辨率，在对低层次特征图进行划分时，可以根据低层次特征图的第二分辨率和高层次特征图的第一分辨率之间的比值，确定低层次特征图中被划分的每个特征块的目标分辨率，进而按照每目标分辨率，将低层次特征图划分为多个特征块。
124.示例地，以图2为例，x的分辨率是2
×
2，y的分辨率是14
×
14，则二者的比值是7
×
7，因而在对y划分时，划分出的每个特征块的目标分辨率是7
×
7，如此，可以按照7
×
7的规格将低层次特征图划分为4个特征块，每个特征块的分辨率是7
×
7。
125.当然，在其他一些实施例中，也可以根据高层次特征图中包含的第二特征点的个数和低层次特征图所包含的第一特征点的个数，对低层次特征图进行划分得到多个特征块。
126.示例地，以图2为例，假设x包含4个特征点，y包含196个特征点，则x中的一个特征点需要对应y中的49个特征点，则y中每49个特征点可以划分为一个特征块。
127.当然，根据特征点个数对低层次特征图进行划分时，还可以结合低层次特征图上第一特征点的位置进行划分，例如，按照从左至右从上到下的顺序，将每n个第一特征点划分为一个特征块。
128.本实施例中，由于得到了低层次特征图的多个特征块，在确定高层次特征图中多个第二特征点与低层次特征图中多个特征块之间的映射关系时，可以根据高层次特征图中第二特征点的位置和多个特征块在低层次特征图中的位置，确定低层次特征图中多个特征块与高层次特征图中多个第二特征点之间的映射关系。
129.具体而言，低层次特征图中的一个特征块位于低层次特征图中的一个区域，反映了低层次特征图中局部位置的空间特征，因而可以确定每个特征块在低层次特征图中的位置，以及每个第二特征点在高层次特征图中的位置，从而根据每个特征块在所述低层次特征图中的位置，将该特征块映射到所述高层次特征图中对应位置处的第二特征点，得到各个特征块与所述高层次特征图中各个第二特征点之间的映射关系。
130.得到特征块与低层次特征图之间的位置关系，以及高层次特征图中第二特征点与高层次特征图的位置关系后，可以将具有同一位置关系的特征块和第二特征点相映射。
131.例如，以图2为例，将y划分为7
×
7的4个特征块，x的分辨率是2
×
2，其中，特征块1位于y的左上角，x中的特征点1位于x的左上角，因而，特征块1和特征点1具有相同的位置关系，从而将特征点1和特征块1进行映射。
132.在具体实施时，在确定每个特征块在低层次特征图中的位置，以及每个第二特征
点在高层次特征图中的位置时，可以基于低层次特征图的位置编码和高层次特征图的位置编码确定，其中，位置编码可以是指相对位置编码或绝对位置编码，基于位置编码，可以建立高层次特征图中多个第二特征点与低层次特征图中多个特征块之间的映射关系，以将相应位置的特征块和第二特征点进行映射。
133.下面，结合图2，对本技术如何基于映射关系，分别将多个特征块的特征融合到所述高层次特征图中相应的第二特征点进行介绍。
134.在一种实施例中，可以基于所述映射关系，分别确定各个所述特征块各自所对应的权重值，进而，基于各个特征块各自所对应的权重值，分别将特征块的特征融合到所映射的高层次特征图中的第二特征点。
135.其中，各个特征块各自所对应的权重值可以理解为是进行特征融合时的融合系数，本实施例中，不同特征块处于低层次特征图中的不同位置，由此，每个特征块可以根据其所在的位置，确定该特征块对应的权重值。其中，不同特征块可以对应不同的权重值。
136.例如，将反映空间特征较为丰富的位置处的特征块给与较高的权重，将反映空间特征不够丰富的位置处的特征块给与较低的权重。示例地，如图2中y所示，特征块1位于左上角，实际中，基于位置编码，该左上角上的空间特征不够丰富，对于上下文特征融合的空间特征贡献较小，则可以赋予较低的权重。
137.由于特征块中包括多个特征点，在一种实施方式中，在将特征块的特征融合到所映射的高层次特征图中的第二特征点时，可以进行二个特征图上的特征点粒度的融合。
138.在一种具体实施例中，特征块中包括的多个第一特征点均可以按照该特征块对应的权重值进行特征点粒度上的融合。此种情况下，每个特征块对应的权重值，可以是根据特征块中第一特征点与该特征块所映射的第二特征点之间的相似度确定的。该相似度可以反映特征块中第一特征点与第二特征点之间的相关性，如此，可以将与第二特征点相关性较高的第一特征点赋予较高的权重。如此，特征块对应的权重值可以是特征块中各第一特征点与第二特征点之间的相似度的平均值或者最高值或者最低值。
139.当然，在又一种可选的示例中，在根据确定每个特征块所对应该的权重值时，可以分别确定每个特征块所包括的各个第一特征点与所映射的第二特征点之间的相似度；之后，对每个特征块中各个第一特征点对应的相似度进行归一化处理，得到每个特征块对应的权重值。
140.本实施例中，计算特征块所包括的各个第一特征点与所映射的第二特征点之间的相似度的过程，可以参照相关技术即可，在此不再赘述。在得到各个第一特征点与第二特征点之间的相似度后，可以对各个第一特征点对应的相似度进行归一化处理，将相似度归一化为0
‑
1之间的值，从而将归一化后的值作为权重值。
141.以图2为例，以x中的第二特征点1和y中的特征块1为例，特征块1为7
×
7的特征块，包含49个特征点(第一特征点)，可以分别确定目标特征块1中每个第一特征点与第二特征点1之间的相似度，得到49个相似度，接着，再对49个相似度进行归一化处理，得到为0
‑
1之间的权重值。
142.此种情况下，参照图3所示，示出了特征融合的步骤流程图，具体可以包括以下步骤：
143.步骤s301：基于每个所述特征块对应的权重值，将每个所述特征块中各个第一特
征点的特征分别融合到每个所述特征块所映射的第二特征点，得到每个所述特征块所包括的各个所述第一特征点对应的子融合特征值。
144.本实施例中，不同特征块可以对应不同的权重值，在进行特征融合时，可以是基于特征点粒度的融合，也就是说对每个特征块，将该特征块中的各个第一特征点的特征值分别与所映射的第二特征点的特征值进行加权融合，由此，对于每个特征块而言，便得到了各个第一特征点对应的子融合特征值。
145.示例地，以图2为例，假设将y中的特征块1与x中的特征点1进行融合，特征块1中包括49个特征点(第一特征点)，则可以分别按照特征块1的权重，将49个特征点(第一特征点)与特征点1(第二特征点)进行分别融合，得到特征点1的49个子融合特征值。
146.步骤s302：基于每个所述特征块所包括的各个所述第一特征点对应的所述子融合特征值，获得每个所述特征块所映射的所述第二特征点对应的融合特征值。
147.本实施例中，针对每个特征块，在得到各个第一特征点对应的子融合特征值后，可以对各个第一特征点对应的子融合特征值进行融合，从而得到第二特征点的融合后特征值。其中，对各个第一特征点对应的子融合特征值进行融合，可以是指将各个第一特征点对应的子融合特征值进行相加。例如，将49个子融合特征值再进行融合，进而得到第二特征点1的融合后特征。
148.步骤s303：基于所述高层次特征图中各个所述第二特征点对应的融合特征值，生成所述初始融合特征图。
149.本实施例中，可以保存所述高层次特征图中各个第二特征点的融合特征值，得到所述初始融合特征图。
150.本实施例中，在对每个特征块，按照上述方式进行特征融合后，可以保存高层次特征图中各个第二特征点的融合特征值，得到初始融合特征图。
151.在又一些实施例中，在进行特征融合时，可以根据每个特征块所包括的各个第一特征点与所映射的第二特征点之间的相似度，确定每个特征块所包括的各个第一特征点各自所对应的权重值；接着，在进行特征融合时，可以根据每个特征块中各个第一特征点各自所对应的权重值，将每个特征块中各个第一特征点的特征分别融合到所述第二特征点，得到该特征块中各个所述第一特征点对应的子融合特征值。
152.之后，基于各个所述子融合特征值，获得每个特征块所映射的所述第二特征点对应的融合特征值。
153.接着，基于所述高层次特征图中各个第二特征点对应的融合特征值，生成所述初始融合特征图。
154.本实施方式中，相似度可以反映特征块中第一特征点与第二特征点之间的相似程度，相似度越高，第一特征点对应的权重值可以越高。如此，可以得到特征块中每个第一特征点与所映射的第二特征点之间的权重值，实际中，特征块中不同的第一特征点与第二特征点之间的相似度可以不同，进而，不同第一特征点可以具有不同的权重值。则在进行特征融合时，可以根据特征块中各个第一特征点与第二特征点之间的权重值，将每个特征块中各个第一特征点的特征分别融合到第二特征点，得到所述第二特征点的融合后特征。
155.以图2为例，以x中的特征点1和y中的特征块1为例，特征块1为7
×
7的特征块，包含49个特征点(第一特征点)，可以分别确定特征块1中每个特征点(第一特征点)与特征点1
(第二特征点)之间的权重，接着，对于特征块1中的每一第一特征点，可以按照该第一特征点的权重，将该第一特征点与特征点1(第二特征点)进行特征融合，依次类推，便得到49个融合特征，接着，再对49个融合特征进行再融合，如此，便得到了特征点1(第二特征点)的融合特征值。
156.之后，保存各个第二特征点的融合特征值，便可以得到初始融合特征图。
157.本实施方式中，由于可以特征块中不同特征点与第二特征点之间可以具有不同的权重，在特征融合时，是按照特征点的粒度进行融合的，且特征块中不同的第一特征点具有不同的权重值，由于低层次特征图具有丰富的空间特征，如此，使得与第二特征点相似度高的空间特征占据较大的比重，而与第二特征点相似度低的空间特征占据较小的比重，由此在特征点粒度的融合上，可以实现空间特征的精细化融合，使得在上下文特征融合时，融合的是低层次特征图中与高层次特征图中特征相关性较强的空间特征，实现上下文特征的紧密关联，从而提高后续进行图像识别的准确度。
158.采用本技术实施例的图像处理方法，具有以下优点：
159.1、可以减小计算量，减少对计算机内存的消耗，从而降低对计算机设备的性能要求。
160.由于建立的是高层次特征图中一个特征点与低层次特征图中一个特征块之间的映射关系，因而，可以将低层次特征图中的局部空间特征融合到高层次特征图中的一个特征点。如此，在进行上下文特征融合时，可以实现分区块的特征融合，从而融合时所要计算的数据量是低层次特征图中的局部空间特征，减小了特征融合的数据量，进而减小了计算机的内存开销，降低了对计算机性能的要求，使得本技术的图像处理方法可以适用于多种计算机设备。
161.2、可以提高物体检测、图像分类、语义分割等图像处理的准确度。
162.一方面，由于在进行特征融合时，实现的是分区块的特征融合，使得低层次特征图中的局部空间特征融合到高层次特征图中的一个特征点中，从而将低层次特征图的空间特征分区块融合到高层次特征图中，特征融合更加精细，可以得到细节更加丰富的融合特征，提高了图像处理的准确度。
163.再一方面，在低层次特征图为多个的情况下，得到的初始融合特征图中的每个特征点均融合了不同分辨率的低层次特征图的局部空间特征，从而使得初始融合特征图中的空间特征得到进一步增强，从而帮助提高图像处理的准确度。
164.又一方面，由于在进行特征融合时，可以根据特征块的权重进行融合，其中，不同位置的特征块可以分配不同的权重，或者根据特征块中特征点与第二特征点之间的相似度，确定权重，使得在上下文特征融合时，融合的是低层次特征图中与高层次特征图中特征相关性较强的特征，实现上下文特征的紧密关联，从而提高后续进行图像识别的准确度。
165.3、具有较普遍的适用性，适用于多种图像处理任务。
166.由于本技术进行的是分区块的上下文特征融合，融合后得到的初始融合特征图可以用于进行图像分类、图像识别或物体检测等任务中，因而，对于大多数的图像处理任务，采用本技术的图像处理方法，均可以降低计算机的内存消耗，提高图像处理准确度，因而可以通用于多种图像处理任务，适用于多种计算机设备，从而提高本技术的图像处理方法的适用范围。
167.其中，在又一种实施例中，本技术的图像处理方法可以基于神经网络实现，其中，所述神经网络包括特征提取模块、局部特征融合模块以及图像识别模块；
168.则在步骤s101中，所述获得目标图像的低层次特征图和高层次特征图个过程，可以通过所述特征提取模块实现，即，特征提取模块可以用于获得目标图像的低层次特征图和高层次特征图；
169.则在步骤s102和步骤s103中，可以通过所述局部特征融合模块实现，即特征提取模块可以向局部特征融合模块输入低层次特征图和高层次特征图，接着局部特征融合模块可以用于确定所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系，并基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到所述目标图像对应的初始融合特征图；
170.则在步骤s104中，可以通过所述图像识别模块实现，即局部特征融合模块可以将初始融合特征图输入到图像识别模块，图像识别模块可以用于基于所述初始融合特征图，对所述目标图像进行处理。
171.下面，对如何构建得到上述神经网络进行介绍。
172.其中，为构建出上述的神经网络，本技术人提出了一种神经网络构建方法，旨在通过该方法对相关技术中的卷积神经网络进行改进，以构建出一种神经网络，该神经网络可以实现以上图像处理方法，如此，在实际应用中，将该神经网络部署到计算机设备上以对图像进行处理时，可以达到减少上下文特征融合的计算量、节约计算机设备内存开销的目的，从而在实际应用时，可以将待处理的图像输入到神经网络，以解决相关技术中进行图像处理时，计算机内存开销大、图像处理效率低下的问题。
173.参照图4所示，示出了本技术实施例的一种神经网络构建方法的步骤流程图，具体可以包括以下步骤：
174.步骤s401：获得原始神经网络，所述原始神经网络包括依次连接的低层次特征提取层、高层次特征提取层，以及图像识别层。
175.其中，所述低层次特征提取层用于输出目标图像的低层次特征图，所述高层次特征提取层用于对所述低层次特征图进行降采样后输出高层次特征图。
176.本实施例中，原始神经网络可以是现有的卷积神经网络，例如，可以是resnet系列网络，如resnet
‑
18、resnet
‑
34；当然，实际中，也可以是其他系列的卷积神经网络。其中，在该原始神经网络中除包括低层次特征提取层、高层次特征提取层，以及图像识别层外，还可以包括卷积层。
177.示例地，参照图5所示，图5示出了以resnet神经网络为原始神经网络为例，创建出的神经网络的对比示意图。
178.如图5所示，左侧为resnet神经网络，该resnet神经网络主要包括三个部分，分别是初始层、特征处理主体层和图像识别层；其中，初始层包括依次串接的卷积层、非线性激活函数、以及最后的下采样，该初始层可以快速降低输入特征的分辨率，以降低随后的计算量和显存/内存开销。
179.特征处理主体层部分由多个瓶颈层级联而成，该级联的多个瓶颈层中最后一个瓶颈层为上述的高层次特征提取层，最后一个瓶颈层之前的模块为低层次特征提取层；其中，特征处理主体层部分主要用于逐级降低特征图的分辨率，以及通过逐级非线性变换增强特
征图的非线性表达能力。
180.图像识别层部分为上述实施例所述的图像识别层，其根据图像处理任务确定，例如，图像处理任务是分类任务，则可以是一个分类器，包括全连接层和权重分配层，利用最后一个瓶颈层输出的特征图对图像进行类别预测。
181.步骤s402：在所述高层次特征提取层与所述图像识别层之间，配置局部特征融合模块，得到神经网络。
182.其中，所述局部特征融合模块用于确定所述低层次特征图中各个特征块与所述高层次特征图中各个第二特征点之间的映射关系；不同的特征块包括多个第一特征点，并基于所述映射关系，分别将各个所述特征块与所映射的所述第二特征点进行融合，得到与所述目标图像对应的初始融合特征图。
183.本实施例中，可以在高层次特征提取层与图像识别层之间，配置局部特征融合模块，具体而言，局部特征融合模块的输入端分别连接高层次特征提取层和低层次特征提取层的输出端，局部特征融合模块的输出端连接所述图像识别层。该局部特征融合模块的作用是将低层次特征图中各个特征块的特征融合到高层次特征图中相应的第二特征点，以实现分区块的上下文特征融合。
184.如图5所示，可以在第三瓶颈层与图像识别层之间配置局部特征融合模块，以实现对分区块的上下文特征融合。
185.采用本技术实施例的技术方案，由于在原始神经网络的高层次特征提取层和图像识别层之间植入了局部特征融合模块，该局部特征融合模块可以执行上述实施例的图像处理方法，即可以在进行上下文特征融合时，实现分区块特征融合。如此，本技术通过该神经网络构建方法，构建出了一种新的神经网络，通过该新的神经网络可以解决以往的神经网络在进行特征融合时，计算量大、内存开销大的问题，因而，该神经网络所消耗的计算机内存开销低，可以提高图像处理效率。
186.下面，对局部特征融合模块的构建过程进行详细说明。
187.如图5所示，图5包括了多个低层次特征提取层，其中，多个低层次特征提取层依次串接，所述高层次特征提取层连接在最后一个低层次特征提取层后。
188.如此，在高层次特征提取层与所述图像识别层之间，植入局部特征融合模块，得到神经网络时，可以分别为高层次特征提取层与多个低层次特征提取层配置相应的局部特征融合模块，以分别对每个低层次特征提取层输出的低层次特征图和所述高层次特征图进行特征融合；
189.在所述图像识别层与各个局部特征融合模块之间配置特征融合模块，所述特征融合模块用于对各个局部特征融合模块输出的初始融合特征图进行融合后，输出到所述图像识别层。
190.本实施例中，如图5所示，可以包括多个低层次特征提取层，例如图5中第一瓶颈层和第二瓶颈层便是低层次特征提取层。具体而言，如图5所示，可以在每个低层次特征提取层和高层次特征提取层之间配置一个局部特征融合模块，如此，得到局部特征融合模块1和局部特征融合模块2，其中，局部特征融合模块1用于将第一瓶颈层输出的特征图分区块融合到第三瓶颈层输出的特征图中，局部特征融合模块2用于将第二瓶颈层输出的特征图分区块融合到第三瓶颈层输出的特征图中。
191.其中，如图5所示，可以在图像识别层head(图像识别层)和各个局部特征融合模块之间配置特征融合模块，该特征融合模块的输入端分别与局部特征融合模块1和局部特征融合模块2的输出端连接，该特征融合模块的输出端与图像识别层的输入端连接。
192.在一种实施例中，特征融合模块的输入端还可以与高层次特征提取层的输出端连接，用于将各个局部特征融合模块输出的初始融合特征图融合后，又与高层次特征图进行融合。
193.参照图6所示，图6示出了一种局部特征融合模块的结构示意图，结合图6所示，对本技术如何配置局部特征融合模块进行介绍。
194.在一种实施例中，可以配置与所述高层次特征提取层和所述低层次特征提取层连接的自注意力单元；所述自注意力单元用于将所述低层次特征提取层输出的低层次特征图划分为多个特征块，并分别将所述多个特征块的特征传递给所述高层次特征图中相应的第二特征点；
195.在所述自注意力单元的输出端配置特征变换单元，以及与所述高层次特征提取层连接的残差单元；其中，特征变换单元的输出端与所述残差单元的输入端连接；
196.其中，所述特征变换单元用于将所述自注意力单元输出的特征图进行线性变换；所述残差单元，用于将所述高层次特征图和所述特征变换子模块输出的特征图进行融合，得到所述初始融合特征图。
197.本实施例中，局部特征融合模块包括依次串接的自注意力单元、特征变换单元和残差单元；其中，自注意力单元输出的便是已经进行了上下文特征融合的特征图，特征变换单元将自注意力单元输出的特征图进行线性变换后再输入到残差单元。
198.如图6所示，在一种实施例中，特征变换单元包括依次串接的第一变换层、归一化层、第二变换层、第三变换层，其中，第一变换层至第三变换层各自均包括依次连接的全连接层和非线性激活函数层(relu)，残差层可以用于对输入的高层次特征图和经线性变换后的特征图进行归一化处理，从而得到初始融合特征图。
199.参照图6所示，图6也示出了自注意力单元的结构示意图，结合图6所示，对如何配置自注意力单元进行介绍。
200.在一种实施例中，配置过程可以如下所述：
201.首先，配置与所述高层次特征提取层连接的第一分割子单元，以及与所述低层次特征提取层连接的第二分割子单元；其中，所述第一分割子单元用于获得所述高层次特征图的多个第二特征点，所述第二分割子单元对所述低层次特征图进行分割，得到所述多个特征块。
202.其次，在所述第一分割子单元和所述第二分割子单元的输出端配置映射子单元，所述映射子单元用于确定所述高层次特征图中多个第二特征点与所述多个特征块之间的映射关系。
203.接着，在所述第二分割子单元的输出端和所述映射子单元的输出端配置特征融合子单元，所述特征融合子单元用于基于所述映射关系，分别将所述多个特征块的特征传递到所述高层次特征图中相应的第二特征点。
204.其中，第一分割子单元可以用于对高层次特征图进行分割，得到高层次特征图的多个第二特征点。第二分割子单元可以基于高层次特征图的第一分辨率和低层次特征图的
第二分辨率，将低层次特征图划分为多个特征块。具体的划分过程可以参照上述实施例的方法所述，在此不再赘述。
205.其中，映射子单元用于确定所述高层次特征图中多个第二特征点与所述多个特征块之间的映射关系，具体而言，如图6所示，映射子单元可以连接在第一分割子单元和第二分割子单元的输出端，具体而言，可以包括位置编码输入端和全连接层，以输入位置编码，从而可以基于第二特征点在高层次特征图中的位置和多个特征块在低层次特征图中的位置，确定高层次特征图中多个第二特征点与多个特征块之间的映射关系。
206.其中，特征融合子单元连接在映射子单元和第二分割子单元的输出端，以将多个特征块的特征融合到高层次特征图中相应的第二特征点。
207.在又一种实施例中，如图6所示，特征融合子单元可以包括权重分配层和特征传递层。
208.具体而言，在所述第二分割子单元的输出端和所述映射子单元的输出端配置特征融合子单元时，可以配置与所述第二分割子单元的输出端和所述映射子单元的输出端连接的权重分配层，所述权重分配层用于确定每个特征块对应的权重值。
209.配置与所述权重分配层连接的特征传递层，所述特征传递层用于根据每个特征块对应的权重值，分别将每个特征块的特征融合到所述高层次特征图中相应的第二特征点，得到所述初始融合特征图。
210.其中，权重分配层可以包括矩阵相乘层(matrix multiply)和损失函数层(softmax)，矩阵相乘层用于分别确定每个特征块所包括的各个第一特征点与所映射的第二特征点之间的相似度，而损失函数层用于对每个特征块中各个第一特征点对应的相似度进行归一化处理，得到每个特征块对应的权重值。
211.特征传递层便可以根据每个特征块对应的权重值，将每个特征块中各个第一特征点的特征分别融合到所映射的第二特征点，得到所映射的第一特征点的子融合后特征值，之后，对各个第一特征点的子融合后特征值进行融合，得到所映射的第二特征点的融合特征值，从而得到上下文特征传递后的初始融合特征图。
212.通过上述方式，便可以构建出一种用于进行图像处理的神经网络，待处理的图像通过神经网络处理时，可以实现分区块的上下文特征融合，从而降低对计算机内存的消耗，提高计算效率。
213.参照图7所示，示出了一种实施例下的局部特征融合模块的结构框图，如图7所示，包括分别与高层次特征图x和低层次特征图y连接的分割器(patch splitter)，即上述实施例的第一分割子单元和第二分割子单元，其中，在每个分割器的输出端连接位置编码层(position encoding)，以输入位置编码，接着再连接fc层，如此，可以得到针对高层次特征图x的维度为(n*n，1，c)的特征图q，同时低层次特征图变成维度为(n*n,h*w,c)的特征图k(k，nn，hw，c)。
214.其中，与低层次特征图y连接的分割器后还可以直接连接层，以输出每个特征块的特征值，得到特征图v(v，nn，hw，c)。
215.其中，在全连接层之后可以依次连接矩相乘阵层和回归层(softmax)，该两层即为权重分配层，其中，接矩相乘层可以计算特征图k中和特征q之间的相似性，而回归层用于对接矩相乘层计算的结果进行归一化，从而得到特征图k和特征q之间的权重矩阵(nn，1，hw)，
在回归层之后连接特征传递层，特征传递层可以输入低层次特征图y对应的特征图v，从而实现根据权重矩阵，将每个特征块中各个第一特征点的特征传递到所映射的第二特征点，接着，经过与自注意力单元连接的特征变换单元和残差单元后，将实现特征块中的特征传递后的初始融合特征图与高层次特征图进行融合，从而得到二次融合特征图。此种情况下，图像识别模块便可以基于二次融合特征图进行图像处理。
216.其中，特征变换单元和残差单元的结构如图7所示，图7所示的特征变换单元和残差单元中的特征融合层可以是对应位置的特征值加权相乘。
217.当然，在通过上述方式构建出神经网络时，可以对该神经网络进行训练，进而得到用于进行实际图像处理的神经网络。在一种实施例中，参照图8所示，示出了训练得到推理阶段的神经网络的步骤流程图，如图8所示，具体可以包括以下步骤：
218.步骤s801：以原始神经网络的超参数为初始参数，基于训练样本对所述神经网络进行训练。
219.以图5为例，右侧为神经网络，其初始参数可以是左侧的神经网络的超参数。接着，可以将左侧神经网络的超参数移植到右侧的神经网络，作为初始参数，从而以训练样本对所述神经网络进行训练。其中，训练样本可以基于图像处理任务的不同而不同，也可以是携带标签的训练样本，或者可以是不携带标签的训练样本。
220.步骤s802：根据所述神经网络输出的图像处理结果，迭代更新所述神经网络的参数。
221.本实施例中，图像处理结果可以依据训练任务的不同而不同，例如，可以是图像分类任务、物体检测任务或人脸识别任务等。具体训练时，可以基于每次输出的图像处理结果，对神经网络的参数进行迭代更新，需要说明的是，在迭代更新时，可以同时对神经网络中的局部特征融合模块，特征提取模块中低层次特征提取层、高层次特征提取层，以及图像识别模块的参数进行同时更新。
222.步骤s803：将多次更新后的神经网络作为推理阶段的神经网络。
223.本实施例中，当训练使得神经网络收敛，或者达到了预设的更新次数后，便可以将更新后的神经网络作为推理阶段的神经网络，该推理阶段的神经网络可以作为图像处理模型，进行实际的图像处理。
224.采用本实施例的技术方案，由于构建到的神经网络可以沿用原始神经网络的超参数进行训练，从而可以无需专设超参数，优化了用户体验。
225.又由于在对神经网络进行训练时，神经网络可以实现分区块的上下文特征融合，从而降低对计算机内存的消耗，提高计算效率，因而可以提高训练过程中对训练样本的处理效果，从而从整体上提高训练效率，减少在训练神经网络过程中对计算机的内存消耗，从而允许在内存较低的设备上完成网络的训练。
226.又由于，本技术实施例的神经网络中高层次特征图中的每一个神经元对应低层次特征图中的一块区域，从而将低层次特征图的空间特征分区块融合到高层次特征图中，特征融合更加精细，可以得到细节更加丰富的融合特征，这样，训练过程中也可以得到相对于训练样本来说较优的结果，从而使得训练得到的神经网络的泛化能力得到增强。
227.基于相同的申请构思，本技术还提供一种图像处理装置，参照图9所示，示出了图像处理装置的结构示意图，如图9所示，具体可以包括以下模块：
228.获得模块901，用于获得目标图像的低层次特征图和高层次特征图；其中，所述高层次特征图是基于对所述低层次特征图进行降采样得到的；
229.映射模块902，用于确定所述低层次特征图中各个特征块与所述高层次特征中各个第二特征点之间的映射关系；其中，所述特征块包括多个第一特征点，所述第一特征点为所述低层次特征图中的特征点；
230.融合模块903，用于基于所述映射关系，分别将所述各个特征块与所映射的所述第二特征点进行特征融合，得到与所述目标图像对应的初始融合特征图；
231.图像处理模块904，用于基于所述初始融合特征图，对所述目标图像进行处理。
232.可选地，所述装置还可以包括以下模块：
233.划分模块，用于根据所述高层次特征图的第一分辨率和所述低层次特征图的第二分辨率，将所述低层次特征图划分为所述多个特征块。
234.可选地，所述划分模块，具体可以包括以下单元：
235.目标分辨率确定单元，用于根据所述第二分辨率与所述第一分辨率之间的比值，确定所述低层次特征图中特征块的目标分辨率；
236.划分单元，用于基于目标分辨率，将所述低层次特征图划分为多个所述特征块。
237.可选地，所述映射模块902，具体以包括以下单元：
238.第一确定单元，用于确定各个所述第二特征点在所述高层次特征图中的位置和各个所述特征块在所述低层次特征图中的位置；
239.第二确定单元，用于根据每个特征块在所述低层次特征图中的位置，将该特征块映射到所述高层次特征图中对应位置处的第二特征点，得到各个特征块与所述高层次特征图中各个第二特征点之间的映射关系。
240.可选地，所述融合模块903，具体以包括以下单元：
241.权重确定单元，用于基于所述映射关系，分别确定各个所述特征块各自所对应的权重值；
242.融合单元，用于基于各个所述特征块各自所对应的权重值，分别将各个所述特征块的特征融合到各自所映射的第二特征点，得到所述目标图像对应的初始融合特征图。
243.可选地，所述融合单元，具体包括以下子单元：
244.特征点融合子单元，用于基于每个所述特征块对应的权重值，将每个所述特征块中各个第一特征点的特征分别融合到每个所述特征块所映射的第二特征点，得到每个所述特征块中各个所述第一特征点对应的子融合特征值；
245.融合子单元，用于基于每个所述特征块中各个所述第一特征点对应的所述子融合特征值，获得每个所述特征块所映射的所述第二特征点对应的融合特征值；
246.特征图生成子单元，用于基于所述高层次特征图中各个所述第二特征点对应的融合特征值，生成所述初始融合特征图。
247.可选地，权重确定单元，具体用于根据每个特征块中各个第一特征点与所映射的第二特征点之间的相似度；并对每个特征块中各个所述第一特征点对应的相似度进行归一化处理，得到每个特征块所对应的权重值。
248.可选地，所述融合模块903，具体以包括以下单元：
249.权重确定单元，用于针对每个所述特征块，基于该特征块中各个第一特征点与该
特征块所映射的第二特征点之间的相似度，确定各个所述第一特征点各自所对应的权重值；
250.第一融合单元，用于基于每个所述特征块中各个所述第一特征点各自所对应的权重值，将该特征块中各个所述第一特征点的特征分别融合到该特征块所映射的所述第二特征点，得到该特征块中各个所述第一特征点对应的子融合特征值；
251.第二融合单元，用于基于各个所述子融合特征值，获得每个特征块所映射的所述第二特征点对应的融合特征值；
252.特征图生成单元，用于基于所述高层次特征图中各个第二特征点对应的融合特征值，生成所述初始融合特征图。
253.可选地，所述低层次特征图的数量为多个，其中，多个低层次特征图是基于对所述目标图像依次进行多次降采样得到的，所述高层次特征图是基于对最后一次降采样得到的低层次图进行降采样得到的；所述装置还可以包括以下模块：
254.获得模块，用于获得将每个低层次特征图中多个特征块的特征融合到所述高层次特征图中的相应特征点后，各自得到的子融合特征图；
255.多尺度融合模块，用于对多个低层次特征图各自对应的子融合特征图进行特征融合，得到与所述目标图像对应的初始融合特征图。
256.可选地，所述装置还可以包括以下模块：
257.再融合模块，用于将所述初始融合特征图与所述高层次特征图进行融合，得到二次融合特征图；
258.识别模块，用于基于所述二次融合特征图，对所述目标图像进行处理。
259.基于相同的申请构思，本技术还提供了一种神经网络，该神经网络可以通过上述神经网络构建方法的过程得到，以用于对图像进行处理，其图像处理的过程可以如上述图像处理方法实施例的过程所述。
260.基于相同的申请构思，本技术还提供了一种图像处理系统，所述图像处理系统上布设有通过神经网络构建方法所得到的神经网络，或者所述图像处理系统可以执行上述图像处理方法实施例所述的步骤。
261.需要说明的是，装置实施例与方法实施例相近，故描述的较为简单，相关之处参见方法实施例即可。
262.参照图10所示，示出了本技术实施例的一种电子设备的结构框图，如图10所示，本技术实施例提供的一种电子设备，该电子设备可以用于执行图像处理方法，可以包括存储器1001、处理器1002及存储在存储器上并可在处理器上运行的计算机程序，所述处理器1002被配置为执行所述的图像处理方法。
263.如图7所示，在一实施例中，该电子设备完整的可以包括输入装置1003、输出装置1004以及图像采集装置1005，其中，在执行本技术实施例的图像处理方法时，图像采集装置1005可以采集目标图像，接着输入装置1003可以获得图像采集装置1005采集的目标图像，该目标图像可以由处理器1002进行处理，以对待处理图像进行实例分割，输出装置1004可以输出对目标图像进行处理的结果。
264.当然，在一实施例中，存储器1001可以包括易失性存储器和非易失性存储器，其中，易失性存储器可以理解为是随机存取记忆体，用来存储和保存数据的。非易失性存储器
是指当电流关掉后，所存储的数据不会消失的电脑存储器，当然，本技术的图像处理方法的计算机程序可以存储在易失性存储器和非易失性存储器中，或者存在二者中的任意一个中。
265.本技术实施例还提供了一种电子设备，该电子设备可以用于执行图像处理方法，可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器被配置为执行所述的图像处理方法或所述的神经网络构建方法。
266.本技术实施例还提供了一种计算机可读存储介质，其存储的计算机程序使得处理器执行如本技术实施例所述的图像处理方法或所述的神经网络构建方法。
267.本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
268.本领域内的技术人员应明白，本技术实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本技术实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
269.本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
270.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
271.这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
272.尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
273.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要
素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
274.以上对本技术所提供的一种图像处理方法、装置、设备及介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。