图像的处理方法、装置和电子设备与流程

1.本发明涉及图像处理的技术领域，尤其是涉及一种图像的处理方法、装置和电子设备。


背景技术：

2.近年来，深度学习神经网络技术不断发展，越来越多的图像处理问题(图像降噪，图像超分辨率等)通过卷积神经网络取得了超越传统算法的效果。目前，在通过卷积神经网络对待处理图像进行图像处理时，由于卷积神经网络本身巨大的计算量，导致了图像处理的效率低下，流程繁杂且浪费内存资源。
3.综合，现有的图像处理方法存在效率低下，流程繁杂，内存资源浪费严重的技术问题。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种图像的处理方法、装置和电子设备，以缓解现有的图像处理方法效率低下，流程繁杂，内存资源浪费严重的技术问题。
5.第一方面，本发明实施例提供了一种图像的处理方法，包括：
6.获取卷积神经网络对图像样本进行卷积操作时对应的卷积操作拓扑图，其中，所述卷积操作拓扑图包括：特征图节点和所述特征图节点之间的带有卷积核卷积通道权重的具有方向性的连边；
7.分别对所述卷积操作拓扑图中的特征图节点、卷积核卷积通道权重进行显著性判断，并根据显著性判断结果去除所述卷积操作拓扑图中的第一目标特征图节点和目标连边，得到第一剪枝训练后的卷积操作拓扑图；
8.对所述第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点之间进行相似性判断，并根据相似性判断结果去除所述第一剪枝训练后的卷积操作拓扑图中的第二目标特征图节点，得到第二剪枝训练后的卷积操作拓扑图；
9.对所述第二剪枝训练后的卷积操作拓扑图中的每个特征图节点进行重要性判断，并根据所述重要性判断结果去除所述第二剪枝训练后的卷积操作拓扑图中的第三目标特征图节点，得到目标剪枝训练后的卷积操作拓扑图，进而得到剪枝训练后的卷积神经网络；
10.利用所述剪枝训练后的卷积神经网络对待处理图像进行图像处理，得到图像处理结果。
11.在本发明实施例中，提供了一种图像的处理方法，包括：获取卷积神经网络对图像样本进行卷积操作时对应的卷积操作拓扑图，其中，卷积操作拓扑图包括：特征图节点和特征图节点之间的带有卷积核卷积通道权重的具有方向性的连边；分别对卷积操作拓扑图中的特征图节点、卷积核卷积通道权重进行显著性判断，并根据显著性判断结果去除卷积操作拓扑图中的第一目标特征图节点和目标连边，得到第一剪枝训练后的卷积操作拓扑图；对第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点之间进行相似性
判断，并根据相似性判断结果去除第一剪枝训练后的卷积操作拓扑图中的第二目标特征图节点，得到第二剪枝训练后的卷积操作拓扑图；对第二剪枝训练后的卷积操作拓扑图中的每个特征图节点进行重要性判断，并根据重要性判断结果去除第二剪枝训练后的卷积操作拓扑图中的第三目标特征图节点，得到目标剪枝训练后的卷积操作拓扑图，进而得到剪枝训练后的卷积神经网络；利用剪枝训练后的卷积神经网络对待处理图像进行图像处理，得到图像处理结果。通过上述描述可知，本发明的图像的处理方法中，先以卷积操作拓扑图为基础对卷积操作拓扑图中的特征图节点和带有卷积核卷积通道权重的连边进行剪枝训练，进而再采用剪枝训练后的卷积神经网络对待处理图像进行图像处理，这样，可以大大提高后续图像处理的速度，减少了处理流程，同时节省了内存资源，另外，本发明的上述剪枝训练的过程中，是以卷积操作拓扑图为基础进行的，不仅实现了特征图节点的数值化剪枝(去除一些特征图节点)，还考虑了带有卷积核卷积通道权重的连边的结构化剪枝(去除一些连边)，更加科学，在确保剪枝训练后的卷积神经网络的准确性的前提下，能够实现最大化的剪枝，降低了网络的计算量，缓解了现有的图像处理方法在对待处理图像进行图像处理时，效率低下，流程繁杂且内存资源浪费严重的问题。
附图说明
12.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
13.图1为本发明实施例提供的一种图像的处理方法的流程图；
14.图2为本发明实施例提供的卷积操作的矩阵表示的示意图；
15.图3为本发明实施例提供的卷积操作拓扑图的示意图；
16.图4为本发明实施例提供的对卷积操作拓扑图中的特征图节点进行显著性判断的流程图；
17.图5为本发明实施例提供的特征图节点可视化后的示意图；
18.图6为本发明实施例提供的对卷积操作拓扑图中的卷积核卷积通道权重进行显著性判断的流程图；
19.图7为本发明实施例提供的经过显著性判断剪枝后的卷积操作拓扑图的示意图；
20.图8为本发明实施例提供的对第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点之间进行相似性判断的流程图；
21.图9为本发明实施例提供的对第二剪枝训练后的卷积操作拓扑图中的每个特征图节点进行重要性判断的流程图；
22.图10为本发明实施例提供的一种图像的处理装置的示意图；
23.图11为本发明实施例提供的一种电子设备的示意图。
具体实施方式
24.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技
术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.目前，在通过卷积神经网络对待处理图像进行图像处理时，由于卷积神经网络本身巨大的计算量，导致了图像处理的效率低下，流程繁杂且浪费内存资源。
26.基于此，本发明的图像的处理方法中，先以卷积操作拓扑图为基础对卷积操作拓扑图中的特征图节点和带有卷积核卷积通道权重的连边进行剪枝训练，进而再采用剪枝训练后的卷积神经网络对待处理图像进行图像处理，这样，可以大大提高后续图像处理的速度，减少了处理流程，同时节省了内存资源，另外，本发明的上述剪枝训练的过程中，是以卷积操作拓扑图为基础进行的，不仅实现了特征图节点的数值化剪枝(去除一些特征图节点)，还考虑了带有卷积核卷积通道权重的连边的结构化剪枝(去除一些连边)，更加科学，在确保剪枝训练后的卷积神经网络的准确性的前提下，能够实现最大化的剪枝，降低了网络的计算量。
27.为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像的处理方法进行详细介绍。
28.实施例一：
29.根据本发明实施例，提供了一种图像的处理方法的实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
30.图1是根据本发明实施例的一种图像的处理方法的流程图，如图1所示，该方法包括如下步骤：
31.步骤s102，获取卷积神经网络对图像样本进行卷积操作时对应的卷积操作拓扑图，其中，卷积操作拓扑图包括：特征图节点和特征图节点之间的带有卷积核卷积通道权重的具有方向性的连边；
32.在本发明实施例中，基于卷积神经网络(cnn)的理论基础，对于卷积操作，设输入矩阵i＝(x
i,j
)g×h，卷积核k＝(w
e,f
)
l
×
l
为l阶方阵。按照卷积计算公式有：为l阶方阵。按照卷积计算公式有：其中，s为卷积步长，p为填充个数，则有u
×
v阶输出矩阵o＝(y
a,b
)u×v，对输入矩阵i和输出矩阵o行展开rs(
·
)(或列展开cs(
·
))，则：rs(o)＝c
×
rs(i)。
33.上述输入矩阵i＝(x
i,j
)g×h为图像样本，如果为黑白的图像样本，其本质上就是一个二维矩阵，如果为彩色的图像样本，其本质上为rgb三通道的二维矩阵(3个二维矩阵)，其中，g
×
h表示图像样本的大小(长
×
宽)，x
i,j
表示图像样本中第i行第j列的像素的像素值，上述卷积核表示卷积层中的一个卷积核的一个卷积通道，其中，l
×
l表示该卷积核的大小，w
e,f
表示该卷积核中的参数的位置，上述输出矩阵o＝(y
a,b
)u×v为一个卷积核输出的特征图(一个卷积核对应一张特征图)，其中，u
×
v表示特征图的大小，y
a,b
表示特征图中第a行第b列的像素的像素值。
34.如图2所示，输入的图像样本的尺寸为5*5，可表示为一个5*5的二维矩阵，其中包含有a
00
到a
44
共25个元素，a
00
表示图像样本中第1行第1列的像素的像素值，卷积核的尺寸为
3*3(示出了卷积核的一个卷积通道)，其位于图像样本的左上角的位置，其中包含有w
00
到w
22
共9个权重参数，输出的特征图的尺寸为3*3(s＝1，p＝0)，可表示为一个3*3的二维矩阵，其中包含有b
00
到b
22
共9个元素，其中，b
00
＝a
00
*w
00
+a
01
*w
01
+a
02
*w
02
+a
03
*0+a
04
*0+a
05
*0，即图2中上边图中下方深颜色图中的元素对应相乘后得到的乘积再相加，就得到了图2中上边图中上方深颜色图中的元素，3*3的卷积核再按照1的步长向右移动，如此得到b
01
、b
02
等元素。上述卷积操作的过程可表示为：图2中下面部分的过渡矩阵与输入矩阵行展开的结果的乘积等于输出矩阵行展开的结果，也就是说图2中下面部分就表示了c
×
rs(i)＝rs(o)，c表示过渡矩阵：
[0035][0036]
其中，
[0037]
上述过程介绍了一个黑白的图像样本经过一个卷积核的一个卷积通道的卷积操作的过程，上述过程可以通过卷积操作拓扑图的形式进行表示(上述过程可表示为图3中经过过渡矩阵的卷积操作后，得到特征图节点中的一部分的过程，即只表示为一条路径)，参考图3，其中示出了卷积操作拓扑图的示意图。其中，第一列的方形可以表示r通道的图像样本、g通道的图像样本和b通道的图像样本，分别用表示，代表第l-2个卷积层第1个卷积核对应的特征图节点(其它参量的含义类似，l＝2)，该特征图节点经过过渡矩阵(表示第l-1个卷积层第1个卷积核的第1个卷积通道的权重，即本发明中的卷积核卷积通道权重)的卷积操作后，得到第一个乘积和的结果，同时特征图节点经过过渡矩阵(表示第l-1个卷积层第1个卷积核的第2个卷积通道的权重，即本发明中的卷积核卷积通道权重)的卷积操作后，得到第二个乘积和的结果，同时特征图节点经过过渡矩阵(表示第l-1个卷积层第1个卷积核的第3个卷积通道的权重，即本发明中的卷积核卷积通道权重)的卷积操作后，得到第三个乘积和的结果，得到的上述三个乘积和的结果相加后即为特征图节点表示r通道的图像样本、g通道的图像样本和b通道的图像样本经过第l-1个卷积层的第1个卷积核的对应卷积通道卷积操作后，就得到了特征图节点(可见，第l-1个卷积层有s个卷积核，得到了s个特征图节点，一个卷积核对应一个特征图节点)，如此，便得到了特征图节点、特征图节点和特征图节点与特征图节点之间的卷积操作拓扑图，其
它的特征图节点和特征图节点之间的带有卷积核卷积通道权重的具有方向性的连边与此类似，在此不再赘述。
[0038]
步骤s104，分别对卷积操作拓扑图中的特征图节点、卷积核卷积通道权重进行显著性判断，并根据显著性判断结果去除卷积操作拓扑图中的第一目标特征图节点和目标连边，得到第一剪枝训练后的卷积操作拓扑图；
[0039]
发明人考虑到现有的卷积神经网络为了处理复杂的图像信息，通常模型的参数量非常多，对计算资源和存储空间的要求比较大，很多在服务器平台上可以很好运行的模型很难直接移植到嵌入式平台，例如自动驾驶平台。主要原因在于嵌入式平台的计算力和存储容量都比较有限，而在自动驾驶平台等嵌入式平台中实时性是必不可少的要求。因此，为了保证卷积神经网络能够实时准确的运行在嵌入式平台上，就需要对现有的卷积神经网络进行压缩处理，保证模型运行速度的同时，保证模型的精度下降在可以接受的范围内，甚至与原有模型持平。
[0040]
压缩处理的方式可以为卷积神经网络的剪枝，具体是指挑选出卷积神经网络中不重要的连接(即目标连边)和参数(即目标特征图节点)，将其去掉，以达到缩小模型体积的目的。剪枝中的关键问题在于找到模型中不重要的连接和参数，所以，选择合适的评判方法尤为重要。剪枝按粒度进行划分可以分为结构化剪枝和非结构化剪枝，非结构化剪枝主要是将卷积核上的不重要参数置零，而结构化的剪枝则可以分为shape-wise和filter-wise，shape-wise是去除卷积核的某一行或者一列，filter-wise是去除整个卷积核。发明人在考虑了上述各种剪枝的优缺点后，设计了本发明的技术方案，在本发明的方案中，实现了结构化剪枝与非结构化剪枝的融合。
[0041]
上述去除卷积操作拓扑图中的第一目标特征图节点是指去除一个卷积核(因为一个特征图节点与一个卷积核对应，即结构化剪枝)，上述去除目标连边是指将卷积核的一个卷积通道的权重参数全部置0(即非结构化剪枝)。
[0042]
步骤s106，对第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点之间进行相似性判断，并根据相似性判断结果去除第一剪枝训练后的卷积操作拓扑图中的第二目标特征图节点，得到第二剪枝训练后的卷积操作拓扑图；
[0043]
上述根据相似性判断结果去除第一剪枝训练后的卷积操作拓扑图中的第二目标特征图节点具体是指去除第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点中的第二目标特征图节点。
[0044]
下文中再对该过程进行详细描述，在此不再赘述。
[0045]
步骤s108，对第二剪枝训练后的卷积操作拓扑图中的每个特征图节点进行重要性判断，并根据重要性判断结果去除第二剪枝训练后的卷积操作拓扑图中的第三目标特征图节点，得到目标剪枝训练后的卷积操作拓扑图，进而得到剪枝训练后的卷积神经网络；
[0046]
上述得到的目标剪枝训练后的卷积操作拓扑图即为剪枝训练后的卷积神经网络的拓扑图表示，也就是上述目标剪枝训练后的卷积操作拓扑图即为剪枝训练后的卷积神经网络。
[0047]
步骤s110，利用剪枝训练后的卷积神经网络对待处理图像进行图像处理，得到图像处理结果。
[0048]
具体的，如果剪枝训练后的卷积神经网络为车辆识别网络，那么利用剪枝训练后
的卷积神经网络对待处理图像进行图像处理，即为利用剪枝训练后的车辆识别网络对待处理图像进行车辆识别处理，进而识别得到待处理图像中的车辆。
[0049]
如果剪枝训练后的卷积神经网络为对人进行识别的网络，那么利用剪枝训练后的卷积神经网络对待处理图像进行图像处理，即为利用剪枝训练后的卷积神经网络对待处理图像中的人进行识别，进而得到待处理图像中所包含的人的信息；
[0050]
也就是说，在本实施例中，图像处理的过程可根据卷积神经网络所能实现的功能而确定，该图像处理过程可以为从待处理图像中进行车辆的识别，或者对待处理图像中的人进行识别等等。本发明实施例对卷积神经网络的具体功能不进行具体限制，还可以为人脸特征点检测网络，活体检测网络等，能够对待处理图像进行图像处理的卷积神经网络均在本技术的保护范围内。
[0051]
在本发明实施例中，提供了一种图像的处理方法，包括：获取卷积神经网络对图像样本进行卷积操作时对应的卷积操作拓扑图，其中，卷积操作拓扑图包括：特征图节点和特征图节点之间的带有卷积核卷积通道权重的具有方向性的连边；分别对卷积操作拓扑图中的特征图节点、卷积核卷积通道权重进行显著性判断，并根据显著性判断结果去除卷积操作拓扑图中的第一目标特征图节点和目标连边，得到第一剪枝训练后的卷积操作拓扑图；对第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点之间进行相似性判断，并根据相似性判断结果去除第一剪枝训练后的卷积操作拓扑图中的第二目标特征图节点，得到第二剪枝训练后的卷积操作拓扑图；对第二剪枝训练后的卷积操作拓扑图中的每个特征图节点进行重要性判断，并根据重要性判断结果去除第二剪枝训练后的卷积操作拓扑图中的第三目标特征图节点，得到目标剪枝训练后的卷积操作拓扑图，进而得到剪枝训练后的卷积神经网络；利用剪枝训练后的卷积神经网络对待处理图像进行图像处理，得到图像处理结果。通过上述描述可知，本发明的图像的处理方法中，先以卷积操作拓扑图为基础对卷积操作拓扑图中的特征图节点和带有卷积核卷积通道权重的连边进行剪枝训练，进而再采用剪枝训练后的卷积神经网络对待处理图像进行图像处理，这样，可以大大提高后续图像处理的速度，减少了处理流程，同时节省了内存资源，另外，本发明的上述剪枝训练的过程中，是以卷积操作拓扑图为基础进行的，不仅实现了特征图节点的数值化剪枝(去除一些特征图节点)，还考虑了带有卷积核卷积通道权重的连边的结构化剪枝(去除一些连边)，更加科学，在确保剪枝训练后的卷积神经网络的准确性的前提下，能够实现最大化的剪枝，降低了网络的计算量，缓解了现有的图像处理方法在对待处理图像进行图像处理时，效率低下，流程繁杂且内存资源浪费严重的问题。
[0052]
上述内容对本发明的图像的处理方法进行了简要介绍，下面对其中涉及到的具体内容进行详细描述。
[0053]
在本发明的一个可选实施例中，参考图4，上述步骤s104，对卷积操作拓扑图中的特征图节点进行显著性判断，具体包括如下步骤：
[0054]
步骤s401，根据特征图节点显著性计算算式计算每一卷积层得到的各个特征图节点的显著性，其中，表示第l个卷积层第i个卷积核对应的特征图节点的显著性，表示特征图节点在第j个图像样本下的特征图节点，
表示特征图节点的f-范数，表示特征图节点的方差，b表示批尺寸；
[0055]
发明人考虑到若某一特征图节点(本质上为二维矩阵)中全部的元素都不趋近于0且方差越大，则该特征图节点越显著；反之，若某一特征图节点中的元素越趋近于0且方差越小，则该特征图节点越冗余。
[0056]
如图5所示，其中示出了特征图节点可视化后的示意图。其中的feature_map_3、feature_map_7和feature_map_8中，大部分像素点的像素值为0，即为黑色，其中包含的有效信息较少，所以，这些特征图节点为冗余的，可以通过各特征图节点的frobenius范数来表征其中的像素值与0的关系，但是，并不是f-范数越大，对应的特征图节点就越显著，例如，一张全白显示的特征图节点，其中各像素点的像素值为255，f-范数很大，但是显然全白显示的特征图节点中就不存在任何有效的特征信息了，所以除了要考虑特征图节点中的像素值与0之间的关系外，还要考虑其中的像素值的方差，方差越大，有效信息才会更多。基于此，发明人设计了上述的特征图节点显著性计算算式。
[0057]
具体的，上述图5中的猫的图即为一个图像样本，如果还有一张狗的图，即为另一个图像样本，上述批尺寸可以理解为一次输入的图像样本的个数。
[0058]
步骤s402，在每一卷积层得到的各个特征图节点的显著性中，计算各个特征图节点的显著性的第一均值、第一中位数和第一众数；
[0059]
以图3中的中间列为例进行说明，即为计算特征图节点的显著性、特征图节点的显著性，一直到计算特征图节点的显著性，然后计算这些显著性的第一均值、第一中位数和第一众数。
[0060]
步骤s403，基于第一均值、第一中位数和第一众数，在每一卷积层得到的各个特征图节点中确定第一目标特征图节点，进而得到卷积操作拓扑图中的第一目标特征图节点。
[0061]
具体包括如下步骤：
[0062]
(1)当第一均值大于第一中位数，且第一中位数大于第一众数时，在每一卷积层得到的各个特征图节点中，将各个特征图节点的显著性中不小于第一均值的第一目标显著性对应的特征图节点作为第一目标特征图节点；
[0063]
上述第一均值大于第一中位数，且第一中位数大于第一众数表示显著性是符合正偏态分布的。
[0064]
继续以图3中的中间列为例进行说明，若上述步骤s402中得到的第一均值、第一中位数和第一众数符合该种情况，则将特征图节点的显著性与第一均值进行对比，如果特征图节点的显著性大于第一均值，则将特征图节点作为第一目标特征图节点，予以去除。
[0065]
(2)当第一均值小于第一中位数，且第一中位数小于第一众数时，在每一卷积层得到的各个特征图节点中，将各个特征图节点的显著性中不大于第一均值的第二目标显著性对应的特征图节点作为第一目标特征图节点；
[0066]
上述第一均值小于第一中位数，且第一中位数小于第一众数表示显著性是符合负
偏态分布的。
[0067]
(3)当第一均值等于第一中位数，且第一中位数等于第一众数时，在每一卷积层得到的各个特征图节点中，将各个特征图节点的显著性中与第一均值的差的绝对值大于第一预设值的第三目标显著性对应的特征图节点作为第一目标特征图节点，其中，第一预设值为各个特征图节点的显著性的方差。
[0068]
上述第一均值等于第一中位数，且第一中位数等于第一众数表示显著性是符合正态分布的。
[0069]
采用上述3种方式的目的是，在剪枝过程中网络会不断调整，最开始剪枝时，保留占主要部分的特征图节点，去除少部分的特征图节点，能够保证算法有一定的容错空间。
[0070]
在本发明的一个可选实施例中，参考图6，上述步骤s104，对卷积操作拓扑图中的卷积核卷积通道权重进行显著性判断，具体包括如下步骤：
[0071]
步骤s601，计算每一卷积层的各个卷积核卷积通道权重的f-范数，并将各个卷积核卷积通道权重的f-范数作为对应卷积核卷积通道权重的显著性；
[0072]
下面对将各个卷积核卷积通道权重的f-范数作为对应卷积核卷积通道权重的显著性的合理性进行说明：
[0073]
在判断卷积核卷积通道权重的显著性时，由矩阵范数定义可知，对于任意的矩阵范数都有：且对于任意矩阵都有‖rs(a)‖2＝‖a‖f，因此，数据在卷积层间传递时，某卷积核的f-范数决定了由该卷积核得到的特征图节点的显著性的上限。
[0074]
不妨设第l个卷积层第i个卷积核为其中，m为卷积核通道数，为过渡矩阵，也即卷积核卷积通道权重，第l-1个卷积层的特征图为由卷积定义得第l个卷积层第i个特征图有：有：其中，z为第l个卷积层的卷积核总数。
[0075]
显然，对于集合若存在卷积通道且存在一组不全为零的数k1,k2,
…
,kn，使得a＝k1b1+k2b2+
…
+k
nbn
，则卷积通道a是冗余的，即包含卷积通道a的卷积核得到的特征图节点可以通过其它特征图节点线性表示。但是在实际应用时，该方法是十分困难的，甚至不存在满足条件的b1,b2,
…
,bn，在一定允许误差的条件下，对任意的存在一组不为0的数k1,k2,
…
,km≠0，使得当趋近于0矩阵时，是冗余的卷积通道。因此，仍可以用f-范数评价卷积通道的显著性，第l个卷积层的卷积通道的显著性指标由于矩阵是由卷积核中元素组成，为了加速计算，可以直接对卷积核中每个卷积通道计算frobenius范数，这与只有数值上的不同，在数学原理上等价。所以，采用计算每一卷积层的各个卷积核卷积通道权重的f-范数，将其作
为对应卷积核卷积通道权重的显著性。
[0076]
步骤s602，在每一卷积层的各个卷积核卷积通道权重的显著性中，计算各个卷积核卷积通道权重的显著性的第二均值、第二中位数和第二众数；
[0077]
以图3中的中间列为例进行说明，即为计算卷积核卷积通道权重的f-范数、卷积核卷积通道权重的f-范数、卷积核卷积通道权重的f-范数、卷积核卷积通道权重的f-范数，一直到计算卷积核卷积通道权重的f-范数，就得到了卷积核卷积通道权重的显著性、卷积核卷积通道权重的显著性、卷积核卷积通道权重的显著性、卷积核卷积通道权重的显著性，一直到计算卷积核卷积通道权重的显著性，然后再计算这些显著性的第二均值、第二中位数和第二众数。
[0078]
步骤s603，基于第二均值、第二中位数和第二众数，在每一卷积层的各个卷积核卷积通道权重中确定目标卷积核卷积通道权重，并将目标卷积核卷积通道权重对应的连边作为目标连边，进而得到卷积操作拓扑图中的目标连边。
[0079]
具体包括如下步骤：
[0080]
1)当第二均值大于第二中位数，且第二中位数大于第二众数时，在每一卷积层的各个卷积核卷积通道权重中，将各个卷积核卷积通道权重的显著性中不小于第二均值的第四目标显著性对应的卷积核卷积通道权重作为目标卷积核卷积通道权重；
[0081]
上述第二均值大于第二中位数，且第二中位数大于第二众数表示显著性是符合正偏态分布的。
[0082]
继续以图3中的中间列为例进行说明，若上述步骤s602中得到的第二均值、第二中位数和第二众数符合该种情况，则将卷积核卷积通道权重的显著性与第二均值进行对比，如果卷积核卷积通道权重的显著性大于第二均值，则将卷积核卷积通道权重作为目标卷积核卷积通道权重，对应的连边即为目标连边。
[0083]
2)当第二均值小于第二中位数，且第二中位数小于第二众数时，在每一卷积层的各个卷积核卷积通道权重中，将各个卷积核卷积通道权重的显著性中不大于第二均值的第五目标显著性对应的卷积核卷积通道权重作为目标卷积核卷积通道权重；
[0084]
上述第二均值小于第二中位数，且第二中位数小于第二众数表示显著性是符合负偏态分布的。
[0085]
3)当第二均值等于第二中位数，且第二中位数等于第二众数时，在每一卷积层的各个卷积核卷积通道权重中，将各个卷积核卷积通道权重的显著性中与第二均值的差的绝对值大于第二预设值的第六目标显著性对应的卷积核卷积通道权重作为目标卷积核卷积通道权重，其中，第二预设值为各个卷积核卷积通道权重的显著性的方差。
[0086]
上述第二均值等于第二中位数，且第二中位数等于第二众数表示显著性是符合正态分布的。
[0087]
采用上述3种方式的目的是，在剪枝过程中网络会不断调整，最开始剪枝时，保留
占主要部分的卷积核卷积通道权重，去除少部分的卷积核卷积通道权重，能够保证算法有一定的容错空间。
[0088]
可见，上述对特征图节点进行显著性判断的剪枝是去除图中的节点，对卷积核卷积通道权重进行显著性判断的剪枝是去除图中的连边。图7中示出了经过显著性判断剪枝后的卷积操作拓扑图。
[0089]
在判断相同卷积层的特征图节点相似性时，同时考虑特征图节点的数值矩阵相似性和图中节点的相似性，在本发明的一个可选实施例中，参考图8，上述步骤s106，对第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点之间进行相似性判断，具体包括：
[0090]
步骤s801，对目标卷积层得到的每个特征图节点分别进行奇异值分解，得到每个特征图节点的奇异值向量，其中，目标卷积层为卷积神经网络中的任一卷积层；
[0091]
由于在卷积神经网络中，得到的特征图节点(本质上为矩阵)不一定是方阵，所以不能直接通过p-1
ap＝b的矩阵相似性的定义去计算矩阵相似性，那么采用奇异值分解法(svd)计算特征图节点的奇异值。即：其中，方阵是由方阵的特征向量组成的矩阵，方阵是由方阵的特征向量组成的矩阵，对角矩阵为奇异矩阵。采用奇异值的原理是，奇异值能够表示图像在不同变换下的变换程度，卷积操作是对图像的一种变换。将奇异值按照由小到大排列构成奇异值向量，那么每个特征图节点对应一个奇异值向量(为采用奇异值分解法(svd)对特征图节点的奇异值进行计算后，得到的奇异值按照由小到大顺序排列后得到的)。
[0092]
步骤s802，根据第一特征图节点的奇异值向量和第二特征图节点的奇异值向量计算第一特征图节点与第二特征图节点的数值相似度矩阵，其中，第一特征图节点为目标卷积层得到的每个特征图节点中的任一特征图节点，第二特征图节点为目标卷积层得到的每个特征图节点中的任一特征图节点；
[0093]
具体的，第一特征图节点与第二特征图节点的数值相似度矩阵可以采用余弦相似度进行计算，如：其中，表示第一特征图节点与第二特征图节点的数值相似度矩阵，表示第一特征图节点对应的奇异值向量，表示第二特征图节点对应的奇异值向量，表示的2范数，表示的2范数。
[0094]
需要说明的是，除了采用余弦相似度进行数值相似度矩阵的计算外，还可以采用其它相似度计算的方式，本发明实施例对上述余弦相似度的计算方式不进行具体限制。
[0095]
步骤s803，获取第一特征图节点的n阶邻居特征图节点和第二特征图节点的n阶邻居特征图节点；
[0096]
如图7右侧的图所示，第一特征图节点的1阶邻居特征图节点有特征图节点
特征图节点特征图节点特征图节点特征图节点第二特征图节点的1阶邻居特征图节点有特征图节点特征图节点特征图节点特征图节点特征图节点
[0097]
所谓的n阶是指该特征图节点前面n层的卷积层得到的特征图节点和后面n层的卷积层得到的特征图节点，所谓的邻居特征图节点是指与该特征图节点存在直接的连边的特征图节点(1阶的时候)和与该特征图节点存在间接的连边的特征图节点(大于1阶的时候)。
[0098]
步骤s804，根据第一特征图节点的n阶邻居特征图节点和第二特征图节点的n阶邻居特征图节点计算第一特征图节点与第二特征图节点的节点相似度矩阵；
[0099]
不妨设集合为特征图节点的1阶邻居特征图节点构成的集合，集合为特征图节点的1阶邻居特征图节点构成的集合。
[0100]
具体的，根据jaccard相似度计算算式计算第一特征图节点与第二特征图节点的节点相似度矩阵，具体为：其中，表示第一特征图节点与第二特征图节点的节点相似度矩阵，表示第一特征图节点的1阶邻居特征图节点与第二特征图节点的1阶邻居特征图节点的相同邻居特征图节点，表示第一特征图节点的1阶邻居特征图节点与第二特征图节点的1阶邻居特征图节点的并集，|
·
|表示集合的势。广义上，集合和可以分别是特征图节点和的n阶邻居所有特征图节点构成的集合，即集合是特征图节点的n阶邻居特征图节点构成的集合，集合是特征图节点的n阶邻居特征图节点构成的集合。一般地，常采用n＝3。
[0101]
步骤s805，根据数值相似度矩阵和节点相似度矩阵确定第一特征图节点与第二特征图节点的相似度矩阵；
[0102]
具体的，通过组合数值相似度矩阵和节点相似度矩阵得到第一特征图节点与第二特征图节点的相似度矩阵，具体为：其中，表示第一特征图节点与第二特征图节点的相似度矩阵，表示第一特征图节点与第二特征图节点的数值相似度矩阵，表示第一特征图节点与第二特征图节点的节点相似度矩阵。
[0103]
定义相似度矩阵s
(l)
有：
[0104][0105]
步骤s806，计算相似度矩阵中每一行的元素的方差，并根据每一行的元素的方差计算方差均值、方差中位数和方差众数；
[0106]
具体的，需要对相似度矩阵s
(l)
进行变换，显然的，如果某一特征图节点与其它特征图节点的相似性都比较高，则相似度矩阵s
(l)
的第i行(或者是列，本发明实施例是以行为例进行的说明，还可以为列)元素的方差较小。
[0107]
设集合其中，表示相似度矩阵s
(l)
的第i行元素的方差，计算上述方差的方差均值、方差中位数和方差众数。
[0108]
步骤s807，基于方差均值、方差中位数和方差众数，在目标卷积层得到的特征图节点中确定第二目标特征图节点，进而得到卷积操作拓扑图中的第二目标特征图节点。
[0109]
具体包括如下步骤：
[0110]
i)当方差均值不小于方差中位数，且方差中位数不小于方差众数时，在目标卷积层得到的特征图节点中，将每一行的元素的方差中不大于方差均值的第一目标方差对应的第一目标行所表示的特征图节点作为第二目标特征图节点；
[0111]
上述方差均值不小于方差中位数，且方差中位数不小于方差众数表示方差是符合正偏态分布或正态分布的。
[0112]
例如，不大于方差均值，即其是第一目标方差，对应的第一目标行为相似度矩阵s
(l)
的第i行，其所表示的特征图节点为
[0113]
ii)当方差均值小于方差中位数，且方差中位数小于方差众数时，在目标卷积层得到的特征图节点中，将每一行的元素的方差中不大于方差众数的第二目标方差对应的第二目标行所表示的特征图节点作为第二目标特征图节点。
[0114]
上述方差均值小于方差中位数，且方差中位数小于方差众数表示方差是符合负偏态分布的。
[0115]
采用上述2种方式的目的是显著性判断已经去除了一些节点和边，此时就可以保留满足相似性评价准则的节点了，即上述2种方式是满足相似性评价准则的。
[0116]
在本发明的一个可选实施例中，参考图9，上述步骤s108，对第二剪枝训练后的卷积操作拓扑图中的每个特征图节点进行重要性判断，具体包括如下步骤：
[0117]
步骤s901，确定每个特征图节点的度值；
[0118]
具体的，重要性判断是引入了特征图节点在卷积神经网络全局中的重要性判断，保留重要的特征图节点，去除非重要的特征图节点。本发明采用了复杂网络中的引力模型来挖掘拓扑图中的节点的重要性。
[0119]
上述度值包括出度和入度的和。
[0120]
步骤s902，采用floyd算法计算任意两个特征图节点之间的距离；
[0121]
步骤s903，根据度值和距离计算每个特征图节点的重要性；
[0122]
该过程具体包括如下过程：
[0123]
根据特征图节点重要性计算算式计算特征图节点的重要性，其中，i(i)表示第l个卷积层第i个卷积核对应的特征图节点的重要性，di表示第l个卷积层第i个卷积核对应的特征图节点的度值，dj表示第j个卷积核对应的特征图节点mj的度值，表示特征图节点与特征图节点mj之间的距离。n表示第二剪枝训练后的卷积操作拓扑图中特征图节点的个数。
[0124]
步骤s904，基于每个特征图节点的重要性确定第三目标特征图节点。
[0125]
具体的，可以先将每个特征图节点按照特征图节点的重要性从小到大的顺序排列，然后去除排在前面的预设数量个特征图节点，或者去除排在前面的预设百分比的特征图节点，即这些要出去的预设数量个特征图节点或预设百分比的特征图节点即为第三目标特征图节点。
[0126]
上述剪枝训练的过程中，在具体实现时，可以设置剪枝训练后的卷积神经网络的准确率，按照准确率执行上述显著性判断、相似性判断和重要性判断的过程，进行剪枝训练；还可以设置每个卷积层的剪枝比率(所谓的剪枝比率即为去除剪枝比率的卷积核的参数)，按照设置的剪枝比率进行剪枝，该剪枝比率的大小可以根据嵌入式平台的运行空间进行确定，如果嵌入式平台的运行空间比较大，可以设置较小的剪枝比率，以确保剪枝训练后的卷积神经网络的精度，如果嵌入式平台的运行空间很小，为了能够保证在嵌入式平台的运行空间中高速运行，那么可以设置较大的剪枝比率。
[0127]
需要说明的是，如果设置的是每个卷积层的剪枝比率，在进行剪枝训练时，完成显著性判断的剪枝后，先判断一下是否已满足每个卷积层的剪枝比，如果满足了，则不再进行后续的剪枝训练，如果不满足，再进行后续的相似性判断剪枝，同理，完成相似性判断剪枝后，也需要判断一下是否已满足每个卷积层的剪枝比，如果满足了，则不再进行后续的剪枝训练，如果不满足，再进行后续的重要性判断剪枝(该过程一定能够使剪枝训练后的卷积神经网络达到上述剪枝比率，因为是按照全局的特征图节点的重要性进行的排序，所以，还需要剪多少，就按照排序后的结果进行特征图节点的去除即可)，使得最终得到的剪枝训练后的卷积神经网络满足上述剪枝比率。
[0128]
发明人采用了本发明的方法及现有技术的方法在vgg网络和resnet网络上结合cifar-10数据集都进行了测试，测试时，是在确保剪枝训练后的卷积神经网络的准确率基本不变的情况下，进行的剪枝训练，测试结果如下表所示：
[0129]
vgg-16 cifar-10实验结果
[0130][0131]
resnet-18 cifar-10实验结果
[0132][0133][0134]
上述实验结果表明，在确保剪枝训练后的卷积神经网络的准确率基本不变的情况下，本发明(our)的方法的剪枝比率相对更大一些，能实现更大化的剪枝。
[0135]
本发明的方法将结构化剪枝和非结构化剪枝实现了融合，在确保剪枝训练后的卷
积神经网络的准确性的前提下，能够实现最大化的剪枝，降低了成本，能够使单个嵌入式平台运行更多的深度学习模型，节省了硬件资源。
[0136]
实施例二：
[0137]
本发明实施例还提供了一种图像的处理装置，该图像的处理装置主要用于执行本发明实施例一中所提供的图像的处理方法，以下对本发明实施例提供的图像的处理装置做具体介绍。
[0138]
图10是根据本发明实施例的一种图像的处理装置的示意图，如图10所示，该装置主要包括：获取单元10、显著性判断单元20、相似性判断单元30、重要性判断单元40和图像处理单元50，其中：
[0139]
获取单元，用于获取卷积神经网络对图像样本进行卷积操作时对应的卷积操作拓扑图，其中，卷积操作拓扑图包括：特征图节点和特征图节点之间的带有卷积核卷积通道权重的具有方向性的连边；
[0140]
显著性判断单元，用于分别对卷积操作拓扑图中的特征图节点、卷积核卷积通道权重进行显著性判断，并根据显著性判断结果去除卷积操作拓扑图中的第一目标特征图节点和目标连边，得到第一剪枝训练后的卷积操作拓扑图；
[0141]
相似性判断单元，用于对第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点之间进行相似性判断，并根据相似性判断结果去除第一剪枝训练后的卷积操作拓扑图中的第二目标特征图节点，得到第二剪枝训练后的卷积操作拓扑图；
[0142]
重要性判断单元，用于对第二剪枝训练后的卷积操作拓扑图中的每个特征图节点进行重要性判断，并根据重要性判断结果去除第二剪枝训练后的卷积操作拓扑图中的第三目标特征图节点，得到目标剪枝训练后的卷积操作拓扑图，进而得到剪枝训练后的卷积神经网络；
[0143]
图像处理单元，用于利用剪枝训练后的卷积神经网络对待处理图像进行图像处理，得到图像处理结果。
[0144]
在本发明实施例中，提供了一种图像的处理装置，包括：获取卷积神经网络对图像样本进行卷积操作时对应的卷积操作拓扑图，其中，卷积操作拓扑图包括：特征图节点和特征图节点之间的带有卷积核卷积通道权重的具有方向性的连边；分别对卷积操作拓扑图中的特征图节点、卷积核卷积通道权重进行显著性判断，并根据显著性判断结果去除卷积操作拓扑图中的第一目标特征图节点和目标连边，得到第一剪枝训练后的卷积操作拓扑图；对第一剪枝训练后的卷积操作拓扑图中的相同卷积层得到的特征图节点之间进行相似性判断，并根据相似性判断结果去除第一剪枝训练后的卷积操作拓扑图中的第二目标特征图节点，得到第二剪枝训练后的卷积操作拓扑图；对第二剪枝训练后的卷积操作拓扑图中的每个特征图节点进行重要性判断，并根据重要性判断结果去除第二剪枝训练后的卷积操作拓扑图中的第三目标特征图节点，得到目标剪枝训练后的卷积操作拓扑图，进而得到剪枝训练后的卷积神经网络；利用剪枝训练后的卷积神经网络对待处理图像进行图像处理，得到图像处理结果。通过上述描述可知，本发明的图像的处理装置中，先以卷积操作拓扑图为基础对卷积操作拓扑图中的特征图节点和带有卷积核卷积通道权重的连边进行剪枝训练，进而再采用剪枝训练后的卷积神经网络对待处理图像进行图像处理，这样，可以大大提高后续图像处理的速度，减少了处理流程，同时节省了内存资源，另外，本发明的上述剪枝训
练的过程中，是以卷积操作拓扑图为基础进行的，不仅实现了特征图节点的数值化剪枝(去除一些特征图节点)，还考虑了带有卷积核卷积通道权重的连边的结构化剪枝(去除一些连边)，更加科学，在确保剪枝训练后的卷积神经网络的准确性的前提下，能够实现最大化的剪枝，降低了网络的计算量，缓解了现有的图像处理方法在对待处理图像进行图像处理时，效率低下，流程繁杂且内存资源浪费严重的问题。
[0145]
可选地，显著性判断单元还用于：根据特征图节点显著性计算算式可选地，显著性判断单元还用于：根据特征图节点显著性计算算式计算每一卷积层得到的各个特征图节点的显著性，其中，表示第l个卷积层第i个卷积核对应的特征图节点的显著性，表示特征图节点在第j个图像样本下的特征图节点，表示特征图节点的f-范数，表示特征图节点的方差，b表示批尺寸；在每一卷积层得到的各个特征图节点的显著性中，计算各个特征图节点的显著性的第一均值、第一中位数和第一众数；基于第一均值、第一中位数和第一众数，在每一卷积层得到的各个特征图节点中确定第一目标特征图节点，进而得到卷积操作拓扑图中的第一目标特征图节点。
[0146]
可选地，显著性判断单元还用于：当第一均值大于第一中位数，且第一中位数大于第一众数时，在每一卷积层得到的各个特征图节点中，将各个特征图节点的显著性中不小于第一均值的第一目标显著性对应的特征图节点作为第一目标特征图节点；当第一均值小于第一中位数，且第一中位数小于第一众数时，在每一卷积层得到的各个特征图节点中，将各个特征图节点的显著性中不大于第一均值的第二目标显著性对应的特征图节点作为第一目标特征图节点；当第一均值等于第一中位数，且第一中位数等于第一众数时，在每一卷积层得到的各个特征图节点中，将各个特征图节点的显著性中与第一均值的差的绝对值大于第一预设值的第三目标显著性对应的特征图节点作为第一目标特征图节点，其中，第一预设值为各个特征图节点的显著性的方差。
[0147]
可选地，显著性判断单元还用于：计算每一卷积层的各个卷积核卷积通道权重的f-范数，并将各个卷积核卷积通道权重的f-范数作为对应卷积核卷积通道权重的显著性；在每一卷积层的各个卷积核卷积通道权重的显著性中，计算各个卷积核卷积通道权重的显著性的第二均值、第二中位数和第二众数；基于第二均值、第二中位数和第二众数，在每一卷积层的各个卷积核卷积通道权重中确定目标卷积核卷积通道权重，并将目标卷积核卷积通道权重对应的连边作为目标连边，进而得到卷积操作拓扑图中的目标连边。
[0148]
可选地，显著性判断单元还用于：当第二均值大于第二中位数，且第二中位数大于第二众数时，在每一卷积层的各个卷积核卷积通道权重中，将各个卷积核卷积通道权重的显著性中不小于第二均值的第四目标显著性对应的卷积核卷积通道权重作为目标卷积核卷积通道权重；当第二均值小于第二中位数，且第二中位数小于第二众数时，在每一卷积层的各个卷积核卷积通道权重中，将各个卷积核卷积通道权重的显著性中不大于第二均值的第五目标显著性对应的卷积核卷积通道权重作为目标卷积核卷积通道权重；当第二均值等于第二中位数，且第二中位数等于第二众数时，在每一卷积层的各个卷积核卷积通道权重中，将各个卷积核卷积通道权重的显著性中与第二均值的差的绝对值大于第二预设值的第
六目标显著性对应的卷积核卷积通道权重作为目标卷积核卷积通道权重，其中，第二预设值为各个卷积核卷积通道权重的显著性的方差。
[0149]
可选地，相似性判断单元还用于：对目标卷积层得到的每个特征图节点分别进行奇异值分解，得到每个特征图节点的奇异值向量，其中，目标卷积层为卷积神经网络中的任一卷积层；根据第一特征图节点的奇异值向量和第二特征图节点的奇异值向量计算第一特征图节点与第二特征图节点的数值相似度矩阵，其中，第一特征图节点为目标卷积层得到的每个特征图节点中的任一特征图节点，第二特征图节点为目标卷积层得到的每个特征图节点中的任一特征图节点；获取第一特征图节点的n阶邻居特征图节点和第二特征图节点的n阶邻居特征图节点；根据第一特征图节点的n阶邻居特征图节点和第二特征图节点的n阶邻居特征图节点计算第一特征图节点与第二特征图节点的节点相似度矩阵；根据数值相似度矩阵和节点相似度矩阵确定第一特征图节点与第二特征图节点的相似度矩阵；计算相似度矩阵中每一行的元素的方差，并根据每一行的元素的方差计算方差均值、方差中位数和方差众数；基于方差均值、方差中位数和方差众数，在目标卷积层得到的特征图节点中确定第二目标特征图节点，进而得到卷积操作拓扑图中的第二目标特征图节点。
[0150]
可选地，相似性判断单元还用于：当方差均值不小于方差中位数，且方差中位数不小于方差众数时，在目标卷积层得到的特征图节点中，将每一行的元素的方差中不大于方差均值的第一目标方差对应的第一目标行所表示的特征图节点作为第二目标特征图节点；当方差均值小于方差中位数，且方差中位数小于方差众数时，在目标卷积层得到的特征图节点中，将每一行的元素的方差中不大于方差众数的第二目标方差对应的第二目标行所表示的特征图节点作为第二目标特征图节点。
[0151]
可选地，重要性判断单元还用于：确定每个特征图节点的度值；采用floyd算法计算任意两个特征图节点之间的距离；根据度值和距离计算每个特征图节点的重要性；基于每个特征图节点的重要性确定第三目标特征图节点。
[0152]
可选地，重要性判断还用于：根据特征图节点重要性计算算式可选地，重要性判断还用于：根据特征图节点重要性计算算式计算特征图节点的重要性，其中，i(i)表示第l个卷积层第i个卷积核对应的特征图节点的重要性，di表示第l个卷积层第i个卷积核对应的特征图节点的度值，dj表示第j个卷积核对应的特征图节点mj的度值，表示特征图节点与特征图节点mj之间的距离。
[0153]
本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
[0154]
如图11所示，本技术实施例提供的一种电子设备600，包括：处理器601、存储器602和总线，所述存储器602存储有所述处理器601可执行的机器可读指令，当电子设备运行时，所述处理器601与所述存储器602之间通过总线通信，所述处理器601执行所述机器可读指令，以执行如上述图像的处理确定方法的步骤。
[0155]
具体地，上述存储器602和处理器601能够为通用的存储器和处理器，这里不做具体限定，当处理器601运行存储器602存储的计算机程序时，能够执行上述图像的处理确定方法。
[0156]
处理器601可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器601中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器601可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field-programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器602，处理器601读取存储器602中的信息，结合其硬件完成上述方法的步骤。
[0157]
对应于上述图像的处理确定方法，本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可运行指令，所述计算机可运行指令在被处理器调用和运行时，所述计算机可运行指令促使所述处理器运行上述图像的处理确定方法的步骤。
[0158]
本技术实施例所提供的图像的处理确定装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本技术实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。
[0159]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0160]
再例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0161]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显
示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0162]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0163]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述车辆标记方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0164]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0165]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。