一种图像处理方法、装置、存储介质和电子设备与流程

1.本发明涉及图像处理领域，尤其涉及一种图像处理方法、装置、存储介质和电子设备。


背景技术：

2.车辆自动驾驶中需要对获取的图像数据进行处理，以获取车辆所处交通环境的环境信息，通常采用图像处理模型对获取的图像数据进行处理。图像处理神经网络模型是常用的图像处理模型。通常，基于样本图像数据，对预设结构的图像处理神经网络模型进行训练，使得训练后的图像处理神经网络模型能够自动处理图像数据。
3.图像处理神经网络模型在训练之前，需要进行初始化得到初始化的神经网络模型，在训练时对初始化的神经网络模型得到训练后的图像处理神经网络模型。其中，图像处理神经网络模型的初始化会影响神经网络模型的训练结果，直接影响训练过程中的收敛速度，以及是否能在可接受的时间内收敛到可接受的结果。在一些情形中，初始化参数可能会导致得不到好的训练结果。导致训练后的图像处理神经网络模型无法获得令人满意的图像处理结果。
4.在神经网络模型中增加bn层可以加速网络收敛速度。然而该bn层往往不会带来最佳的效果，可能存在不同的原因：(1)初始化时强加的初始化参数性质在训练到一定阶段后，不能保持；(2)该方法并没有最大限度的减少泛化误差。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种图像处理方法、装置、存储介质和电子设备，可以实现图像处理神经网络在训练时收敛速度快，且训练后的图像处理神经网络的图像检测准确度高。
6.为了达到上述发明的目的，本发明提供了一种图像处理方法，该方法包括：
7.获取待训练的图像处理神经网络的初始化参数；
8.采用训练数据对待训练的图像处理神经网络进行训练，得到训练后的图像处理神经网络；所述训练数据包括图像数据；所述图像处理神经网络包括至少一个中间层，所述中间层包括bn层，所述bn层用于对所述中间层的输入数据进行平方标准化转换；
9.通过所述训练后的图像处理神经网络进行图像处理，得到图像处理结果。
10.可选地，所述中间层包括依次设置的卷积层、所述bn层、激活函数层。
11.可选地，所述采用训练数据对待训练的图像处理神经网络进行训练，得到训练后的图像处理神经网络，包括：
12.获取所述中间层的输入数据；
13.所述bn层对所述输入数据进行平方标准化转换，得到标准化转换数据，将所述标准化转换数据作为激活函数层的激活输入数据。
14.可选地，所述bn层对所述输入数据进行平方标准化转换，得到标准化转换数据，将
所述标准化转换数据作为激活函数层的激活输入数据，包括：
15.根据所述中间层的输入数据，获取所述输入数据的符号特征、平方值、均方值和方差；
16.根据所述输入数据的符号特征、平方值、均方值和方差对所述输入数据进行平移和缩放，得到标准化转换数据，将所述标准化转换数据作为激活函数层的激活输入数据。
17.可选地，所述中间层包括依次设置的卷积层、所述bn层、激活函数层、池化层和全连接层。
18.可选地，该激活函数层包括非线性函数。
19.可选地，初始化参数包括所述图像检测神经网络的权值和偏置。
20.另一方面，本发明还提供一种图像处理装置，所述装置包括：
21.初始化模块，用于获取待训练的图像处理神经网络的初始化参数；
22.训练模块，用于采用训练数据对待训练的图像处理神经网络进行训练，得到训练后的图像处理神经网络；所述训练数据包括图像数据；所述图像处理神经网络包括至少一个中间层，所述中间层包括bn层，所述bn层用于对所述中间层的输入数据进行平方标准化转换；
23.处理模块，用于通过所述训练后的图像处理神经网络进行图像处理，得到图像处理结果。
24.另一方面，本发明还提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序由处理器加载并执行以实现如上述技术方案所述的图像处理方法。
25.另一方面，本发明还提供一种图像处理电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现如上述技术方案所述的图像处理方法。
26.实施本发明，具有如下有益效果：
27.本发明针对在车辆自动驾驶中进行的图像处理，所用的图像检测神经网络包括至少一个中间层，其中间层包括bn层，该bn层用于对中间层的输入数据进行平方标准化转换，由此可以在训练图像检测神经网络时提高收敛速度快，训练后的图像检测神经网络的图像检测、识别等准确度高，且有利于图像检测神经网络检测模型泛化。
附图说明
28.为了更清楚地说明本发明的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
29.图1是本发明实施例提供的图像检测方法的流程示意图；
30.图2是本发明实施例提供的图像检测装置的结构示意图。
具体实施方式
31.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施
例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
32.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤、单元或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤、单元或模块。
33.为了实现本发明的技术方案，让更多的工程技术工作者容易了解和应用本发明，将结合具体的实施例，进一步阐述本发明的工作原理。
34.本发明提供一种图像处理系统，该系统至少可以包括车辆、服务器，可应用于车联网领域，例如，利用云端服务器实时生成图像处理数据，进行自动驾驶中车辆环境信息的动态判断。
35.本说明书实施例中，该服务器可以是云端服务器，该云端服务器可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。该云端服务器可以为该车辆提供后台服务。具体的，该云端服务器可以设置有数据库，该数据库中存储有一种或多种图像处理模型，用于进行图像处理，例如，进行图像检测或图像识别。
36.以下介绍本发明一种图像处理方法的实施例，该图像处理方法用于在车辆的自动驾驶中对车辆所处的交通环境进行检测、识别，采用作为图像处理模型的图像处理神经网络对获取的交通环境图像数据进行处理，对交通环境图像数据进行检测、分割、识别等，以识别车辆周围的物体，获取车辆周围的环境信息并用于车辆的自动驾驶。具体的，该方法可以用于自动驾驶中的前向、环视、周视等视觉感知模型的训练，尤其是对交通道路场景中环境图像的障碍物识别的感知模型进行训练。
37.本说明书实施例中，在车辆自动驾驶过程中，采用图像处理神经网络进行针对车辆所处交通环境的检测、识别，相应的，采用训练数据对该图像处理神经网络进行训练，以使得训练后的图像处理神经网络能够用于在自动驾驶中进行图像处理，基于车辆的环境图像数据得到车辆所处的环境信息。
38.可选的，该训练数据包括多个图像数据，该图像数据可以为车辆行驶中获取的环境图像数据，该图像数据中包括一个或多个检测对象或识别对象，例如，人、车辆、道路标志线、交通信号灯、路灯、绿化带等，可选地，对检测对象或识别对象进一步细分，例如，将人分为成人、儿童等，将车辆分为自行车、电瓶车、摩托车、轿车、小型货车、中型货车、大型货车等。训练数据还包括与每个图像数据中的检测对象或识别对象对应的对象类别信息，该对象类别信息用于指示该检测对象或识别对象的实际类别。示例性的，该训练数据获取自数据采集车采集到的数据，该数据采集车配置前视摄像头、环视摄像头和周视摄像头，并通过前视摄像头、环视摄像头和周视摄像头中的至少一个采集环境图像数据。
39.图1是本发明实施例提供的图像处理方法的流程示意图。本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少
的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。具体的，如图1所示，该图像处理方法包括：
40.s201：获取待训练的图像处理神经网络的初始化参数。
41.图像处理神经网络包括多个神经网络层，神经网络层包括输入层、输出层和至少一个中间层。在采用训练数据对用于图像处理的图像处理神经网络进行训练之前，需要对图像检测神经网络进行初始化，以得到具有初始化参数的待训练图像处理神经网络。
42.在获取待训练的图像处理神经网络的初始化参数，还包括对图像处理神经网络进行初始化。示例性的，初始化参数包括该图像检测神经网络的权值和偏置，本说明书实施例对图像检测神经网络的权值和偏置进行初始化，以获得图像检测神经网络的初始化权值和初始化偏置。
43.为了使得初始化的图像处理神经网络能够在训练时学习收敛速度快，并能够收敛到可接受的结果，通常初始化参数需要满足预设初始化条件。示例性的，初始化参数使得图像处理神经网络的的各个中间层的输出值方差保持一致，且在反向传播的过程中，对于各个中间层，损失函数cost对状态z的导数的方差保持一致，其中，状态z为中间层中激活函数层的输入。然而，在图像处理神经网络的训练过程中，随着训练的进行，初始化参数的特性无法保持，图像处理神经网络的参数不在满足预设初始化条件，并影响图像处理神经网络的后续训练，例如，导致图像处理神经网络的后续训练的学习收敛速度变慢。
44.s203：采用训练数据对待训练的图像处理神经网络进行训练，得到训练后的图像处理神经网络；所述训练数据包括图像数据；所述图像处理神经网络包括至少一个中间层，所述中间层包括bn层，所述bn层用于对所述中间层的输入数据进行平方标准化转换。
45.可选的，图像处理神经网络的各个中间层包括依次设置的卷积层、所述bn层、激活函数层。优选的，图像处理神经网络的各个中间层包括依次设置的卷积层、所述bn层、激活函数层、池化层和全连接层。
46.激活函数层用于进行非线性变换，该激活函数层包括非线性函数。在本发明实施例中，采用bn层对中间层的输入数据进行平方标准化转换，由此，能够避免输入数据分布偏移，避免输入数据数值偏大，避免训练过程中在反向传播中出现梯度消失，同时强化输入数据之间的差异，且避免输入数据之间的差异过大，提高训练后图像处理神经网络的处理精度。
47.在一个可能的实现方式中，该采用训练数据对待训练的图像处理神经网络进行训练，得到训练后的图像处理神经网络，包括：
48.获取所述中间层的输入数据；
49.所述bn层对所述输入数据进行平方标准化转换，得到标准化转换数据，将所述标准化转换数据作为激活函数层的激活输入数据。
50.在一个可能的实现方式中，该bn层对所述输入数据进行平方标准化转换，得到标准化转换数据，将所述标准化转换数据作为激活函数层的激活输入数据，包括：
51.根据所述中间层的输入数据，获取所述输入数据的符号特征、平方值、均方值和方差；可选的，获取中间层的输入数据x的符号特征、平方值、均方值和方差，其中，输入数据x的符号特征用于表征输入数据x为正值或负值；
52.根据所述输入数据的符号特征、平方值、均方值和方差对所述输入数据进行平移
和缩放，得到标准化转换数据，将所述标准化转换数据作为激活函数层的激活输入数据；可选的，采用所述输入数据的均方值进行对输入数据进行平移，采用方差对输入数据进行缩放；示例性的，对于包含r个中间层的图像处理神经网络，第i个中间层的平方标准化转换的转换公式为：
[0053][0054]
其中，i的取值范围为[1,r],为第i个中间层输入数据对应的标准化转换数据，xi为第i个中间层的输入数据，为第i个中间层输入数据的符号特征，为输入数据的平方值，为第i个中间层输入数据的均方值，var(xi)为第i个中间层输入数据的方差。
[0055]
由此，通过采用该bn层对中间层的输入数据进行平方标准化转换，能够避免输入数据分布偏移，输入数据数值偏大，同时强化输入数据之间的差异，且避免输入数据之间的差异过大，还有利于保持初始化时参数的特性。
[0056]
s205：通过所述训练后的图像处理神经网络进行图像处理，得到图像处理结果。
[0057]
本实施例针对在车辆自动驾驶中进行的图像处理，对于所用的图像处理神经网络，采用改进的bn层，能够避免输入数据分布偏移，输入数据数值偏大，同时强化输入数据之间的差异，且避免输入数据之间的差异过大，还有利于保持初始化时参数的特性，提高图像处理神经网络的收敛速度，有利于图像处理神经网络的泛化。
[0058]
本说明书实施例还提供一种图像处理装置，图2是本发明实施例提供的图像处理装置的结构示意图，该装置包括：
[0059]
初始化模块，用于获取待训练的图像处理神经网络的初始化参数；
[0060]
训练模块，用于采用训练数据对待训练的图像处理神经网络进行训练，得到训练后的图像处理神经网络；所述训练数据包括图像数据；所述图像处理神经网络包括至少一个中间层，所述中间层包括bn层，所述bn层用于对所述中间层的输入数据进行平方标准化转换；
[0061]
处理模块，用于通过所述训练后的图像处理神经网络进行图像处理，得到图像处理结果。
[0062]
本说明书实施例还提供一种计算机可读存储介质，该存储介质中存储有程序，该程序由处理器加载并执行以实现如上述技术方案所述的图像处理方法。
[0063]
本说明书实施例还提供一种图像处理电子设备，该电子设备包括处理器和存储器，该存储器中存储有程序，该程序由该处理器加载并执行以实现如上述技术方案所述的图像处理方法。
[0064]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0065]
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保
护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如本发明的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
[0066]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0067]
此外，本领域的技术人员能够理解，尽管在此所述的实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0068]
本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(如计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，也可以在载体信号上提供，或者以任何其他形式提供。
[0069]
应该注意的是，上述实施例是对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或者步骤等。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序，可将这些单词解释为名称。