物料识别方法、装置、设备及存储介质与流程

本发明实施例涉及工程机械技术领域，尤其涉及一种物料识别方法、装置、设备及存储介质。

背景技术：

随着科学技术的不断进步，人们对工作和生活中的舒适、安全和高效的追求越发明显，而智能化甚至人工智能则成为实现这一目标的重要手段。由于在进行土方工程期间工作环境恶劣，存在高温、粉尘、潮湿及远离生活区等种种问题，对于无人化的需求日益强烈。

针对土方机械中所采集物料类型的识别，目前通常是通过声、光等介质获取物料的关键特性信息进行识别的，大多采用基于机器视觉的深度学习方法，及对获取到的物料进行滑窗处理后通过分类器进行分类，常通过alexnet网络模型实现。

然而，采用传统机器视觉对物料进行识别时，常因识别过程中需要对物料进行多种处理而导致识别过程较慢，而相同的处理对不同物料会产生不同的处理结果，导致识别准确率较低。而通过alexnet网络模型识别物料时，该网络模型在获取的物料图像中的某些地方会存在神经单元死亡且无法复活的现象，降低了物料识别的准确性。

技术实现要素：

本发明提供一种物料识别方法、装置、设备及存储介质，提高了物料识别的准确性，提高了应用alexnet网络模型进行物料识别时模型的容错率。

第一方面，本发明实施例提供了一种物料识别方法，包括：

获取待识别物料图像；

采用设定边缘识别算法对待识别物料图像进行处理，获得局部特征信息；

将待识别物料图像输入设定神经网络中的卷积层，获得深度特征信息；其中，设定神经网络包括卷积层和全连接层；

将局部特征信息与深度特征信息加权融合，获得中间特征；

将中间特征输入设定神经网络的全连接层，获得待识别物料的物料类型。

进一步地，在将待识别物料图像输入设定神经网络中的卷积层之前，还包括：

对待识别物料图像进行滑窗分割，获得目标物料图像；目标物料图像的尺寸满足设定神经网络的要求；

相应的，将目标物料图像输入设定神经网络中的卷积层，包括：

将目标物料图像输入设定神经网络的卷积层。

进一步地，将局部特征信息与深度特征信息加权融合，获得中间特征，包括：

调整局部特征信息的数据特征，使得调整后的局部特征信息的数据特征与深度特征信息的数据特征相同；

根据预设权重对调整后的局部特征信息与深度特征信息进行加权融合，并将融合结果确定为中间特征。

进一步地，在获取待识别物料图像之后，还包括：

对待识别物料图像按照如下至少一种方式进行预处理：

二值化、灰度化、噪声抑制、图像分割、边缘提取；

相应的，采用设定边缘识别算法对待识别物料图像进行处理，包括：

采用设定边缘识别算法对预处理后的待识别物料图像进行处理。

进一步地，设定边缘识别算法为霍夫变换算法；设定神经网络为alexnet网络模型。

第二方面，本发明实施例还提供了一种物料识别装置，该物料识别装置包括：

图像获取模块，用于获取待识别物料图像；

局部信息获取模块，用于采用设定边缘识别算法对待识别物料图像进行处理，获得局部特征信息；

深度信息获取模块，用于将待识别物料图像输入设定神经网络中的卷积层，获得深度特征信息；其中，设定神经网络包括卷积层和全连接层；

中间特征获取模块，用于将局部特征信息与深度特征信息加权融合，获得中间特征；

类型识别模块，用于将中间特征输入设定神经网络的全连接层，获得待识别物料图像的物料类型。

进一步地，中间特征获取模块，包括：

数据特征调整单元，用于调整局部特征信息的数据特征，使得调整后的局部特征信息的数据特征与深度特征信息的数据特征相同；

加权融合单元，用于根据预设权重对调整后的局部特征信息与深度特征信息进行加权融合，并将融合结果确定为中间特征。

第三方面，本发明实施例还提供了一种设备，设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现如本发明任意实施例中提供的物料识别方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例提供的物料识别方法。

本发明实施例通过获取待识别物料图像；采用设定边缘识别算法对待识别物料图像进行处理，获得局部特征信息；将待识别物料图像输入设定神经网络中的卷积层，获得深度特征信息；其中，设定神经网络包括卷积层和全连接层；将局部特征信息与深度特征信息加权融合，获得中间特征；将中间特征输入设定神经网络的全连接层，获得待识别物料的物料类型。通过获取待识别物料图像的局部特征信息，并将局部特征信息与通过设定神经网络卷积层确定的深度特征信息相融合，以替换原有的深度特征信息并将其输入设定神经网络的全连接层以确定待识别物料的类型，解决了仅采用设定神经网络进行物料识别时，神经网络中部分神经元死亡且无法复活导致的识别失败问题，提高了物料识别的准确性，同时提高了通过设定神经网络进行物料识别时神经网络的容错率。

附图说明

图1是本发明实施例一中的一种物料识别方法的流程图；

图2是本发明实施例二中的一种物料识别方法的流程图；

图3是本发明实施例三中的一种物料识别装置的结构示意图；

图4是本发明实施例四中的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以互相组合。

实施例一

图1为本发明实施例一提供的一种物料识别方法的流程图，本实施例可适用于对土方物料进行检测识别的情况，该方法可以由物料识别装置来执行，该物料识别装置可以由软件和/或硬件来实现，该物料识别装置可以配置在计算设备上，具体包括如下步骤：

s101、获取待识别物料图像。

其中，待识别物料图像可理解为土方机械进行铲装前获取的目标铲装物料的图像。

具体的，基于所要获取的待识别物料的特性，以及需要对待识别物料图像进行识别的土方机械的要求，结合土方物料的自身特性，为使得获取到的待识别物料图像接近于人眼所获取的物料图像，通过安装于土方机械驾驶舱内中上部的图像采集装置采集铲装前待铲装的完整的物料图像，并将所采集的物料图像作为待识别物料图像。

s102、采用设定边缘识别算法对待识别物料图像进行处理，获得局部特征信息。

其中，局部特征信息可理解为相对于全局特征的图像特征的局部表达，反映图像上具有的局部特性的特征信息。在本发明实施例中，可将其理解为相对于神经网络模型所得到的深度特征的，用以表征图像中物料边界、表面积、长宽比等特性的特征信息。

具体的，利用设定的边缘识别算法对通过图像采集装置采集到的待识别物料图像进行处理，通过处理得到待识别物料图像中的物料边界、表面积等信息，并通过上述信息确定物料图像的边界，从而确定待识别物料图像中物料的位置，并将上述位置、边界、表面积、长宽比等信息作为该待识别物料图像的局部特征信息。可选的，设定边缘识别算法可为霍夫变换算法，本发明实施例对此不进行限制。

s103、将待识别物料图像输入设定神经网络中的卷积层，获得深度特征信息。

其中，设定神经网络包括卷积层和全连接层。

其中，神经网络可理解为一种训练好的人工神经网络模型(artificialneuralnetwork，ann)，其从信息处理的角度对人脑神经元网络进行抽象，建立某种简单模型，按照不同的连接方式组成不同的网络，也可理解为一种运算模型。卷积层可理解为神经网络中由若干个卷积单元组成的数据处理层，其中每个卷积单元的参数都是通过反向传播算法最佳化得到，以提取输入的不同特征，且随着神经网络中卷积层数的增加，高层级的卷积层可从低层级卷积层中的低级特征中迭代提取出更为复杂的特征。全连接层可理解为神经网络中用于综合各特征的数据处理层，全连接层的每个结点均与上一层的所有结点相连，以综合神经网络中各层的复杂特征得到所需结果。

具体的，将通过图像采集装置采集到的待识别物料图像输入设定神经网络的卷积层中，逐层提取待识别物料图像中的特征，并将设定神经网络中最后一个卷积层输出的特征矩阵确定为该待识别物料图像的深度特征信息，其中，深度特征信息可包括待识别物料图像的纹理特征、熵值等。可选的，设定神经网络可为alexnet神经网络模型，其包括5个卷积层和3个全连接层。

s104、将局部特征信息与深度特征信息加权融合，获得中间特征。

具体的，由于直接将神经网络卷积层输出的特征数据矩阵输入全连接层进行处理时，如果特征数据矩阵中存在小于0的值会导致神经网络中部分神经元死亡且无法复活，为解决该问题，将局部特征信息调整为与深度特征信息数据特征相同的特征数据矩阵，并根据预先确定的权重值对二矩阵进行加权融合，得到融合后的特征数据矩阵，将融合后的特征数据矩阵确定为中间特征。

s105、将中间特征输入设定神经网络的全连接层，获得待识别物料的物料类型。

具体的，由于中间特征为融合后的特征数据矩阵，其中没有小于0的值，故其输入已经训练好的设定神经网络中的全连接层后不会导致神经网络中神经元的死亡问题，全连接层对融合后的特征数据矩阵中各项特征信息进行综合，即可根据预先训练结果确定出待识别物料图像中物料的物料类型。

本实施例的技术方案，通过获取待识别物料图像；采用设定边缘识别算法对待识别物料图像进行处理，获得局部特征信息；将待识别物料图像输入设定神经网络中的卷积层，获得深度特征信息；其中，设定神经网络包括卷积层和全连接层；将局部特征信息与深度特征信息加权融合，获得中间特征；将中间特征输入设定神经网络的全连接层，获得待识别物料的物料类型。通过获取待识别物料图像的局部特征信息，并将局部特征信息与通过设定神经网络卷积层确定的深度特征信息相融合，以替换原有的深度特征信息并将其输入设定神经网络的全连接层以确定待识别物料的类型，解决了仅采用设定神经网络进行物料识别时，神经网络中部分神经元死亡且无法复活导致的识别失败问题，提高了物料识别的准确性，同时提高了通过设定神经网络进行物料识别时神经网络的容错率。

实施例二

图2为本发明实施例提供的一种物料识别方法的流程图。本实施例的技术方案在上述技术方案的基础上进一步细化，具体包括如下步骤：

s201、获取待识别物料图像。

s202、对待识别物料图像进行预处理。

具体的，对获取的待识别物料图像按照如下至少一种方式进行预处理：二值化、灰度化、噪声抑制、图像分割和边缘提取。其中，图像二值化就是将图像上的像素点的灰度值设置为0或255，也即将整个图像呈现出明显的黑白效果的过程；灰度化就是将图像上的各像素点的rgb值调整为r＝b＝g状态过程；噪声抑制就是对图像数据中不必要或多于的干扰信息进行抑制的过程；图像分割就是把图像分成若干个特定的具有独特性质的区域并提取感兴趣目标的技术和过程；边缘提取就是指在数字图像的处理中对图片轮廓的处理，将灰度值变化较为剧烈的地方定义为边缘的过程。

示例性的，在采用设定边缘识别算法对待识别物料图像进行处理前，可首先利用threshold对待识别物料图像进行二值化，并利用rgb2gray对其进行灰度化处理；随后利用median函数对其进行中值滤波以抑制噪声、利用直方图双峰法对图像进行分割阈值确定并利用canny算子进行边缘提取，将上述处理后的图像作为预处理后的待识别物料图像。

s203、采用设定边缘识别算法对预处理后的待识别物料图像进行处理。

具体的，利用hough变换提取预处理后的待识别物料图像中的边界、面积、长宽比等局部特征信息，确定物料图像的边界，从而确定物料在待识别物料图像中的位置区域。

s204、对待识别物料图像进行滑窗分割，获得目标物料图像。

其中，滑窗分割可理解为在将图像放入神经网络进行识别前，利用滑动窗口对待识别图像进行分割以将待识别图像划分为适合神经网络输入的大小的过程。即目标物料图像的尺寸满足设定神经网络的要求。

s205、将目标物料图像输入设定神经网络的卷积层。

示例性的，当设定神经网络为alexnet神经网络模型时，第一层输入处理后的目标物料图像，预处理为第二层处理大小的图像后使用96个filter过滤器进行多个信息的提取，采用relu函数作为激励函数以确保提取的多个特征值均处在合理范围之内，relu后的数据为55*55*96；第二层使用filter过滤器对第一层经过提取特征值后的图像即特征图进行进一步的特征提取，并对某几个融合后的特征图的相应区域进行加权偏置后进行卷积操作；第三层进行无降采样的同步卷积relu操作后输出特征数据；第四层针对第三层输出数据进行全零填充卷积后输出数据；第五层采用降采样操作后将经过alexnet神经网络模型中各卷积层处理后的深度特征数据矩阵输出，并将其作为卷积层输出的深度特征信息。

s206、调整局部特征信息的数据特征，使得调整后的局部特征信息的数据特征与深度特征信息的数据特征相同。

具体的，由于局部特征信息的数据特征与深度特征信息的数据特征不同，而融合后的特征信息需输入设定神经网络的神经层中以获得待识别物料的物料类型，因此需对局部特征信息的数据特征进行调整，使其与深度特征信息的数据特征相同。示例性的，在alexnet神经网络模型中，卷积层输出的深度特征信息的数据特征为一个6*6*256的特征数据矩阵，则需将通过hough变换确定的待识别物料图像的局部特征信息也转换为一个6*6*256的特征数据矩阵，以实现二者的融合。

s207、根据预设权重对调整后的局部特征信息与深度特征信息进行加权融合，并将融合结果确定为中间特征。

其中，融合后的特征值可以避免部分神经元死亡现象，避免0数值的输入。

具体的，根据预先进行模型训练时确定的预设权重，分别对调整后的局部特征信息的特征数据矩阵，以及深度特征信息的特征数据矩阵进行加权，并对两个加权后的特征数据矩阵融合，将得到的融合结果确定为中间特征的特征数据矩阵。可选的，局部特征信息的权重可为0.384，针对不同的土方机械及物料也可采用不同的权重分配，且加权融合方法也可采用加权平均、卡尔曼滤波等其他数据融合方法，本发明实施例对此不进行限制。

s208、将中间特征输入设定神经网络的全连接层，获得待识别物料的物料类型。

本实施例的技术方案，通过对待识别物料图像同时进行局部特征信息与深度特征信息的提取，并将局部特征信息与深度特征信息相融合，将融合后的特征信息输入训练好的alexnet神经网络模型的全连接层以得到待识别物料的物料类型。避免了单独使用alexnet神经网络模型时部分神经元死亡导致的识别失败，结合局部特征信息提高了对待识别物料类型识别的准确性；利用加权融合的方式，将局部特征信息与深度特征信息进行融合，消除深度特征信息中神经元死亡的现象，融合后的特征信息避免了0数值的输入，增加了神经网络在进行物料识别时的容错率。

实施例三

图3为本发明实施例三提供的一种物料识别装置的结构示意图，该物料识别装置包括：图像获取模块31，局部信息获取模块32，深度信息获取模块33，中间特征获取模块34和类型识别模块35。

其中，图像获取模块31，用于获取待识别物料图像；局部信息获取模块32，用于采用设定边缘识别算法对待识别物料图像进行处理，获得局部特征信息；深度信息获取模块33，用于将待识别物料图像输入设定神经网络中的卷积层，获得深度特征信息；其中，设定神经网络包括卷积层和全连接层；中间特征获取模块34，用于将局部特征信息与深度特征信息加权融合，获得中间特征；类型识别模块35，用于将中间特征输入设定神经网络的全连接层，获得待识别物料图像的物料类型。

本实施例的技术方案，解决了仅采用设定神经网络进行物料识别时，神经网络中部分神经元死亡且无法复活导致的识别失败问题，提高了物料识别的准确性，同时提高了通过设定神经网络进行物料识别时神经网络的容错率。

可选的，物料识别装置还包括：

预处理模块，用于对待识别物料图像按照如下至少一种方式进行预处理：二值化、灰度化、噪声抑制、图像分割、边缘提取。

进一步地，局部信息获取模块32具体用于：采用设定边缘识别算法对预处理后的待识别物料图像进行处理，获得局部特征信息。

可选的，物料识别装置还包括：

目标图像获取模块，用于对待识别物料图像进行滑窗分割，获得目标物料图像；物料图像的尺寸满足设定神经网络的要求。

进一步地，深度信息获取模块33具体用于：将目标物料图像输入设定神经网络的卷积层，获得深度特征信息。

可选的，中间特征获取模块34，包括：

数据特征调整单元，用于调整局部特征信息的数据特征，使得调整后的局部特征信息的数据特征与深度特征信息的数据特征相同。

加权融合单元，用于根据预设权重对调整后的局部特征信息与深度特征信息进行加权融合，并将融合结果确定为中间特征。

可选的，设定边缘识别算法可为霍夫变换算法，设定神经网络可为alexnet网络模型。

本发明实施例所提供的物料识别装置可执行本发明任意实施例所提供的物料识别方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4为本发明实施例四提供的一种设备的结构示意图，如图4所示，该设备包括处理器41、存储装置42、输入装置43和输出装置44；设备中处理器41的数量可以是一个或多个，图4中以一个处理器41为例；设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储装置42作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的物料识别方法对应的程序指令/模块(例如，图像获取模块31，局部信息获取模块32，深度信息获取模块33，中间特征获取模块34和类型识别模块35)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的物料识别方法。

存储装置42可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置43可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入，可以包括触屏、键盘和鼠标等。输出装置44可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种物料识别方法，该方法包括：

获取待识别物料图像；

采用设定边缘识别算法对待识别物料图像进行处理，获得局部特征信息；

将待识别物料图像输入设定神经网络中的卷积层，获得深度特征信息；其中，设定神经网络包括卷积层和全连接层；

将局部特征信息与深度特征信息加权融合，获得中间特征；

将中间特征输入设定神经网络的全连接层，获得待识别物料的物料类型。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的物料识别方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。