一种工业物料的识别方法、装置、设备及存储介质与流程

1.本发明涉及目标检测技术领域，尤其涉及一种工业物料的识别方法、装置、设备及存储介质。


背景技术：

2.随着5g和深度学习在无人驾驶方面的应用，工程机械的无人驾驶技术也越来越受到重视。为了顺应智能化机械产品的市场应用需求，研发设计适用于复杂环境下工程机械设备和工业物料的智能识别装载机，已成为我国所面临的一项重要课题。此项研究将人工智能算法与装载机结合，旨在实现装载机无人自动作业，可以将装载机用在平时作业中也可以应用于危险场地以及抢险救灾过程中，从而解放生产力，提高工作效率，避免由于人为操作出现的各类问题，保护人员生命安全。
3.现有的用于智能装载机的检测方案有以下几种：
4.1、使用传统的机器学习算法对目标进行识别。这种方法是最原始的目标识别方法，一般只应用于学术研究。这种传统的目标检测方式在实时性和准确率上很差，达不到工业物料的实时性检测要求，且可能会产生多个正确识别的结果。
5.2、基于深度学习的目标检测算法，尤其是以yolo、ssd为代表的one-stage算法。yolo算法在特定领域内优势不突出，在特定专业领域内针对特殊目标的识别精度低，实时性不够，并且模型太大不方便移植到嵌入式设备中。


技术实现要素：

6.本发明提供了一种工业物料的识别方法、装置、设备及存储介质，以实现复杂环境下对工业物料进行识别。
7.根据本发明的一方面，提供了一种工业物料的识别方法，包括：
8.获取待识别数据；
9.对所述待识别数据进行处理，获取包含先验框的目标数据；
10.将所述目标数据输入目标识别网络，获取输出的识别结果；
11.其中，所述目标识别网络中包括设定个数的残差模块与至少两个输出层。
12.进一步地，获取待识别数据，包括：
13.获取原始数据；
14.利用迁移学习算法与滑窗算法对所述原始数据的多样性与目标容错性进行增强；
15.将增强后的数据确定为所述待识别数据。
16.进一步地，对所述待识别数据进行处理，获取包含先验框的目标数据，包括：
17.利用聚类算法确定与所述待识别数据相适应的所述先验框的大小；
18.将包含所述先验框的待识别数据确定为所述目标数据。
19.进一步地，所述至少两个输出层包括大尺度目标输出层和小尺度目标输出层；
20.所述大尺度目标输出层用于输出大尺度数据的识别结果；
21.所述小尺度目标输出层用于输出小尺度数据的识别结果。
22.进一步地，所述设定个数的残差模块用于优化所述目标识别网络的性能。
23.进一步地，所述目标识别网络包括特征提取器与目标识别器；
24.所述特征提取器中包括所述设定个数的残差模块，用于提取所述目标数据的数据特征；
25.所述目标识别器中包括所述至少两个输出层，用于根据所述数据特征获取所述识别结果并输出。
26.进一步地，所述特征提取器包括超分辨率测试序列网络，所述目标识别器包括实时目标检测网络。
27.根据本发明的另一方面，提供了一种工业物料的识别装置，包括：
28.待识别数据获取模块，用于获取待识别数据；
29.目标数据获取模块，用于对所述待识别数据进行处理，获取包含先验框的目标数据；
30.识别结果获取模块，用于将所述目标数据输入目标识别网络，获取输出的识别结果；
31.其中，所述目标识别网络中包括设定个数的残差模块与至少两个输出层。
32.可选的，待识别数据获取模块还用于：
33.获取原始数据；
34.利用迁移学习算法与滑窗算法对所述原始数据的多样性与目标容错性进行增强；
35.将增强后的数据确定为所述待识别数据。
36.可选的，目标数据获取模块还用于：
37.利用聚类算法确定与所述待识别数据相适应的所述先验框的大小；
38.将包含所述先验框的待识别数据确定为所述目标数据。
39.可选的，所述至少两个输出层包括大尺度目标输出层和小尺度目标输出层；
40.所述大尺度目标输出层用于输出大尺度数据的识别结果；
41.所述小尺度目标输出层用于输出小尺度数据的识别结果。
42.可选的，所述设定个数的残差模块用于优化所述目标识别网络的性能。
43.可选的，所述目标识别网络包括特征提取器与目标识别器；
44.所述特征提取器中包括所述设定个数的残差模块，用于提取所述目标数据的数据特征；
45.所述目标识别器中包括所述至少两个输出层，用于根据所述数据特征获取所述识别结果并输出。
46.可选的，所述特征提取器包括超分辨率测试序列网络，所述目标识别器包括实时目标检测网络。
47.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
48.至少一个处理器；以及
49.与所述至少一个处理器通信连接的存储器；其中，
50.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的
工业物料的识别方法。
51.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的工业物料的识别方法。
52.本发明实施例首先获取待识别数据；然后对待识别数据进行处理，获取包含先验框的目标数据；最后将目标数据输入目标识别网络，获取输出的识别结果；其中，目标识别网络中包括设定个数的残差模块与至少两个输出层。本发明实施例提供的工业物料的识别方法，对基础识别网络进行了改进，结合vgg19模型与yolov3-tin模型的优势，采用多个输出层输出不同尺度大小的目标，并利用残差模块改进网络模型的性能，有效提高了网络特征提取的能力和不同尺度下目标的识别精度。
53.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
54.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
55.图1是根据本发明实施例一提供的一种工业物料的识别方法的流程图；
56.图2是根据本发明实施例一提供的一种目标识别网络的主干示意图；
57.图3是根据本发明实施例一提供的一种残差模块的结构示意图；
58.图4是根据本发明实施例一提供的一种目标识别器的结构示意图；
59.图5是根据本发明实施例二提供的一种工业物料的识别方法的流程图；
60.图6是根据本发明实施例二提供的一种工业物料的识别算法流程图；
61.图7为根据本发明实施例三提供的一种工业物料的识别装置的结构示意图；
62.图8是实现本发明实施例四的工业物料的识别方法的电子设备的结构示意图。
具体实施方式
63.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
64.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品
或设备固有的其它步骤或单元。
65.实施例一
66.图1为本发明实施例一提供的一种工业物料的识别方法的流程图，本实施例可适用于对复杂工程环境下对工业物料进行识别的情况，该方法可以由工业物料的识别装置来执行，该工业物料的识别装置可以采用硬件和/或软件的形式实现，该工业物料的识别装置可配置于电子设备中。如图1所示，该方法包括：
67.s110、获取待识别数据。
68.其中，待识别数据为对原始数据进行预处理后的数据。其中，原始数据为利用摄像机等图像采集设备获取的包含待识别的目标对象的图像、视频等数据，典型地，原始数据可以是在工程环境下对工业物料(工程机械设备或料堆等)采集的图像。预处理为对原始数据进行的数据增强、去除噪声以及标准化等使原始数据便于识别的处理。
69.在本实施例中，获取待识别数据的方式可以是，收集与整理包含待识别的目标对象的图像数据，将图像数据制作成数据集，然后进行数据增强处理，例如，利用迁移学习、滑窗等方式增强数据集的多样性与目标容错性。优选地，数据集是符合一定格式与标准的数据集合，可以利用labelimg等专业数据集制作软件制作。
70.s120、对待识别数据进行处理，获取包含先验框的目标数据。
71.其中，先验框(anchor)为目标检测算法中，由算法预定义提前在图像上预设好的不同大小，不同长宽比的框。
72.在本实施例中，获取待识别数据之后，可以利用算法对待识别数据进行处理，得到目标识别的先验框(anchor)。优选地，可以利用k-means聚类算法，对待识别数据中包含的多个图像数据进行聚类计算，得到与待识别数据中的目标对象的大小相适应的先验框。
73.s130、将目标数据输入目标识别网络，获取输出的识别结果。
74.其中，目标识别网络中包括设定个数的残差模块与至少两个输出层。
75.在本实施例中，目标识别网络为用于对目标对象进行识别的网络模型，典型地，本发明实施例中的目标识别网络可以对工业生产环境下的工业物料进行识别。
76.进一步地，目标识别网络包括特征提取器与目标识别器。其中，特征提取器中包括设定个数的残差模块，用于提取目标数据的数据特征；目标识别器中包括至少两个输出层，用于根据数据特征获取识别结果并输出。
77.具体的，在构建目标识别网络时，可以在网络模型中设置特征提取器与目标识别器，分别用于目标数据的数据特征的提取以及根据数据特征进行目标识别。其中，特征提取是指使用计算机提取图像中属于特征性的信息的方法及过程。目标识别是指一个特殊目标(或一种类型的目标)从其它目标(或其它类型的目标)中被区分出来的过程。典型地，对于包含待识别的工业物料的图像数据，例如，想要识别工程现场图像中的一个设定的料堆，待识别的目标对象为该料堆，特征提取器可以提取该料堆的特征，目标识别器可以在图像中确定目标对象。
78.进一步地，特征提取器包括超分辨率测试序列网络，目标识别器包括实时目标检测网络。
79.优选地，可以利用超分辨率测试序列网络构建特征提取器，并利用实时目标检测网络构建目标识别器。典型地，可以以vgg19模型作为特征提取器，yolov3-tin模型作为目
标识别器构建基础目标识别网络。其中，vgg19为19个卷积层的超分辨率测试序列(visual geometry group，vgg)，yolov3-tin为一种实时目标检测网络。由vgg19模型与yolov3-tin模型组合成的目标识别网络，针对yolov3-tiny基础网络框架仅采用逐层连接的形式，存在特征提取能力不足的弱点，可以借助于vgg19网络的思想将低层信息与高层信息进行深度连接，从而提高网络特征提取的能力和不同尺度目标的识别精度。
80.在本实施例中，特征提取器中包括设定个数的残差模块，用于提取目标数据的数据特征；目标识别器中包括至少两个输出层，用于根据数据特征获取识别结果并输出。其中，设定个数的残差模块用于优化目标识别网络的性能，进一步地，至少两个输出层包括大尺度目标输出层和小尺度目标输出层，大尺度目标输出层用于输出大尺度数据的识别结果；小尺度目标输出层用于输出小尺度数据的识别结果。
81.优选地，可以在特征提取器中添加残差模块，对目标识别网络的性能进行优化。典型地，残差模块的个数可以是6个。图2是本发明实施例提供的一种目标识别网络的主干示意图，如图所示，目标识别网络中包括6个残差模块和4个最大池化层，其中在第2个残差模块开始每个残差模块之间以最大池化层来连接。输入图像的大小为512
×
512
×
3(像素)，经过每个残差模块及最大池化层之后，输入的图像数据的大小如下：
82.第一个256
×
256
×
3 256
×
256
×
3 256
×
256
×383.第二个256
×
256
×
64 256
×
256
×
64 256
×
256
×
64
84.池化层128
×
128
×
64
85.第三个128
×
128
×
128 128
×
128
×
128 128
×
128
×
128
86.池化层64
×
64
×
128
87.第四个64
×
64
×
256 64
×
64
×
256 64
×
64
×
256
88.池化层32
×
32
×
256
89.第五个32
×
32
×
512 32
×
32
×
512 32
×
32
×
512
90.池化层16
×
16
×
512
91.第六个16
×
16
×
512 16
×
16
×
512 16
×
16
×
512
92.图3是本发明实施例提供的一种残差模块的结构示意图，如图所示，残差模块中包含3个卷积层，其中，第一个卷积层可以直接输出到shortcut模块，然后与第三个卷积层的输出进行加权连接并输出。目标识别网络采用多个残差网络识别模块，可以将底层特征与高层特征通过加权连接的形式融合在一起，提升识别率。
93.优选地，目标识别器中包含至少两个输出层，可以分别用于输出大尺度数据的识别结果与小尺度数据的识别结果。图4是本发明实施例提供的一种目标识别器的结构示意图，如图所示，目标识别器包含两个输出层，分别连接8
×
8的yolo检测模块和16
×
16的yolo检测模块，在第二个输出层中，经过两个卷积层后可以输出给第一个输出层。
94.由于工程机械设备和工业物料的体积较大，不需要针对小目标物料进行处理，所以网络的检测部分由8
×
8的yolo检测模块和16
×
16的yolo检测模块构成。16
×
16尺寸的预测模块可以用于预测体积较小的工业物料或工程机械设备，8
×
8的预测模块开业用于识别体积较大的工业物料或工程机械设备。每个yolo预测框会生成3个先验框(anchor)用于检测目标，anchor会获取目标中心点的坐标、anchor框的宽高、物体置信度及类别，通过这些信息，yolo算法可以计算较为合适的损失函数等信息，从而使目标的识别率得到比较高的
程度。
95.在本实施例中，针对yolov3-tiny基础网络框架仅采用逐层连接的形式，存在特征提取能力不足的缺点，可以借助于vgg19网络的思想将低层信息与高层信息进行深度连接，同时借鉴残差网络的思想，采用残差网络与多尺度的特征金字塔网络结构，输出两个不同尺度大小的yolo层。
96.进一步地，可以利用经过数据增强的标准数据集和先验框对优化后的基础目标识别网络进行训练，以获得具有目标识别能力的特定目标识别网络。训练好的目标识别网络可以部署到lg856h型装载机等设备的域控制器上，同时装配单目摄像头等图像采集设备用于获取待上述训练好的目标识别网络进行处理，可以获取目标识别结果，用于装载机自动铲装过程中帮助装载机识别需要铲装的目标物料。
97.本发明实施例首先获取待识别数据；然后对待识别数据进行处理，获取包含先验框的目标数据；最后将目标数据输入目标识别网络，获取输出的识别结果；其中，目标识别网络中包括设定个数的残差模块与至少两个输出层。本发明实施例提供的工业物料的识别方法，对基础识别网络进行了改进，结合vgg19模型与yolov3-tin模型的优势，采用多个输出层输出不同尺度大小的目标，并利用残差模块改进网络模型的性能，有效提高了网络特征提取的能力和不同尺度下目标的识别精度。
98.实施例二
99.图5为本发明实施例二提供的一种工业物料的识别方法的流程图，本实施例为上述实施例的细化。如图5所示，该方法包括：
100.s210、获取原始数据。
101.其中，原始数据为利用摄像机等图像采集设备获取的包含待识别的目标对象的图像、视频等数据。
102.在本实施例中，获取原始数据的方式可以是，对工程环境下对工业物料(工程机械设备或料堆等)进行拍摄，得到的采集图像可以作为原始数据用于下一步的处理。
103.s220、利用迁移学习算法与滑窗算法对原始数据的多样性与目标容错性进行增强。
104.其中，迁移学习是一种机器学习方法，就是把为任务a开发的模型作为初始点，重新使用在为任务b开发模型的过程中。滑窗算法是在给定特定窗口大小的数组或字符串上执行要求的操作。
105.在本实施例中，可以将获取的原始数据制作成符合一定格式的标准数据集，然后采用固定风格任意内容的迁移学习增强标准数据集的多样性，再利用滑窗方式增强标准数据集的目标容错性。
106.优选地，增强标准数据集的多样性的方式可以是，将标准数据集中的图像放置于多种背景图像中，增强标准数据集的目标容错性的方式可以是，将标准数据集中的待识别的目标对象的部分作为识别对象。
107.s230、将增强后的数据确定为待识别数据。
108.在本实施例中，通过增强标准数据集的多样性与目标容错性的方式，可以丰富原始数据的样本容量。增强后的数据可以确定为待识别数据进行下一步处理。
109.s240、利用聚类算法确定与待识别数据相适应的先验框的大小。
110.其中，聚类算法是一种典型的无监督学习算法，主要用于将相似的样本自动归到一个类别中。常用的聚类算法有：基于划分的方法k-means算法、基于层次的cure算法和基于密度的dbscan算法等。
111.在本实施例中，可以采用k-means聚类算法对经数据增强的待识别数据进行处理，获得目标识别的先验框(anchor)。通过k-means聚类算法，可以在待识别数据中确定先验框的大小，例如长和宽等数据，使得先验框可以与待识别数据中的目标对象相适应。
112.s250、将包含先验框的待识别数据确定为目标数据。
113.在本实施例中，先验框可以使得模型更容易学习，目标数据作为目标识别网络的输入数据，其中包含至少一个与待识别的目标对象相适应的先验框。
114.s260、将目标数据输入目标识别网络，获取输出的识别结果。
115.在本实施例中，目标识别网络的构建中可以以vgg19模型作为特征提取器，并以yolov3-tin模型作为特征处理与多尺度目标识别器构建基础目标识别网络，然后对基础目标识别网络进行优化。进一步地，可以采用残差模块与多尺度的特征金字塔网络结构对基础目标识别网络结构进行优化，通过上述改进充分利用残差网和多尺度局部区域特征，可以有效提高网络特征提取的能力和不同尺度目标的识别精度。
116.图6是本发明实施例提供的一种工业物料的识别算法流程图，如图所示，将获取的原始数据制作成符合一定格式的标准数据集后，可以采用迁移学习与滑窗方式分别增强标准数据集的多样性与目标容错性，然后利用聚类算法得到先验框，再进行目标识别网络模型的构建与优化，最后得到检测结果。
117.本发明实施例首先获取原始数据，然后利用迁移学习算法与滑窗算法对原始数据的多样性与目标容错性进行增强，再将增强后的数据确定为待识别数据，再利用聚类算法确定与待识别数据相适应的先验框的大小，再将包含先验框的待识别数据确定为目标数据，最后将目标数据输入目标识别网络，获取输出的识别结果。本发明实施例提供的工业物料的识别方法，对基础识别网络进行了改进，结合vgg19模型与yolov3-tin模型的优势，采用多个输出层输出不同尺度大小的目标，并利用残差模块改进网络模型的性能，有效提高了网络特征提取的能力和不同尺度下目标的识别精度。
118.实施例三
119.图7为本发明实施例三提供的一种工业物料的识别装置的结构示意图。如图7所示，该装置包括：待识别数据获取模块310，目标数据获取模块320和识别结果获取模块330。
120.待识别数据获取模块310，用于获取待识别数据。
121.可选的，待识别数据获取模块310还用于：
122.获取原始数据；利用迁移学习算法与滑窗算法对原始数据的多样性与目标容错性进行增强；将增强后的数据确定为待识别数据。
123.目标数据获取模块320，用于对待识别数据进行处理，获取包含先验框的目标数据。
124.可选的，目标数据获取模块320还用于：
125.利用聚类算法确定与待识别数据相适应的先验框的大小；将包含先验框的待识别数据确定为目标数据。
126.识别结果获取模块330，用于将目标数据输入目标识别网络，获取输出的识别结
果。
127.其中，目标识别网络中包括设定个数的残差模块与至少两个输出层。
128.可选的，至少两个输出层包括大尺度目标输出层和小尺度目标输出层；大尺度目标输出层用于输出大尺度数据的识别结果；小尺度目标输出层用于输出小尺度数据的识别结果。
129.可选的，设定个数的残差模块用于优化目标识别网络的性能。
130.可选的，目标识别网络包括特征提取器与目标识别器；特征提取器中包括设定个数的残差模块，用于提取目标数据的数据特征；目标识别器中包括至少两个输出层，用于根据数据特征获取识别结果并输出。
131.可选的，特征提取器包括超分辨率测试序列网络，目标识别器包括实时目标检测网络。
132.本发明实施例所提供的工业物料的识别装置可执行本发明任意实施例所提供的工业物料的识别方法，具备执行方法相应的功能模块和有益效果。
133.实施例四
134.图8示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
135.如图8所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
136.电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
137.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如工业物料的识别方法。
138.在一些实施例中，工业物料的识别方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的工业物料的识别的一个或多个步骤。备
选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行工业物料的识别方法。
139.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
140.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
141.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
142.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
143.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
144.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云
主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
145.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
146.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。