数据类型识别模型的训练方法、数据处理方法和电子设备与流程

1.本技术涉及物联网技术领域，尤其涉及一种数据类型识别模型的训练方法、数据处理方法、电子设备和计算机可读存储介质。


背景技术：

2.物联网设备，例如物联网传感器的种类众多，不同类型的物联网传感器采集的物联网数据内容和格式不同，主要通过无线通信的方式对物联网数据进行传输和处理。现有收集物联网传感器采集的物联网数据的方式，是对不同类型的物联网传感器使用相对应的通信设备或收集设备进行，以实现不同类型的物联网数据分类。
3.在现有技术中，物联网数据收集设备的专用性高、普适性差，无法针对多种业务的不同物联网数据进行收集并识别，因此在设施方面需要投入较高成本，资源开销较大。并且，随着物联网大规模、多业务的物联网传感器的不断发展，现有对物联网数据进行识别分类愈发难以实现。


技术实现要素：

4.本技术实施例的目的是提供一种数据类型识别模型的训练方法、数据处理方法和电子设备、计算机可读存储介质，用以解决不同类型物联网数据收集到这的成本高的问题。
5.为了解决上述技术问题，本说明书是这样实现的：
6.第一方面，提供了一种数据类型识别模型的训练方法，包括：
7.获取不同类型物联网设备采集的各物联网数据，所述物联网数据包括数据长度小于预设长度阈值的第一物联网数据和数据长度不小于所述预设长度阈值的第二物联网数据；
8.对第一物联网数据添加对应的特征数据，得到数据长度不小于所述预设长度阈值的第三物联网数据，特征数据用于指示对应的第一物联网数据的来源信息；
9.基于目标物联网数据集合构建样本数据集，所述目标物联网数据集合包括所述第二物联网数据和所述第三物联网数据；
10.以所述样本数据集中的样本数据为输入，以样本数据对应的物联网数据的类型为标签，训练数据类型识别模型。
11.可选地，所述物联网数据为十六进制码流数据，对各第一物联网数据分别添加对应的特征数据，得到数据长度不小于所述预设长度阈值的第三物联网数据，包括：
12.确定各物联网数据对应的十六进制码流数据的数据长度；
13.根据数据长度，确定各物联网数据中的第一物联网数据；
14.根据各第一物联网数据对应的通信设备信息，确定各第一物联网数据对应的特征数据，所述通信设备信息包括收集所述物联网数据的通信设备的位置信息和所述通信设备对应获取的物联网设备的信息；
15.将预设长度的特征数据添加到对应的第一物联网数据中，得到所述第三物联网数
据。
16.可选地，基于目标物联网数据集合构建样本数据集，包括：
17.将所述目标物联网数据集合中包括的所述第二物联网数据和所述第三物联网数据分别对应的十六进制码流数据，按照ascii码表分别转换为二进制码流数据；
18.将所述目标物联网数据集合对应转换的二进制码流数据的集合转换成二维矩阵；
19.对所述二维矩阵的元素进行归一化处理以及对归一化处理后的二维矩阵进行降维处理，得到所述样本数据集。
20.可选地，对所述二维矩阵的元素进行归一化处理以及对归一化处理后的二维矩阵进行降维处理之后，还包括：
21.确定所述降维处理得到的一维矩阵中，添加有特征数据的各第一元素和未添加有特征数据的各第二元素；
22.对各第一元素对应的二进制码流数据分别进行压缩编码，得到长度缩减后的二进制码流数据；
23.基于各第一元素对应的长度缩减的二进制码流数据和各第二元素对应的二进制码流数据，得到所述样本数据集，所述样本数据集中的一个样本数据对应所述一维矩阵中的一个元素。
24.可选地，以所述样本数据集中的样本数据为输入，以样本数据对应的物联网数据的类型为标签，训练数据类型识别模型，包括：
25.建立初始的一维卷积神经网络cnn模型，所述初始的一维cnn模型包括输入层、卷积层、池化层、全局池化层、全连接层和输出层；
26.以所述数组数据为样本、以各数组数据对应的物联网数据的类型为标签，训练所述初始的一维cnn模型的参数直至所述参数收敛，得到所述数据类型识别模型。
27.第二方面，提供了一种物联网数据处理方法，包括：
28.获取目标物联网设备采集的物联网数据；
29.确定所述物联网数据的数据长度；
30.在所述数据长度小于预设长度阈值的情况下，对所述物联网数据添加用于指示所述物联网数据的来源信息的特征数据；
31.将添加特征数据后的物联网数据输入预设数据类型识别模型，以识别出所述物联网数据的数据类型；
32.基于所述数据类型对所述物联网数据进行处理。
33.可选地，在所述数据长度小于预设长度阈值的情况下，对所述物联网数据添加用于指示所述物联网数据的来源信息的特征数据，包括：
34.获取所述物联网数据对应的通信设备信息，所述通信设备信息包括收集所述物联网数据的通信设备的位置信息和所述通信设备对应获取的物联网设备的信息；
35.根据所述通信设备信息，确定所述物联网数据对应的特征数据；
36.将所述特征数据添加到所述物联网数据中。
37.可选地，基于所述数据类型对所述物联网数据进行处理，包括：
38.基于数据类型与优先级的预设映射关系，确定所述数据类型的物联网数据对应的优先级；
39.根据所述优先级，传输所述数据类型的物联网数据。
40.第三方面，提供了一种电子设备，包括存储器和与所述存储器电连接的处理器，所述存储器存储有可在所述处理器运行的计算机程序，该计算机程序被该处理器执行时实现如第一方面或第二方面所述的方法的步骤。
41.第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面所述的方法的步骤。
42.在本技术实施例中，通过获取目标物联网设备采集的物联网数据；确定所述物联网数据的数据长度；在所述数据长度小于预设长度阈值的情况下，对所述物联网数据添加用于指示所述物联网数据的来源信息的特征数据；将添加特征数据后的物联网数据输入预设数据类型识别模型，以识别出所述物联网数据的数据类型；基于所述数据类型对所述物联网数据进行处理，由此对于同一信息收集设备收集的不同类型的物联网数据，可以通过预设的数据类型识别模型识别出数据类型，如此可以支持不同类型的物联网数据统一采集和识别分类，降低了物联网数据采集、处理的成本，提高了物联网数据处理的普适性，且对不同类型物联网数据进行自动识别与分类的准确率高。
附图说明
43.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
44.图1是本技术实施例的数据类型识别模型的训练方法的流程示意图。
45.图2是本技术实施例的通信设备的应用场景示意图。
46.图3是本技术实施例的一维cnn模型的结构示意图。
47.图4是本技术实施例的物联网数据处理方法的流程示意图。
48.图5是本技术实施例的电子设备的结构方框图。
具体实施方式
49.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。本技术中附图编号仅用于区分方案中的各个步骤，不用于限定各个步骤的执行顺序，具体执行顺序以说明书中描述为准。
50.为了解决现有技术中存在的问题，本技术实施例提供一种数据类型识别模型的训练方法，如图1所示，包括以下步骤：
51.步骤102，获取不同类型物联网设备采集的各物联网数据，所述物联网数据包括数据长度小于预设长度阈值的第一物联网数据和数据长度不小于所述预设长度阈值的第二物联网数据。
52.在该步骤中，物联网设备包括不同类型的物联网传感器，例如温度传感器、液面传感器、气体传感器、湿度传感器等，用于采集对应的物联网数据。
53.采集的物联网数据通常为是十六进制的原始码流数据，即应用层报文中的负载(payload)，也被称作实际数据或者数据体，不同类型的物联网传感器采集的物联网数据的
长度和对应的指示的特征可能不同。在本技术实施例中，物联网数据包括数据长度小于预设长度阈值的物联网数据和数据长度不小于预设长度阈值的物联网数据。
54.数据长度小于预设长度阈值的物联网数据，包含的数据长度过短，则对应指示的特征不明显或特征维度过少，在后续对模型进行训练时难以提取特征。数据长度不小于预设长度阈值的物联网数据，包含的数据长度则对应指示的特征维度较多，能够较全面体现对应的物联网设备的相关信息。
55.步骤104，对第一物联网数据添加对应的特征数据，得到数据长度不小于所述预设长度阈值的第三物联网数据，特征数据用于指示对应的第一物联网数据的来源信息。
56.如上文所述，数据长度过短的物联网数据难以提取特征，从而用于数据类型识别模型训练时，不能得到精度较高的数据类型识别模型。因此，在一个实施例中，可以对于长度较短的物联网数据添加相关特征。
57.可选地，所述物联网数据为十六进制码流数据，对各第一物联网数据分别添加对应的特征数据，得到数据长度不小于所述预设长度阈值的第三物联网数据，包括：确定各物联网数据对应的十六进制码流数据的数据长度；根据各第一物联网数据对应的通信设备信息，确定各第一物联网数据对应的特征数据，所述通信设备信息包括收集所述物联网数据的通信设备的位置信息和所述通信设备对应获取的物联网设备的信息；将预设长度的特征数据添加到对应的第一物联网数据中，得到所述第三物联网数据。
58.对应物联网设备采集的为十六进制原始码流数据的物联网数据，首先确定各物联网数据对应的十六进制原始码流数据的数据长度。如果数据长度小于预设长度阈值，则确定为该物联网数据需要添加特征数据，即确定为第一物联网数据。
59.添加的特征数据用于指示目标第一物联网数据的来源信息，也即收集目标第一物联网数据的通信设备的相关信息，通信设备信息包括收集目标物联网数据的通信设备的位置信息和通信设备对应获取的物联网设备的信息。例如，通信设备为无人机设备，负责收集各物联网设备采集的物联网数据信息，则该无人机设备所在的位置和对应获取的物联网设备的信息，包括无人机设备拍摄的物联网设备的外观图片或视频等信息，可以提取出该物联网设备的类型。相关通信设备信息可以作为对应采集的目标物联网设备的相关特征数据，添加到长度较短的物联网数据中。通过添加特征数据，可以丰富目标物联网设备采集的物联网数据的信息内容，增加物联网数据的特征维度，由此得到包括更多维度特征的第三物联网数据。
60.如图2所示，通信设备1可以收集包括不同类型的物联网传感器采集的物联网数据，不同类型的传感器包括传感器1、传感器2、传感器3、传感器4、传感器5和传感器6，一个通信设备可以针对多种业务的不同物联网数据进行收集，可以降低设施方面的投入成本，减少资源开销，且具有较好的普适性。
61.步骤106，基于目标物联网数据集合构建样本数据集，所述目标物联网数据集合包括所述第二物联网数据和所述第三物联网数据。
62.将物联网设备采集的长数据的物联网数据和添加特征数据后的物联网数据组合得到物联网数据集合，根据集合中的每条物联网数据来构建样本数据。
63.可选的，基于目标物联网数据集合构建样本数据集，包括：将所述目标物联网数据集合中包括的所述第二物联网数据和所述第三物联网数据分别对应的十六进制码流数据，
按照ascii码表分别转换为二进制码流数据；将所述目标物联网数据集合对应转换的二进制码流数据的集合转换成二维矩阵；对所述二维矩阵的元素进行归一化处理以及对归一化处理后的二维矩阵进行降维处理，得到所述样本数据集。
64.对于目标物联网数据集合中包括的第二物联网数据和第三物联网数据，分别将各物联网数据对应的十六进制的原始码流数据，按照ascii码表翻译为对应的二进制整数码流数据。在目标物联网数据集合中包括的物联网数据全部对应转换为二进制码流数据后，则得到包括多条二进制码流数据的集合。然后，将该集合中的二进制码流数据转换成二维矩阵，例如将该集合中各二进制码流数据依次串行输入到缓冲区，然后相邻两个二进制码组成二维的数据对后从缓存区输出。由此，可以将集合中的二进制码流数据以二维矩阵的形式呈现。
65.接着，对二维矩阵中各元素进行归一化处理，并对归一化处理后的二维矩阵进行降维处理，得到一维矩阵，一维矩阵中的一个元素包括的一维二进制码流数据对应一条物联网数据。一维矩阵中一个元素对应的一维二进制码流数据对应一个样本数据，一维矩阵中多个元素对应的一维二进制码流数据构成的集合，即为对应的样本数据集。
66.可选地，对所述二维矩阵的元素进行归一化处理以及对归一化处理后的二维矩阵进行降维处理之后，还包括：确定所述降维处理得到的一维矩阵中，添加有特征数据的各第一元素和未添加有特征数据的各第二元素；对各第一元素对应的二进制码流数据分别进行压缩编码，得到长度缩减后的二进制码流数据；基于各第一元素对应的长度缩减的二进制码流数据和各第二元素对应的二进制码流数据，得到所述样本数据集，所述样本数据集中的一个样本数据对应所述一维矩阵中的一个元素。
67.在该实施例中，得到降维处理的一维矩阵后，先将一维矩阵中的各元素进行分类，每个元素对应一组二进制码流数据，通过每组二进制码流数据的数值可以识别出携带有步骤104中添加的特征数据对应的二进制码的二进制码流数据，即识别出添加有特征数据的各第一元素和未添加有特征数据的各第二元素。
68.对于添加的指示目标特征数据的二进制的比特位数，可以进一步压缩为更短的位数，例如添加的用于指示通信设备位置的二进制比特位对应二进制码为010，则可以通过分类编码，进一步压缩为一个比特位的二进制码1。简化添加特征数据的二进制码位数，可以更快地从保存物联网数据的数据集中索引到对应的原始物联网数据。
69.如此，根据第一元素和第二元素对应的二进制码流数据的集合，确定样本数据集，样本数据集中的一个样本数据对应一个第一元素或第二元素。
70.步骤108，以所述样本数据集中的样本数据为输入，以样本数据对应的物联网数据的类型为标签，训练数据类型识别模型。
71.样本数据对应物联网数据，采集物联网数据的物联网传感器的类型可以事先确定，对应的物联网数据类型也可以预先知道，由此可以作为标签。
72.可选地，以所述样本数据集中的样本数据为输入，以样本数据对应的物联网数据的类型为标签，训练数据类型识别模型，包括：建立初始的一维卷积神经网络cnn模型，所述初始的一维cnn模型包括输入层、卷积层、池化层、全局池化层、全连接层和输出层；以所述数组数据为样本、以各数组数据对应的物联网数据的类型为标签，训练所述初始的一维cnn模型的参数直至所述参数收敛，得到所述数据类型识别模型。
73.在一个实施例中，如图3所示，一维cnn模型对应的卷积神经网络包含输入层10、两个卷积层20、两个池化层30、一个全局池化层40、一个全连接层50和一个输出层60。其中，卷积层20的卷积核个数例如为32，卷积核尺寸例如为25*25，步长例如为1。池化层30可采用最大池化规则，池化层30大小例如为3，步长例如为3。全连接层50的神经元数量与输入的数据数量相同，并且全连接层50使用预定正则化算法来防止过拟合现象的发生，并使用softmax逻辑回归函数输出分类结果。
74.在本技术实施例中，通过获取不同类型物联网设备采集的各物联网数据，所述物联网数据包括数据长度小于预设长度阈值的第一物联网数据和数据长度不小于所述预设长度阈值的第二物联网数据；对第一物联网数据添加对应的特征数据，得到数据长度不小于所述预设长度阈值的第三物联网数据，特征数据用于指示对应的第一物联网数据的来源信息；基于目标物联网数据集合构建样本数据集，所述目标物联网数据集合包括所述第二物联网数据和所述第三物联网数据；以所述样本数据集中的样本数据为输入，以样本数据对应的物联网数据的类型为标签，训练数据类型识别模型，由此得到的数据类型识别模型可以支持不同类型的物联网数据统一采集和识别分类，降低了物联网数据采集、处理的成本，提高了物联网数据处理的普适性，且对不同类型物联网数据进行自动识别与分类的准确率高。
75.在本技术的另一个实施例中，还提出了一种物联网数据处理方法，如图4所示，包括以下步骤：
76.步骤202，获取目标物联网设备采集的物联网数据；
77.步骤204，确定所述物联网数据的数据长度；
78.步骤206，在所述数据长度小于预设长度阈值的情况下，对所述物联网数据添加用于指示所述物联网数据的来源信息的特征数据；
79.步骤208，将添加特征数据后的物联网数据输入预设数据类型识别模型，以识别出所述物联网数据的数据类型；
80.步骤210，基于所述数据类型对所述物联网数据进行处理。
81.获取目标物联网设备采集的物联网数据可以是某种类型的物联网设备采集的目标类型的数据，在获取到该条采集的物联网数据后，通过判断数据长度确定该条物联网数据为长数据还是短数据。在数据长度小于预设长度阈值的情况下，确定该条物联网数据为短数据。则对该条物联网数据添加用于指示物联网数据的来源信息的特征数据。
82.基于上述实施例提供的方案，可选地，上述步骤206中，在所述数据长度小于预设长度阈值的情况下，对所述物联网数据添加用于指示所述物联网数据的来源信息的特征数据，包括：获取所述物联网数据对应的通信设备信息，所述通信设备信息包括收集所述物联网数据的通信设备的位置信息和所述通信设备获取的所述物联网设备的信息；根据所述通信设备信息，确定所述物联网数据对应的特征数据；将所述特征数据添加到所述物联网数据中。
83.在步骤208中，将长度较短的物联网数据进行预处理后输入预设数据类型识别模型，该预设数据类型识别模型可以是根据上述图1至图3实施例的数据类型识别模型的训练方法得到的数据类型识别模型。由此，可以识别出对应物联网数据的数据类型。
84.当然，对于采集的目标物联网数据的数据长度不小于预设长度阈值的情况下，可
以将目标物联网数据直接输入预设数据类型识别模型，从而识别出该条物联网数据的数据类型。
85.基于上述实施例提供的方案，可选地，上述步骤210中，基于所述数据类型对所述物联网数据进行处理，包括：基于数据类型与优先级的预设映射关系，确定所述数据类型的物联网数据对应的优先级；根据所述优先级，传输所述数据类型的物联网数据。
86.数据类型与优先级的预设映射关系为根据特定规则预先建立的，例如数据类型a的优先级大于数据类型b的优先级，则可以将收集的数据类型a的物联网数据优先进行传输。
87.在通过预设数据类型识别模型识别出目标物联网设备采集的物联网数据的数据类型之后，确定该数据类型对应的优先级，若为最高优先级，则可以将当前需要传输的其他类型的物联网数据暂缓传输，待最高优先级的物联网数据传输后再依次传输。
88.在本技术实施例中，通过获取目标物联网设备采集的物联网数据；确定所述物联网数据的数据长度；在所述数据长度小于预设长度阈值的情况下，对所述物联网数据添加用于指示所述物联网数据的来源信息的特征数据；将添加特征数据后的物联网数据输入预设数据类型识别模型，以识别出所述物联网数据的数据类型；基于所述数据类型对所述物联网数据进行处理，由此对于同一信息收集设备收集的不同类型的物联网数据，可以通过预设的数据类型识别模型识别出数据类型，如此可以支持不同类型的物联网数据统一采集和识别分类，降低了物联网数据采集、处理的成本，提高了物联网数据处理的普适性，且对不同类型物联网数据进行自动识别与分类的准确率高。
89.可选地，本技术实施例还提供一种电子设备，图5是本技术实施例的电子设备的结构方框图。
90.如图5所示，电子设备2000包括存储器2200和与所述存储器2200电连接的处理器2400，所述存储器2200存储有可在所述处理器2400运行的计算机程序，所述计算机程序被所述处理器执行时实现上述任意一种数据类型识别模型的训练方法实施例或者任意一种物联网数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
91.本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种数据类型识别模型的训练方法实施例或者任意一种物联网数据处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
92.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
93.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做
出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
94.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。