互联网中物联网数据的识别方法及装置与流程

[0001]
本发明涉及计算机技术领域，尤其涉及一种互联网中物联网数据的识别方法及装置。


背景技术：

[0002]
传统物联网大部分在局域网中传输数据，针对物联网流量安全监测系统大多也存在于局域网中。随着物联网数据量增多，数据来源多样化，互联网中的物联网流量监测手段亟需增强。
[0003]
目前的网络流量监测系统几乎没有针对物联网流量的监测，对物联网数据的识别和分析的储备知识都相对较少，几乎没有对物联网数据的安全监测能力。因此，当前互联网中物联网数据的识别困难，识别互联网中物联网数据是目前业界亟待解决的课题。


技术实现要素：

[0004]
本发明实施例提供一种互联网中物联网数据的识别方法及装置，用以解决现有技术中难以识别互联网中的物联网数据的缺陷，实现互联网中物联网数据的识别。
[0005]
本发明实施例提供一种互联网中物联网数据的识别方法，包括：
[0006]
根据原始的互联网数据，获取各待识别数据；
[0007]
根据物联网特征库中的物联网特征，识别每一所述待识别数据是否为物联网数据。
[0008]
根据本发明一个实施例的互联网中物联网数据的识别方法，所述根据物联网特征库中的物联网特征，识别每一所述待识别数据是否为物联网数据的具体步骤包括：
[0009]
若判断获知所述待识别数据具有任一所述物联网特征，则识别所述待识别数据为物联网数据。
[0010]
根据本发明一个实施例的互联网中物联网数据的识别方法，所述若判断获知所述待识别数据具有任一所述物联网特征，则识别所述待识别数据为物联网数据之后，还包括：
[0011]
若判断获知所述物联网数据为异常数据，则根据预设的预警规则对所述物联网数据进行评分；
[0012]
若判断获知评分的结果超过预设的预警阈值，则将所述物联网数据确定为预警数据。
[0013]
根据本发明一个实施例的互联网中物联网数据的识别方法，所述若判断获知所述待识别数据具有任一所述物联网特征，则识别所述待识别数据为物联网数据之后，还包括：
[0014]
根据预设的特征提取规则，从所述物联网数据中提取第一特征，作为新的物联网特征。
[0015]
根据本发明一个实施例的互联网中物联网数据的识别方法，所述根据预设的特征提取规则，从所述物联网数据中提取第一特征，作为新的物联网特征之后，还包括：
[0016]
根据自然语言处理算法和所述第一特征，获取第二特征，作为新的物联网特征。
[0017]
根据本发明一个实施例的互联网中物联网数据的识别方法，所述根据原始的互联网数据，获取各待识别数据的具体步骤包括：
[0018]
对所述原始的互联网数据进行预处理，获取各所述待识别数据。
[0019]
根据本发明一个实施例的互联网中物联网数据的识别方法，所述对所述原始的互联网数据进行预处理的具体步骤包括：
[0020]
对所述原始的互联网数据进行排序、重组和隧道剥离中的至少一种操作。
[0021]
本发明实施例还提供一种互联网中物联网数据的识别装置，包括：
[0022]
互联网数据采集模块，用于根据原始的互联网数据，获取各待识别数据；
[0023]
物联网数据分析模块，用于根据物联网特征库中的物联网特征，识别每一所述待识别数据是否为物联网数据。
[0024]
本发明实施例还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述互联网中物联网数据的识别方法的步骤。
[0025]
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述互联网中物联网数据的识别方法的步骤。
[0026]
本发明实施例提供的互联网中物联网数据的识别方法及装置，根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据，能更快速、精准地识别海量的互联网数据中的物联网数据。
附图说明
[0027]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]
图1是本发明实施例提供的一种互联网中物联网数据的识别方法的流程示意图；
[0029]
图2是本发明实施例提供的一种互联网中物联网数据的识别装置的结构示意图；
[0030]
图3是本发明实施例提供的一种互联网中物联网数据的识别装置的结构示意图；
[0031]
图4是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
[0032]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0033]
在本发明实施例的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，
术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0034]
在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
[0035]
为了克服现有技术的上述问题，本发明实施例提供一种互联网中物联网数据的识别方法及装置，其发明构思是，根据物联网特征库将物联网数据从互联网数据中分离出来，可以应对即将到来的5g物联网大流量数据的收集、存储、告警的问题。
[0036]
图1是本发明实施例提供的一种互联网中物联网数据的识别方法的流程示意图。下面结合图1描述本发明实施例的互联网中物联网数据的识别方法。如图1所示，该方法包括：步骤s101、根据原始的互联网数据，获取各待识别数据。
[0037]
具体地，步骤s101之前，可以采集特定互联网中的海量数据，作为原始的互联网数据。
[0038]
互联网中的海量数据，可以由光纤接入。
[0039]
由于原始的互联网数据来源和种类多样，海量数据中的不同数据还可能存在交错，因此，可以对原始的互联网数据进行处理，分离来自不同设备的数据，得到各待识别数据。
[0040]
步骤s102、根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据。
[0041]
具体地，物联网特征库是预先建立的，由多个物联网特征组成。
[0042]
物联网特征，可以是物联网数据特有的字段或信息。
[0043]
例如，对于车联网，物联网特征可以是进出高速口的信息、etc(电子不停车收费系统，electronic toll collection)收费信息或自动贩卖机的付款信息，还可以是上述信息对应的字段。
[0044]
可以根据物联网特征库中的物联网特征进行分布式多节点分析，对各待识别数据进行筛选，识别出其中的物联网数据。
[0045]
物联网特征库中的物联网特征，可以形成物联网特征k树；以物联网特征k树作为筛选条件，筛选出物联网数据。
[0046]
本发明实施例根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据，能更快速、精准地识别海量的互联网数据中的物联网数据。
[0047]
基于上述各实施例的内容，根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据的具体步骤包括：若判断获知待识别数据具有任一物联网特征，则识别待识别数据为物联网数据。
[0048]
具体地，对于每一待识别数据，可以通过判断该待识别数据是否具有物联网特征库中的物联网特征，识别该待识别数据是否为物联网数据。
[0049]
如果具有至少一个物联网特征，则该待识别数据为物联网数据；如果不具有任何一个物联网特征，则该待识别数据不是物联网数据。
[0050]
本实施例根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网
数据，能更快速、精准地识别海量的互联网数据中的物联网数据。
[0051]
基于上述各实施例的内容，若判断获知待识别数据具有任一物联网特征，则识别待识别数据为物联网数据之后，还包括：若判断获知物联网数据为异常数据，则根据预设的预警规则对物联网数据进行评分。
[0052]
具体地，对于识别出的每一物联网数据，可以判断该数据中是否存在异常的数据。
[0053]
如果存在，则该物联网数据为异常数据；如果不存在，则该物联网数据为正常数据。
[0054]
异常的数据，可以包括不在合理范围内的数据和超过正常范围的数据。
[0055]
例如，自动贩卖机的付款信息中付款金额的合理范围为大于0，如果付款金额对应的字段的值为负数，则为不在合理范围内的数据；根据该自动贩卖机所售卖的商品的单价不同，每次付款金额的正常范围为2至10(单位：元)，如果付款金额对应的字段的值为1或20，则为超过正常范围的数据。
[0056]
对于异常数据，可以根据预设的预警规则对该异常数据进行评分。
[0057]
预警规则，用于评价该异常数据的异常程度。
[0058]
评分的作用，是为了获取该异常数据的异常程度的评价结果。评分的结果为分值，分值越高说明异常程度越高，分值越低说明异常程度越低。
[0059]
若判断获知评分的结果超过预设的预警阈值，则将物联网数据确定为预警数据。
[0060]
具体地，获取异常数据评分的结果之后，可以判断该异常数据评分的结果是否超过预设的预警阈值。
[0061]
如果未超过，说明异常不严重，则可以暂时不将该数据确定为预警数据。
[0062]
如果超过，说明异常比较严重，则可以将该数据确定为预警数据，并发出预警信息。
[0063]
本发明实施例根据预设的预警规则对物联网数据进行评分，根据评分的结果进行预警，能对物联网数据进行监测，能对异常数据进行预警。
[0064]
基于上述各实施例的内容，若判断获知待识别数据具有任一物联网特征，则识别待识别数据为物联网数据之后，还包括：根据预设的特征提取规则，从物联网数据中提取第一特征，作为新的物联网特征。
[0065]
具体地，待识别数据确定为物联网数据之后，可以根据预设的特征提取规则对该数据进行特征提取，若可以提取出物联网数据特有的并且与物联网特征库中已有的物联网特征不同的字段或信息，则将上述字段或信息作为第一特征。
[0066]
特征提取规则，用于提取物联网数据特有的字段或信息。
[0067]
由于上述第一特征也是物联网数据特有的字段或信息，且与物联网特征库中已有的物联网特征不同，因此，可以将第一特征作为新的物联网特征，并可以将第一特征添加至物联网特征库中。
[0068]
通过上述步骤，可以形成一个闭环，对不断产生的新的物联网数据也能做到快速、准确识别。
[0069]
本发明实施例根据预设的特征提取规则，从物联网数据中提取第一特征，作为新的物联网特征，能更新物联网特征库，从而能根据动态更新的物联网特征库，更准确地识别物联网数据。
[0070]
基于上述各实施例的内容，根据预设的特征提取规则，从物联网数据中提取第一特征，作为新的物联网特征之后，还包括：根据自然语言处理算法和第一特征，获取第二特征，作为新的物联网特征。
[0071]
具体地，获取第一特征之后，还可以根据自然语言处理(nlp，natural language processing)从识别出的物联网数据中，自动识别出与第一特征相似并且与物联网特征库中已有的物联网特征不同的字段或信息，作为第二特征。
[0072]
第二特征与第一特征相似，指字段或信息的语义相似。因此，第二特征也是物联网数据特有的字段或信息，且与物联网特征库中已有的物联网特征不同，因此，可以将第二特征作为新的物联网特征，并可以将第二特征添加至物联网特征库中。
[0073]
通过上述步骤，可以形成一个闭环，对不断产生的新的物联网数据也能做到快速、准确识别。
[0074]
本发明实施例根据自然语言处理算法和第一特征，获取第二特征，作为新的物联网特征，能更新物联网特征库，从而能根据动态更新的物联网特征库，更准确地识别物联网数据。
[0075]
基于上述各实施例的内容，根据原始的互联网数据，获取各待识别数据的具体步骤包括：对原始的互联网数据进行预处理，获取各待识别数据。
[0076]
具体地，由于原始的互联网数据来源和种类多样，海量数据中的不同数据还可能存在交错，因此，可以对原始的互联网数据进行预处理，分离来自不同设备的数据，得到各待识别数据。
[0077]
本发明实施例通过对原始的互联网数据进行预处理，获取各待识别数据，从而能识别每一待识别数据是否为物联网数据，能更快速、精准地识别海量的互联网数据中的物联网数据。
[0078]
基于上述各实施例的内容，对原始的互联网数据进行预处理的具体步骤包括：对原始的互联网数据进行排序、重组和隧道剥离中的至少一种操作。
[0079]
具体地，对原始的互联网数据进行预处理的方法可以包括排序、重组和隧道剥离中的至少一种。
[0080]
排序，指按照一种或多种属性，对原始的互联网数据进行排序。属性，可以为数据的采集时间、源ip地址、目的ip地址、长度或传输协议等。
[0081]
重组，指将交错的数据，按照其来源进行重新组合为数据包，每一数据包中的数据来自同一来源。
[0082]
隧道剥离，指从传输隧道中剥离数据。
[0083]
本发明实施例通过对原始的互联网数据进行排序、重组和隧道剥离中的至少一种操作，获取各物联网数据，从而能识别每一待识别数据是否为物联网数据，能更快速、精准地识别海量的互联网数据中的物联网数据。
[0084]
下面对本发明实施例提供的互联网中物联网数据的识别装置进行描述，下文描述的互联网中物联网数据的识别装置与上文描述的互联网中物联网数据的识别方法可相互对应参照。
[0085]
图2是根据本发明实施例提供的互联网中物联网数据的识别装置的结构示意图。基于上述各实施例的内容，如图2所示，该装置包括互联网数据采集模块201和物联网数据
分析模块202，其中：
[0086]
互联网数据采集模块201，用于根据原始的互联网数据，获取各待识别数据；
[0087]
物联网数据分析模块202，用于根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据。
[0088]
具体地，互联网数据采集模块201和物联网数据分析模块202电连接。
[0089]
互联网数据采集模块201可以对原始的互联网数据进行处理，分离来自不同设备的数据，得到各待识别数据。
[0090]
物联网数据分析模块202可以根据物联网特征库中的物联网特征进行分布式多节点分析，对各待识别数据进行筛选，识别出其中的物联网数据。
[0091]
物联网数据分析模块202，可以具体用于若判断获知待识别数据具有任一物联网特征，则识别待识别数据为物联网数据。
[0092]
该互联网中物联网数据的识别装置，还可以包括数据管理预警模块。
[0093]
物联网数据分析模块202，还用于判断物联网数据是否为异常数据。
[0094]
数据管理预警模块，可以用于若判断获知物联网数据为异常数据，则根据预设的预警规则对物联网数据进行评分；若判断获知评分的结果超过预设的预警阈值，则将物联网数据确定为预警数据。
[0095]
该互联网中物联网数据的识别装置，还可以包括特征提取器。
[0096]
特征提取器，可以用于根据预设的特征提取规则，从物联网数据中提取第一特征，作为新的物联网特征。
[0097]
特征提取器，还可以用于根据自然语言处理算法和第一特征，获取第二特征，作为新的物联网特征。
[0098]
互联网数据采集模块201，具体用于对原始的互联网数据进行预处理，获取各待识别数据。
[0099]
预处理，可以包括排序、重组和隧道剥离中的至少一种操作。
[0100]
本发明实施例提供的互联网中物联网数据的识别装置，用于执行本发明上述各实施例提供的互联网中物联网数据的识别方法，该互联网中物联网数据的识别装置包括的各模块实现相应功能的具体方法和流程详见上述互联网中物联网数据的识别方法的实施例，此处不再赘述。
[0101]
该互联网中物联网数据的识别装置用于前述各实施例的互联网中物联网数据的识别方法。因此，在前述各实施例中的互联网中物联网数据的识别方法中的描述和定义，可以用于本发明实施例中各执行模块的理解。
[0102]
本发明实施例根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据，能更快速、精准地识别海量的互联网数据中的物联网数据。
[0103]
为了便于对本发明上述各实施例的理解，下面通过一种互联网中物联网数据的识别装置的实例进行说明。
[0104]
图3是根据本发明实施例提供的互联网中物联网数据的识别装置的结构示意图。基于上述各实施例的内容，如图3所示，该装置包括互联网数据采集模块201、物联网数据分析模块202、物联网数据存储模块301、特征提取器302、物联网特征存储模块303、数据管理预警模块304和用户接口305。
[0105]
互联网数据采集模块201，与物联网数据分析模块202电连接；物联网数据分析模块202，分别与物联网数据存储模块301、物联网特征存储模块303和数据管理预警模块304电连接；物联网数据存储模块301，分别与特征提取器302和用户接口305电连接；特征提取器302，与物联网特征存储模块303电连接；物联网特征存储模块303，与用户接口305电连接；数据管理预警模块304，与用户接口305电连接。
[0106]
互联网数据采集模块201根据原始的互联网数据，获取各待识别数据，将各待识别数据发送至物联网数据分析模块202。
[0107]
物联网数据分析模块202根据物联网特征存储模块303存储的物联网特征库，将物联网数据分离出来发送给物联网数据存储模块301；将异常数据发送给数据管理预警模块304进行告警。
[0108]
数据管理预警模块304对异常数据进行评分，预警阈值的数据发送至用户接口305。
[0109]
特征提取器302按照设定的规则从物联网数据存储模块301存储的物联网数据中提取物联网特征，并发送给物联网特征存储模块303中的物联网特征库。
[0110]
监测人员通过用户接口305，可以对物联网特征库进行修订、删除和添加操作。并且，监测人员也可以通过用户接口305查看告警数据和海量的物联网数据。
[0111]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)401、存储器(memory)402和总线403；其中，处理器401和存储器402通过总线403完成相互间的通信；处理器401用于调用存储在存储器402中并可在处理器401上运行的计算机程序指令，以执行上述各方法实施例提供的互联网中物联网数据的识别方法，该方法包括：根据原始的互联网数据，获取各待识别数据；根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据。
[0112]
此外，上述的存储器402中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0113]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的互联网中物联网数据的识别方法，该方法包括：根据原始的互联网数据，获取各待识别数据；根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据。
[0114]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的互联网中物联网数据的识别方法，该方法包括：根据原始的互联网数据，获取各待识别数据；根据物联网特征库中的物联网特征，识别每一待识别数据是否为物联网数据。
[0115]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0116]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0117]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。