设备数据解析方法、装置、电子设备及存储介质与流程

1.本公开涉及大数据安全领域，尤其涉及一种设备数据解析方法、装置、电子设备及存储介质。


背景技术：

2.在大数据安全领域，往往涉及到的资产设备种类繁多，五花八门；各类主机、网络设备、安全设备、存储设备等，可能产自不同的制造商，且在具体应用中使用的设备产生的设备日志数据格式不统一，现有技术中缺乏针对安全设备日志采集的统一解决方案，面对设备日志数据种类多，数据量大，数据接入成本高的现状，大数据安全设备审计设备日志数据处理比较困难。
3.在发明人实施本公开实施例的过程中发现现有技术因设备日志数据格式不统一，造成安全设备日志数据处理的门槛高，数据接入成本高的问题。


技术实现要素：

4.有鉴于此，本公开实施例提供了一种设备数据解析方法、装置、电子设备及存储介质，至少部分的解决现有技术中存在的设备日志数据格式不统一造成的数据处理困难的问题。
5.第一方面，本公开实施例提供了一种设备数据解析方法，包括：
6.获取设备日志数据，所述设备日志数据包括设备身份数据；
7.基于所述设备身份数据在系统配置文件中提取标识数据；
8.基于所述设备身份数据和标识数据确定设备数据模型；
9.在所述设备数据模型中为所述设备日志数据匹配解析方式；
10.基于所述解析方式对设备日志数据进行解析，并对解析结果进行标记得到解析数据。
11.可选的，所述基于所述解析方式对设备日志数据进行解析，并对解析结果进行标记得到解析数据的步骤之后，还包括：
12.对解析数据进行格式转换，得到规范化数据。
13.可选的，对解析数据进行格式转换，得到规范化数据，包括：
14.基于解析数据的标记匹配格式转换方式；
15.基于匹配的格式转换方式对解析数据进行格式转换。
16.可选的，所述标识数据包括树结构编码，所述设备身份数据包括设备ip、mac地址、或序列号。
17.可选的，所述在所述设备数据模型中为所述设备日志数据匹配解析方式的步骤之前，还包括：
18.过滤非法设备日志数据；
19.所述过滤非法设备日志数据，包括建立监测文件；
20.将所述设备日志数据的设备身份数据与监测文件进行比对；
21.根据比对结果过滤非法设备日志数据。
22.可选的，所述在所述设备数据模型中为所述设备日志数据匹配解析方式的步骤之前中：
23.所述匹配包括正则表达式适配规则。
24.可选的，在所述设备数据模型中为所述设备日志数据匹配解析方式的步骤之前，包括：
25.如未匹配到解析方式，则添加相应解析方式。
26.第二方面，本公开实施例还提供了一种设备数据解析装置，包括：
27.获取模块，用于获取设备日志数据，所述设备日志数据包括设备身份数据；
28.提取模块，用于基于所述设备身份数据在系统配置文件中提取标识数据；
29.确定模块，用于基于所述设备身份数据和标识数据确定设备数据模型
30.解析匹配模块，用于在所述设备数据模型中为所述设备日志数据匹配解析方式；
31.解析模块，用于基于所述解析方式对设备日志数据进行解析，并对解析结果进行标记得到解析数据。
32.第三方面，本公开实施例还提供了一种电子设备，该电子设备包括：
33.至少一个处理器；以及，
34.与所述至少一个处理器通信连接的存储器；其中，
35.所述存储器存储有能被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面任一所述的设备数据解析方法。
36.第四方面，本公开实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行第一方面任一所述的设备数据解析方法。
37.本公开实施例提供的设备数据解析方法、装置、电子设备及存储介质，其中该设备数据解析方法，通过设备身份数据提取标识数据，基于设备身份数据和标识数据确定设备数据模型，并在设备数据模型中为设备日志数据匹配相应的解析方式对不同格式的设备日志数据进行解析，采用统一的处理方式对设备日志数据进行解析，达到降低数据处理难度的目的。
38.将解析数据转换为统一格式的规范化数据，方便后期的数据提取，降低数据接入成本。
39.上述说明仅是本公开技术方案的概述，为了能更清楚了解本公开的技术手段，而可依照说明书的内容予以实施，并且为让本公开的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
附图说明
40.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
41.图1为本公开实施例提供的一种设备数据解析方法的流程图；
42.图2为本公开实施例提供的一种设备数据解析方法的使用界面示意图；
43.图3为本公开实施例提供的另一种设备数据解析方法的流程图；
44.图4为本公开实施例提供的一种设备数据解析装置的原理框图；
45.图5为本公开实施例提供的另一种设备数据解析装置的原理框图；
46.图6为本公开实施例提供的一种电子设备的原理框图。
具体实施方式
47.下面结合附图对本公开实施例进行详细描述。
48.应当明确，以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
49.需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
50.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
51.另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。
52.为了便于理解，如图1所示，本实施例公开了一种设备数据解析方法，包括：
53.步骤s101：获取设备日志数据，所述设备日志数据包括设备身份数据；
54.设备日志采集器中，维护各设备类型属性，包括品牌、型号等通用字段及事件接收、性能监控、设备联动等操作属性，维护设备自有属性，包括资产名称、ip、mac地址、序列号、事件接收监听等。设备日志数据是通过设备日志采集器获取的。
55.可选的，所述设备身份数据包括设备ip、mac地址、或序列号。
56.步骤s102：基于所述设备身份数据在系统配置文件中提取标识数据；
57.可选的，所述标识数据包括树结构编码，树结构编码的示例如图2所示。
58.在资产设备中勾选事件监听后，系统会将该设备的ip、mac地址或序列号等设备身份数据和树结构编码写入系统配置文件(a.yml)。
59.步骤s103：基于所述设备身份数据和标识数据确定设备数据模型；
60.在一个具体的应用场景中，提取设备日志数据(syslog)中的设备ip，将其与系统配置文件(a.yml)进行比对，提取该设备类型的树结构编码，由设备ip和树结构编码共同决定采用何种设备数据模型对设备日志数据进行处理。
61.步骤s104：在所述设备数据模型中为所述设备日志数据匹配解析方式。
62.匹配到设备数据模型后，在设备数据模型中根据设备日志数据的源数据结构匹配解析方式。
63.步骤s105：基于所述解析方式对设备日志数据进行解析，并对解析结果进行标记得到解析数据。
64.通过匹配到的解析方式，会将源数据通过内置规则(字符分割、json转化、正则匹配等)进行重组，并增加_type字段(赋值ips-event)，通过_type字段对解析结果进行标记，输出的解析数据为标准的json数据。
65.可选的，所述在所述设备数据模型中为所述设备日志数据匹配解析方式的步骤之前，还包括：
66.过滤非法设备日志数据；
67.所述过滤非法设备日志数据，包括建立监测文件；
68.将所述设备日志数据的设备身份数据与监测文件进行比对；
69.根据比对结果过滤非法设备日志数据。
70.在一个具体的应用场景中，采集器结合资产设备信息+设备日志采集规则，深度关联资产设备ip和事件接收监听，过滤掉非法设备日志数据；即在资产设备中勾选事件监听后，系统会将该设备的ip和树结构编码写入系统配置文件(a.yml)，该系统配置文件中不存在的ip会被系统视为非法ip；系统配置文件中存在的ip为合法ip，对合法ip提取设备日志数据(主机防病毒日志、数据库审计日志、各类设备事件日志及系统日志
……
)。
71.可选的，在所述设备数据模型中为所述设备日志数据匹配解析方式中：
72.所述匹配包括正则表达式适配规则。
73.可选的，在所述设备数据模型中为所述设备日志数据匹配解析方式，包括：
74.如未匹配到解析方式，则添加相应解析方式。
75.如果没有匹配到对应的解析方式，则对未匹配解析方式的设备日志数据进行分析，从而添加相对应的解析方式或根据设备日志数据定义相应的解析方式，并将相应的解析方式添加到解析列表中，以便于后期再出现相同解析方式的设备数据模型的设备日志数据后，可以匹配到解析方式。
76.如图3所示，本实施例公开了一种设备数据解析方法，包括：
77.步骤s301：获取设备日志数据，所述设备日志数据包括设备身份数据；
78.步骤s302：基于所述设备身份数据在系统配置文件中提取标识数据；
79.步骤s303：基于所述设备身份数据和标识数据确定设备数据模型；
80.步骤s304：在所述设备数据模型中为所述设备日志数据匹配解析方式；
81.步骤s305：基于所述解析方式对设备日志数据进行解析，并对解析结果进行标记得到解析数据。
82.步骤s306：对解析数据进行格式转换，得到规范化数据。
83.将规范化数据进行保存，并基于保存的数据构建搜索引擎，便于其它平台提取时进行搜索。
84.可选的，对解析数据进行格式转换，得到规范化数据，包括：
85.基于解析数据的标记匹配格式转换方式；
86.基于匹配的格式转换方式对解析数据进行格式转换。
87.对解析数据进行清洗，通过_type与清洗规则中的type做深度匹配后，将数据进行格式转换(时间格式化、字符串处理、ip转换、区域转换等)，将转化后的数据文件重命名等规范化处理后存入elasticsearch存储集群，从而得到规范化数据。
88.在一个具体的应用场景中，本实施例基于动态数据源的解析技术，在资产设备进行收录和入库后，将设备日志数据的源数据与设备数据模型深度关联分析、针对已收录的设备日志数据通过自定义算法进行解析，经过数据清洗、转换和智能识别后入库。未识别数据进行标记后直接入库。
89.本实施例具体如下：
90.1)资产设备信息维护模块
91.①
设备日志采集器中，维护各设备类型属性，包括品牌、型号、树结构编码等通用字段及事件接收、性能监控、设备联动等操作属性，维护设备自有属性，包括资产名称、ip、mac地址、序列号、事件接收监听等；
92.②
树结构编码即代表一个设备数据模型，该类资产设备向系统发送的源数据通过其设置的树结构编码找到相应的设备数据模型。
93.2)设备日志接收模块
①
采集器结合资产设备信息+设备日志采集规则，深度关联资产设备ip和事件接收监听，过滤掉非法设备日志数据；即在资产设备中勾选事件监听后，系统会将该设备的ip和树结构编码写入系统配置文件(a.yml)，该系统配置文件中不存在的ip会被系统视为非法ip；系统配置文件中存在的ip为合法ip，对合法ip提取设备日志数据(主机防病毒日志、数据库审计日志、各类设备事件日志及系统日志
……
)。
94.3)设备日志数据上报模块
95.①
采集器监听程序将采集到的设备日志数据上报到设备日志数据解析模块所在的服务器。
96.4)设备日志数据解析模块
97.以安全设备类的ips入侵防护设备日志数据解析为例进行说明，先区分该设备类型，并在安全设备—》ips类别下登记该设备，由该设备向采集服务器发送设备日志数据，解析模块经过识别后对数据进行处理，具体步骤如下：
98.①
经过设备日志接收模块标识的数据，提取设备日志数据(syslog)中的设备ip，将其与系统配置文件(a.yml)进行比对，提取该设备类型的树结构编码；由二者共同决定采用何种设备数据模型进行处理。
99.②
进入步骤
①
中匹配到的设备数据模型，会根据源数据结构匹配解析模块(正则表达式)，通过解析模块内置规则(字符分割、json转化等)将数据进行重组，并增加_type字段(赋值ips-event)，输出标准的json数据。
100.③
如步骤
①
中未匹配到解析模块，则视为合法设备发送的未识别设备日志数据，支持自定义算法解析，经过标识后直接转存至elasticsearch存储集群。
101.④
将步骤
②
重组的数据进行清洗，通过_type与清洗规则中的type做深度匹配后，将数据进行格式转换(时间格式化、字符串处理、ip转换、区域转换等)，重命名等规范化处理后存入elasticsearch存储集群，便于平台功能根据实际需要进行数据提取使用。
102.如图4所示，本实施例还公开了一种设备数据解析装置，包括：
103.获取模块，用于获取设备日志数据，所述设备日志数据包括设备身份数据；
104.提取模块，用于基于所述设备身份数据在系统配置文件中提取标识数据；
105.确定模块，用于基于所述设备身份数据和标识数据确定设备数据模型
106.解析匹配模块，用于在所述设备数据模型中为所述设备日志数据匹配解析方式；
107.解析模块，用于基于所述解析方式对设备日志数据进行解析，并对解析结果进行标记得到解析数据。
108.可选的，所述标识数据包括树结构编码，所述设备身份数据包括设备ip、mac地址、或序列号。
109.可选的，所述在所述设备数据模型中为所述设备日志数据匹配解析方式的步骤之前，还包括：
110.过滤非法设备日志数据；
111.所述过滤非法设备日志数据，包括建立监测文件；
112.将所述设备日志数据的设备身份数据与监测文件进行比对；
113.根据比对结果过滤非法设备日志数据。
114.可选的，在所述设备数据模型中为所述设备日志数据匹配解析方式中：
115.所述匹配包括正则表达式适配规则。
116.可选的，在所述设备数据模型中为所述设备日志数据匹配解析方式，包括：
117.如未匹配到解析方式，则添加相应解析方式。
118.如图5所示，本实施例还公开了一种设备数据解析装置，包括：
119.获取模块，用于获取设备日志数据，所述设备日志数据包括设备身份数据；
120.提取模块，用于基于所述设备身份数据在系统配置文件中提取标识数据；
121.确定模块，用于基于所述设备身份数据和标识数据确定设备数据模型
122.解析匹配模块，用于在所述设备数据模型中为所述设备日志数据匹配解析方式；
123.解析模块，用于基于所述解析方式对设备日志数据进行解析，并对解析结果进行标记得到解析数据；
124.格式转换模块，用于对解析数据进行格式转换，得到规范化数据。
125.可选的，对解析数据进行格式转换，得到规范化数据，包括：
126.基于解析数据的标记匹配格式转换方式；
127.基于匹配的格式转换方式对解析数据进行格式转换。
128.根据本公开实施例的电子设备包括存储器和处理器。该存储器用于存储非暂时性计算机可读指令。具体地，存储器可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。
129.该处理器可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力
的其它形式的处理单元，并且可以控制电子设备中的其它组件以执行期望的功能。在本公开的一个实施例中，该处理器用于运行该存储器中存储的该计算机可读指令，使得该电子设备执行前述的本公开各实施例的设备数据解析方法全部或部分步骤。
130.本领域技术人员应能理解，为了解决如何获得良好用户体验效果的技术问题，本实施例中也可以包括诸如通信总线、接口等公知的结构，这些公知的结构也应包含在本公开的保护范围之内。
131.如图6为本公开实施例提供的一种电子设备的结构示意图。其示出了适于用来实现本公开实施例中的电子设备的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
132.如图6所示，电子设备可以包括处理装置(例如中央处理器、图形处理器等)，其可以根据存储在只读存储器(rom)中的程序或者从存储装置加载到随机访问存储器(ram)中的程序而执行各种适当的动作和处理。在ram中，还存储有电子设备操作所需的各种程序和数据。处理装置、rom以及ram通过总线彼此相连。输入/输出(i/o)接口也连接至总线。
133.通常，以下装置可以连接至i/o接口：包括例如传感器或者视觉信息采集设备等的输入装置；包括例如显示屏等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备(比如边缘计算设备)进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
134.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从rom被安装。在该计算机程序被处理装置执行时，执行本公开实施例的设备数据解析方法的全部或部分步骤。
135.有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
136.根据本公开实施例的计算机可读存储介质，其上存储有非暂时性计算机可读指令。当该非暂时性计算机可读指令由处理器运行时，执行前述的本公开各实施例的设备数据解析方法的全部或部分步骤。
137.上述计算机可读存储介质包括但不限于：光存储介质(例如：cd－rom和dvd)、磁光存储介质(例如：mo)、磁存储介质(例如：磁带或移动硬盘)、具有内置的可重写非易失性存储器的媒体(例如：存储卡)和具有内置rom的媒体(例如：rom盒)。
138.有关本实施例的详细说明可以参考前述各实施例中的相应说明，在此不再赘述。
139.以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
140.在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子
并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
141.另外，如在此使用的，在以“至少一个”开始的项的列举中使用的“或”指示分离的列举，以便例如“a、b或c的至少一个”的列举意味着a或b或c，或ab或ac或bc，或abc(即a和b和c)。此外，措辞“示例的”不意味着描述的例子是优选的或者比其他例子更好。
142.还需要指出的是，在本公开的系统和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。
143.可以不脱离由所附权利要求定义的教导的技术而进行对在此所述的技术的各种改变、替换和更改。此外，本公开的权利要求的范围不限于以上所述的处理、机器、制造、事件的组成、手段、方法和动作的具体方面。可以利用与在此所述的相应方面进行基本相同的功能或者实现基本相同的结果的当前存在的或者稍后要开发的处理、机器、制造、事件的组成、手段、方法或动作。因而，所附权利要求包括在其范围内的这样的处理、机器、制造、事件的组成、手段、方法或动作。
144.提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
145.为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。