一种协议格式的处理方法及系统与流程

1.本发明涉及网络通信技术领域，具体涉及一种协议格式的处理方法及系统。


背景技术：

2.目前，采集设备遍布各个领域，设备厂商配套的协议往往无法同步到终端用户，事实上，设备方与终端用户很少建立沟通，因此，终端用户通过对所述采集设备进行协议格式的解析来处理相关问题。通常情况下，数据文件接收方对采集设备厂商配套协议的描述文件进行针对性编码并且解析文件内数据，但是，文件内的异常只能通过人工判断。尤其是当单个文件中包含多个协议格式时，需要先执行人工分割再对文件进行解析操作。此外，由于厂商对于采集设备的版本更迭，容易产生大量无法解析的数据文件，导致资源浪费。


技术实现要素：

3.本发明实施例提供了一种协议格式的处理方法及系统，实现了对采集设备的数据文件的协议格式的计算，并且实现了对所述采集设备的子设备的控制，同时，优化了网络中的资源分配。
4.为实现以上目的，本发明通过以下技术方案予以实现：
5.第一方面，本发明实施例提供了一种协议格式的处理方法，应用于采集设备，包括：
6.获取采集设备的数据文件；
7.将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合；
8.根据比较结果，确定所述采集设备的协议格式。
9.可选的，在所述将所述数据文件的当前特征与特征库中的历史特征进行比较之前，还包括：
10.依据不同的分组类型，拆分所述数据文件，所述分组类型包括：长度或者字节重复度；
11.进一步的，对已拆分的数据文件进行特征提取，得到所述数据文件的当前特征。
12.可选的，所述根据比较结果，确定所述采集设备的协议格式，包括：
13.如果所述特征与所述历史特征相似度超过临界值，则用所述历史特征解析数据文件；
14.进一步的，如果所述特征未达到所述临界值，则根据所述数据文件与所述当前特征计算所述协议格式。
15.可选的，所述如果所述特征未达到所述临界值，则根据所述数据文件与所述特征信息计算所述协议格式，包括：生成所述数据文件对应的协议格式；
16.进一步的，根据所述协议格式，解析一定数量的测试样本数据，选择最优的测试样本数据存储。
17.第二方面，本发明实施例提供了一种协议格式的处理系统，该系统，包括：
18.获取模块，用于获取采集设备的数据文件；
19.比较模块，用于将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合；
20.确定模块，用于根据比较结果，确定所述采集设备的协议格式。
21.可选的，所述确定模块，包括：
22.第一单元，用于如果所述特征与所述历史特征相似度超过临界值，则用所述历史特征解析数据文件；
23.第二单元，用于如果所述特征未达到所述临界值，则根据所述数据文件与所述当前特征计算所述协议格式。
24.可选的，所述系统，还包括评估模块，通过对所述协议格式的测试样本数据的解析，所述评估模块检查所述解析内容，对所述协议格式评分，得到评分最高的协议格式。
25.可选的，所述系统，还包括解析模块，所述解析模块用于对所述解析结果进行纠错，并且存储数据。
26.第三方面，本发明实施例提供了一种设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如前所述的协议格式的处理方法。
27.第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如前所述的协议格式的处理方法。
28.本发明实施例提供了一种协议格式的处理方法及系统，该方法包括：获取采集设备的数据文件；将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合；根据比较结果，确定所述采集设备的协议格式。降低了终端用户与设备方沟通成本，对历史遗留的未知协议文件进行解析利用，解决了对于采集设备版本更迭造成配套协议无法一一对应从而导致数据资源浪费的问题，通过合理的协议格式的处理方法，实现了对协议格式的计算并且动态更新特征库，优化了系统性能。
附图说明
29.为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单介绍，应当理解，以下附图，仅示出了本发明的实施例，因此，不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他相关的附图。
30.图1是本技术实施例一提供的一种协议格式的处理方法的流程图；
31.图2是本技术实施例二提供的一种协议格式的处理系统的结构图；图3是本技术实施例三提供的一种电子设备的结构示意图。
具体实施方式
32.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便
于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
33.实施例一
34.图1为本实施例提供的一种协议格式的处理方法的流程图，该方法可以由协议格式的处理系统执行。协议格式的处理系统可以设置在移动终端中，例如手机终端、平板电脑等；也可以设置在网页端的管理平台中，参见图1，该协议格式的处理方法包括如下步骤：
35.s110、获取采集设备的数据文件。
36.不同领域中存在不同的采集设备，所述采集设备具有强大的数据采集和数据处理功能，广泛应用于网络安全领域、物流快递、零售店、医药制造、公用事业、防伪溯源等行业。每个采集设备拥有独立的采集协议，终端用户通过所述采集协议了解采集设备的相关信息，所述协议格式的处理方法在所述移动终端中实施，采集设备作为移动终端的输入设备将所采集的数据转发给数据接收方。采集设备采集的数据在与之相应的采集协议中体现，但是设备生产方所配套的关于设备的协议很少传递到终端用户，因此，所述系统需要对采集设备获取到的数据进行协议格式的解析。数据文件接收方通过将数据文件输入至所述协议格式的处理系统中，来获取采集设备的数据文件。
37.可选的，依据不同的分组类型，拆分所述数据文件，所述分组类型包括：长度或者字节重复度。
38.具体的，获取到的数据文件以流的形式被读取，将数据文件转化成字节流，根据所述字节流的重复度自动拆分所述数据文件，当重复度小于5个字节时，则采用默认重复度拆分所述数据文件。
39.进一步的，对已拆分的数据文件进行特征提取，得到所述数据文件的当前特征。
40.s120、将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合。
41.可选的，如果所述特征与所述历史特征相似度超过临界值，则用所述历史特征解析数据文件。
42.进一步的，如果所述特征未达到所述临界值，则根据所述数据文件与所述当前特征计算所述协议格式。
43.首先将数据文件进行特征提取，得到数据文件的当前特征，并与特征库中的历史特征进行对比，若所述特征库中的历史特征与当前特征相似度超过百分之九十五，则根据所述历史特征对该数据文件进行解析；若所述历史特征与当前特征的相似度未达百分之九十五，则将当前特征与数据文件一同打包对其进行协议格式的计算。
44.s130、根据比较结果，确定所述采集设备的协议格式。
45.若历史特征能够对数据文件执行解析操作，则不进行协议格式的计算；若未能在特征库中的历史特征中匹配到相似特征，则进行协议格式的计算，计算得到的协议格式可以读取相应的数据文件的内容，并将所述计算出来的协议格式和文件特征加入特征库，实现特征库的更新。
46.可选的，生成所述数据文件对应的协议格式。
47.进一步的，根据所述协议格式，解析一定数量的测试样本数据，选择最优的测试样本数据存储。
48.用计算成功的协议格式解析一定数量级的样本数据，该测试样本数据为在数据文件中提取出来的序列化数据，技术人员可根据测试样本数据获得一些纠错的信息，测试样本数据的数量级可根据情况合理配置，并非是定量。
49.本发明实施例提供的一种协议格式的处理方法体现了分布式计算的理念，通过本方法实现了，在协议格式的计算过程中，多个不同的设备都在计算同一个数据文件，致使出现不同的设备计算出多个不同协议格式的情况；例如，一条数据文件计算出来两种协议格式，但这两种格式之间存在一定的差异，可以通过校验评估检查解析内容，并且对生成的不同协议格式评分，选择分值最高的协议格式将其所对应的结构化数据进行解析纠错后持久化存储。
50.示例性的，本发明实施例通过对数据协议格式的计算，读取该协议的内容，实现了对整个文件内容的纠错。一方面，在未知文件格式的情况下，把相同的文件用不同的解析维度下发至不同的设备上，实现了分布式计算。另一方面，若成功计算出数据文件的解析格式，将该数据文件进行简单的拆分，部署到各个服务器上，每个服务器解析一部分数据最后汇总到一个核心调度平台，所述核心调度平台将获得所有数据内容。核心调度平台包括很多用于处理和计算的单元，所述核心调度平台除了获取数据文件信息，接收文件特征，以及解析测试样本数据之外，还拥有整体的管控功能，可实现网络中资源的合理调配。
51.本发明实施例提供了一种协议格式的处理方法，该方法包括：获取采集设备的数据文件；将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合；根据比较结果，确定所述采集设备的协议格式。降低了终端用户与设备方沟通成本，对历史遗留的未知协议文件进行解析利用，解决了对于采集设备版本更迭造成配套协议无法一一对应从而导致数据资源浪费的问题，通过合理的协议格式的处理方法，实现了对协议格式的计算并且动态更新特征库，优化了系统性能。
52.实施例二
53.图2为本实施例提供的一种协议格式的处理系统，该系统可以执行上述实施例一中的协议格式的处理方法，如图2所示，该系统包括获取模块210、比较模块220、确定模块230。其中：
54.获取模块210，用于获取采集设备的数据文件。
55.比较模块220，用于将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合。
56.确定模块230，用于根据比较结果，确定所述采集设备的协议格式。
57.根据计算出来的协议格式，将其协议格式与对应数据文件的特征更新至特征库中且已更新的文件协议格式为评估分值最高的协议格式，如果本系统再次接收到类似的数据文件，进行特征提取后，特征库中可以匹配到与该数据文件特征相对应的协议格式，通过匹配成功的协议格式，能够读取该数据文件中的数据内容，并将其结构化数据予以存储，其中，存储的结构化数据与特征对应，当所述系统再次读取类似的数据文件时，经过特征提取，就能对应到所述结构化数据解析的协议格式上。本方案提供的协议格式的处理系统包括两部分输出，一方面为解析的实际数据，另一方面为计算出来的协议格式，所有的文件特征对应的均为结构化数据的协议格式。
58.可选的，所述比较模块220，还包括：拆分单元，用于依据不同的分组类型，拆分所述数据文件，所述分组类型包括：长度或者字节重复度。
59.进一步的，特征单元，用于对已拆分的数据文件进行特征提取，得到所述数据文件的当前特征。
60.可选的，所述确定模块230，包括：
61.第一单元，用于如果所述特征与所述历史特征相似度超过临界值，则用所述历史特征解析数据文件；
62.第二单元，用于如果所述特征未达到所述临界值，则根据所述数据文件与所述当前特征计算所述协议格式。
63.可选的，所述第二单元，包括：
64.格式单元，用于生成所述数据文件对应的协议格式；
65.存储单元，用于根据所述协议格式，解析一定数量的测试样本数据，选择最优的测试样本数据存储。
66.可选的，所述系统，还包括评估模块，通过对所述协议格式的测试样本数据的解析，所述评估模块检查所述解析内容，对所述协议格式评分，得到评分最高的协议格式。
67.示例性的，系统将所述协议格式的处理方法传递至各个子设备，使所述子设备各自执行一部分的协议格式的计算方法，例如，不同的子设备根据所述核心调度模块传递的文件数据执行所述协议格式的处理方法，得到多种不同的协议格式，但是，并非所有的协议格式均能被所述特征库采纳，首先，各个子设备将所获取的数据文件的格式化数据作为测试样本数据，输入所述评估模块对各自生成的协议格式进行评分，评估模块依据一定的评分机制输出各个协议格式的分值，最终选择最高分协议格式更新到特征库中。
68.可选的，所述系统，还包括解析模块，所述解析模块用于对所述解析结果进行纠错，并且存储数据。
69.本发明实施例提供了一种协议格式的处理系统，该系统包括：获取模块，用于获取采集设备的数据文件；比较模块，用于将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合；确定模块，用于根据比较结果，确定所述采集设备的协议格式。降低了终端用户与设备方沟通成本，对历史遗留的未知协议文件进行解析利用，解决了对于采集设备版本更迭造成配套协议无法一一对应从而导致数据资源浪费的问题，通过合理的协议格式的处理方法，实现了对协议格式的计算并且动态更新特征库，优化了系统性能。该系统减少了人工参与，具备自动化分析和计算能力，同时，能够控制在该系统下的子设备，对网络中的资源进行合理调配。
70.实施例三
71.图3是本发明实施例中提供的一种电子设备的结构示意图。如图3所示结构，本发明实施例中提供的电子设备包括：一个或多个处理器310和存储装置 320；该电子设备中的处理器310可以是一个或多个，图3中以一个处理器310 为例；存储装置320用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器310执行，使得所述一个或多个处理器310实现如以上任一实施例所述的一种协议格式的处理方法。
72.该电子设备还可以包括：输入装置330和输出装置340。
73.该电子设备中的处理器310、存储装置320、输入装置330和输出装置340 可以通过总线或其他方式连接，图3中以通过总线连接为例。
74.该电子设备中的存储装置320作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例中所提供的一种协议格式的处理方法对应的程序指令/模块。处理器310通过运行存储在存储装置320中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中的协议格式的处理方法。
75.存储装置320可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储装置320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
76.输入装置330可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
77.并且，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器310执行时，程序进行如下操作：
78.获取采集设备的数据文件；
79.将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合；
80.根据比较结果，确定所述采集设备的协议格式。
81.当然，本领域技术人员可以理解，当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器310执行时，程序还可以进行本发明任意实施例中所提供的协议格式的处理方法中的相关操作。
82.实施例四
83.本发明实施例中提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行本实施例提供的一种协议格式的处理方法，该方法包括：
84.获取采集设备的数据文件；
85.将所述数据文件的当前特征与特征库中的历史特征进行比较，所述特征库为历史数据文件对应的协议格式以及与其相对应的历史特征的集合；
86.根据比较结果，确定所述采集设备的协议格式。
87.可选的，该程序被处理器执行时还可以用于执行本发明任意实施例中所提供的协议格式的处理方法。
88.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(erasable
programmable read only memory，eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
89.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
90.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radio frequency，rf)等等，或者上述的任意合适的组合。
91.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、 smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan) ——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
92.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
93.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。