跨网络传输数据包分析方法、装置及计算机设备与流程

本发明涉及数据包分析方法，更具体地说是指跨网络传输数据包分析方法、装置及计算机设备。

背景技术：

1、随着近年来手机等电子设备不断更新换代，单台手机能够存储的数据量越来大，涉案手机量也不断增多。在海量电子数据汇聚场景下，互联网端取证设备采集手机数据，根据电子数据取证设备技术规范将数据导出zip包，通过网闸等网络传输设备摆渡到公安内网，再通过ftp(文件传输协议，file transfer protocol)汇聚到省一级平台进行数据解析与线索分析。

2、综上所述，目前在涉案电子数据汇聚场景下，对于涉案电子数据包分析方法，尽管目前能对数据包进行解析和分析，但在跨网传输条件下，对于大包及涉案电子数据包汇聚，解析速度慢，出错率高，并不能做到有效的分析数据包。

3、因此，有必要设计一种新的方法，实现降低跨网传输过程中网络拥塞、丢包概率，加快数据包解析速度。

技术实现思路

1、本发明的目的在于克服现有技术的缺陷，提供跨网络传输数据包分析方法、装置及计算机设备。

2、为实现上述目的，本发明采用以下技术方案：跨网络传输数据包分析方法，包括：

3、获取来自ftp上的由终端上传的待分析数据包；

4、当所述待分析数据包是分包上传的数据包，对所述待分析数据包进行合包处理，以得到处理结果；

5、分配解析节点；

6、利用所述解析节点对所述处理结果进行数据包解析，以得到解析结果；

7、输出所述解析结果至平台，以在平台显示所述解析结果。

8、其进一步技术方案为：所述待分析数据包是当终端按照电子数据采集规范导出的数据包大小超过设定阈值时进行分包操作，并将分包之后的数据片段分别上传至ftp形成的。

9、其进一步技术方案为：所述当所述待分析数据包是分包上传的数据包，对所述待分析数据包进行合包处理，以得到处理结果，包括：

10、当所述待分析数据包是分包上传的数据包，对所述待分析数据包按照分包规则进行合包处理，并检验合包之后的数据包的有效性，当合包之后的数据包具备有效性，则确定合包之后的数据包为处理结果。

11、其进一步技术方案为：所述分配解析节点，包括：

12、根据lru算法分配数据包解析的服务器，以得到解析节点。

13、其进一步技术方案为：所述利用所述解析节点对所述处理结果进行数据包解析，以得到解析结果，包括：

14、利用所述解析节点对所述处理结果读取对应的结构化数据，以得到读取结果；

15、利用所述解析节点对所述处理结果中的非结构化数据异步执行备份、文件ocr操作，以得到操作结果；

16、将所述读取结果以及所述操作结果读取至kafka，并使用flink进行数据清洗，以得到清洗结果；

17、将所述清洗结果存储至olap数据库，以得到解析结果。

18、其进一步技术方案为：所述利用所述解析节点对所述处理结果读取对应的结构化数据，以得到读取结果，包括：

19、利用所述解析节点通过java的zipfile的api从所述处理结果中读取对应的结构化数据，以得到读取结果。

20、本发明还提供了跨网络传输数据包分析装置，包括：

21、数据包获取单元，用于获取来自ftp上的由终端上传的待分析数据包；

22、处理单元，用于当所述待分析数据包是分包上传的数据包，对所述待分析数据包进行合包处理，以得到处理结果；

23、分配单元，用于分配解析节点；

24、解析单元，用于利用所述解析节点对所述处理结果进行数据包解析，以得到解析结果；

25、输出单元，用于输出所述解析结果至平台，以在平台显示所述解析结果。

26、其进一步技术方案为：所述处理单元，用于当所述待分析数据包是分包上传的数据包，对所述待分析数据包按照分包规则进行合包处理，并检验合包之后的数据包的有效性，当合包之后的数据包具备有效性，则确定合包之后的数据包为处理结果。

27、本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

28、本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

29、本发明与现有技术相比的有益效果是：本发明通过对跨网传输的待分析数据包进行分包后的合包操作，并分配解析节点进行数据包解析，解析过程可以不解压直接读取和解析，实现降低跨网传输过程中网络拥塞、丢包概率，可以增减解析节点，加快数据包解析速度。

30、下面结合附图和具体实施例对本发明作进一步描述。

技术特征：

1.跨网络传输数据包分析方法，其特征在于，包括：

2.根据权利要求1所述的跨网络传输数据包分析方法，其特征在于，所述待分析数据包是当终端按照电子数据采集规范导出的数据包大小超过设定阈值时进行分包操作，并将分包之后的数据片段分别上传至ftp形成的。

3.根据权利要求2所述的跨网络传输数据包分析方法，其特征在于，所述当所述待分析数据包是分包上传的数据包，对所述待分析数据包进行合包处理，以得到处理结果，包括：

4.根据权利要求1所述的跨网络传输数据包分析方法，其特征在于，所述分配解析节点，包括：

5.根据权利要求1所述的跨网络传输数据包分析方法，其特征在于，所述利用所述解析节点对所述处理结果进行数据包解析，以得到解析结果，包括：

6.根据权利要求5所述的跨网络传输数据包分析方法，其特征在于，所述利用所述解析节点对所述处理结果读取对应的结构化数据，以得到读取结果，包括：

7.跨网络传输数据包分析装置，其特征在于，包括：

8.根据权利要求7所述的跨网络传输数据包分析装置，其特征在于，所述处理单元，用于当所述待分析数据包是分包上传的数据包，对所述待分析数据包按照分包规则进行合包处理，并检验合包之后的数据包的有效性，当合包之后的数据包具备有效性，则确定合包之后的数据包为处理结果。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。

技术总结
本发明实施例公开了跨网络传输数据包分析方法、装置及计算机设备。所述方法包括：获取来自FTP上的由终端上传的待分析数据包；当所述待分析数据包是分包上传的数据包，对所述待分析数据包进行合包处理，以得到处理结果；分配解析节点；利用所述解析节点对所述处理结果进行数据包解析，以得到解析结果；输出所述解析结果至平台，以在平台显示所述解析结果。通过实施本发明实施例的方法可实现降低跨网传输过程中网络拥塞、丢包概率，可以增减解析节点，加快数据包解析速度。

技术研发人员：吴坚,黄闽江,陈健,陈先钳,刘倩倩,段红超,杨春晓,封筱宇
受保护的技术使用者：杭州平航科技有限公司
技术研发日：
技术公布日：2024/4/24