一种数据溯源方法和装置与流程

本发明涉及计算机，尤其涉及一种数据溯源方法和装置。

背景技术：

1、数据溯源是指追溯数据的来源和流向的过程。在大数据时代，由于数据汇集的阶段性、技术性以及不同类型数据本身的特点等因素，导致数据汇集过程中积累了大量来源不同、质量各异的数据。在使用该数据时，常常需要通过追溯数据的来源，确认数据的确切含义、数据计算和错误排查等。

2、目前，数据溯源追踪的方法包括：标注法和反向查询法。其中，标注法是指通过记录处理相关信息来追溯数据的历史状态，即采用人工标注的方式记录原始数据的一些重要信息，并将标注和原始数据一起传输，通过查看目标数据的标注来追溯数据的历史状态。该标注法在数据标注阶段需要大量的人工参与，效率较低，同时在存储原始数据的标注信息时需要额外的存储空间。

3、反向查询法是指通过逆向查询或构造函数对查询求逆，或者根据转换过程反向推导，根据查询结果追溯原数据。该反向查询法需要人工构造逆向函数，逆向函数的好与坏直接影响反向查询的效果和性能，同时反向查询法只有在需要追溯原数据时才会计算。

4、其次，标注法和反向查询法在数据溯源的过程中，都是从数据库层直接发起，如果数据库设计出现问题，例如该数据库中存在大量的冗余字段或保留字段，上述方法在数据溯源过程中依旧会对该冗余字段或保留字段进行溯源，给整个溯源工作带来不必要的开销。

技术实现思路

1、本发明提供了一种数据溯源方法和装置，用于解决目前数据溯源过程前期需要人工参与效率过低的问题，以及由于数据库设计问题导致对数据库中冗余字段或保留字段溯源而为溯源工作带来不必要的开销的问题。

2、为达到上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供了一种数据溯源方法，包括：获取网络设备的数据包镜像，解析数据包镜像，确定数据包镜像的结构化数据。结构化数据包括：包头数据。包头数据用于指示数据包镜像的特征。根据包头数据，生成网络设备的溯源数据。

4、通过本申请提供的数据溯源方法，获取网络设备的数据包镜像，解析数据包镜像，确定数据包镜像的结构化数据，根据包头数据，生成网络设备的溯源数据，以实现自动监控业务流程中的数据包，并对该数据包进行数据溯源，减少了人工的参与，同时仅根据业务所需的数据包进行数据溯源，对于数据库中的冗余字段或保留字段不会纳入溯源过程，提高数据溯源效率。

5、一种可能的实现方式，包头数据包括：数据包镜像的来源地址、数据包镜像的目标地址、数据包到达网络设备的时间戳。根据包头数据，生成网络设备的溯源数据，包括：利用时间戳，生成结构化数据的初步溯源数据，利用来源地址和目标地址，确定初步溯源数据的层级，按照层级对初步溯源数据添加层级标记，根据初步溯源数据和层级标记，生成溯源数据。

6、一种可能的实现方式，利用时间戳，生成结构化数据的初步溯源数据，包括：利用时间戳，确定结构化数据的数据包流向，根据数据包流向，生成初步溯源数据。

7、一种可能的实现方式，结构化数据还包括：包体数据；包体数据用于指示数据包镜像的业务数据。本申请提供的数据溯源方法，还包括：若第一结构化数据的业务数据与第二结构化数据的业务数据相同，对第一结构化数据和所述第二结构化数据添加同名数据标记。第一结构化数据是基于第一数据包镜像生成的结构化数据，第二结构化数据是基于第二数据包镜像生成的结构化数据，第一数据包镜像与第二数据包镜像不同。同名数据标记用于指示第一结构化数据的业务数据和第二结构化数据的业务数据为同名数据的不同版本的业务数据。

8、该可能的实现方式，通过将带有相同业务数据的结构化数据添加同名数据标记，以便区分相同数据。

9、一种可能的实现方式，获取网络设备的数据包镜像包括：当监测到网络设备的数据包时，生成数据包的数据包镜像。

10、该可能的实现方式中，可以在监测到网络设备的数据包时，自动生成该数据包的数据包镜像，以实现自动监测业务流程中的数据，减少人工参与。

11、第二方面，本发明提供了一种数据溯源装置，包括：获取模块、处理模块、生成模块。

12、其中，获取模块，用于获取网络设备的数据包镜像。

13、处理模块，用于解析数据包镜像，确定数据包镜像的结构化数据。结构化数据包括：包头数据。包头数据用于指示数据包镜像的特征。

14、生成模块，用于根据包头数据，生成网络设备的溯源数据。

15、一种可能的实现方式，包头数据包括：数据包镜像的来源地址、数据包镜像的目标地址、数据包到达所述网络设备的时间戳。

16、生成模块具体用于：利用时间戳，生成结构化数据的初步溯源数据，利用来源地址和目标地址，确定初步溯源数据的层级，按照层级对初步溯源数据添加层级标记，根据初步溯源数据和层级标记，生成溯源数据。

17、一种可能的实现方式，生成模块具体用于：利用时间戳，确定结构化数据的数据包流向，根据数据包流向，生成初步溯源数据。

18、一种可能的实现方式结构化数据还包括：包体数据；包体数据用于指示数据包镜像的业务数据。本申请提供的数据溯源装置，还包括：标记模块，用于若第一结构化数据的业务数据与第二结构化数据的业务数据相同，对第一结构化数据和第二结构化数据添加同名数据标记。第一结构化数据是基于第一数据包镜像生成的结构化数据，第二结构化数据是基于第二数据包镜像生成的结构化数据，第一数据包镜像与第二数据包镜像不同。同名数据标记用于指示第一结构化数据的业务数据和第二结构化数据的业务数据为同名数据的不同版本的业务数据。

19、一种可能的实现方式，生成模块，还用于当监测到网络设备的数据包时，生成数据包的数据包镜像。

20、第三方面，提供了一种溯源设备，该溯源设备具有实现上述第一方面或任一种可能的实现方式所述的数据溯源方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

21、第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机可以执行上述第一方面或任一种可能的实现方式所述的数据溯源方法。

22、第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机可以执行上述第一方面或任一种可能的实现方式所述的数据溯源方法。

23、其中，第三方面至第五方面中任一种设计方式所带来的技术效果可参见第一方面中不同可能的实现方式所带来的技术效果，此处不再赘述。

24、本申请中第二方面到第五方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面到第五方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。

25、本申请的这些方面或其他方面在以下的描述中会更加简明易懂。

技术特征：

1.一种数据溯源方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，

3.根据权利要求2所述的方法，其特征在于，所述利用所述时间戳，生成所述结构化数据的初步溯源数据，包括：

4.根据权利要求2所述的方法，其特征在于，所述结构化数据还包括：包体数据；所述包体数据用于指示所述数据包镜像的业务数据；

5.根据权利要求1所述的方法，其特征在于，所述获取网络设备的数据包镜像包括：

6.一种数据溯源装置，其特征在于，包括：

7.根据权利要求6所述的装置，其特征在于，

8.根据权利要求6所述的装置，其特征在于，所述生成模块具体用于：利用所述时间戳，确定所述结构化数据的数据包流向；根据所述数据包流向，生成所述初步溯源数据。

9.根据权利要求7所述的装置，其特征在于，所述结构化数据还包括：包体数据；所述包体数据用于指示所述数据包镜像的业务数据；

10.根据权利要求6所述的装置，其特征在于，所述生成模块，还用于当监测到网络设备的数据包时，生成所述数据包的数据包镜像。

11.一种溯源设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5任一项所述的数据溯源方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的数据溯源方法。

13.一种计算机程序产品，其特征在于，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如权利要求1-5中任一项所述的数据溯源方法。

技术总结
本发明公开了一种数据溯源方法和装置，涉及计算机技术领域，解决了目前数据溯源过程前期需要人工参与效率过低的问题，以及由于数据库设计问题导致对数据库中冗余字段或保留字段溯源而为溯源工作带来不必要的开销的问题。该数据溯源方法包括：获取网络设备的数据包镜像，解析数据包镜像，确定数据包镜像的结构化数据，根据包头数据，生成网络设备的溯源数据。

技术研发人员：李莞菁,王国环,刘学军,张超,米永亮
受保护的技术使用者：中国联合网络通信集团有限公司
技术研发日：
技术公布日：2024/1/12