应用于数据共享交换平台的数据溯源系统及方法与流程

本发明涉及软件系统，具体地说是应用于数据共享交换平台的数据溯源系统及方法。

背景技术：

1、在信息时代，政务透明度直接关系到公众对政务服务的信任度。通过建设政务目录数据溯源系统，可以清晰地展示政务数据的来源、流转和使用情况，确保数据的真实性和可靠性。这有助于增强民众对政务服务的信任，提升政务服务的公信力。

2、政务系统中的目录数据是指政府机构对所拥有的全部数据资源进行分类的一种数据分类组织方法和分类结果。政务数据资源目录是对政务信息资源进行管理的基础设施之一，其主要目的是帮助数据分析人员发现和理解数据，是数据管理、数据认责和数据治理的核心。

3、在政务服务领域，数据共享交互平台可实现不同业务系统之间数据的共享交换，对于政务服务相关的数据共享交换平台、如何构建目录数据并通过目录数据实现数据溯源，是需要解决的技术问题。

技术实现思路

1、本发明的技术任务是针对以上不足，提供应用于数据共享交换平台的数据溯源系统及方法，来解决对于政务服务相关的数据共享交换平台、如何构建目录数据并通过目录数据实现数据溯源的技术问题。

2、第一方面，本发明一种应用于数据共享交换平台的数据溯源系统，包括多个功能模块，分别为前置模块、原始模块、中心模块、分析模块、服务模块以及客户端；

3、前置模块用于从数据源采集业务数据，对业务数据进行数据预处理、并对业务数据与元数据进行数据关联，将处理后的业务数据、业务数据的元数据和标注记录、以及业务数据与元数据的关联关系发送至原始模块，其中，标注记录用于记录业务数据的来源、演过过程以及去向；

4、原始模块用于存储处理后的业务数据、业务数据的元数据和起源信息、以及业务数据与元数据的关联关系；

5、中心模块用于为各功能模块以及第三方系统提供数据访问接口，通过数据访问接口接收数据访问请求、并基于数据访问请求对相关业务数据执行数据交换操作，对数据交换过程进行记录、形成数据交换记录，通过数据交换操作从原始模块读取数据访问请求指定的业务数据并将业务数据返回，数据交换记录中至少包括业务数据的去向信息；对应的，原始模块用于基于数据交换记录更新对应业务数据的标注记录；

6、分析模块用于从中心模块获取业务数据、并通过预配置的分析挖掘算法对业务数据进行分析挖掘，记录分析挖掘过程、分析挖掘算法以及分析挖掘结果，形成数据分析挖掘记录；

7、客户端提供与用户进行交互的用户界面，用于接收用户提交的用户请求并将用户请求转发至服务模块；

8、服务模块用于接收服务请求，并与原始模块、中心模块和分析模块配合执行服务操作，用于记录服务操作过程形成服务操作记录，并向客户端返回服务请求的响应；对应的，原始模块用于基于服务操作记录对相关业务数据的标注记录进行更新。

9、作为优选，所述前置模块用于执行如下对业务数据进行数据预处理、并对业务数据与元数据进行数据关联：

10、对业务数据进行数据清洗，通过数据清洗对业务数据进行缺失值填充、错误值修正以及重建记录删除的操作，得到清洗后业务数据；

11、对清洗后业务数据进行数据格式转换，将不同格式的业务数据转换为统一格式，并建立数据转换映射表，通过数据转换映射表记录数据格式转换规则和数据格式转换过程；

12、对于各类业务数据，将业务数据和其元数据进行数据关联，建立元数据管理体系，通过数据管理体系对共享交换平台中各类业务数据及其元数据进行统一管理维护，并通过数据标注的方式对每条业务数据进行标注记录。

13、作为优选，对于每条业务数据，标注记录包括业务数据的来源、生成时间、生成者、针对业务数据的每个操作的操作时间和操作者、以及去向，其中，操作包括基于数据访问请求的操作以及基于服务请求的操作。

14、作为优选，对于客户端，用户提交的服务请求包括查询请求和修改请求；

15、对于查询请求，服务模块与原始模块、中心模块以及分析模块配合提供查询操作，并记录查询操作过程形成查询操作记录，通过查询操作读取查询请求中指定业务数据的记录链、数据交换记录以及数据分析挖掘记录进行查询，将查询结果返回客户端，查询操作记录用于记录用户的查询请求、查询操作过程以及查询结果，其中查询操作过程包括查询时间以及作为操作者的查询者；

16、对于修改请求，服务模块与原始模块、中心模块以及分析模块配合提供修改操作，并记录修改操作过程形成修改操作记录，通过修改操作读取修改请求中指定业务数据的记录链、数据交换记录以及数据分析挖掘记录进行修改，将修改结果返回客户端，修改操作记录用于记录用户的修改请求、修改操作过程以及修改结果，其中修改操作过程包括操作时间以及作为操作者的修改者。

17、第二方面，本发明一种应用于数据共享交换平台的数据溯源方法，用于通过如第一方面任一项所述的一种应用于数据共享交换平台的数据溯源系统实现数据溯源，所述方法包括如下步骤：

18、通过前置模块从数据源采集业务数据，对业务数据进行数据预处理、并对业务数据与元数据进行数据关联，将处理后的业务数据、业务数据的元数据和标注记录、以及业务数据与元数据的关联关系发送至原始模块，其中，标注记录用于记录业务数据的来源、演过过程以及去向；

19、通过原始模块存储处理后的业务数据、业务数据的元数据和起源信息、以及业务数据与元数据的关联关系；

20、通过中心模块提供的数据访问接口接收数据访问请求、并基于数据访问请求对相关业务数据执行数据交换操作，对数据交换过程进行记录、形成数据交换记录，通过数据交换操作从原始模块读取数据访问请求指定的业务数据并将业务数据返回，数据交换记录中至少包括业务数据的去向信息；对应的，基于数据交换记录、通过原始模块更新对应业务数据的标注记录；

21、通过分析模块从中心模块获取业务数据、并通过预配置的分析挖掘算法对业务数据进行分析挖掘，记录分析挖掘过程、分析挖掘算法以及分析挖掘结果，形成数据分析挖掘记录；

22、通过客户端接收用户提交的用户请求并将用户请求转发至服务模块；

23、对于用户请求，服务模块与原始模块、中心模块和分析模块配合执行服务操作，记录服务操作过程形成服务操作记录，并向客户端返回服务请求的响应；对应的，基于服务操作记录、通过原始模块对相关业务数据的标注记录进行更新。

24、作为优选，对业务数据进行数据预处理、并对业务数据与元数据进行数据关联，包括如下步骤：

25、对业务数据进行数据清洗，通过数据清洗对业务数据进行缺失值填充、错误值修正以及重建记录删除的操作，得到清洗后业务数据；

26、对清洗后业务数据进行数据格式转换，将不同格式的业务数据转换为统一格式，并建立数据转换映射表，通过数据转换映射表记录数据格式转换规则和数据格式转换过程；

27、对于各类业务数据，将业务数据和其元数据进行数据关联，建立元数据管理体系，通过数据管理体系对共享交换平台中各类业务数据及其元数据进行统一管理维护，并通过数据标注的方式对每条业务数据进行标注记录。

28、作为优选，对于每条业务数据，标注记录包括业务数据的来源、生成时间、生成者、针对业务数据的每个操作的操作时间和操作者、以及去向，其中，操作包括基于数据访问请求的操作以及基于服务请求的操作。

29、作为优选，用户提交的服务请求包括查询请求和修改请求；

30、对于查询请求，服务模块与原始模块、中心模块以及分析模块配合提供查询操作，并记录查询操作过程形成查询操作记录，通过查询操作读取查询请求中指定业务数据的记录链、数据交换记录以及数据分析挖掘记录进行查询，将查询结果返回客户端，查询操作记录用于记录用户的查询请求、查询操作过程以及查询结果，其中查询操作过程包括查询时间以及作为操作者的查询者；

31、对于修改请求，服务模块与原始模块、中心模块以及分析模块配合提供修改操作，并记录修改操作过程形成修改操作记录，通过修改操作读取修改请求中指定业务数据的记录链、数据交换记录以及数据分析挖掘记录进行修改，将修改结果返回客户端，修改操作记录用于记录用户的修改请求、修改操作过程以及修改结果，其中修改操作过程包括操作时间以及作为操作者的修改者。

32、本发明的应用于数据共享交换平台的数据溯源系统及方法具有以下优点：

33、1、对于从数据源采集的业务数据，将预处理后的业务数据、业务数据的元数据和标注记录以及业务数据与元数据的关联关系存储至原始模块，通过中心模块提供的数据访问接口供溯源系统内功能模块以及其他第三方系统的数据访问，并对数据交换过程进行记录、形成数据交换记录，通过分析模块对业务数据进行分析挖掘，并对数据交换过程进行记录、形成数据交换记录，服务模块与原始模块、中心模块和分析模块配合执行服务操作，并记录服务操作过程形成服务操作记录，同时，原始模块基于数据交换记录、数据分析挖掘记录以及服务操作记录更新相关业务数据的标注记录，标注记录作为业务数据的记录链及时更新该业务数据的演化过程，便于业务数据的溯源；

34、2、对于从数据源采集的业务数据进行数据清洗以及格式转换，并建立数据转换映射表，通过数据转换映射表记录数据格式转换规则和数据格式转换过程，一方面实现了数据统一化便于后续提供服务，同时将数据转换规则化，实现了业务数据处理的规范化。